💬 NLP

Loci Similes: A Benchmark for Extracting Intertextualities in Latin Literature

Cet article introduit « Loci Similes », un ensemble de données de référence composé de 545 parallèles vérifiés par des experts entre auteurs latins de l'Antiquité tardive et classiques, conçu pour pallier la rareté des ressources standardisées pour l'entraînement et l'évaluation des grands modèles de langage sur la détection des intertextualités.

Auteurs originaux : Julian Schelb, Michael Wittweiler, Marie Revellio, Barbara Feichtinger, Andreas Spitz

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Julian Schelb, Michael Wittweiler, Marie Revellio, Barbara Feichtinger, Andreas Spitz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère dans une immense bibliothèque antique. Le mystère ? Découvrir quelles vieilles histoires ont été secrètement copiées, modifiées ou évoquées par des auteurs plus tardifs. Dans le monde de la littérature latine, cela s'appelle l'« intertextualité ». Pendant des siècles, les chercheurs ont dû lire des milliers de parchemins poussiéreux à la main, s'appuyant sur leur mémoire pour repérer quand un écrivain comme Jérôme (un moine chrétien) empruntait secrètement une expression géniale à Virgile (un poète païen).

Mais voici le problème : les écrivains ne se contentaient pas de faire un copier-coller. Ils changeaient l'ordre des mots, échangeaient des synonymes ou cachaient la référence si bien qu'un simple outil de « recherche par mot » passerait à côté. C'est comme essayer de trouver une chanson spécifique dans une playlist en fredonnant seulement quelques notes, mais où le chanteur aurait légèrement changé le tempo et les paroles.

Entrez en scène Loci Similes, un nouvel outil numérique créé par une équipe de spécialistes en informatique et d'experts en latin pour aider à résoudre ce problème. Considérez cela comme une « fiche de révision » massive et super organisée pour la bibliothèque.

La grande bibliothèque et la fiche de révision

L'équipe a construit un ensemble de données contenant environ 176 000 petits fragments de texte. Ils les ont divisés en deux tas :

Le tas « Requête » : Des textes écrits plus tard (par des auteurs comme Jérôme, Lactance et Valerius Flaccus).
Le tas « Source » : Des textes écrits plus tôt (des classiques comme Cicéron, Virgile, Ovide et Horace).

Pour s'assurer que leurs outils informatiques apprenaient réellement, ils ont créé une fiche de révision de « vérité terrain ». Cette fiche contient 1 490 connexions spécifiques que des experts humains ont vérifiées comme étant réelles. C'est comme avoir un corrigé où les experts ont dit : « Oui, cette phrase dans le livre de Jérôme est définitivement un clin d'œil à cette phrase dans le livre de Virgile. »

La grande course des ordinateurs

Les chercheurs ont posé la question suivante : Les ordinateurs peuvent-ils trouver ces connexions cachées mieux que les anciens outils de recherche ?

Ils ont organisé une course avec trois types de modèles informatiques :

Le « Compteur de mots » (Modèles lexicaux) : Ils cherchent des mots exacts ou des racines de mots. Ils sont comme un bibliothécaire qui vérifie uniquement si les mêmes mots apparaissent dans les deux livres.
Le « Penseur profond » (Modèles neuronaux denses) : Ils utilisent une IA avancée pour comprendre le sens d'une phrase, même si les mots sont différents. Ils sont comme un détective qui comprend l'« ambiance » d'une histoire.
L'« Équipe en deux étapes » (Récupération et Reclassement) : Cette équipe utilise d'abord le « Compteur de mots » pour extraire une liste de suspects, puis utilise le « Penseur profond » pour vérifier ces derniers.

Ce qu'ils ont découvert (Le coup de théâtre)

C'est ici que l'histoire devient intéressante, car les résultats n'étaient pas ceux attendus par tout le monde.

1. Le « Penseur profond » n'a pas gagné le premier tour.
On pourrait penser que l'IA sophistiquée qui comprend le sens serait la meilleure pour trouver les références cachées. Mais l'article suggère que pour le latin, l'ancien « Compteur de mots » (plus précisément une méthode appelée BM25 utilisant des lemmes, qui sont les formes dictionnaires des mots) a en fait fait un meilleur travail lors de la première étape.

Pourquoi ? Le latin est une langue avec des terminaisons de mots folles qui changent selon la grammaire. L'IA sophistiquée se laisse parfois confondre par ces changements, tandis que le « Compteur de mots » est efficace pour les supprimer afin de trouver le mot central.
Le résultat : Le « Compteur de mots » a trouvé environ 78 % des copies directes, mot pour mot (références verbatim), lorsqu'il examinait les 100 meilleurs candidats. Les modèles d'IA sophistiqués étaient proches, mais ne l'ont pas battu.

2. Le « Penseur profond » est nécessaire pour les choses difficiles.
Si le « Compteur de mots » était excellent pour trouver les copies exactes, il a échoué lamentablement à trouver les allusions (des indices subtils où le sens est similaire mais les mots sont totalement différents).

Le problème : Si Jérôme a écrit une phrase qui ressemblait à celle de Virgile mais utilisait des mots totalement différents, le « Compteur de mots » ne voyait aucune connexion.
La solution : Le « Penseur profond » (plus précisément un modèle appelé XLM-R Large) était bien meilleur pour repérer ces connexions subtiles à faible chevauchement. Il pouvait dire : « Hé, même si les mots sont différents, ces deux phrases parlent du même sentiment effrayant. »

3. La stratégie gagnante : L'Équipe en deux étapes.
L'article suggère que la meilleure façon de résoudre le mystère n'est pas de choisir un seul détective, mais d'utiliser une équipe.

Étape 1 : Utiliser le « Compteur de mots » pour scanner toute la bibliothèque et extraire les 100 suspects les plus probables pour chaque requête.
Étape 2 : Remettre cette liste restreinte au « Penseur profond » pour décider s'il s'agit de vraies références ou de simples coïncidences.
Le résultat : Cette approche par équipe a réussi à récupérer 63 % des véritables références cachées tout en réduisant la liste de ce qu'un chercheur humain devrait lire de 97 %. C'est comme transformer un tas de mille aiguilles en un petit panier de 1 900 aiguilles, rendant la tâche beaucoup plus facile.

Ce que l'article écarte

Les auteurs sont très clairs sur ce qui ne fonctionne pas bien :

Utiliser l'IA sophistiquée seule ne suffit pas. Si vous comptez uniquement sur le « Penseur profond » sans un bon premier filtre, vous manquez trop de connexions.
Utiliser simplement la correspondance de mots ne suffit pas non plus. Si vous ne cherchez que des mots exacts, vous manquez les références subtiles et ingénieuses qui constituent la partie la plus intéressante de la recherche.
Ce n'est pas un problème « résolu ». L'article stipule explicitement que trouver ces liens subtils reste « difficile ». L'IA est bonne, mais elle fait encore des erreurs, surtout lorsque la connexion est très courte ou que les mots sont très différents.

L'essentiel à retenir

L'article suggère que bien que l'IA soit un outil puissant pour l'étude de la littérature antique, elle n'est pas une baguette magique qui résout tout instantanément. La meilleure approche actuelle est une approche hybride : utiliser des outils simples et rapides pour restreindre la recherche, puis utiliser des outils d'apprentissage profond et intelligents pour prendre la décision finale.

Les auteurs admettent que leur ensemble de données n'est pas parfait (il ne contient pas chaque connexion qui ait pu exister) et que définir ce qui constitue une « référence » peut être délicat, même pour les humains. Mais avec 1 490 exemples vérifiés par des experts et un nouveau benchmark appelé Loci Similes, ils ont offert aux futurs chercheurs un point de départ solide pour construire des outils encore meilleurs. Le mystère de la bibliothèque antique est toujours en cours de résolution, mais nous avons désormais une bien meilleure lampe de poche.

Résumé technique : Loci Similes : Un benchmark pour l'extraction des intertextualités dans la littérature latine

Énoncé du problème
Tracer les connexions intertextuelles dans la littérature latine est une tâche fondamentale de la philologie classique, essentielle pour reconstruire la « bibliothèque virtuelle » d'un auteur et comprendre la réception culturelle, particulièrement dans l'Antiquité tardive où les auteurs chrétiens ont recontextualisé les textes païens. Cependant, la détection automatisée reste contrainte par la rareté des benchmarks standardisés et des jeux de données accessibles. Les méthodes existantes reposent souvent sur la correspondance exacte de n-grammes ou sur un filtrage heuristique, ce qui échoue à capturer les allusions subtiles, les paraphrases et les variations morphologiques qui ne partagent pas de vocabulaire de surface significatif. Bien que les modèles de langue offrent un potentiel pour capturer la similitude sémantique au-delà du chevauchement lexical, leur développement pour ce domaine spécifique est entravé par le manque de données de vérité terrain (ground truth) curatées et vérifiées par des experts.

Méthodologie
Les auteurs introduisent Loci Similes, un benchmark complet conçu pour évaluer les approches computationnelles de la détection de l'intertextualité latine. La méthodologie comprend trois composantes principales :

Construction du jeu de données :
- Corpus : Le jeu de données comprend environ 176 000 segments de texte divisés en un Corpus de Requêtes (auteurs plus tardifs : Jérôme, Lactance et Valerius Flaccus) et un Corpus Source (auteurs canoniques plus anciens : Cicéron, Virgile, Ovide, etc.).
- Vérité terrain (Ground Truth) : Un jeu de données fusionné de 1 490 liens intertextuels vérifiés par des experts a été construit en combinant 545 références nouvellement curatées avec 945 références étiquetées issues d'une étude précédente (Burns et al., 2021).
- Schéma d'annotation : Les liens sont classés en trois catégories : Aucune correspondance (No Match), Référence verbatim (cit.) (incluant la réutilisation marquée, non marquée et paraphrasée) et Allusion (cf.) (échos thématiques ou stylistiques avec un faible chevauchement lexical). L'annotation a été réalisée par quatre experts en littérature latine en utilisant des critères basés sur le vocabulaire peu commun, la fréquence attestée et la fonction de conduit.
Configuration expérimentale :
- Tâches : L'étude évalue trois familles de méthodes : (i) Récupération seule (classement des segments sources), (ii) Classification seule (distinction des types de correspondances sur un ensemble de candidats fixe) et (iii) les pipelines Récupération et Reclassement (Retrieve-and-Rerank).
- Modèles :
  - Récupérateurs (Retrievers) : Méthodes lexicales creuses (TF-IDF, BM25 avec jetons de surface et lemmes), plongements de mots (Word2Vec, LatinBERT) et bi-encodeurs denses (modèles multilingues comme BGE-M3, E5 et les variantes spécifiques au latin comme SPhilBERTa).
  - Classificateurs : Baselines lexicales (LogReg, GBDT) et transformers cross-encodeurs (mmBERT, XLM-R, mBERT et variantes spécifiques au latin).
- Évaluation : L'étude utilise une validation croisée à 5 plis avec des scénarios de récupération réalistes (requête vs distracteurs intra-domaine). Les métriques incluent le Recall@k, la Précision, le Rappel, le F1 et les taux d'erreur (SMR, FPR, FNR).

Contributions clés

Benchmark curaté : La publication d'un jeu de données contenant environ 176k segments et 1 490 liens étiquetés, distinguant les références verbatim des allusions, comblant ainsi une lacune critique dans les ressources standardisées pour l'intertextualité latine.
Cadre d'évaluation : Un alignement de l'évaluation computationnelle avec les flux de travail philologiques pratiques, testant spécifiquement la capacité à détecter les allusions subtiles aux côtés des citations directes.
Résultats de base (Baselines) : Des résultats de base complets pour les modèles de récupération et de classification, établissant une fondation pour de futures recherches comparatives.

Résultats

Performance de récupération : Contrairement aux tendances de l'NLP général, les méthodes lexicales creuses ont surpassé les récupérateurs neuraux denses. Plus précisément, BM25 avec des unigrammes lemmatisés a obtenu le meilleur Recall@100 (0,78 pour le verbatim, 0,58 pour les allusions). Les encodeurs denses multilingues (ex. BGE-M3) ont mieux performé que les baselines spécifiques au latin, mais restent en retrait par rapport aux méthodes lexicales.
Performance de classification : Les cross-encodeurs transformers ont nettement surpassé les classificateurs lexicaux, particulièrement pour les allusions. XLM-R Large a obtenu le meilleur F1 pour les références verbatim (0,76), tandis que mmBERT a été le plus performant pour les allusions (F1 0,13), bien que la détection d'allusions soit restée difficile avec une faible précision.
Pipeline Récupération et Reclassement : La combinaison de la récupération par BM25 avec un reclassificateur cross-encoder a produit les résultats les plus pratiques. À $k=100$ , le pipeline a récupéré 63 % des véritables références intertextuelles tout en réduisant l'ensemble des candidats de 97 % par rapport aux baselines de récupération seule, réduisant ainsi considérablement la charge de l'inspection humaine.
Analyse d'erreur : La performance est fortement corrélée au chevauchement lexical pour les références verbatim, mais se découple pour les allusions. Les faux positifs proviennent souvent de phrases génériques à fort chevauchement (ex. omnia timeo), tandis que les faux négatifs surviennent lorsque les allusions courtes à faible chevauchement sont perdues dans les plongements de phrases (sentence embeddings).

Signification et affirmations
L'article affirme que si les modèles de langue offrent une voie prometteuse pour la détection de la similitude sémantique en latin, le défi principal reste de distinguer la réutilisation significative du chevauchement lexical fortuit. Les auteurs soutiennent que :

Les approches hybrides sont nécessaires : La richesse morphologique des fragments latins sous les tokenizer de sous-mots (subword tokenizers) donne un avantage aux méthodes creuses basées sur les lemmes lors de l'étape de récupération.
Les modèles neuraux excellent dans la nuance : Les cross-encodeurs offrent un avantage distinct par rapport aux classificateurs lexicaux pour la détection d'allusions subtiles là où les caractéristiques lexicales échouent.
Limitations actuelles : Détecter les parallèles courts à faible chevauchement reste difficile. Les auteurs suggèrent que les travaux futurs devraient explorer la correspondance au niveau du jeton (récupérateurs à interaction tardive) et l'analyse au niveau du segment (span-level) pour récupérer les signaux perdus lors du pooling de niveau phrase.

L'étude conclut que Loci Similes fournit une infrastructure nécessaire pour faire progresser la recherche sur l'intertextualité, mais que des développements architecturaux supplémentaires sont requis pour automatiser pleinement la détection des échos subtils et recontextualisés dans la littérature latine.