Résumé technique : ACL-Verbatim

Énoncé du problème

Les chercheurs universitaires ont besoin de méthodes efficaces et fiables pour extraire des informations de haute qualité à partir de sources fiables. Cependant, les outils de recherche assistée par l'IA actuels, qui reposent sur des modèles de langage de grande taille (LLM), souffrent d'« hallucinations » — la tendance à produire des résultats factuellement inexacts, non pertinents ou absurdes. Bien que les systèmes de Génération Augmentée par la Récupération (RAG) tentent d'ancrer les LLM dans des documents externes, ils échouent souvent à éliminer les hallucinations car le composant génératif peut remplacer les preuves récupérées par ses propres connaissances antérieures. De plus, les réponses générées par les LLM manquent de transparence et d'explicabilité, rendant la vérification des faits indépendante fastidieuse et souvent omise en raison de « l'appréciation algorithmique ». Le défi fondamental consiste à permettre la réponse à des questions à partir d'articles de recherche de manière strictement verbale, garantissant que les réponses sont directement traçables au texte source sans fabrication.

Méthodologie

L'article présente ACL-Verbatim, une application du cadre VerbatimRAG adaptée à l'Anthologie ACL. Contrairement à la RAG générative, ce système emploie une approche extractive, mappant les requêtes utilisateur directement vers des segments de texte verbatim dans les documents récupérés.

Corpus et pipeline de données

1. Collecte de données : Le système traite plus de 120 000 articles de l'Anthologie ACL (en février 2026). Les PDF sont convertis en Markdown à l'aide de la bibliothèque docling, préservant les en-têtes, les listes et les tableaux tout en remplaçant les figures par des espaces réservés.
2. Segmentation : Une stratégie de découpage personnalisée segmente les articles selon les limites des sections, préfixant les segments par les titres de section pour améliorer la récupération. Les segments sont contraints entre 500 et 5 000 caractères et indexés pour la recherche en texte intégral et la recherche par vecteurs denses utilisant granite-embedding-english-r2 d'IBM.
3. Génération de requêtes : Pour créer un ensemble de données d'entraînement et d'évaluation, les auteurs ont adapté la méthodologie ScIRGen. Le pipeline :
   • Sélectionne des articles et des segments aléatoires.
   • Utilise un LLM pour générer des types de questions synthétiques et des questions basés sur le contenu du segment.
   • Affine ces éléments en requêtes plus courtes et fragmentées, caractéristiques du comportement réel des utilisateurs.
4. Annotation : Des annotateurs humains (chercheurs en TALN) étiquettent les 5 segments récupérés en tête pour chaque requête. Ils déterminent d'abord la pertinence binaire. Pour les segments pertinents, ils surlignent des segments de texte spécifiques (tokens) qui constituent la preuve. Ce processus a produit un ensemble de données de vérité terrain de 100 paires requête-segment (20 requêtes, 5 segments chacune).

Architecture du modèle et entraînement

Les auteurs évaluent trois familles de systèmes extractifs :

1. Extracteurs de segments basés sur LLM : Modèles en zéro-shot (Mistral, Nemotron, GLM, Qwen) sollicités pour retourner des segments verbatim.
2. Lignes de base de pruning/surlignage : Des modèles comme Zilliz Semantic Highlight et Provence qui notent ou élaguent des phrases.
3. Modèle étudiant compact : Un classifieur de tokens ModernBERT personnalisé (150 millions de paramètres) entraîné sur une « supervision argent ».
   • Supervision argent : Générée en exécutant le pipeline de requêtes synthétiques sur un corpus plus large (2 000 articles) et en utilisant un LLM puissant (Qwen 3.6 35B) pour générer les étiquettes d'extraction.
   • Architecture : Un classifieur de tokens conditionné par la requête sur une fenêtre de contexte de 8192 tokens, produisant des étiquettes binaires pour chaque token.
   • Entraînement : Affiné sur environ 10 000 lignes positives et 11 000 lignes négatives avec des règles de post-traitement spécifiques (suppression des segments <10 caractères, fusion des segments voisins).

Contributions clés

• Ensemble de données ACL-Verbatim : Un nouvel ensemble de données de vérité terrain mappant des requêtes utilisateur synthétiques vers des segments de texte pertinents dans des articles de recherche, annoté par des experts du domaine.
• Pipeline d'extraction : Un système de bout en bout pour générer des requêtes synthétiques et effectuer une annotation manuelle pour la QA extractive dans le domaine académique.
• Performance efficace du modèle : Démonstration qu'un modèle encodeur compact et affiné (ModernBERT) entraîné sur des données argent surpasse des LLM beaucoup plus grands dans les tâches d'extraction au niveau des mots.

Résultats

L'évaluation a été menée sur le benchmark de 100 paires requête-segment en utilisant la précision, le rappel et le F1 au niveau des mots, ainsi que des métriques de containment et de couverture.

• Performance : Le modèle étudiant ModernBERT a atteint le F1 au niveau des mots le plus élevé de 53,63, surpassant l'extracteur LLM le plus performant (GLM-5 à 48,71) et les autres lignes de base.
• Efficacité : Le modèle étudiant utilise 3 à 4 ordres de grandeur de paramètres en moins que les LLM évalués tout en obtenant des résultats supérieurs.
• Précision vs Rappel : Le modèle étudiant a démontré une précision plus élevée (65,43 %) par rapport aux LLM, s'abstenant souvent de prédire des segments sur des segments non pertinents. En revanche, les LLM (en particulier avec des prompts orientés paragraphe) ont obtenu un rappel plus élevé mais une précision nettement plus faible, extrayant fréquemment des preuves à partir de segments non pertinents.
• Généralisation : Une variante multi-domaines du modèle, entraînée sur une combinaison de données ACL et d'autres benchmarks (RAGBench, Squeez), a également surpassé les lignes de base publiques sur l'ensemble d'or ACL, suggérant que l'approche se généralise au-delà du domaine spécifique.

Importance et affirmations

L'article affirme que l'approche VerbatimRAG, combinée à un entraînement orienté tâche des modèles extractifs, fournit une feuille de route pour une réponse à des questions sans hallucinations. En extrayant strictement des segments verbatim plutôt qu'en générant du nouveau texte, le système garantit que les réponses sont transparentes et directement vérifiables par rapport à la source.

Les auteurs soulignent que, bien que l'ensemble de données actuel soit petit (100 paires) et que le processus d'annotation soit complexe, les résultats indiquent que de petits modèles spécialisés entraînés sur des données synthétiques peuvent surpasser les LLM en zéro-shot dans la tâche critique d'extraction de preuves. Cela offre une voie vers le déploiement d'assistants de recherche fiables, efficaces et dignes de confiance qui atténuent les risques d'hallucination inhérents à l'IA générative. Les auteurs notent des limitations concernant la taille de l'ensemble de données et le potentiel des données synthétiques à propager les biais des LLM, suggérant que les travaux futurs devraient se concentrer sur des domaines plus restreints pour affiner les directives d'annotation et réduire les biais.