SourceMinds at CheckThat! 2026: NLI-Grounded Citation Auditing in a Multi-Agent Pipeline for Full Fact-Checking Article Generation

Le dilemme du détective : Pourquoi nous avons besoin de meilleurs robots de vérification des faits

Imaginez Internet comme une bibliothèque immense et chaotique où n'importe qui peut crier un « fait » depuis les rayons. Parfois, ces cris sont vrais, mais souvent, ce sont des suppositions sauvages, des demi-vérités ou des mensonges purs et simples. Pendant longtemps, les ordinateurs ont été doués pour jouer à un jeu simple de « Vrai ou Faux » avec ces cris. Ils agissent comme un arbitre, levant un drapeau vert pour la vérité ou un drapeau rouge pour les mensonges. Mais dans le monde réel, un simple « Faux » ne suffit pas. Si quelqu'un propage une rumeur, nous ne voulons pas seulement le coup de sifflet d'un arbitre ; nous voulons une véritable histoire de détective. Nous voulons savoir pourquoi c'est faux, ce que les preuves disent réellement, et exactement quelle page du journal a prouvé que le menteur avait tort. C'est le défi de la « génération d'articles de vérification des faits ». Il ne s'agit pas seulement de trouver la réponse ; il s'agit d'écrire une histoire claire et digne de confiance qui relie les points entre une affirmation et la preuve, en citant chaque source pour que personne ne puisse dire : « Où avez-vous trouvé cela ? »

C'est là qu'intervient l'article « SourceMinds at CheckThat! 2026 ». Les auteurs, une équipe de l'Université du Nord du Texas, ont réalisé que demander à un ordinateur super intelligent d'écrire tout un article de vérification des faits en un seul bond géant conduit souvent à des résultats désordonnés. L'ordinateur pourrait inventer des choses ou oublier de citer ses sources. Ils ont donc construit une équipe de spécialistes numériques — un « pipeline multi-agents » — pour s'attaquer à la tâche étape par étape. Au lieu d'un seul robot essayant de tout faire à la fois, ils ont créé un flux de travail où un robot trouve les indices, un autre organise le plan, un troisième rédige le brouillon, et un dernier « auditeur » vérifie chaque citation pour s'assurer que l'histoire tient la route. Leur objectif n'était pas seulement d'écrire plus vite, mais d'écrire mieux, en garantissant que chaque phrase de l'article final est appuyée par une source réelle et vérifiable.

L'équipe de détectives numériques

L'article décrit un système appelé SourceMinds, conçu pour résoudre un problème très spécifique : comment transformer une affirmation désordonnée, un verdict (comme « Faux ») et une pile de documents de preuves en un article de vérification des faits propre et professionnel. Les auteurs suggèrent que la meilleure façon d'y parvenir est de décomposer le processus en une course de relais, où différents « agents » (des programmes informatiques spécialisés) se passent le témoin les uns aux autres.

Étape 1 : Le chasseur de preuves
D'abord, le système doit trouver les bons indices. Imaginez que vous cherchez une citation spécifique dans une bibliothèque contenant des milliers de livres. Si vous prenez simplement les premiers livres qui semblent similaires, vous pourriez manquer le meilleur. L'équipe de SourceMinds utilise un agent de « recherche dense », qui est comme un bibliothécaire comprenant le sens des mots, pas seulement l'orthographe. Il scanne les documents de preuves et trouve les phrases les plus pertinentes. Mais il ne s'arrête pas là. Il utilise un « réévaluateur » (reranker) pour revérifier les meilleures correspondances et un « sélecteur équilibré selon les sources » pour s'assurer qu'il ne choisit pas dix citations provenant du même site web unique. Il veut une équipe de sources diversifiée, garantissant que les preuves ne sont pas biaisées en faveur d'une seule voix.

Étape 2 : L'architecte (Planificateur de faits)
Une fois les indices rassemblés, le système ne commence pas simplement à écrire. Cela reviendrait à essayer de construire une maison sans plan. L'agent « Planificateur de faits » prend les preuves sélectionnées et crée un plan JSON structuré. Considérez cela comme l'architecte dessinant le plan au sol. Il décide quel est l'argument principal, liste les points de soutien et note tout « bémol » (avertissement) si les preuves ne correspondent pas parfaitement au verdict. Crucialement, si les preuves sont faibles, le planificateur est programmé pour l'admettre plutôt que d'inventer une fausse raison pour faire correspondre l'histoire.

Étape 3 : Le journaliste (Rédacteur d'articles)
Avec le plan en main, l'agent « Rédacteur d'articles » intervient. Cet agent agit comme un journaliste professionnel. Son travail est d'écrire un article de 250 à 450 mots qui explique l'affirmation, énonce le verdict et guide le lecteur à travers les preuves. La règle ici est stricte : chaque phrase factuelle doit avoir une « citation », qui ressemble à (source: URL). C'est comme un étudiant rédigeant un travail de recherche où chaque affirmation doit avoir une note de bas de page. Le rédacteur est chargé d'utiliser uniquement les URL fournies dans l'index des preuves, empêchant ainsi de fabriquer de fausses sources.

Étape 4 : L'éditeur (Auto-critique)
Avant que l'article ne parte à l'impression, il passe par une « auto-critique à porte fermée ». C'est un éditeur intelligent qui ne se réveille que si le brouillon semble suspect. Le système vérifie le brouillon : possède-t-il au moins trois citations ? Utilise-t-il au moins deux sources différentes ? Si le brouillon semble « faiblement fondé » (signifiant qu'il manque de preuves), l'éditeur se met au travail. Il lit l'article phrase par phrase. Si une phrase fait une affirmation mais que la citation ne la soutient pas réellement, l'éditeur réécrit la phrase ou remplace la citation par une meilleure. Si le brouillon est déjà bon, l'éditeur saute l'étape pour gagner du temps. Cette étape garantit que l'article ne semble pas seulement avoir des sources, mais que les sources soutiennent réellement les mots.

Étape 5 : L'auditeur (Auditeur de citations NLI)
Enfin, l'« Auditeur de citations NLI » effectue une vérification d'antécédents rigoureuse et automatisée. Cet agent utilise une technique appelée « Inférence du Langage Naturel » (NLI). Imaginez un test de logique où l'ordinateur demande : « Si cette preuve est vraie, cela signifie-t-il nécessairement que cette phrase est vraie ? » L'auditeur effectue trois passages :

1. Le Nettoyage : Il élimine toute citation pointant vers des URL qui ne figurent pas dans la liste originale des preuves.
2. La Réparation : Si une phrase n'a pas de citation, l'auditeur cherche la meilleure preuve correspondante et y attache une citation uniquement si la preuve prouve logiquement la phrase.
3. L'Élagage : Si une phrase possède trop de citations, l'auditeur supprime les redondantes, ne gardant que les sources essentielles.

Ce qu'ils ont trouvé

L'équipe a testé son système sur l'ensemble de test officiel du CLEF 2026 CheckThat! Lab, qui contenait 1 158 affirmations et une moyenne de 7,8 articles de preuves par affirmation. Ils ont comparé leur pipeline multi-agents à un système de base standard.

Les résultats sont un mélange de succès et d'une leçon claire pour l'avenir. Le système SourceMinds a obtenu un score moyen de 0,329, battant le score de base de 0,272. Les auteurs suggèrent que le fait de diviser la tâche en étapes spécialisées a réellement aidé. Plus précisément :

• Couverture des preuves : Le système a obtenu un score de 0,394, le plus élevé de tous les indicateurs. Cela signifie que le système était très bon pour trouver des preuves pertinentes et répartir les citations sur différentes sources, plutôt que de se reposer sur un seul document.
• Qualité des citations : Le système s'est considérablement amélioré en Précision de la citation (0,337) et en Rappel de la citation (0,339) par rapport à la base (0,223 et 0,240). Cela suggère que les agents « rédacteur » et « auditeur » ont bien travaillé ensemble pour s'assurer que les citations sont présentes et réellement nécessaires.

Cependant, l'article souligne également un goulot d'étranglement important. Le Score d'implication (Entailment Score) — qui mesure si l'article généré correspond réellement à la logique et au raisonnement de la référence de vérité terrain — était le score le plus bas à 0,245. En fait, c'était le seul indicateur où leur système a obtenu un score inférieur à la base (0,298).

Les auteurs expliquent cet écart en notant qu'avoir une citation ne garantit pas que l'histoire soit correcte. Une phrase peut avoir une citation parfaite en apparence comme (source: exemple.com) mais tout en déformant ce que ce site web a réellement dit. Le système était bon pour attacher des étiquettes aux phrases, mais il peinait à construire l'argument logique profond qui relie les preuves à la décision finale comme le ferait un expert humain. L'article suggère que bien que leur validation « phrase par phrase » soit utile, le prochain grand défi est d'améliorer « l'alignement preuve-affirmation » — s'assurer que toute l'histoire fait sens, et pas seulement les parties individuelles.

L'essentiel

L'équipe de SourceMinds conclut que leur pipeline multi-agents est une méthode modulaire et prometteuse pour générer des articles de vérification des faits. Elle prouve que vous n'avez pas besoin d'entraîner un robot massif et spécialisé à partir de zéro ; au contraire, vous pouvez utiliser une équipe légère d'agents spécialisés pour obtenir de meilleurs résultats. Le système est efficace pour sélectionner les bonnes preuves et produire des articles bien cités et traçables. Cependant, le score d'implication plus faible suggère que la « magie » de la vérification des faits ne consiste pas seulement à trouver des sources ; il s'agit de les tisser dans un récit cohérent et logique. Les auteurs suggèrent que les travaux futurs devraient se concentrer sur de meilleures étapes de raisonnement pour combler l'écart entre « avoir une citation » et « dire toute la vérité ».