💬 NLP

Contradiction to Consensus: Dual Perspective, Multi Source Retrieval Based Claim Verification with Source Level Disagreement using LLM

Cet article présente un nouveau système de vérification de claims en domaine ouvert qui utilise des modèles de langage, une récupération multi-perspectives et une analyse des désaccords entre sources pour améliorer la fiabilité et la transparence de la détection de la désinformation.

Auteurs originaux : Md Badsha Biswas, Ozlem Uzuner

Publié 2026-02-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Md Badsha Biswas, Ozlem Uzuner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : Le Détective qui ne consulte qu'une seule source

Imaginez que vous essayez de vérifier si une rumeur est vraie ou fausse (par exemple : "Manger du chocolat guérit la migraine").

Dans le passé, les systèmes automatiques de vérification des faits agissaient comme un détective un peu paresseux. Ils allaient voir une seule source (disons, Wikipédia), lisaient un article, et décidaient : "C'est vrai" ou "C'est faux".

Le problème ?

Ils sont aveugles aux autres avis : Si Wikipédia dit "Oui" mais que la science médicale (PubMed) dit "Non", le détective ignore la science.
Ils ne cherchent que ce qui confirme leur idée : Ils ne regardent que les preuves qui disent "Oui". Ils ne cherchent jamais les preuves qui disent "Non". C'est comme écouter seulement les gens qui sont d'accord avec vous.
Ils sont trop sûrs d'eux : Même s'il y a un débat, ils vous donnent une réponse binaire sans vous dire qu'il y a une controverse.

💡 La Solution : Le "Super-Détective" à Double Vue

Les auteurs de ce papier (Badsha Biswas et Özlem Uzuner) ont créé un nouveau système, un peu comme un jury d'experts ultra-organisé. Voici comment il fonctionne, étape par étape, avec des analogies simples :

1. La Technique du "Contre-Argument" (La Perspective Duale)

Au lieu de demander au détective : "Est-ce que le chocolat guérit la migraine ?", le système pose deux questions en même temps :

"Est-ce que le chocolat guérit la migraine ?" (La version originale)
"Est-ce que le chocolat ne guérit pas la migraine ?" (La version inversée/négative)

L'analogie : C'est comme un avocat qui prépare son dossier. Il ne se contente pas de préparer son argument pour l'accusation ; il prépare aussi l'argument pour la défense. En cherchant activement des preuves pour et contre, le système voit le tableau complet, pas juste une moitié.

2. Le Grand Marché de l'Information (Sources Multiples)

Le système ne va pas voir un seul libraire. Il envoie ses enquêteurs sur trois marchés différents en même temps :

Wikipédia : Pour les connaissances générales et populaires.
PubMed : Pour les articles scientifiques et médicaux précis.
Google : Pour les actualités récentes et les discussions sur le web.

L'analogie : Imaginez que vous voulez acheter une voiture. Vous ne demandez pas l'avis d'un seul vendeur. Vous allez voir le concessionnaire officiel (Wikipédia), un mécanicien expert (PubMed) et vous lisez les forums de propriétaires (Google). Vous obtenez une image beaucoup plus fidèle de la réalité.

3. Le Tri et le Rassemblement (Agrégation)

Une fois que les enquêteurs reviennent avec des tas de papiers (articles, phrases, liens), le système fait le ménage :

Il jette les doublons (deux articles qui disent exactement la même chose).
Il mélange les meilleures informations de tous les marchés pour créer un dossier unique et complet.

4. Le Juge et le "Doute Transparent" (LLM et Disagreement)

Enfin, un Intelligence Artificielle très intelligente (un "Grand Modèle de Langage" ou LLM) lit ce dossier complet pour donner son verdict.

Mais le plus génial, c'est ce qu'ils ajoutent à la fin : la transparence sur le doute.
Le système ne dit pas juste "C'est vrai". Il vous montre aussi à quel point les sources sont d'accord.

Scénario A (Consensus) : Wikipédia, PubMed et Google disent tous "C'est vrai". Le système vous dit : "C'est vrai, et nous sommes tous très sûrs de nous (99% de confiance)."
Scénario B (Désaccord) : Wikipédia dit "Vrai", mais PubMed dit "Faux". Le système vous dit : "La réponse est compliquée. Wikipédia pense que c'est vrai, mais les scientifiques sont sceptiques. Il y a un désaccord, donc soyez prudent."

L'analogie : C'est comme un tableau de bord de voiture. Au lieu d'avoir juste un feu vert ou rouge, vous avez un tableau qui vous montre si le moteur (la source) est stable ou s'il y a des vibrations (désaccord). Cela vous permet de prendre une décision éclairée.

🏆 Ce que les chercheurs ont découvert

En testant ce système sur des milliers de fausses rumeurs (politiques, santé, science), ils ont vu que :

Poser la question inversée (chercher ce qui est faux) améliore grandement la précision.
Mélanger plusieurs sources est toujours mieux qu'une seule source.
Montrer les désaccords rend le système plus honnête et plus utile pour les humains.

En résumé

Ce papier nous dit : Ne faites jamais confiance à une seule voix. Pour savoir si une information est vraie, il faut écouter les pour, les contre, consulter plusieurs experts, et surtout, accepter que parfois, les experts ne sont pas d'accord. C'est cette honnêteté sur le désaccord qui rend le système fiable.

1. Problématique

La propagation de la désinformation sur les plateformes numériques pose des risques sociétaux majeurs, en particulier dans des domaines critiques comme la santé et la finance. Les systèmes actuels de vérification de faits (fact-checking) automatisés souffrent de limitations importantes :

Dépendance à une source unique : La plupart des systèmes s'appuient sur une seule base de connaissances (souvent Wikipédia), ignorant la richesse des sources secondaires (littérature scientifique, moteurs de recherche).
Biais de confirmation : Les méthodes traditionnelles ne récupèrent que des preuves soutenant la revendication initiale, négligeant les informations contradictoires.
Manque de transparence : Les utilisateurs finaux ne sont pas informés des désaccords potentiels entre les différentes sources d'information, ce qui réduit l'interprétabilité et la confiance dans le système.

L'objectif de cette étude est de développer un système de vérification de revendications en domaine ouvert (ODCV) capable de gérer la complexité, la diversité et les contradictions inhérentes aux connaissances réelles.

2. Méthodologie

Les auteurs proposent une architecture innovante en trois étapes clés, illustrée par la Figure 1 du papier :

A. Génération de revendications à double perspective (Dual-Perspective)

Au lieu de traiter uniquement la revendication originale ( $c$ ), le système génère systématiquement sa forme négative ( $\bar{c}$ ).

Exemple : Si la revendication est "Une carence en vitamine B12 augmente l'homocystéine", le système génère "Un excès de vitamine B12 diminue l'homocystéine".
Cela permet de récupérer des preuves à la fois soutenant et contredisant la revendication initiale, formant un pool de preuves plus équilibré.

B. Récupération multi-sources (Multi-Source Retrieval)

Le système interroge trois sources de connaissances distinctes pour chaque paire de revendications (originale + négative) :

Wikipédia : Pour les requêtes grand public et tendances.
PubMed : Pour les requêtes techniques et scientifiques (biomédecine).
Google : Pour les résultats web actualisés via une API de recherche personnalisée.

Filtrage et sélection : Les documents récupérés sont filtrés au niveau des phrases à l'aide d'embeddings (SPICED). Les phrases les plus pertinentes sont sélectionnées, puis dédupliquées et fusionnées pour créer un ensemble de preuves unifié par source.

C. Agrégation et Vérification par LLM

Les ensembles de preuves de chaque source sont fusionnés pour former une base de connaissances enrichie ( $E_i$ ).
Un Grand Modèle de Langage (LLM) en mode zero-shot (sans fine-tuning) utilise cet ensemble agrégé pour prédire la véracité de la revendication (Soutenu, Réfuté, Pas assez de preuves).
Analyse de désaccord : Le système calcule les scores de confiance (log-probabilités) pour chaque source individuellement. La dispersion de ces scores permet de quantifier et visualiser le niveau d'accord ou de désaccord entre les sources (Wikipédia vs PubMed vs Google).

3. Contributions Clés

Approche de récupération à double perspective : Introduction d'une stratégie qui récupère activement des preuves pour la revendication et sa négation, améliorant la couverture des preuves contradictoires.
Agrégation multi-sources systématique : Démonstration qu'agréger des preuves provenant de Wikipédia, PubMed et Google surpasse l'utilisation d'une source unique, en particulier pour les domaines spécialisés.
Quantification et visualisation du désaccord : Méthode novatrice pour mesurer l'incertitude en analysant la dispersion des log-probabilités entre les sources. Cela permet de révéler aux utilisateurs non seulement le verdict, mais aussi la fiabilité et la cohérence des sources sous-jacentes.

4. Résultats Expérimentaux

L'évaluation a été réalisée sur quatre jeux de données de référence (SciFact, PubHealth, Averitec, LIAR) en utilisant cinq LLMs state-of-the-art (Llama 70B/405B, Phi-4, Qwen 2.5, Mistral).

Impact de la perspective double : L'ajout de la revendication négative améliore généralement la précision (Accuracy) de 2 à 10 % et le F1 macro de 2 à 8 % par rapport à l'utilisation de la revendication seule.
Impact de l'agrégation multi-sources :
- La combinaison des sources (Wikipedia + PubMed + Google) donne des résultats supérieurs à n'importe quelle source isolée.
- Exemple notable : Sur SciFact avec Llama 70B, l'agrégation améliore le F1 de +41,9 % par rapport à Wikipédia seul.
- Sur les jeux de données complexes comme Averitec, l'agrégation permet de combler les lacunes des sources individuelles.
Analyse des désaccords : Les visualisations (KDE) montrent une corrélation forte : lorsque toutes les sources s'accordent, les scores de confiance sont élevés et concentrés. En cas de désaccord, la distribution s'élargit et les scores baissent, signalant une incertitude résiduelle.

5. Signification et Conclusion

Cette recherche démontre que la fiabilité des systèmes de vérification de faits ne réside pas dans la recherche d'une "vérité unique" provenant d'une seule source, mais dans la capacité à embrasser la diversité et la contradiction.

Interprétabilité : En exposant les désaccords entre les sources via des scores de confiance, le système devient plus transparent et permet aux utilisateurs de prendre des décisions éclairées.
Robustesse : L'approche zero-shot combinée à l'agrégation multi-sources offre une solution robuste sans nécessiter d'entraînement coûteux.
Limites et Perspectives : Les auteurs notent des défis liés aux contextes longs (fenêtres de contexte limitées), à la temporalité des preuves (données obsolètes) et aux biais des LLMs. Les travaux futurs visent à intégrer un raisonnement temporel et à étendre le système à des langues multiples.

En résumé, ce papier propose un cadre méthodologique essentiel pour passer d'une vérification de faits monolithique à une approche nuancée, reflétant la complexité de l'information dans le monde réel.