💬 NLP

ConflictScore: Identifying and Measuring How Language Models Handle Conflicting Evidence

Cet article introduit ConflictScore, une nouvelle métrique et un nouveau banc d'essai conçus pour quantifier la capacité des modèles de langage à reconnaître les preuves contradictoires dans leurs documents de fondation en décomposant les réponses en affirmations atomiques et en mesurant à la fois la proportion d'affirmations conflictuelles et l'équilibre entre les preuves de soutien et de contradiction.

Auteurs originaux : Siyi Liu, Aaron Halfaker, Dan Roth, Patrick Xia

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Siyi Liu, Aaron Halfaker, Dan Roth, Patrick Xia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais au lieu d'un seul témoin, vous avez une pièce remplie de dix personnes donnant leurs témoignages. Certains affirment que le suspect était au parc ; d'autres jurent l'avoir vu à la bibliothèque.

Le Problème : L'angle mort du « Oui, mais... »
Les modèles d'IA actuels (comme les chatbots que vous utilisez peut-être) sont excellents pour trouver des informations. Mais lorsqu'ils se retrouvent face à des récits conflictuels, ils agissent souvent comme un enfant têtu qui choisit la voix la plus forte et ignore toutes les autres. Ils pourraient dire : « Le suspect était au parc ! » et s'arrêter là, oubliant complètement que cinq autres témoins ont dit le contraire.

Les outils existants pour vérifier si une IA dit la vérité sont comme un test simple de type « Réussite/Échec ». Ils demandent : « Est-ce qu'un témoin soutient cette histoire ? » Si une personne a dit « Parc », l'IA reçoit une note de réussite, même si les neuf autres ont dit « Bibliothèque ». Cela donne un faux sentiment de sécurité.

La Solution : ConflictScore
Les auteurs de cet article introduisent un nouvel outil appelé ConflictScore. Voyez cela comme un « Détective de Conflits » qui ne se contente pas de demander si une histoire est soutenue, mais demande : « Cette histoire est-elle contestée par d'autres témoins ? »

Voici comment cela fonctionne, décomposé en trois étapes simples :

La Décomposition (Décomposition des affirmations) :
Imaginez que l'IA écrive un long paragraphe. ConflictScore décompose ce paragraphe en de minuscules phrases individuelles (affirmations atomiques). C'est comme prendre un gros gâteau et le couper en tranches individuelles pour inspecter chaque morceau.
À la barre des témoins (Évaluation des preuves) :
Pour chaque phrase, l'outil la vérifie par rapport à chaque document utilisé par l'IA. Il demande : « Le Document A soutient-il cette phrase ? Le Document B la contredit-il ? »

Soutien : Le document est d'accord.
Contradiction : Le document n'est pas d'accord.
Irrélevant : Le document n'en parle pas.

La Grille d'évaluation (Les métriques) :
L'outil fournit deux scores :

ConflictScore-Count (CS-C) : C'est comme un « Compteur de problèmes ». Il indique quel pourcentage des phrases de l'IA entre en conflit avec les preuves. Si 4 phrases sur 6 font l'objet d'arguments contraires de la part des témoins, le score est élevé (ce qui signifie que l'IA est dans le pétrin).
ConflictScore-Ratio (CS-R) : C'est une « Balance ». Il mesure comment les preuves sont réparties. S'agit-il d'un partage 50/50 (un vrai débat) ou de 9 contre 1 (un raz-de-marée) ? Cela aide à comprendre la gravité du désaccord.

L'Essai Routier : ConflictBench
Pour voir si leur nouvel outil de détection fonctionne, les auteurs ont construit une salle de sport appelée ConflictBench. Ils ont rassemblé des milliers de questions où les réponses étaient confuses :

Ambiguïté : Des questions comme « Quelle est la taille de Cleveland ? » (Il existe de nombreuses villes nommées Cleveland).
Contradiction : Des documents qui disent explicitement des choses opposées (ex. : « L'événement a eu lieu en 1990 » contre « L'événement a eu lieu en 1995 »).
Opinion : Des questions où les gens ne sont pas d'accord sur le fond (ex. : « Cette technique de web design est-elle bonne ? »).

Ils ont testé leur outil sur cette salle de sport et ont constaté qu'il était très efficace pour repérer quand l'IA ignorait les témoins qui contestaient.

Ce qu'ils ont trouvé

L'IA est trop confiante : Même lorsque les documents exprimaient clairement des désaccords, les modèles d'IA avaient tendance à choisir un côté et à agir comme s'il s'agissait de la vérité absolue. Ils ignoraient souvent les témoins de la « bibliothèque » tout en criant à propos du « parc ».
Parler ne suffit pas : Les auteurs ont essayé de donner des « rappels doux » dans les instructions de l'IA (comme « S'il vous plaît, soyez prudent et considérez tous les aspects »). Cela a aidé un peu, mais l'IA se trompait encore souvent. C'est comme dire à un chien têtu d'être « gentil », mais il continue de mordre le facteur.
L'astuce du « Deuxième essai » : La découverte la plus passionnante réside dans l'expérience TruthfulQA. Lorsqu'ils ont utilisé ConflictScore pour dire à l'IA : « Hé, tu as manqué une contradiction, essaie encore », l'IA s'est réellement améliorée. C'était comme un élève recevant une correction au stylo rouge sur un examen, réalisant son erreur et réécrivant la réponse correctement.

L'essentiel
ConflictScore est une nouvelle façon de mesurer si une IA est honnête face à la complexité du monde réel. Elle ne vérifie pas seulement si l'IA possède quelques preuves ; elle vérifie si l'IA est assez courageuse pour admettre quand les preuves sont confuses et contradictoires.

Limites (Le revers de la médaille)
Les auteurs admettent que cet outil nécessite beaucoup de puissance informatique car il doit vérifier chaque phrase par rapport à chaque document. C'est comme engager une équipe de 100 avocats pour examiner un seul paragraphe — c'est précis, mais c'est coûteux et lent. De plus, l'outil traite tous les documents de manière égale ; il ne sait pas si un document est un journal célèbre ou un blog aléatoire. Il voit simplement « Document A » contre « Document B ».

En bref, ConflictScore nous aide à voir quand une IA est avec certitude dans l'erreur parce qu'elle a ignoré les arguments qui étaient juste sous son nez.

Résumé technique : ConflictScore : Identifier et mesurer la manière dont les modèles de langage gèrent les preuves conflictuelles

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des contextes de génération augmentée par récupération (RAG) pour des tâches telles que le questionnement ou la génération de rapports, où ils doivent synthétiser des informations provenant de multiples sources. Cependant, ces sources contiennent fréquemment des preuves conflictuelles dues à l'ambiguïté, à des opinions divergentes ou à des faits contradictoires. Les métriques existantes pour évaluer la facticité et la fidélité (par exemple, FactScore, SAFE) traitent généralement l'ensemble des documents de fond comme un corpus de référence unique et unifié. Par conséquent, si au moins un document soutient une affirmation, la métrique la classe souvent comme soutenue, ignorant la présence d'autres documents qui la contredisent. Ce cadrage global ne parvient pas à capturer la nuance du désaccord entre les preuves, menant à l'évaluation de réponses trop confiantes ou trompeuses qui ignorent les perspectives conflictuelles.

Méthodologie

Les auteurs introduisent ConflictScore, une nouvelle métrique conçue pour quantifier la capacité d'un modèle à reconnaître et à naviguer au sein de preuves conflictuelles dans ses documents de fond. Contrairement aux approches précédentes qui fusionnent l'ensemble des preuves, ConflictScore opère sur une base par document. Le cadre se compose de trois étapes :

Décomposition des affirmations : La réponse du modèle est décomposée en un ensemble d'affirmations atomiques et de faits minimaux.
Évaluation des preuves : Chaque affirmation est évaluée indépendamment par rapport à chaque document de fond. Un document est étiqueté comme SUPPORT (Soutien), CONTRADICT (Contradiction) ou IRRELEVANT (Non pertinent) par rapport à l'affirmation. Crucialement, un document est considéré comme soutenant une affirmation même s'il ne la soutient que partiellement, encourageant ainsi un raisonnement nuancé. Une affirmation est jugée comme ayant des « preuves conflictuelles » si l'ensemble des documents de soutien ( $D^+$ ) et l'ensemble des documents contradictoires ( $D^-$ ) sont tous deux non vides.
Calcul de la métrique : Le cadre agrège ces étiquettes en deux mesures complémentaires :
- ConflictScore-Count (CS-C) : La proportion d'affirmations dans une réponse qui présentent des conflits (c'est-à-dire qui possèdent à la fois des preuves de soutien et de contradiction). Des scores plus bas indiquent moins d'affirmations litigieuses.
- ConflictScore-Ratio (CS-R) : L'équilibre entre les preuves de soutien et de contradiction. Pour chaque affirmation conflictuelle, il calcule le ratio $|D^-| / (|D^+| + |D^-|)$ et en fait la moyenne sur toutes les affirmations. Cela capture la gravité du désaccord (par exemple, une répartition 1:1 versus un déséquilibre de 9:1).

Pour évaluer cette métrique, les auteurs ont construit ConflictBench, un benchmark agrégeant et transformant des jeux de données existants (ContraQA, MacNoise, AmbigDocs, ConflictingQA) afin de couvrir divers types de conflits, notamment les contre-factuels, l'ambiguïté et les opinions divergentes.

Contributions clés

Le papier présente trois contributions principales :

La métrique ConflictScore : Une extension robuste et consciente des conflits des pipelines de facticité par affirmation atomique, qui mesure explicitement comment les réponses gèrent le soutien et la contradiction simultanés issus des documents de fond.
ConflictBench : Un benchmark systématique conçu pour évaluer la détection et le calibrage des conflits à travers divers types de conflits, comblant une lacune dans les protocoles d'évaluation existants.
Utilité diagnostique et corrective : La démonstration que ConflictScore sert non seulement d'outil de diagnostic pour identifier les affirmations trop confiantes, mais aussi de signal correctif. En réinjectant les signaux de conflit au modèle, les auteurs montrent des améliorations de la véracité des réponses.

Résultats

Performance de détection de conflit :
Les expériences sur ConflictBench utilisant des modèles de pointe (ex: Gemini-3.5-Flash, GPT-5.4-Mini) montrent que la sous-routine de détection de conflit sous-jacente atteint une précision élevée (0,98) et un rappel (0,90), avec un score F1 global de 0,94. Cela indique que la métrique est bien calibrée pour détecter les conflits à travers différentes familles de modèles et jeux de données.

Benchmarking des LLM :
Lorsqu'elle est appliquée à des LLM de pointe (GPT-5.4-Mini, GPT-5.4-Nano, Qwen3-32B) dans une tâche de génération de rapport avec des preuves contradictoires, les résultats révèlent un écart significatif dans la conscience des conflits. Malgré des stratégies de prompting explicites encourageant des réponses « équilibrées » ou « super-équilibrées », les modèles s'engagent fréquemment dans une position unique. Les scores CS-C restent systématiquement élevés (autour de 0,50–0,55), indiquant que même avec des instructions pour nuancer, les modèles échouent souvent à reconnaître toute l'étendue des preuves conflictuelles.

Feedback correctif (TruthfulQA) :
Dans une étude de cas sur TruthfulQA, les auteurs ont testé si le fait de réinjecter des signaux de conflit au modèle pouvait améliorer la véracité. En utilisant un cadre de « RAG-Régénéré » où le modèle régénère sa réponse après avoir été informé des conflits détectés, ils ont observé des améliorations constantes par rapport au RAG standard et aux réglages de contrôle par prompt.

Pour des modèles comme gemini3.1-flash-lite, le processus de régénération a corrigé jusqu'à 74 % des réponses initialement erronées tout en introduisant très peu de nouvelles erreurs (taux de préjudice < 3 %).
Cela suggère que les signaux de conflit peuvent efficacement guider les modèles vers un raisonnement plus prudent et précis, particulièrement dans les contextes de choix multiples.

Signification et limites

L'article soutient que ConflictScore fournit un diagnostic nécessaire pour le problème de « l'excès de confiance » dans les systèmes RAG, où les modèles synthétisent des sources contradictoires en réponses définitives et potentiellement trompeuses. En quantifiant la tension entre les preuves de soutien et de contradiction, il offre une voie vers des réponses d'IA plus véridiques et nuancées.

Les auteurs reconnaissent plusieurs limites :

Coût computationnel : La complexité quadratique de l'évaluation de chaque affirmation par rapport à chaque document peut être coûteuse pour les sorties de longue forme, bien que des variantes plus légères (ex: échantillonnage des affirmations saillantes) soient proposées.
Fiabilité des sources : Le cadre actuel traite tous les documents de fond de la même manière, sans les pondérer selon la fiabilité de la source. Bien que le cadre soit compatible avec de futures extensions sensibles à la fiabilité, il ne distingue pas intrinsèquement les conflits entre sources crédibles de ceux induits par des preuves de faible qualité.
Dépendance en amont : La métrique dépend de la précision de la décomposition des affirmations et de l'étiquetage des preuves en amont. Les erreurs dans ces étapes peuvent se propager au score final, et le choix de la granularité des affirmations peut influencer l'évaluation.

En résumé, l'article établit que les LLM actuels peinent à gérer naturellement les preuves conflictuelles et que les mécanismes explicites de détection et de feedback de conflit sont des outils efficaces pour améliorer la véracité et la fiabilité du contenu généré.