Explaining Sources of Uncertainty in Automated Fact-Checking

1. Énoncé du problème

La vérification automatique des faits utilisant les grands modèles de langage (LLM) implique souvent un raisonnement sur plusieurs documents où les preuves peuvent entrer en conflit ou s'accorder. Bien que les LLM puissent prédire des verdicts (Soutient, Réfute, Neutre), les méthodes actuelles d'intelligence artificielle explicable (XAI) échouent à communiquer adéquatement l'incertitude du modèle aux utilisateurs humains.

• Limites des méthodes actuelles : Les approches existantes fournissent soit uniquement des scores de confiance numériques (difficiles à contextualiser), soit des atténuations vagues en langage naturel (par exemple, « Je ne suis pas sûr ») qui ne reflètent pas fidèlement l'état interne du modèle.
• Le fossé : Crucialement, les systèmes existants n'expliquent pas pourquoi un modèle est incertain. Ils ne mettent pas en lumière les conflits et accords spécifiques entre l'affirmation et les preuves, ou entre différentes pièces de preuve, qui sont les principaux moteurs de l'incertitude dans les tâches de vérification des faits. Cela empêche les vérificateurs humains de résoudre efficacement les désaccords ou de vérifier des points de contention spécifiques.

2. Méthodologie : Le cadre CLUE

Les auteurs proposent CLUE (Conflict-&Agreement-aware Language-model Uncertainty Explanations), un cadre de type « boîte blanche » et plug-and-play qui génère des explications en langage naturel (NLE) ancrées dans des interactions spécifiques de preuves. CLUE fonctionne entièrement au moment de l'inférence sans nécessiter de fine-tuning ni d'explications étiquetées or.

Le cadre se compose de trois étapes :

A. Évaluation de l'incertitude

Le système quantifie l'incertitude du modèle en utilisant l'entropie prédictive dérivée des logits de sortie du modèle.

• Pour une entrée donnée $X$ (Affirmation + Preuves), l'entropie $u(X)$ est calculée sur la distribution softmax des étiquettes candidates $\{SOUTIENT, RÉFUTE, NEUTRE\}$.
• Cela fournit un score d'incertitude scalaire qui est indépendant du modèle et ne nécessite pas plusieurs runs d'échantillonnage.

B. Identification des interactions de segments de conflit et d'accord

Pour identifier les sources d'incertitude, CLUE extrait les interactions saillantes de segments de texte entre l'Affirmation ($C$) et les pièces de preuve ($E_1, E_2$), ainsi qu'entre les pièces de preuve elles-mêmes.

1. Extraction : En utilisant les mécanismes d'attention de la dernière couche du modèle, le système identifie les interactions de tokens importantes entre les parties de l'entrée. Il applique l'algorithme de Louvain pour regrouper ces tokens en communautés, extrayant ainsi des paires de segments spécifiques (par exemple, une phrase dans l'affirmation et une phrase dans la preuve).
2. Étiquetage des relations : Un modèle auxiliaire ($L_{rel}$) étiquette chaque paire de segments extraite comme Accord, Désaccord ou Sans rapport en fonction du contexte complet.
3. Sélection : Les $k$ interactions de segments les plus importantes (par exemple, 3) sont sélectionnées sur la base de leurs scores d'attention.

C. Génération d'explications d'incertitude

CLUE convertit ces interactions extraites en explications en langage naturel en utilisant deux variantes distinctes :

1. CLUE-Span (Piloté par instruction) : Les paires de segments extraits et leurs étiquettes de relation sont insérés directement dans un prompt few-shot. Le modèle reçoit l'instruction d'expliquer comment ces accords ou conflits spécifiques influencent sa confiance.
2. CLUE-Span+Steering (Pilotage intrinsèque de l'attention) : En plus du prompt, le système modifie les poids d'attention du modèle pendant la génération. Il réduit le poids des tokens non ciblés et augmente le poids des tokens au sein des interactions de segments sélectionnées, forçant ainsi le modèle à concentrer son raisonnement sur les conflits/accords identifiés.

3. Contributions clés

• Premier cadre pour des explications orientées incertitude : CLUE est le premier système à générer des NLE qui retracent explicitement l'incertitude du modèle vers des segments de preuves conflictuels ou concordants spécifiques.
• Boîte blanche et Plug-and-Play : Il fonctionne sans fine-tuning, en utilisant les signaux internes du modèle (logits et attention) pour garantir que les explications sont fidèles au processus de raisonnement réel du modèle.
• Mécanisme dual : Il introduit une comparaison entre le prompting piloté par instruction et le pilotage de l'attention pour optimiser la génération d'explications d'incertitude.
• Conception centrée sur l'humain : Le cadre répond aux besoins pratiques des vérificateurs de faits en « montrant le travail » derrière une décision, en mettant spécifiquement en évidence où existent les tensions de preuves.

4. Résultats expérimentaux

Le cadre a été évalué sur trois LLM (Qwen2.5-14B, Gemma-2-9B, OLMo-2-13B) et deux jeux de données (HealthVer et DRUID).

Évaluation automatique

• Fidélité (Entropy-CCT) : Les auteurs ont introduit Entropy-CCT, une métrique mesurant la corrélation entre la présence d'un token perturbé dans l'explication et le changement résultant dans l'entropie prédictive du modèle.
  • Résultat : Les méthodes de prompting de base ont montré une fidélité négative (elles mentionnaient des tokens non importants). Les deux variantes de CLUE ont inversé cela, CLUE-Span+Steering obtenant la corrélation positive la plus élevée (jusqu'à $r_{pb} = 0,102$), indiquant que les explications reflètent fidèlement les sources d'incertitude du modèle.
• Couverture des segments et extranéité : Les variantes de CLUE ont couvert davantage des segments critiques extraits et introduit moins de segments non pertinents par rapport aux bases de référence.
• Enchaînement Étiquette-Explication : Les explications de CLUE étaient plus logiquement cohérentes avec les verdicts prédits.

Évaluation humaine

• Participants : 12 évaluateurs humains ont évalué 120 explications.
• Préférence : Les explications générées par CLUE ont été classées comme préférence première dans 67 à 78 % des cas, contre 24 à 34 % pour la base de référence.
• Métriques qualitatives : Les explications de CLUE ont été notées significativement plus haut en termes d'Utilité, de Couverture, de Non-redondance et de Cohérence.
• Compromis : Un léger compromis a été observé entre les deux variantes de CLUE : CLUE-Span+Steering a obtenu une fidélité plus élevée (adhérant strictement aux segments extraits), tandis que CLUE-Span a parfois été noté légèrement plus haut en termes de qualité globale/plausibilité, probablement en raison d'une meilleure fluidité lorsque les segments extraits étaient fragmentaires.

5. Signification et impact

• Combler le fossé Humain-IA : En reliant explicitement l'incertitude aux conflits de preuves, CLUE permet aux vérificateurs humains de comprendre pourquoi une IA est incertaine, leur permettant de cibler leurs efforts de vérification plus efficacement.
• Fiabilité dans les tâches à haut risque : La méthode va au-delà de la simple prédiction de verdict pour fournir des insights actionnables, ce qui est crucial dans des domaines comme la santé et les actualités où la désinformation peut causer des dommages.
• Généralisabilité : Le cadre est applicable à toute tâche de raisonnement multi-document impliquant des informations conflictuelles, telles que la réponse à des questions ou la génération augmentée par la récupération (RAG).
• Voies futures : L'article souligne la nécessité d'une meilleure extraction de segments (pour éviter les segments fragmentaires) et de recherches supplémentaires sur l'équilibre entre fidélité et plausibilité dans la génération d'explications.

En conclusion, CLUE représente une avancée significative dans l'intelligence artificielle explicable (XAI) pour la vérification des faits, déplaçant le focus de la justification d'un verdict vers l'explication des sources d'incertitude grâce à un raisonnement ancré et fondé sur des preuves.