Résumé technique : Diagnostiquer le comportement d'arbitrage des LLM sur les états épistémiques pré-évidence dans la vérification des faits basée sur la RAG

1. Énoncé du problème

Dans la vérification des faits basée sur la Génération Augmentée par Récupération (RAG), les grands modèles de langage (LLM) agissent comme des vérificateurs qui doivent concilier leur connaissance paramétrique interne avec des preuves externes récupérées. Un défi critique et sous-exploré surgit lorsque ces deux sources sont en désaccord, une condition nommée Discrépance de Priorité-Contexte (PCD - Prior-Context Discrepancy). Cela se produit lorsque les preuves récupérées sont bruitées, temporellement obsolètes ou contrefactuelles, entrant en conflit avec les croyances préexistantes du modèle.

Les cadres d'évaluation existants mesurent principalement la précision du verdict final sur des paires d'évidences idéales et propres. Par conséquent, ils ne parviennent pas à :

1. Caractériser l'état épistémique pré-évidence du vérificateur (c'est-à-dire si le modèle est correctement confiant, incorrectement confiant, incertain mais correct, ou incertain et incorrect).
2. Mesurer comment les vérificateurs arbitrent entre des signaux conflictuels (par exemple, s'ils persistent obstinément dans un a priori erroné ou s'ils se corrigent correctement grâce à une évidence précise).
3. Distinguer les différents types d'échecs, tels qu'un modèle qui est incorrectement confiant par rapport à un modèle qui est incertain.

2. Méthodologie : Cadre PAVE

Les auteurs introduisent PAVE (Prior-Aware Verifier Evaluation), un banc d'essai de diagnostic conçu pour stratifier le comportement des LLM en fonction des états épistémiques et mesurer la dynamique d'arbitrage sous PCD.

A. Caractérisation de l'état épistémique (Frontière de Connaissance)

PAVE définit l'état pré-évidence d'un vérificateur à l'aide d'un cadre de Frontière de Connaissance (KB - Knowledge Boundary), opérationnalisé selon deux axes :

1. Exactitude Factuelle : La prédiction du modèle basée uniquement sur son a priori correspond-elle à la vérité terrain ?
2. Confiance Paramétrique : La prédiction du modèle est-elle cohérente à travers des générations stochastiques répétées ? (Haute cohérence = "CONNU" ; Basse cohérence = "INCONNU").

Cela produit quatre états épistémiques distincts :

• Connu-Sait (KK - Known-Knows) : Confiant et Correct.
• Connu-Ignore (KU - Known-Unknows) : Confiant mais Incorrect.
• Inconnu-Sait (UK - Unknown-Knows) : Incertain mais Correct.
• Inconnu-Ignore (UU - Unknown-Unknows) : Incertain et Incorrect.

B. Construction du Benchmark

Les auteurs ont construit un benchmark PCD de plus de 7 000 affirmations à travers deux dimensions :

1. Cadre Contrefactuel : Utilise des transformations contrôlées (substitution d'entités, négation sémantique) sur l'évidence de référence pour créer un contexte trompeur. Cela teste la Persistance (résister à une évidence trompeuse quand l'a priori est correct) et la Correction (se mettre à jour grâce à une évidence exacte quand l'a priori est faux).
2. Cadre Temporel : Utilise des affirmations concernant des événements survenant après la date de coupure de l'entraînement du modèle. Cela teste l'Acquisition (se mettre à jour grâce à de nouvelles évidences quand l'a priori est obsolète ou absent).

C. Métriques d'Évaluation

PAVE introduit des métriques conditionnées par l'état pour quantifier le comportement d'arbitrage :

• Taux de Correction (CR) : La capacité à rectifier les erreurs initiales lorsqu'une preuve correcte est fournie (mesuré sur $D_{wrong}$).
• Taux de Persistance (PR) : La capacité à maintenir des prédictions correctes lorsqu'on est exposé à une preuve contrefactuelle trompeuse (mesuré sur $D_{correct}$).
• Marge (Margin) : Une métrique différentielle définie comme $CR + PR - 1$. Une marge positive indique qu'un modèle est plus susceptible d'être corrigé par une évidence exacte que d'être induit en erreur par un contexte inexact.
• Odds d'Influence (OI) : Mesure l'élasticité relative de la confiance d'un modèle, comparant les probabilités de changer de réponse par rapport au maintien de la réponse sous différents états épistémiques.

D. Méthode d'Arbitrage au Temps de Test

Sur la base des conclusions de PAVE, les auteurs proposent une méthode d'arbitrage légère, sans réentraînement, utilisant la Divergence de Jensen-Shannon (JSD) :

• La méthode échantillonne $K$ prédictions pour une affirmation sous deux conditions : avec évidence externe ($p_{ext}$) et sans ($p_{par}$).
• Elle calcule la stabilité (cohérence) de ces prédictions en utilisant la JSD.
• Règle de Décision : Si la différence de JSD ($\Delta = JSD_{par} - JSD_{ext}$) tombe en dessous d'un seuil calibré $\tau$, le modèle fait confiance à son a priori interne ; sinon, il fait confiance à l'évidence externe. Cela permet au système de sélectionner dynamiquement la source la plus fiable sans réentraînement.

3. Résultats Clés

Les auteurs ont évalué sept LLM (allant de 7B à 617B de paramètres, incluant GPT-4o-mini, Llama3, Deepseek-v3, etc.) en utilisant le cadre PAVE.

• États Épistémiques Hétérogènes : Les modèles présentent une variation significative dans leurs profils de confiance interne. Par exemple, Mistral-7B et Phi-4 montrent une grande incertitude (nombreux états "INCONNU"), tandis que d'autres sont hautement confiants.
• Exactitude de l'A Priori $\neq$ Arbitrage Robuste : Une exactitude élevée de l'a priori seul ne garantit pas la robustesse sous PCD. Par exemple, Qwen3-32B avait une exactitude d'a priori élevée mais a subi une chute massive de performance (43,02 points) sous PCD, tandis que Deepseek-v3 a montré une chute bien moindre (19,11 points) et une Marge positive (+0,235).
• La Sélection du Modèle est Critique : Des modèles comme Deepseek-v3 et Gemini-2.5-flash démontrent un équilibre souhaitable (haute persistance quand correct, haute correction quand incorrect). En revanche, des modèles comme Llama3-8B et Mistral-7B sont "obstinés", favorisant fréquemment des a priori internes erronés au détriment d'une évidence externe exacte.
• Effets d'Échelle : Les modèles plus grands (ex: Llama3-70B) démontrent un meilleur étalonnage de l'arbitrage, atteignant des Marges plus élevées que leurs variantes plus petites (1B, 3B), suggérant que l'échelle améliore la capacité à résoudre les divergences.
• Motifs d'Assimilation de l'Évidence :
  • Temporel vs Contrefactuel : Les modèles sont généralement plus réceptifs à l'acquisition de nouvelles connaissances (cadre temporel) qu'à la révision de croyances fausses (cadre contrefactuel).
  • Biais de Label : Les modèles montrent une confiance interne plus élevée pour réfuter des affirmations fausses que pour confirmer des affirmations vraies.
• Performance de la Méthode d'Arbitrage : La méthode proposée basée sur la JSD a obtenu la meilleure précision globale ou une précision compétitive dans 5 des 6 familles de LLM évaluées. Elle était particulièrement efficace pour les petits modèles (ex: Mistral-7B), surpassant la deuxième meilleure ligne de base de 6,58 points absolus. La méthode reste efficace même avec un faible budget de calcul ($K=3$ exécutions).

4. Signification et Contributions

Le papier revendique quatre contributions principales :

1. Formulation : Il recadre la vérification des faits par LLM sous PCD comme un problème d'arbitrage conditionné par l'épistémologie, déplaçant le focus de l'évaluation de l'exactitude du verdict final vers la dynamique d'équilibre entre les a priori internes et l'évidence externe.
2. Banc d'essai de Diagnostic (PAVE) : Il introduit un cadre comprenant un benchmark contrôlé pour induire la PCD, une stratification KB pour les états pré-évidence, et des métriques conditionnées par l'état (CR, PR, Marge, OI) pour diagnostiquer des comportements d'arbitrage spécifiques.
3. Évaluation Systématique : Il fournit une analyse complète de sept LLM, révélant des profils d'arbitrage distincts et offrant des conseils pratiques pour la sélection de modèles dans les systèmes basés sur la RAG.
4. Intervention Pratique : Il propose une méthode d'arbitrage légère au temps de test, basée sur la JSD, qui améliore la fiabilité factuelle sans modifier le modèle sous-jacent, démontant que les signaux de diagnostic peuvent être opérationnalisés pour un déploiement immédiat.

Les auteurs soulignent que leur travail met en lumière les limites des métriques d'exactitude standard et la nécessité de comprendre comment un modèle parvient à un verdict, particulièrement lorsque les sources entrent en conflit. Ils reconnaissent les limites concernant la portée (vérification binaire des faits, excluant les scénarios où "les deux sources sont incorrectes") et le potentiel d'artefacts de génération dans la construction contrefactuelle, mais affirment que les conclusions fondamentales concernant les profils d'arbitrage restent stables à travers les configurations.