Résumé technique : Matrice d'évaluation par paires (Eval-Pair Matrix)

Énoncé du problème

Les systèmes de génération augmentée par récupération (RAG) font face à un défi d'évaluation critique : une réponse peut être fluide et bien citée tout en contredisant les passages sources. Bien que l'approche « LLM-as-a-judge » (le LLM comme juge) soit devenue un standard pour évaluer le RAG en raison de sa rapidité et de sa capacité à produire des raisonnements structurés, un écart méthodologique important subsiste lorsque le générateur et le juge appartiennent à la même famille de modèles.

La littérature existante sur l'auto-préférence (par exemple, Dubois et al., 2024 ; Shi et al., 2024) suggère que les juges peuvent favoriser les sorties de leur propre famille de modèles. Cependant, il s'agit souvent d'un problème d'identification : un juge peut préférer sa propre production parce qu'elle est stylistiquement familière ou de haute qualité, plutôt qu'en raison d'une « auto-indulgence » (échec à pénaliser les erreurs). Dans le cadre du RAG ancré dans la source, la tâche passe de la préférence à la cohérence factuelle. La question fondamentale est de savoir si un juge échoue à détecter les contradictions dans la sortie de son propre modèle lorsque ces contradictions sont induites et cachées au juge.

Méthodologie : Matrice d'évaluation par paires (Eval-Pair Matrix)

Les auteurs introduisent l'Eval-Pair Matrix, un protocole de méta-évaluation contrôlé conçu pour isoler les effets de jugement du même modèle de la qualité du générateur et de la difficulté de la réponse.

1. Construction des données et perturbation

L'étude utilise GaRAGe, un benchmark comprenant des réponses rédigées par des humains et un ancrage au niveau du passage.

• Perturbation : Pour chaque enregistrement, un perturbateur LLM sélectionne une proposition « causale à la réponse » (une affirmation essentielle à la réponse) et réécrit tous les passages de support pour soutenir une valeur de remplacement plausible mais fausse (par exemple, changer une statistique de 48 % à 35 %).
• Validation : Un processus de validation à cinq étapes garantit que la perturbation est valide, causale, globalement cohérente, exempte de fuite de la valeur originale, et que le passage original contredit le passage perturbé.
• Jeu de données : L'analyse finale utilise 275 enregistrements entièrement validés (à partir d'un pool initial de 300), générant 897 réponses utilisables.

2. Conception de la matrice croisée

L'expérience emploie une matrice croisée $3 \times 3$ utilisant trois familles de modèles : GPT, Grok et Gemini.

• Générateurs : Chaque modèle génère des réponses en utilisant uniquement l'ancrage perturbé (faux).
• Juges : Les trois mêmes modèles agissent comme des juges aveugles. Ils évaluent les réponses générées par rapport à l'ancrage original (non perturbé).
• Aveuglement : Les juges voient la question, la réponse candidate et les passages originaux. Ils sont aveugles à la perturbation, à l'identité du générateur et à l'erreur induite.

3. L'estimand apparié par réponse

L'analyse traditionnelle compare les cellules diagonales (même modèle) aux cellules hors-diagonales (modèles croisés). Les auteurs soutiennent que cela est infériorel sur le plan inférentiel car cela compare des réponses différentes avec des styles et des taux de refus variables.
Au lieu de cela, l'Eval-Pair Matrix utilise un estimand apparié par réponse :

• Pour une réponse candidate spécifique générée par un modèle $G$, les trois juges évaluent cette même réponse.
• L'analyse compare le juge correspondant (le modèle $G$) aux juges non correspondants (les deux autres modèles) sur l'exacte même réponse.
• Cela isole l'« effet de même modèle » des comportements spécifiques au générateur (par exemple, les taux de refus, le style).

4. Étiquetage et évaluation humaine

• Étiquettes de comportement : Les réponses sont étiquetées par comportement (ex. : « Suivi du contexte », « Écrasement de la mémoire », « Refus/insuffisance »).
• Adoption de l'erreur induite : Un évaluateur d'étiquettes distinct détermine si la réponse a adopté la fausse affirmation induite.
• Audit humain : Une évaluation humaine ciblée a examiné 88 cas, se concentrant spécifiquement sur les « faux positifs apparents » (où le juge a signalé une erreur, mais la réponse a évité la réclamation induite).

Résultats clés

1. Pas d'auto-indulgence robuste sur la détection d'erreurs

Contrairement à l'hypothèse selon laquelle les juges sont indulgents envers les erreurs de leur propre modèle :

• Effet de rappel global : L'analyse appariée n'a trouvé aucune preuve robuste que les juges du même modèle manquent les erreurs induites dans les réponses de leur propre modèle. La différence de rappel est proche de zéro ($\Delta = -0,5$ point de pourcentage ; IC 95 % $[-2,7, +1,7]$).
• Scores F1 : Le F1 brut de la diagonale (84,4 %) et le F1 hors-diagonale (83,4 %) sont statistiquement similaires.

2. L'écart de l'« évitement de réclamation »

Le seul écart robuste observé concernait les réponses qui évitaient la fausse réclamation induite (par exemple, par un refus ou une nuance).

• Constat : Les juges correspondants ont signalé ces réponses moins souvent que les juges non correspondants ($\Delta = -4,3$ pp ; IC 95 % $[-6,6, -2,0]$).
• Interprétation : Il ne s'agit pas d'un taux de faux positifs plus bas. L'étiquette « évitement de réclamation » vérifie uniquement si la erreur induite spécifique a été adoptée. Cependant, la tâche du juge est de signaler toute erreur factuelle par rapport à la source. Les réponses ayant évité la réclamation induite contenaient souvent d'autres erreurs relatives à la source (ex. : hallucinations sur des faits non liés ou attributions incorrectes).

3. Évaluation humaine des faux positifs apparents

Les auteurs ont audité 25 « faux positifs apparents » (réponses signalées par le juge mais étiquetées comme « évitant la réclamation induite »).

• Résultat : Aucun n'était un véritable faux positif.
  • 22 étaient des détections valides d'autres erreurs de source.
  • 2 étaient des erreurs dans l'étiquetage de l'adoption de l'erreur induite.
  • 1 était un cas peu clair.
• Conclusion : L'écart observé est un décalage entre l'étiquette et la tâche, et non une preuve d'auto-indulgence. L'étiquette d'adoption est trop étroite pour capturer la tâche plus large du juge consistant à détecter toute erreur d'ancrage dans la source.

4. Localisation

Lorsque les juges ont signalé des erreurs, ils ont correctement identifié le passage source dans 94,0 à 98,5 % des cas, démontant une haute précision dans la localisation des contradictions.

Contributions et importance

Contributions méthodologiques

1. Protocole : Une configuration de méta-évaluation contrôlée utilisant des contradictions de source localisées et cachées ainsi qu'un jugement aveugle.
2. Estimand apparié : Un passage de la comparaison de différentes distributions de réponses à la comparaison de juges sur la même réponse candidate, contrôlant efficacement la difficulté et le style du générateur.
3. Stratification par comportement : Démontrer que les comportements du générateur (refus, nuances) impactent significativement les métriques d'évaluation et doivent être analysés séparément.

Résultats empiriques

• Réfutation de l'auto-indulgence généralisée : Dans le RAG centré sur les faits, il n'y a aucune preuve robuste que les juges du même modèle ignorent les erreurs induites dans leurs propres réponses.
• Réinterprétation des écarts : Les divergences apparentes dans les taux de signalement sont mieux expliquées par le désalignement entre les étiquettes étroites d'« adoption » et la tâche plus large de détection de « toute erreur » du juge, plutôt que par un biais du modèle.

Importance

L'article soutient que le jugement RAG du même modèle est un problème d'identification, et non une interdiction binaire. Bien que les comparaisons brutes de diagonale versus hors-diagonale soient descriptivement utiles, elles sont infériorellement insuffisantes. Pour formuler des affirmations valides sur l'auto-indulgence, les études doivent :

• Rapporter les matrices complètes juge-par-générateur.
• Utiliser des effets appariés par réponse.
• Stratifier par comportement du générateur.
• Assurer l'alignement entre les étiquettes de vérité terrain et la tâche spécifique de détection d'erreurs assignée au juge.

L'étude suggère que l'ancrage factuel peut réduire les effets de préférence de soi liés au style observés dans les tâches de préférence en texte ouvert, mais introduit de nouvelles complexités concernant la manière dont les « erreurs » sont définies et étiquetées dans la génération ancrée.