Résumé technique : Le dilemme de la cohérence des LLM

Énoncé du problème

Alors que les grands modèles de langage (LLM) sont de plus en plus déployés dans des pipelines agentiques, on leur demande souvent de générer des résultats et, par la suite, d'évaluer, de filtrer ou de réviser ces mêmes résultats sans vérification externe. Ce flux de travail repose sur une hypothèse implicite : le modèle applique les concepts pertinents de manière cohérente entre ses rôles de générateur et d'évaluateur. Si un modèle emploie une compréhension d'un concept lors de la génération et une autre lors de l'évaluation, l'étape de révision devient peu fiable. Le modèle pourrait signaler un résultat sain en se basant sur un critère qu'il a ignoré lors de la génération, ou accepter un résultat défectueux parce qu'il a cessé d'appliquer une contrainte qu'il appliquait auparavant.

Bien que les benchmarks standards mesurent la connaissance des concepts par un modèle, ils ne mesurent pas si un modèle applique ces concepts de manière stable à travers différents rôles (générateur vs évaluateur). De plus, il n'est pas clair si une haute auto-cohérence est corrélée à une fiabilité accrue dans les déploiements réels, particulièrement dans des contextes à enjeux élevés où la vérification de la vérité terrain est coûteuse.

Méthodologie

1. Cadre d'auto-cohérence Générateur-Évaluateur

Les auteurs proposent une nouvelle mesure, l'auto-cohérence générateur-évaluateur, pour tester la stabilité de l'application des concepts. Le cadre fonctionne sans étiquettes de correction externes en comparant la sortie d'un modèle à son propre usage antérieur d'un concept.

• Structure : Pour un concept $c$ donné, on demande d'abord à un modèle de générer une sortie répondant à un critère spécifique (étape du Générateur). Le même modèle est ensuite sollicité pour évaluer si sa sortie générée respecte ce critère (étape de l'Évaluateur).
• Notation : Une règle de notation déterministe attribue une étiquette d'accord binaire ($Z=1$ si cohérent, $0$ sinon).
• Métriques : Les auteurs rapportent un taux de cohérence corrigé du hasard ($\hat{C}_{adj}$), normalisant l'accord brut pour tenir compte de la probabilité de base de l'accord compte tenu de la structure du test (par exemple, le hasard dans les questions à choix multiples vs les jugements binaires).

2. Taxonomie des tests de cohérence

La suite d'évaluation consiste en 12 tests automatisés organisés en trois catégories qualitatives, appliquées à 491 concepts issus de benchmarks de raisonnement général (MMLU, BBH) et de déploiement (MedicalQA, GDPVal, FinanceQA) :

• Perturbations de QCM : Teste si le modèle reste cohérent lorsqu'une question à choix multiples est minimalement éditée (par exemple, en changeant la bonne réponse par "Aucune de ces réponses" ou en déplaçant l'option correcte vers une autre lettre).
• Transformations basées sur le raisonnement : Teste si le modèle peut auditer ses propres traces de raisonnement. Cela inclut la génération de réponses correctes/incorrectes avec des raisonnements corrects/incorrects/incomplets, puis le jugement de savoir si le raisonnement soutient la réponse.
• Vérifications ontologiques : Teste si le modèle maintient une organisation cohérente des concepts. Cela implique de générer des exemples, des non-exemples, des attributs ou des propriétés, puis de les valider sous des prompts connexes.

3. Étude de cas clinique : Vulnérabilité aux erreurs

Pour étudier la relation entre cohérence et fiabilité, les auteurs utilisent MedMistakes-Validated, un ensemble de vignettes cliniquement réalistes appariées à des erreurs de modèles validées par des médecins.

• Vulnérabilité aux erreurs ($Y^*$) : Pour chaque paire (modèle, concept), les auteurs mesurent la fréquence à laquelle le modèle reproduit des modes de défaillance cliniques validés. Cette mesure est agrégée via un schéma pondéré pour éviter le double comptage des erreurs multi-étiquetées.
• Analyse statistique : Un modèle logit fractionnaire pondéré est utilisé pour régresser la vulnérabilité aux erreurs sur l'auto-cohérence et la performance du benchmark (précision MedQA), en contrôlant la connaissance médicale de base.

Résultats clés

1. Variation de l'auto-cohérence

Il existe une variation substantielle de l'auto-cohérence entre 10 modèles de pointe (incluant GPT-4o, des variantes de GPT-5, Claude Opus/Sonnet, Gemini, DeepSeek et Mistral). Cette variation ne peut être expliquée uniquement par la performance sur les questions sources du benchmark. Par exemple, des modèles comme Gemini 3 et GPT-4o ont atteint un accord proche du plafond sur les tests ontologiques, tandis que d'autres ont performé nettement moins bien sur des tâches similaires.

2. Le dilemme de la cohérence

La conclusion centrale est une association positive entre l'auto-cohérence et la vulnérabilité aux erreurs dans un contexte clinique.

• Résultat empirique : Les modèles qui sont plus cohérents dans l'application de leurs concepts entre la génération et l'évaluation sont plus susceptibles de reproduire des erreurs validées par des cliniciens.
• Signification statistique : Après contrôle de la performance du benchmark, le coefficient de l'auto-cohérence est positif et significatif ($\hat{\beta}_2 = 1.116, p < 10^{-6}$).
• Entre modèles vs au sein des modèles : Cette relation est vraie entre les modèles (c'est-à-dire que le Modèle A est plus cohérent et plus vulnérable que le Modèle B), mais elle ne prédit pas la vulnérabilité au sein d'un même modèle à travers différents concepts. Lorsque des effets fixes de modèle sont ajoutés, l'association disparaît, suggérant que l'auto-cohérence est une signature comportementale au niveau du modèle plutôt qu'un prédicteur de défaillance au niveau du concept.

3. Sensibilité spécifique des tests

L'association est principalement pilotée par le test Correct pour Raisonnement Incomplet (CFIR). Ce test vérifie si un modèle génère une réponse correcte avec un raisonnement sous-spécifié, puis identifie correctement ce raisonnement comme insuffisant. Les modèles qui ne parviennent pas à signaler leur propre raisonnement incomplet (comportement incohérent) ont tendance à être moins vulnérables aux erreurs validées, tandis que les modèles hautement cohérents (identifiant souvent correctement le raisonnement incomplet) sont paradoxalement plus enclins à reproduire des modes de défaillance cliniques spécifiques.

Signification et affirmations

Le papier affirme identifier un "dilemme de la cohérence" dans les LLM :

1. Utilité opérationnelle : L'auto-cohérence est opérationnellement souhaitable pour les pipelines agentiques car elle réduit la dérive et soutient des flux de travail tels que "l'LLM-en-tant-que-juge" ou l'auto-raffinement.
2. Compromis de fiabilité : Cependant, dans le contexte de déploiement étudié (clinique), une auto-cohérence plus élevée est liée à une plus grande vulnérabilité aux erreurs connues et validées.

Implications pratiques :

• Sélection de modèles : Les praticiens ne doivent pas supposer qu'un modèle plus auto-cohérent est intrinsèquement plus sûr. Dans les contextes à enjeux élevés, les modèles hautement cohérents peuvent nécessiter une supervision humaine plus rigoureuse ou une évaluation externe plutôt que de compter sur l'auto-critique autonome.
• Outil de diagnostic : Le cadre automatisé et "boîte noire" proposé offre une méthode scalable pour diagnostiquer les risques de fiabilité causés par des erreurs systématiques répétées, complétant les benchmarks traditionnels de précision à un seul tour.

Limites :
Les auteurs notent que l'analyse de déploiement est observationnelle, non causale. Les résultats sont spécifiques à un ensemble curaté d'erreurs validées par des cliniciens et pourraient ne pas se généraliser à toutes les erreurs de déploiement. De plus, l'extraction de concepts repose sur des étiquettes générées par le modèle, ce qui peut introduire une erreur de mesure si les questions impliquent plusieurs concepts en interaction.

En conclusion, l'article soutient que la cohérence est une propriété comportementale distincte de la précision et qu'une auto-cohérence plus élevée ne se traduit pas automatiquement par une sécurité accrue dans des scénarios complexes du monde réel.