💬 NLP

Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy

Cet article révèle que les grands modèles de langage présentent souvent une instabilité significative dans leurs réponses face à des paraphrases préservant le sens, démontrant que les mesures de précision standard peuvent masquer des problèmes de fiabilité et que les stratégies d'auto-paraphrase peuvent efficacement récupérer les connaissances latentes pour améliorer les performances.

Auteurs originaux : Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

Publié 2026-07-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'illusion du robot parfait

Imaginez que vous parlez à un ami robot très intelligent qui a lu presque tous les livres de la bibliothèque. Vous lui posez une question simple, et il vous donne une réponse brillante et correcte. Vous vous sentez confiant, n'est-ce pas ? Mais et si vous posiez exactement la même question, en utilisant simplement des mots légèrement différents ? Vous donnerait-il toujours la même réponse ? C'est la grande question derrière une nouvelle étude de chercheurs en informatique de l'Université du Maryland. Ils étudient les « Large Language Models » (LLM), qui sont les cerveaux d'IA super-intelligents derrière des outils comme les chatbots. Ces modèles sont célèbres pour leur précision lors des tests, mais cette étude pose une question délicate : sont-ils réellement fiables, ou sont-ils simplement doués pour deviner en fonction de la façon dont une question est formulée ? Voyez cela comme un étudiant qui mémorise la formulation exacte d'un examen blanc. Si vous modifiez légèrement la question, l'étudiant connaît-il toujours la réponse, ou est-il confus ? Les chercheurs voulaient savoir si ces modèles d'IA comprennent vraiment le monde ou s'ils jouent simplement à un jeu d'« association de mots ».

La même question, la mauvaise réponse

Les chercheurs ont décidé de jouer à un jeu avec 13 modèles d'IA différents, allant de modèles plus petits et en open-source aux modèles massifs et puissants utilisés par les géants de la technologie. Ils ont pris des questions sur des faits réels (comme « Combien de parties d'échecs Anderssen a-t-il perdu en 1864 ? ») et des problèmes mathématiques, puis ils ont posé aux modèles les mêmes questions exactes, mais réécrites de des dizaines de manières différentes. Ils se sont assurés que les nouvelles questions signifiaient exactement la même chose, tout comme dire « Comment vas-tu ? » plutôt que « Ça va ? » ou « Quoi de neuf ? ».

Voici le retournement de situation surprenant qu'ils ont découvert : les modèles d'IA étaient souvent incohérents. Même si les questions signifiaient la même chose, les modèles donnaient parfois la bonne réponse la première fois, puis se trompaient lorsque la question était reformulée. En fait, pour de nombreuses questions, les modèles basculaient entre le bon et le faux selon la formulation. L'étude a révélé que les taux d'incohérence — où le modèle donne une réponse différente à la même question — pouvaient atteindre plus de 23 %. Cela signifie que si vous posiez la même question à un modèle 100 fois de manières différentes, il pourrait vous donner une réponse différente (et fausse) près d'un quart du temps, même s'il connaissait la bonne réponse depuis le début !

L'écart de la « connaissance cachée »

La partie la plus fascinante de cette histoire est ce qu'elle révèle sur ce que l'IA « sait » réellement. Les chercheurs ont découvert que les modèles avaient souvent la bonne réponse cachée en eux. Si vous posiez la même question de suffisamment de manières différentes, le modèle finirait par avoir raison au moins une fois. Cela suggère que la connaissance est là, mais que le modèle est peu fiable pour l'extraire.

Pour visualiser cela, imaginez un étudiant passant un examen.

Précision standard : L'étudiant réussit 80 % des questions dès le premier essai.
Capacité fiable : L'étudiant réussit 80 % des questions à chaque fois que vous posez la question, peu importe la formulation.
Capacité latente : L'étudiant donne la bonne réponse au moins une fois si vous l'interrogez de 10 manières différentes.

L'étude a révélé un énorme écart entre la « Capacité fiable » et la « Capacité latente ». Les modèles savaient souvent la réponse (Latente) mais échouaient à la démontrer de manière constante (Fiable). Dans certains cas, les modèles pouvaient répondre correctement à 30 % de questions supplémentaires s'il suffisait de les poser d'une autre manière, mais ils n'y parvenaient pas lors du test standard. Cela signifie que les scores de « précision » classiques que nous voyons sur les classements peuvent masquer beaucoup d'instabilité. Les modèles ne sont pas nécessairement stupides ; ils sont simplement fragiles. Ils s'appuient sur des motifs de mots spécifiques plutôt que sur une compréhension profonde et solide.

Le « basculement » et la « correction »

Les chercheurs ont également étudié ce qu'ils appellent le « taux de basculement » (flip rate). Il s'agit du cas où un modèle répond correctement à une question la première fois, mais se trompe lorsqu'on la reformule. Ou, plus déroutant encore, il répond mal la première fois, mais réussit lorsqu'on la reformule. Ce comportement de « coup du lapin » (flip-flopping) montre que le cerveau du modèle est instable. C'est comme une boussole qui indique le Nord quand on la tient d'une certaine façon, mais qui indique l'Est si on l'incline légèrement.

Cependant, il y avait une lueur d'espoir. Les chercheurs ont testé une astuce simple appelée Auto-paraphrase. Au lieu de simplement poser une question au modèle, ils lui demandaient d'abord de réécrire la question avec ses propres mots, puis de répondre en se basant sur ces nouvelles versions. C'est comme demander à un étudiant de « relire la question dans sa tête avant de répondre ». Cette étape simple a aidé les modèles à combler l'écart, améliorant leurs performances en les aidant à accéder à cette connaissance latente cachée.

Ce que cela signifie pour l'avenir

La principale conclusion de cet article est que les scores de précision standard peuvent être trompeurs. Le fait qu'un modèle obtienne un score élevé à un test ne signifie pas qu'il est véritablement fiable dans le monde réel. Dans la vie réelle, les gens posent des questions de toutes sortes de manières étranges, et si une IA ne peut pas gérer cela, elle n'est pas prête pour le grand bain. L'étude suggère que nous devons cesser de regarder simplement « combien de questions ont été réussies ? » et commencer à demander « à quel point est-elle cohérente ? ».

Les auteurs suggèrent que pour qu'une IA soit véritablement digne de confiance, elle doit être testée sur sa capacité à rester cohérente à travers différentes formulations. D'ici là, nous pourrions surestimer la véritable intelligence de ces robots. Ils sont peut-être brillants pour mémoriser un script, mais ils doivent encore apprendre à improviser sans perdre le fil.

Résumé technique : Une même question, des réponses différentes : Évaluer la fiabilité des LLM au-delà de la précision

Énoncé du problème

Bien que les grands modèles de langage (LLM) fassent preuve d'une grande précision sur les benchmarks standards, leur fiabilité reste incertaine lorsque la même question est présentée de manières différentes mais sémantiquement équivalentes. Les pratiques d'évaluation actuelles reposent souvent sur la précision à prompt unique, ce qui peut masquer une instabilité significative. Les études existantes sur la robustesse des LLM se concentrent fréquemment sur des perturbations superficielles (ex: changements de format, bruit adversaire) ou des tâches à choix multiples, ce qui limite la variabilité des sorties. De plus, les métriques de précision agrégées occultent souvent les fluctuations au niveau de l'instance, et les études précédentes sur le paraphrasage souffrent parfois de « dérive de sens » dans les variations générées. Ce travail comble la lacune dans la compréhension du comportement des LLM sous un paraphrasage rigoureux et préservant le sens dans les tâches de génération ouverte, spécifiquement pour les questions de type factuel et le raisonnement mathématique.

Méthodologie

Les auteurs introduisent un cadre contrôlé pour évaluer la cohérence des LLM en utilisant des entrées sémantiquement équivalentes rigoureusement validées.

1. Construction de jeux de tests sémantiquement équivalents

Pour isoler l'effet de la forme de surface, l'étude génère des ensembles de paraphrases pour chaque requête originale ( $Q_0$ ) en utilisant un pipeline de validation en trois étapes :

Génération contrôlée : Un modèle à haute capacité (GPT-4.1-mini) génère des paraphrases conditionnées par des indices légers pour induire une variation structurelle ou stylistique (ex: ton, syntaxe) tout en préservant l'intention et les contraintes.
Filtrage par chevauchement lexical : Les candidats présentant un chevauchement lexical élevé (>0,8) avec l'original sont écartés pour garantir un véritable reformulage plutôt qu'une édition superficielle.
Vérification sémantique à double étape :
- Un juge LLM vérifie que la paraphrase demande exactement la même information.
- Un filtre basé sur l'NLI (facebook/bart-large-mnli) vérifie l'implication bidirectionnelle entre l'original et la paraphrase.
Validation humaine : Un sous-ensemble de paires de paraphrases (~1250) a été annoté par des humains, atteignant un accord de 92 à 98 % sur l'équivalence sémantique, confirmant la rigueur du pipeline.

2. Protocole d'évaluation

Modèles : 13 modèles ont été évalués, incluant des modèles à poids ouverts (familles Llama-3, Qwen-2.5/3 allant de 0,6B à 32B de paramètres) et des modèles propriétaires (GPT-3.5, GPT-4o, variantes GPT-4.1).
Jeux de données : Quatre benchmarks couvrant le QA factuel (SIMPLEQA, TRUTHFULQA) et le raisonnement mathématique (GSM8K, MATH-500).
Décodage : Un décodage déterministe a été utilisé pour attribuer la variabilité à l'état interne du modèle plutôt qu'au bruit d'échantillonnage stochastique.
Métriques : L'étude va au-delà de la précision standard pour définir :
- Variantes de précision : Précision originale ( $A_{orig}$ ), Précision moyenne des paraphrases ( $A_{dist}$ ), et Précision du vote majoritaire ( $A_{MV}$ ).
- Stabilité au niveau de l'instance : Taux de mismatch (désaccord entre l'original et le vote majoritaire), Taux d'inversion de prédiction (instabilité directionnelle), et Taux de non-déterminisme (ND) (fraction des ensembles avec des étiquettes distinctes).
- Limites de capacité :
  - Capacité maximale ( $A_{any}$ ) : La proportion d'instances où le modèle est correct sur au moins une paraphrase (connaissance latente).
  - Capacité fiable ( $A_{strict}$ ) : La proportion d'instances où le modèle est correct sur toutes les paraphrases (connaissance fiable).

Résultats clés

1. L'illusion de la stabilité

Les métriques de précision agrégées ne montrent que des fluctuations modérées (typiquement 0–5 %) à travers les paraphrases. Cependant, l'analyse au niveau de l'instance révèle une instabilité cachée substantielle :

Taux de mismatch élevés : Jusqu'à 23 % des questions reçoivent des étiquettes de correction différentes lorsqu'elles sont paraphrasées, même lorsque l'écart de précision globale est proche de zéro.
Non-déterminisme : Jusqu'à 47 % des ensembles de paraphrases contiennent des prédictions conflictuelles (le modèle produit des étiquettes différentes pour des entrées sémantiquement identiques).
Taux d'inversion : Les modèles répondent fréquemment correctement à la question originale mais échouent sur les paraphrases, et inversement, échouent sur l'original mais réussissent sur les paraphrases. Cela indique que la précision standard est souvent un sous-produit statistique d'erreurs compensatoires plutôt qu'une véritable fiabilité.

2. Le fossé de fiabilité

Une divergence significative existe entre la connaissance latente d'un modèle et sa performance cohérente :

Latent vs Fiable : $A_{any}$ (meilleur cas) est systématiquement plus élevé que $A_{strict}$ (pire cas). Par exemple, sur TRUTHFULQA, les modèles possèdent souvent la capacité interne de répondre correctement à 30 % de questions supplémentaires, mais ne parviennent pas à récupérer cette connaissance de manière cohérente à travers les formulations.
Tendances de mise à l'échelle : Bien que les modèles plus larges présentent généralement une meilleure stabilité et une $A_{strict}$ plus élevée, un écart persiste même dans les modèles de haute performance. Le raisonnement par chaîne de pensée (CoT) améliore à la fois la précision et la cohérence, mais n'élimine pas totalement l'instabilité.

3. Combler le fossé via l'auto-paraphrasage

L'étude démontre que le « fossé de fiabilité » peut être partiellement comblé lors de l'inférence. En employant une stratégie d'Auto-paraphrasage — où le modèle génère ses propres paraphrases pour créer un contexte plus riche avant de répondre — la performance s'est améliorée pour 6 des 7 modèles testés. Cela suggère que la connaissance latente est présente mais est récupérée de manière incohérente en raison de la sensibilité à la forme de surface.

Signification et affirmations

L'article soutient que les métriques de précision standard fournissent une vue incomplète et souvent trop optimiste de la fiabilité des LLM. Les principales contributions sont :

Révéler l'instabilité au niveau de l'instance : L'étude démontre qu'une instabilité substantielle existe sous des entrées préservant le sens, ce qui est masqué par les scores de précision agrégés.
Définir le fossé de fiabilité : Elle formalise la distinction entre la capacité latente ( $A_{any}$ ) et la capacité fiable ( $A_{strict}$ ), montrant que les modèles possèdent souvent des connaissances qu'ils ne peuvent accéder de manière fiable.
Proposer un nouveau paradigme d'évaluation : Les auteurs préconisent une évaluation sensible à la cohérence à travers les paraphrases pour mieux refléter les scénarios de déploiement réels où la formulation de l'utilisateur varie.
Atténuation pratique : Les conclusions suggèrent que des stratégies simples au moment du test, telles que l'auto-paraphrasage, peuvent agir comme un mécanisme de « débruitage » pour récupérer la connaissance latente et améliorer la robustesse sans réentraînement.

Les auteurs concluent que l'évaluation des LLM nécessite de dépasser la précision à prompt unique vers des benchmarks plus fins et sensibles à la cohérence pour évaluer précisément la véritable fiabilité et la capacité.