💬 NLP

Same Meaning, Different Scores: Lexical and Syntactic Sensitivity in LLM Evaluation

Cette étude démontre que les modèles de langage de grande taille (LLM) sont sensibles aux variations lexicales et syntaxiques qui préservent le sens, ce qui déstabilise les classements de performance et révèle une dépendance aux motifs de surface plutôt qu'à une compétence linguistique abstraite.

Auteurs originaux : Bogdan Kostić, Conor Fallon, Julian Risch, Alexander Löser

Publié 2026-02-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Bogdan Kostić, Conor Fallon, Julian Risch, Alexander Löser

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎭 Le Grand Théâtre des IA : Quand un changement de costume fait chuter le spectacle

Imaginez que les Grands Modèles de Langage (LLM), comme les IA que nous utilisons aujourd'hui, soient des acteurs de théâtre très talentueux. Ils ont appris par cœur des millions de lignes de scripts (leurs données d'entraînement).

L'article pose une question cruciale : Ces acteurs comprennent-ils vraiment l'histoire qu'ils racontent, ou se contentent-ils de mémoriser les mots exacts et la mise en scène ?

Pour le savoir, les chercheurs ont organisé un test spécial. Ils ont pris 23 acteurs (différentes IA) et leur ont fait jouer la même pièce, mais avec deux types de modifications subtiles :

Le changement de costume (Variation Lexicale) : On remplace les mots par des synonymes. Au lieu de dire "Le chien court", on dit "Le toutou se dépêche". Le sens est identique, mais les mots changent.
Le changement de mise en scène (Variation Syntaxique) : On réorganise la phrase sans changer les mots. Au lieu de "Le chien court", on dit "C'est le chien qui court". La structure change, mais les mots restent les mêmes.

📉 Les Résultats Surprenants

Voici ce que les chercheurs ont découvert, traduit en analogies simples :

1. Les IA sont des "mots-clés" et non des "compréhenseurs"

C'est la découverte la plus frappante.

L'analogie : Imaginez un étudiant qui a appris son cours par cœur mot pour mot. Si l'examinateur change un mot clé (ex: dire "pomme" au lieu de "fruit"), l'étudiant panique et échoue. Mais si l'examinateur change simplement l'ordre des phrases dans la question, l'étudiant s'en sort mieux car il reconnaît les mots.
Le résultat : Les IA ont beaucoup plus de mal avec les changements de mots (synonymes) que avec les changements de structure. Cela suggère qu'elles ne comprennent pas vraiment la grammaire profonde ou le sens abstrait ; elles repèrent surtout des motifs de surface (des combinaisons de mots spécifiques).

2. Les classements (Leaderboards) sont fragiles comme du verre

Aujourd'hui, on classe les IA du "meilleur" au "pire" sur des tableaux de scores publics (comme un classement de tennis).

L'analogie : C'est comme si le classement d'un marathonien changeait radicalement juste parce qu'il a couru sur un terrain légèrement boueux au lieu de l'asphalte, même si sa vitesse réelle est la même.
Le résultat : En changeant simplement quelques mots dans les questions, les chercheurs ont vu les rangs des IA changer de façon chaotique. Une IA qui était 1ère peut tomber à la 12ème place, et une autre peut grimper. Cela signifie que les classements actuels ne sont pas fiables pour choisir la "vraie" meilleure IA, car ils dépendent trop de la formulation exacte des questions.

3. "Plus gros" ne veut pas dire "plus robuste"

On pense souvent que plus une IA est grande (plus elle a de "cerveau" ou de paramètres), plus elle est intelligente et résistante aux erreurs.

L'analogie : C'est comme croire qu'un éléphant est forcément plus agile qu'une souris. Parfois, l'éléphant trébuche sur un petit obstacle que la souris saute facilement.
Le résultat : Les chercheurs ont prouvé que la taille n'est pas une garantie de sécurité. Sur certaines tâches, les très grandes IA sont même plus fragiles que les petites ! La robustesse dépend de la tâche à accomplir, pas juste de la taille du modèle.

🏗️ Pourquoi est-ce important ? (La leçon à retenir)

Imaginez que vous utilisez une IA pour diagnostiquer une maladie ou pour conduire une voiture autonome. Si cette IA est sensible au fait qu'on ait écrit "accident" au lieu de "collision", ou "freiner" au lieu de "ralentir", c'est un danger énorme.

Les conclusions de l'article sont un appel à l'action :

Arrêtons de nous fier uniquement aux scores statiques sur les tableaux de classement.
Nous devons tester les IA avec des "pièges" linguistiques (changer les mots, changer la structure) pour voir si elles sont vraiment intelligentes ou si elles trichent en mémorisant des patterns.
La robustesse (la capacité à rester stable malgré les variations) devrait devenir un critère aussi important que la performance brute.

En résumé : Les IA actuelles sont comme des perroquets très savants qui répètent ce qu'elles ont entendu, mais qui paniquent si on change légèrement le vocabulaire. Il faut les entraîner à comprendre le sens, pas juste les mots.

1. Problématique et Contexte

L'avancement rapide des Grands Modèles de Langage (LLM) a établi les benchmarks standardisés comme l'outil principal pour comparer les modèles. Cependant, la fiabilité de ces évaluations est de plus en plus remise en question. Les auteurs soulignent deux problèmes majeurs :

La fuite de données : Les ensembles de test des benchmarks peuvent avoir été inclus dans les corpus d'entraînement massifs et non divulgués.
La sensibilité aux variations superficielles : Les performances des modèles se dégradent souvent de manière significative face à des variations mineures et sémantiquement équivalentes dans les invites (prompts), telles que des changements de mots ou de structure syntaxique.

La question centrale de cet article est de déterminer si cette variance de performance est davantage pilotée par des déplacements lexicaux (changement de mots) ou par des altérations de la structure syntaxique, et comment cela affecte la stabilité des classements (leaderboards).

2. Méthodologie

Les auteurs ont conçu une étude empirique rigoureuse en trois étapes :

A. Sélection des Données et des Modèles

Benchmarks : Trois jeux de données diversifiés ont été sélectionnés pour couvrir différents types de tâches :
- MMLU : Questions à choix multiples (QA) couvrant les humanités, les sciences sociales et les STEM.
- SQuAD : QA extractive sur des articles Wikipédia.
- AMEGA : Benchmark clinique exigeant des réponses libres et évaluant l'adhésion aux directives médicales.
Modèles : Une cohorte de 23 LLMs d'état de l'art a été évaluée, variant en taille (de ~0,3B à ~235B paramètres), en architecture (transformers denses vs mixture-of-experts) et en accessibilité (poids ouverts vs propriétaires). Tous les tests ont été effectués en mode zero-shot avec une température fixée à 0 pour garantir la reproductibilité.

B. Génération de Perturbations (Préservant le sens)

Deux pipelines linguistiquement fondés ont été développés pour générer des variations « vérité-conditionnellement équivalentes » (c'est-à-dire que le sens logique reste inchangé) :

Perturbation Lexicale : Utilisation d'un LLM (Llama-3.3-70B) pour effectuer une substitution guidée de synonymes. Le modèle remplace les mots par des synonymes contextuellement appropriés tout en préservant la terminologie spécifique au domaine et le sens global. Pour SQuAD, une contrainte stricte a été appliquée pour ne pas modifier la chaîne de réponse exacte dans le texte.
Perturbation Syntaxique : Utilisation d'un pipeline en deux étapes basé sur l'analyse de dépendances (via spaCy) et un LLM. Le système identifie les constituants grammaticaux (sujets, objets, compléments) et applique des transformations syntaxiques valides (ex: voix active/passive, extraposition, mouvement wh, alternance datives) sans changer les mots eux-mêmes.

C. Évaluation et Métriques

Les modèles ont été évalués sur les versions originales et perturbées.
Métriques : Précision (MMLU), Exact Match/F1/Semantic Answer Similarity (SQuAD), et score d'adhésion aux directives (AMEGA).
Analyse Statistique :
- Test de McNemar pour vérifier la significativité des changements de performance au sein d'un même modèle.
- Test de Wilcoxon pour comparer les distributions de scores entre les versions originales et perturbées.
- Corrélation de rang de Kendall ( $\tau$ ) pour mesurer la stabilité des classements (leaderboards) avant et après perturbation.

3. Contributions Principales

L'article apporte trois contributions majeures à la communauté :

Prédominance des indices lexicaux : Les LLMs dépendent davantage de motifs lexicaux de surface que d'une compréhension abstraite de la structure syntaxique.
Fragilité des Leaderboards : Les classements statiques sont instables ; de minuscules changements de sens préservé suffisent à modifier significativement le classement des modèles, remettant en cause leur fiabilité pour la sélection de modèles.
Absence de corrélation universelle Taille/Résistance : L'hypothèse selon laquelle « plus le modèle est grand, plus il est robuste » est réfutée. La relation entre la taille du modèle et la robustesse est dépendante de la tâche et non monotone.

4. Résultats Clés

A. Sensibilité Lexicale vs Syntaxique

Lexical : Les perturbations lexicales entraînent une dégradation de performance statistiquement significative et substantielle pour presque tous les modèles et toutes les tâches.
- Exemple MMLU : Chute moyenne de 7,72 points de précision.
Syntaxique : Les effets sont plus hétérogènes et généralement plus faibles. Dans certains cas, les perturbations syntaxiques peuvent même améliorer légèrement les résultats.
- Exemple MMLU : Chute moyenne de 1,64 point.
Conclusion : Les modèles sont beaucoup plus sensibles aux changements de mots qu'aux réorganisations grammaticales, suggérant un manque de compétence linguistique abstraite.

B. Instabilité des Classements (Leaderboards)

Les perturbations modifient les rangs relatifs des modèles.
MMLU : Les classements restent relativement stables ( $\tau \approx 0,98$ ).
SQuAD et AMEGA : Les classements deviennent très volatils.
- Sur SQuAD, sous perturbation lexicale, le rang de Kendall chute à 0,93 (seulement accord modéré).
- Des modèles comme GPT-4.1-Nano peuvent chuter de la 8ème à la 12ème place, tandis que d'autres peuvent grimper significativement.
Cela indique que les modèles performants sur les benchmarks actuels pourraient simplement être ceux qui « sur-apprennent » (overfit) les formulations spécifiques des données d'entraînement plutôt que d'avoir une véritable capacité de généralisation.

C. Relation Taille vs Robustesse

L'analyse de la corrélation entre la taille du modèle (nombre de paramètres) et la chute de performance révèle des tendances contradictoires selon la tâche :

MMLU : Corrélation positive ( $r = 0,84$ ). Les modèles plus grands sont moins robustes (plus fragiles) aux perturbations lexicales sur ce benchmark.
SQuAD et AMEGA : Corrélation négative ( $r = -0,47$ et $-0,67$). Les modèles plus grands sont plus robustes sur ces tâches.
Conclusion : L'échelle ne confère pas une stabilité universelle. L'effet de la taille est contingent à la nature de la tâche.

5. Signification et Implications

Cette étude met en lumière des défis critiques pour l'évaluation des LLMs :

Vulnérabilité des applications à haut risque : La sensibilité aux choix lexicaux constitue une faille critique, notamment dans des domaines comme la médecine ou le droit, où une légère variation de formulation pourrait changer le résultat d'un modèle.
Nécessité d'une nouvelle norme d'évaluation : Les benchmarks statiques ne suffisent plus. Les auteurs plaident pour l'intégration systématique de tests de robustesse (incluant des perturbations lexicales et syntaxiques) dans les protocoles d'évaluation standards.
Vers une science des données véridique : Pour établir la confiance dans les modèles basés sur les données, la stabilité des résultats face à des variations raisonnables doit devenir un pilier central, au même titre que la précision brute.

En résumé, l'article démontre que les LLMs actuels, malgré leur taille croissante, restent fondamentalement fragiles face aux variations linguistiques de surface, et que les classements actuels sont des indicateurs trompeurs de la véritable capacité de généralisation des modèles.