💬 NLP

When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation

Cette étude empirique de 68 cellules expérimentales couvrant dix grands modèles de langage démontre que les perturbations porteuses de sens perturbent le raisonnement des agents et leurs réponses finales de manière nettement plus significative que le bruit basé sur la présentation d'une sévérité comparable, une découverte validée sur un modèle réservé et attribuée à un mécanisme de « divergence furtive » où le bruit sémantique induit une divergence dans les étapes intermédiaires du raisonnement plutôt que dans les actions initiales.

Auteurs originaux : Liyun Zhang, Jiayi Guo

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Liyun Zhang, Jiayi Guo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant très intelligent et surperformant (un Agent IA) qui résout des problèmes complexes de mathématiques et de logique en se parlant à voix haute. Cet étudiant écrit chaque étape de sa réflexion avant de donner la réponse finale. C'est ce qu'on appelle la « Chaîne de Pensée ».

Les chercheurs de cet article voulaient savoir : Est-ce que la façon dont vous posez une question à l'étudiant a de l'importance ?

Plus précisément, ils ont testé deux types de « bruit » ou de modifications apportées à la question :

Le changement de « Sens » : Reformuler la question en utilisant des synonymes ou en la paraphrasant (par exemple, changer « Combien de pommes ? » en « Quel est le nombre total de fruits ? »). Le sens reste le même, mais les mots sont différents.
Le changement de « Présentation » : Mélanger l'ordre des mots, changer la police d'écriture, ajouter des phrases aléatoires distractives, ou perturber l'espacement. Le sens reste le même, mais l'apparence est différente.

La Grande Découverte : La « Corruption Silencieuse »

Les chercheurs ont découvert un écart surprenant. Lorsqu'ils modifiaient les mots (changement de Sens), l'étudiant avait beaucoup plus de chances de donner la mauvaise réponse à la fin, même si la question signifiait la même chose. Lorsqu'ils ne changeaient que le format (changement de Présentation), l'étudiant avait beaucoup plus de chances de réussir.

C'est comme si l'étudiant était très sensible à ce que vous dites, mais moins sensible à comment vous le dites.

Comment Ils Ont Testé Cela

Ils ne se sont pas contentés de deviner ; ils ont mené une expérience massive :

La Classe : Ils ont utilisé 10 « étudiants » (modèles d'IA) différents issus de 7 familles différentes (comme Llama, Qwen, Mistral, etc.).
Les Devoirs : Ils leur ont soumis 3 types de tests différents (Mathématiques, Logique et Compréhension de lecture).
Le Volume : Ils ont pris 1 530 questions originales et en ont créé environ 11 000 variantes.
Le Test de Résistance : Ils ont veillé à ce que les changements de « Sens » et les changements de « Présentation » soient également difficiles à gérer (afin de pouvoir les comparer équitablement).

Le Résultat : En moyenne, les changements de « Sens » ont fait échouer l'IA 20 % plus souvent que les changements de « Présentation ». Cela s'est produit dans 64 des 68 scénarios de test différents.

Le Mystère de la « Divergence Furtive »

Voici la partie la plus intéressante. Les chercheurs ont examiné les notes étape par étape de l'étudiant (la « trace ») pour voir quand l'erreur se produisait.

Ils s'attendaient à ce que, si vous changez le sens de la question, l'étudiant se perde immédiatement et commence à écrire des absurdités dès le début.

Ce qu'ils ont trouvé à la place : L'étudiant a commencé correctement ! La toute première étape de sa réflexion était identique pour les deux types de changements.
La Surprise : À partir de l'Étape 2, les pensées internes de l'étudiant ont commencé à diverger. Les changements de « Sens » ont provoqué une « corruption silencieuse ». L'étudiant continuait d'écrire, mais sa logique interne devenait progressivement confuse, menant à une mauvaise réponse à la fin.
La Métaphore : Imaginez deux voitures roulant sur la même route.
- Bruit de Présentation : Les panneaux de signalisation sont à l'envers ou la peinture s'écaille. Le conducteur le remarque immédiatement, s'arrête et corrige sa trajectoire.
- Bruit de Sens : Les panneaux de signalisation semblent parfaits, mais la carte dans la tête du conducteur présente une petite tache invisible. Le conducteur commence à bien rouler, mais dès le deuxième virage, il s'oriente subtilement dans la mauvaise direction, et à la fin, il est perdu. Il ne réalise jamais qu'il est hors route avant qu'il ne soit trop tard.

Ce Qu'ils N'Ont Pas Trouvé (Les Rétractations)

La science consiste à être honnête, et les auteurs ont admis qu'ils avaient tort sur deux points qu'ils pensaient connaître :

Ils pensaient que les changements de « Sens » rendraient l'étudiant confus plus vite (à l'Étape 1). Ils avaient tort ; la confusion a commencé à l'Étape 2.
Ils pensaient que l'étudiant essaierait de « corriger » ses propres erreurs moins souvent avec les changements de « Sens ». Ils avaient tort ; le taux de correction était le même.

Ils ont également constaté que cet écart « Sens contre Présentation » n'est pas le même pour chaque IA. Si vous remplacez l'outil utilisé pour générer les questions, le classement de l'IA « la plus sensible » change. Ainsi, on ne peut pas dire « Le Modèle IA X est toujours 20 % pire que le Modèle Y » sans savoir exactement comment le test a été configuré.

La Conclusion

Cette étude est une mesure. Elle prouve que les agents IA sont étonnamment fragiles lorsque vous reformulez une question, même si le sens reste le même. Ils ne cassent pas immédiatement ; ils cassent lentement et silencieusement, à partir de la deuxième étape de leur processus de réflexion.

Les auteurs ont publié toutes leurs données et leurs outils afin que d'autres chercheurs puissent vérifier leur travail, mais ils avertissent que c'est un outil de diagnostic pour les chercheurs, et non un interrupteur magique pour réparer l'IA dans le monde réel pour l'instant.

Résumé technique : Quand les agents LLM traitent-ils différemment le bruit de surface et le bruit sémantique ?

Énoncé du problème
Les agents de grands modèles de langage (LLM) déployés dans des tâches de raisonnement, de mathématiques et de recherche multi-étapes rencontrent souvent des entrées perturbées par des systèmes en amont (reformulation, mise en modèle) ou par des adversaires. Une question ouverte cruciale est de savoir si ces agents traitent le bruit lexical (opérateurs de présentation tels que le réordonnancement, le formatage ou l'ajout de leurres) et le bruit sémantique (opérateurs porteurs de sens tels que la reformulation ou la substitution de synonymes) comme équivalents. Les travaux antérieurs sur la robustesse aux perturbations se sont largement concentrés sur des modèles à étape unique ou sur des taux de réussite bruts, sans parvenir à isoler un écart directionnel entre les perturbations porteurs de sens et les perturbations de présentation dans les trajectoires d'agents multi-étapes. Cet article examine si les perturbations sémantiques entraînent des taux d'incohérence significativement plus élevés dans les réponses finales par rapport aux perturbations de présentation de sévérité comparable.

Méthodologie
Les auteurs mènent une étude de mesure à grande échelle impliquant 68 cellules (combinaisons de 10 LLM issus de 7 familles d'architectures, 3 benchmarks et 2 échafaudages de raisonnement) et une validation sur un modèle de 11e modèle.

Modèles et Benchmarks : Le panel comprend des modèles à poids ouverts (Qwen2.5, Llama-3.2/3.1, Mistral, Gemma2) et des API commerciales (MiMo-v2.5-Pro, Gemini-2.5-Flash, DeepSeek-V3). Les benchmarks sont GSM8K, MATH et HotpotQA. Les échafaudages sont la Chaîne de Pensée (CoT) et ReAct.
Opérateurs de perturbation : Cinq opérateurs sont utilisés :
- Porteurs de sens : Reformulation (réécriture complète de la question), Synonyme (substitution de mots de classe ouverte).
- Présentation : Réordonnancement (permutation de tokens/clauses), Format (espaces blancs/majuscules), Leurre (insertion de contexte non pertinent).
- Tous les opérateurs préservent la réponse or ; un juge d'équivalence filtre les variantes qui altèrent la question sous-jacente.
Métriques :
- Taux d'incohérence (IR) : Le taux auquel la réponse finale de l'agent change entre l'original et la variante perturbée.
- L'Écart ( $\Delta$ ) : Défini comme $IR_{sem} - IR_{sur}$ , où $IR_{sem}$ est la moyenne sur les opérateurs porteurs de sens et $IR_{sur}$ sur les opérateurs de présentation.
- Profondeur de cascade : Le nombre d'étapes consécutives après la première divergence où la trace perturbée ne correspond à aucune étape originale ultérieure.
Robustesse et Validation :
- Appariement de sévérité : Les variantes sont regroupées par distance d'édition, Jaccard de tokens, cosinus Sentence-BERT et ratio de changement de longueur pour garantir que les perturbations porteurs de sens et de présentation sont de sévérité comparable.
- Tests statistiques : Le bootstrap en grappes sauvages (K=10 modèles, K=7 familles) est utilisé pour résoudre les problèmes d'inférence sur de petits groupes. Un bootstrap hiérarchique est appliqué aux données de trajectoires imbriquées.
- Générateurs et Juges : Des échanges de générateurs inter-familles (Qwen contre MiMo) et un second juge LLM (MiMo contre Qwen) sont utilisés pour auditer la généralisabilité et les biais.
- Validation sur modèle tenu à l'écart : Une exécution entièrement indépendante sur qwen2.5-14B-Instruct (1 800 trajectoires) valide les résultats sans aucun réglage de paramètres.

Résultats clés

Écart d'incohérence directionnel : Sur le panel de 68 cellules, l'écart moyen apparié en sévérité est de +19,69 points de pourcentage (pp) ( $p < 0,0001$ ), avec 64/68 cellules montrant un écart positif. Cela indique que les agents sont significativement plus susceptibles de changer leur réponse finale lorsque l'entrée est perturbée sémantiquement que lorsqu'elle est perturbée par la présentation, même lorsque la sévérité est appariée.
Robustesse aux définitions de sévérité : L'écart reste stable (+18,9 à +20,9 pp) sur quatre proxies de sévérité différents (Distance d'édition, Jaccard de tokens, Sentence-BERT, Changement de longueur), confirmant que l'effet n'est pas un artefact d'une seule métrique.
Conditions limites :
- Inférence sur petits groupes : L'écart n'est pas significatif sous bootstrap en grappes sauvages au niveau modèle (K=10) ou famille (K=7), indiquant que la découverte est descriptive du panel spécifique plutôt qu'un effet causal universellement identifié.
- Traitabilité : Les proxies de traitabilité intra-benchmark (par exemple, multi-voies contre mono-voie) ne parviennent pas à identifier un contraste significatif (0/3 significatifs). Les auteurs retirent les affirmations antérieures selon lesquelles « la topologie verrouille la dichotomie ».
- Dépendance au générateur : Les échanges de générateurs inter-familles détruisent le classement par cellule (Spearman $\rho \approx 0,14$ ), tandis que les échanges intra-familles le préservent. L'ampleur spécifique de $\Delta$ est conditionnelle au générateur.
Validation sur modèle tenu à l'écart : Le 11e modèle (qwen2.5-14B) reproduit la direction de la partition capacité $\times$ traitabilité (3/4 cellules du Groupe A positives) mais pas l'ampleur (+1,08 pp en moyenne contre +19,69 pp), probablement en raison de la haute capacité de base du modèle tenu à l'écart et de sa faible sensibilité au bruit de surface.
Analyse des mécanismes (Divergence furtive) : L'analyse au niveau de la trace sur le modèle tenu à l'écart révèle un mécanisme de « divergence furtive » :
- M3 (Profondeur de cascade) : Les perturbations sémantiques cascades 0,17 étapes plus profondément que les perturbations de présentation ( $p = 2,5 \times 10^{-14}$ ).
- M4 (Similarité de pensée) : Les perturbations sémantiques laissent intacte la première action mais corrompent le contenu de la pensée intermédiaire à partir de l'étape 2, avec un écart de similarité par étape de -5,6 à -10,5 pp.
- Retraits : Deux affirmations antérieures sur les mécanismes sont explicitement retirées : M1 (les perturbations sémantiques divergent plus tôt) et M2 (les perturbations sémantiques s'autocorrigent moins souvent) n'ont pas été répliquées sur le modèle tenu à l'écart.

Signification et affirmations
L'article se positionne principalement comme une contribution de mesure. Il documente un phénomène empirique robuste où les agents LLM présentent une sensibilité systématiquement différente au bruit sémantique par rapport au bruit de surface dans le raisonnement multi-étapes.

Implication technique : Les résultats suggèrent que les stratégies de normalisation des entrées devraient prioriser la gestion des perturbations porteurs de sens (reformulations, synonymes) par rapport au bruit de présentation, car les premières entraînent des taux d'incohérence plus élevés.
Contribution méthodologique : L'étude fournit un cadre rigoureux pour mesurer la sensibilité aux perturbations chez les agents, incluant l'appariement de sévérité, l'analyse de cascade au niveau de la trace et un rapport honnête des affirmations de mécanisme non réplicables (M1, M2).
Limites : Les auteurs soulignent que les coefficients de régression ne survivent pas à une inférence stricte sur petits groupes (bootstrap sauvage), ce qui signifie que les résultats sont des associations descriptives pour le panel testé plutôt que des effets causaux identifiés. L'outil de diagnostic (AgentDiff-Probe v2) est un prototype dont la précision des signes se lie à la baseline triviale, et les auteurs mettent en garde contre son utilisation comme seul filtre pour le déploiement en production.

L'œuvre évite explicitement de revendiquer une généralisation inter-familles de l'ampleur spécifique de l'écart et retire les affirmations antérieures de monotonie linéaire concernant la capacité, recadrant la relation comme un verrou binaire sur des benchmarks traitables. Tout le code, les données et les scripts sont publiés pour examen.