💬 NLP

Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

Cette étude révèle que, dans une tâche d'allocation de ressources contrôlée, les modèles linguistiques compressent les distinctions ordinales des mots d'intensité vague en un ensemble limité de sorties numériques, leur comportement devenant fortement dépendant de l'état actuel du système et présentant des motifs discontinus près des limites opérationnelles.

Auteurs originaux : Daniel Tabach (Georgia Institute of Technology)

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniel Tabach (Georgia Institute of Technology)

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le capitaine d'un navire, et que vous avez un second de bord très intelligent et enthousiaste (l'IA) qui contrôle le moteur. Vous souhaitez donner des instructions comme « accélérez légèrement » ou « accélérez drastiquement ».

Vous vous attendez à ce que le second de bord comprenne que « drastiquement » signifie un bond énorme de vitesse, tandis que « légèrement » signifie une petite pichenette. Mais cet article pose une question effrayante : Le second de bord comprend-il réellement la différence, ou se contente-t-il de deviner ?

L'auteur, Daniel Tabach, a mené une expérience massive pour le découvrir. Voici ce qu'il a découvert, en utilisant des analogies simples :

1. Le problème du « Seau » (Compression)

Imaginez que vous avez 10 seaux d'eau de différentes couleurs, allant de « une toute petite goutte » à « un tuyau d'incendie ». Vous demandez à l'IA de verser l'eau de ces seaux dans un seul réservoir.

Vous vous attendriez à ce que l'IA verse une toute petite goutte pour « légèrement » et un jet de tuyau d'incendie pour « drastiquement ». Au lieu de cela, l'IA agit comme un barman maladroit qui n'a que cinq gobelets.

Lorsque vous demandez « légèrement », « marginalement », « quelque peu » ou « modérément », l'IA verse exactement la même quantité dans le même gobelet (la voie médiane). Elle ne parvient pas à distinguer « un peu » de « un tout petit peu ».
Elle ne commence à utiliser des gobelets plus grands que lorsque vous employez des mots très forts comme « significativement » ou « drastiquement ».

L'essentiel : L'IA entend vos mots, mais elle les écrase. Elle ignore les détails fins et ne voit que de larges catégories.

2. L'effet « Embouteillage » (Le contexte est roi)

Maintenant, imaginez que le réservoir est déjà à moitié plein. Vous demandez à l'IA d'ajouter « drastiquement » plus d'eau.

Si le réservoir est vide, « drastiquement » signifie « remplissez-le vite ».
Si le réservoir est rempli à 90 %, « drastiquement » est impossible. Le réservoir débordera !

L'article a révélé que l'IA se soucie beaucoup plus du niveau de remplissage du réservoir (l'état actuel) que du mot que vous avez utilisé.

Lorsque le réservoir est vide, l'IA écoute attentivement vos mots.
Lorsque le réservoir est presque plein, l'IA ignore totalement vos mots. Que vous disiez « légèrement » ou « drastiquement », l'IA réalise : « Je ne peux pas ajouter beaucoup plus sans renverser », donc elle ajoute exactement la même toute petite quantité pour chaque mot.

L'essentiel : La réaction de l'IA dépend principalement de la situation, et non de votre vocabulaire. Si le système est déjà occupé, vos mots sophistiqués n'ont pas d'importance.

3. Le « Gel » au bord (Comportement aux limites)

C'est la partie la plus surprenante. L'expérience a testé ce qui se passe lorsque le réservoir est presque, mais pas tout à fait, plein (à 89 %).

Mots faibles (comme « légèrement ») : L'IA dit : « D'accord, j'ajouterai une toute petite goutte. »
Mots forts (comme « significativement » ou « dramatiquement ») : L'IA dit : « Je ne peux pas faire cela. C'est trop risqué. » Elle refuse d'agir et dit simplement : « Désolé, je ne peux pas. »
Le mot « Drastiquement » : Ce mot est étrange. L'IA le traite comme « Faites le maximum absolu que vous pouvez sans casser le réservoir ». Ainsi, elle pousse le réservoir jusqu'au bord même (91 %) et s'arrête.

L'essentiel : Près des limites, l'IA ne se contente pas d'ajuster le volume ; elle change de mode. Parfois, elle agit, parfois elle se fige, et parfois elle pousse jusqu'à la limite, selon uniquement le mot spécifique que vous avez choisi.

4. La « Randomisation » n'a pas aidé

Les chercheurs ont essayé de rendre l'IA plus « créative » (en modifiant un paramètre appelé « température »). Ils espéraient que cela permettrait à l'IA de mieux distinguer « légèrement » de « quelque peu ».

Résultat : Non. Cela a simplement rendu les réponses de l'IA plus instables. Au lieu de donner une réponse précise, elle donnait une réponse légèrement différente et erronée à chaque fois. Cela n'a pas résolu le fait qu'elle écrasait les mots ensemble.

La conclusion

Si vous construisez un système où les gens parlent aux ordinateurs pour obtenir des résultats (comme modifier des budgets ou des paramètres), vous ne pouvez pas supposer que l'ordinateur comprend la « force » de vos mots.

L'IA comprime vos mots (elle traite « un peu » et « un tantinet » de la même manière).
L'IA écoute la situation plus que vos mots.
L'IA change complètement de comportement lorsque les choses se resserrent.

L'article conclut que nous devons être prudents. Nous ne pouvons pas simplement supposer que « augmentez légèrement » entraînera toujours un petit changement prévisible. L'interprétation de l'IA est désordonnée, dépend de l'état actuel, et peut être imprévisible juste à la limite de ce qui est possible.

Résumé technique : Mesure des mots d'intensité vagues dans les actions numériques des LLM

Énoncé du problème
À mesure que les modèles de langage (LLM) sont de plus en plus intégrés dans des agents et des systèmes de contrôle en langage naturel, ils doivent traduire des instructions humaines vagues (par exemple, « augmenter légèrement », « réduire drastiquement ») en actions numériques précises ayant des conséquences en aval. Bien que des recherches antérieures aient établi que les humains préservent les classements ordinaux dans les expressions vagues et que les LLM puissent être sensibles à la formulation, il existe un vide dans la compréhension de la manière dont les modèles cartographient ces modificateurs d'intensité vers des sorties numériques concrètes dans un environnement contrôlé. Plus précisément, il reste sous-évalué de savoir si les modèles préservent la structure ordinale hypothétique des mots d'intensité lorsqu'ils sont contraints de sélectionner une seule valeur numérique, comment le contexte (état du système) influence cette cartographie, et comment les modèles se comportent à proximité des limites de faisabilité opérationnelle.

Méthodologie
L'étude utilise un environnement synthétique et contraint d'allocation de ressources pour isoler la traduction du langage vers l'action.

Configuration expérimentale : Le modèle (Claude Haiku) reçoit des instructions en langage naturel pour augmenter une allocation de tâches en utilisant l'un de 10 mots d'intensité spécifiques. Un backend déterministe convertit l'appel d'outil numérique du modèle en un résultat mesurable.
Échelle de mots : Dix modificateurs de degré en anglais ont été sélectionnés pour couvrir six niveaux hypothétiques basés sur la taxonomie de Quirk et al. (1985), allant de modérateurs faibles (slightly, marginally – légèrement, marginalement) à des maximisateurs (drastically, dramatically – drastiquement, dramatiquement).
Conditions :
1. Sans contexte : Les instructions ne mentionnent pas l'état actuel du système (par exemple, « passez [MOT] plus de temps »).
2. Conditionnée par le contexte : Les instructions incluent l'allocation de départ (par exemple, « L'allocation actuelle est de X %. Je souhaite [MOT] augmenter »). Dix valeurs de référence (de 0 % à 89 %) ont été testées, incluant des nombres ronds et des valeurs irrégulières.
3. Contrôles : Des invites de nombres exacts ont validé le dispositif.
Paramètres : Les expériences ont été menées aux températures $T=0.0$ et $T=0.7$ , avec 30 exécutions par cellule (totalisant 6 620 exécutions).
Analyse : L'étude utilise des statistiques non paramétriques, incluant le rho de Spearman ( $\rho$ ) pour la corrélation ordinale et les tests de Kruskal-Wallis avec des tailles d'effet ( $\varepsilon^2$ ) pour déterminer si le choix du mot ou l'allocation de départ explique davantage la variance dans la sortie.

Résultats clés
Trois modèles principaux sont ressortis à travers les expériences :

Compression de l'intensité : Dans la condition sans contexte, le modèle compresse 10 mots d'intensité distincts en seulement 5 sorties médianes distinctes. Les quatre mots du niveau le plus bas (slightly, marginally, somewhat, mildly – légèrement, marginalement, quelque peu, modérément) sont tous mappés à une allocation médiane de 0,50 avec une variance nulle. Les mots plus forts se séparent en régimes supérieurs (0,60–0,70). Bien qu'une forte corrélation ordinale existe ( $\rho = 0,845$ ), les distinctions lexicales fines sont effondrées.
Domination de l'état : Lorsque le contexte est fourni, l'allocation de départ domine le choix du mot. Le regroupement par référence explique environ 10 fois plus de variance basée sur le rang que le regroupement par mot ( $\varepsilon^2_{baseline} = 0,782$ contre $\varepsilon^2_{word} = 0,079$ ). À mesure que le système approche de sa capacité, la différenciation entre les mots s'effondre à zéro ; à une référence de 75 %, les 10 mots produisent la même sortie médiane.
Comportement discontinu aux limites : Près des limites de faisabilité (allocation de départ de 89 %), le modèle présente trois modes comportementaux distincts dépendant du mot utilisé :
- Atténuation (Hedge) : Les mots faibles effectuent de petits ajustements.
- Abstention : Les mots forts (par exemple, considerably, substantially – considérablement, substantiellement) refusent souvent d'agir entièrement, invoquant des contraintes.
- Poussée : Le mot drastically (drastiquement) se comporte de manière unique, poussant l'allocation vers le plafond local (0,912) plutôt que de s'abstenir.
  Ces modèles persistent à travers les températures ; augmenter $T$ à 0,7 élargit les distributions mais ne restaure pas les distinctions ordinales granulaires.

Contributions clés

Méthodologie : Un instrument contrôlé pour mesurer comment les LLM cartographient les mots d'intensité vagues vers des actions numériques, séparant la traduction langage-action du bruit système en aval.
Preuve de compression : Documentation du fait que les modèles préservent des régimes d'intensité grossiers mais effondrent les distinctions lexicales fines en sorties numériques identiques.
Dépendance au contexte : Preuve quantitative que l'état actuel du système domine le choix du mot dans les paramètres conditionnés par le contexte, sapant la fiabilité des instructions vagues en tant que signaux de contrôle invariants par rapport au contexte.
Découverte des limites : Identification de l'abstention dépendante du mot et du changement de mode catégoriel (atténuation, action, abstention) près des limites opérationnelles, révélant des discontinuités dans les politiques d'action qui ne sont pas visibles à partir du langage seul.

Signification et affirmations
L'article postule que les instructions vagues ne devraient pas être supposées se mapper vers des actions scalaires stables dans les interfaces médiées par des LLM. Les résultats suggèrent que le vocabulaire opérationnel du modèle est plus grossier que ce que le langage de surface implique et que la signification d'un mot d'intensité est une fonction conjointe du mot et de l'état du système, et non une valeur fixe.

L'étude présente ces résultats comme un problème d'alignement spécifique : qu'un interface médiée par un modèle préserve la sémantique intentionnelle de l'opérateur. Les résultats indiquent un résultat mitigé : bien que de larges régimes d'intensité soient capturés, les distinctions fines sont perdues et le comportement devient discontinu près des limites. L'auteur note explicitement que l'étude ne prétend pas que le modèle est « pire » que les humains, car l'interprétation humaine de ces mots peut également être ambiguë ; plutôt, l'étude documente les modèles comportementaux spécifiques du modèle testé dans ce domaine. L'article conclut que ces modèles sont spécifiques au modèle et au domaine testés, avec des travaux futurs prévus pour inclure des références humaines, des comparaisons inter-modèles et des grilles expérimentales plus denses.