💻 computer science

Knowing the Scale, Missing the Negation: Language Models and Corrective Negation by Excess in English, Spanish, and French

Cette étude révèle que si les grands modèles de langage en anglais, en espagnol et en français comprennent généralement les implications scalaires, ils échouent fréquemment à interpréter la « négation corrective par excès » (par exemple, « pas chaud mais bouillant ») comme rejetant un terme faible plutôt que comme une dénégation d'un fait, bien que leur précision s'améliore lorsque la correction est explicitement marquée par des expressions telles que « mais plutôt ».

Auteurs originaux : Maikel Leyva, Alexis Matheu Pérez, Bastián Gutiérrez Vargas

Publié 2026-09-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maikel Leyva, Alexis Matheu Pérez, Bastián Gutiérrez Vargas

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les modèles de langage sont les moteurs de nombreux outils numériques que nous utilisons aujourd'hui, capables de générer du texte, de traduire des langues et de répondre à des questions avec une fluidité stupéfiante. Pour comprendre comment ces systèmes fonctionnent, les chercheurs examinent souvent la manière dont ils gèrent les briques élémentaires de la communication humaine, telles que les adjectifs qui décrivent l'intensité. Des mots comme « chaud », « brûlant » et « bouillant » existent sur une échelle de chaleur croissante, et les humains comprennent naturellement que si quelque chose est bouillant, c'est aussi au moins chaud. Cette connexion logique est appelée une entailment (implication). Cependant, le langage humain est plein de subtilités où nous nions un mot plus faible non pas pour dire que le contraire est vrai, mais pour dire que le mot plus fort est le bon. Quand quelqu'un dit qu'une soupe est « pas chaude mais bouillante », il ne nie pas que la soupe possède de la chaleur ; il rejette « chaude » comme étant une sous-estimation. Ce type spécifique de correction, où un locuteur remplace une description faible par une description forte, est un test subtil pour savoir si une machine comprend réellement la relation entre les mots ou si elle se contente de faire de l'association de formes.

Une équipe de chercheurs s'est donné pour mission de voir si les modèles de langage modernes pouvaient naviguer dans ce terrain linguistique complexe. Ils se sont concentrés sur un phénomène connu sous le nom de négation corrective par excès, où une phrase nie un adjectif plus faible pour affirmer un plus fort. L'équipe a rassemblé des centaines de paires d'adjectifs en anglais, espagnol et français, tels que « faible » et « sombre » ou « bon » et « excellent », qui sont classés par ordre d'intensité. Ils ont ensuite demandé à cinq modèles de langage différents de juger ces paires sous diverses conditions. D'abord, ils ont confirmé que les modèles connaissaient l'ordre des mots, reconnaissant que « sombre » est une version plus forte de « faible ». Ensuite, ils ont testé si les modèles comprenaient que si quelque chose est « sombre », cela doit être au moins « faible ». Enfin, ils ont présenté aux modèles les phrases correctives, comme « Ce n'est pas faible mais sombre », et ont demandé si l'objet était toujours au moins « faible ».

Les résultats ont révélé un écart significatif entre ce que les modèles savent et la manière dont ils appliquent ce savoir. Sur les unités où les modèles identifiaient correctement l'ordre des mots et acceptaient la logique de base selon laquelle « sombre » implique « faible », ils ont réussi à comprendre l'affirmation à 93,4 % du temps. Ils ont également répondu correctement aux questions de négation simple 99,2 % du temps, mais cette grande précision est trompeuse : les modèles avaient tendance à répondre « non » de manière générale (avec des taux de « oui » allant de 34 % à 44 %), un biais qui gonfle artificiellement les performances sur les questions dont la réponse correcte est « non ». Face à la phrase corrective « Ce n'est pas faible mais sombre », leurs performances ont chuté brutalement. Sur le même ensemble d'éléments où ils avaient précédemment montré qu'ils comprenaient la relation entre les mots, ils n'ont pas réussi à reconnaître la correction dans 452 cas, alors qu'ils n'ont réussi que dans 6 cas. Au lieu de comprendre que la soupe est toujours chaude (juste plus encore), les modèles ont souvent traité la phrase comme une simple négation, concluant que l'objet n'était pas du tout « faible ».

Cet échec n'était pas dû à un manque de connaissance des mots eux-mêmes. Lorsque les chercheurs ont testé une construction similaire utilisant le même mot, telle que « Ce n'est pas faible mais très faible », les modèles ont obtenu un taux de réussite élevé, réussissant 94,4 % du temps. Cela suggère que les modèles peuvent gérer la structure de la phrase lorsque les mots sont identiques, mais qu'ils trébuchent lorsqu'ils doivent connecter deux mots différents au sein d'un cadre correctif. Le schéma d'erreur était constant à travers les cinq modèles testés et dans les trois langues. Dans de nombreux cas, les modèles répondaient « non » à la question de savoir si l'objet était au moins le terme le plus faible, ignorant ainsi la seconde moitié de la phrase qui fournissait la correction. Cela indique que les modèles ne sont pas en échec parce qu'ils ne peuvent pas classer les adjectifs, mais parce qu'ils peinent à outrepasser le sens littéral de la négation lorsqu'une alternative plus forte est introduite.

L'étude a également exploré si rendre la correction plus explicite pourrait aider. En anglais, les chercheurs ont comparé la forme standard « not X but Y » avec une version ajoutant le mot « rather » (plutôt), créant la phrase « not X but rather Y ». Ce petit changement, qui signale plus clairement une correction, a amélioré la précision des modèles de 36,1 % à 49,3 %. Bien qu'il s'agisse d'une amélioration, ce n'était pas une solution complète, car les modèles manquaient encore le sens dans plus de la moitié des cas. Les chercheurs ont noté qu'en espagnol, où une conjonction spécifique est utilisée pour les corrections, les modèles ont obtenu de légèrement meilleurs résultats qu'en anglais ou en français, mais la difficulté fondamentale demeurait. Les données suggèrent que ces systèmes possèdent la connaissance brute de la relation entre les mots, mais qu'ils échouent souvent à utiliser ce savoir lorsque la structure de la phrase exige de rejeter une description plus faible au profit d'une plus forte.

Les implications de cette découverte dépassent la simple curiosité académique. Les modèles de langage sont de plus en plus utilisés pour résumer des avis, analyser des commentaires et traiter des plaintes de clients. Si un modèle lit un avis disant qu'un produit est « pas seulement bon mais exceptionnel », il pourrait interpréter mal l'éloge intense comme une déclaration négative parce qu'il ne saisit pas la nature corrective de la phrase. Les chercheurs concluent que les évaluations actuelles de ces systèmes doivent inclure ce type spécifique de défi linguistique. Il ne suffit pas de vérifier si un modèle sait que « exceptionnel » est plus fort que « bon » ; le modèle doit aussi être testé pour savoir s'il peut appliquer ce savoir lorsqu'une phrase nie le terme le plus faible pour en affirmer le plus fort. Tant que les modèles ne pourront pas naviguer de manière fiable dans ces corrections, ils risquent de mal interpréter le ton et l'intention de la communication humaine, transformant un éloge vibrant en critique et passant à côté de la nuance qui fait toute la puissance du langage.

Résumé technique : « Connaître l'échelle, manquer la négation »

Énoncé du problème
Les grands modèles de langage (LLM) ont démontré une certaine compétence pour classer les adjectifs scalaires par intensité et pour comprendre les emboîtements d'implication affirmative (par exemple, si quelque chose est « bouillant », c'est aussi « chaud »). Cependant, il reste incertain de savoir si les modèles peuvent traiter correctement la négation corrective par excès (négation métalinguistique). Dans des constructions telles que « ce n'est pas chaud mais bouillant », la négation ne nie pas la propriété d'être chaud ; elle rejette plutôt « chaud » comme étant un euphémisme tout en affirmant que le sujet possède la propriété à un degré supérieur. Cet article examine si les LLM possèdent la connaissance scalaire nécessaire pour supplanter la lecture littérale de « non X » au profit de l'implication corrective selon laquelle « X ou plus » est vrai.

Méthodologie
L'étude a utilisé trois ressources de référence d'échelles d'adjectifs ordonnées par intensité (DEMELO, CROWD et WILKINSON) pour construire 427 paires d'adjectifs en anglais, espagnol et français.

Construction des données : À partir de ces ressources, les auteurs ont généré 427 paires (142 en anglais, 139 en espagnol, 146 en français). Un sous-ensemble de 247 paires a été examiné manuellement par le premier auteur pour garantir la validité des échelles d'intensité, excluant les termes non graduables, les comparatifs et les quasi-synonymes.
Modèles évalués : Cinq modèles ont été interrogés via OpenRouter à température 0 : GPT-4o-mini, GPT-5.4-nano, GPT-5.4-mini, Gemini 3.1 Flash-Lite et Qwen 3.7 Flash. Llama 3.1 8B a été interrogé mais exclu en raison de ses faibles performances de base.
Conditions expérimentales : Pour chaque paire d'adjectifs (X, Y) où Y est plus fort que X, les modèles ont été testés sur :
1. L'ordonnancement : Confirmer que Y est un degré plus fort de X.
2. L'implication affirmative (P) : « Il est Y » $\rightarrow$ « Est-il au moins X ? »
3. La négation simple (N) : « Il n'est pas X » $\rightarrow$ « Est-il au moins X ? » (Attendu : Non).
4. Le correctif lexical (E) : « Il n'est pas X mais Y » $\rightarrow$ « Est-il au moins X ? » (Attendu : Oui).
5. Le correctif par le même mot (S) : « Il n'est pas X mais très X » $\rightarrow$ « Est-il au moins X ? » (Attendu : Oui).
6. Marquage explicite (E-rather) : Condition spécifique à l'anglais utilisant « not X but rather Y ».
7. Question inversée : Sondage pour identifier les réponses incohérentes « non/non » afin de distinguer les types d'erreurs.

Résultats clés
L'analyse s'est concentrée sur les unités « connues » où le modèle identifie correctement l'ordonnancement de l'échelle et l'implication affirmative.

Connaissance de l'échelle vs application de la négation : Sur les unités connues, les modèles ont montré une grande précision dans l'implication affirmative (93,4 %) et la négation simple (99,2 %). Cependant, la précision a chuté de manière drastique dans la condition du correctif lexical (E), où les modèles ont répondu correctement dans seulement 37,9 % des cas.
Asymétrie : Il y avait une asymétrie significative : les modèles ont accepté l'implication affirmative mais ont échoué à la négation corrective dans 452 cas, alors que l'inverse ne s'est produit que dans 6 cas. Ce schéma s'est maintenu pour les cinq modèles et les trois langues.
Correctifs lexicaux vs par le même mot : Lorsque le terme plus fort était une version intensifiée du même mot (S : « pas faible mais très faible »), la précision restait élevée à 94,4 % sur les unités connues+P (unités ayant réussi l'implication affirmative), contre 39,8 % pour le correctif lexical sur ce même sous-ensemble. Cela suggère que la construction elle-même n'est pas l'obstacle ; l'échec est spécifique à la connexion de deux items lexicaux distincts au sein d'une négation corrective.
Analyse des erreurs : Une analyse par « question inversée » a révélé que les erreurs sur les correctifs lexicaux impliquaient souvent des réponses « non » incohérentes aux questions « au moins X ? » et « moins que X ? » (34,9 % des cas). Cela indique un échec de l'intégration du sens correctif, le modèle revenant souvent à une lecture littérale de la négation ou à un biais vers le « non ».
Marquage explicite : En anglais, remplacer « but » par « but rather » a amélioré la précision de 36,1 % à 49,3 %, suggérant que les marqueurs explicites de correction aident la performance des modèles, bien que des taux d'échec importants persistent.
Variation cross-linguistique : La précision variait selon la langue et la conjonction (par exemple, l'espagnol sino vs le français mais), mais le schéma fondamental d'échec (connaître l'échelle mais échouer au correctif) était constant à travers toutes les langues et tous les modèles.

Signification et revendications
L'article soutient que le déficit principal des LLM n'est pas un manque de connaissance des adjectifs scalaires ou de leurs implications, mais un échec à appliquer cette connaissance lorsqu'une négation rejette un terme plus faible comme étant un euphémisme.

Implications pour l'évaluation : Les auteurs soutiennent que les bancs d'essai de négation actuels sont insuffisants. Les suites d'évaluation doivent inclure la négation corrective par excès pour distinguer les modèles qui « connaissent » simplement les échelles de ceux qui peuvent appliquer pragmatiquement cette connaissance sous négation.
Risques pratiques : Les auteurs notent que les systèmes résumant des avis ou des évaluations peuvent mal interpréter un compliment fort (ex : « pas bon mais exceptionnel ») ou une critique forte comme un sentiment négatif s'ils ne parviennent pas à traiter la structure corrective correctement.
Portée modeste : L'étude ne prétend pas expliquer le mécanisme interne de l'erreur (par exemple, s'il s'agit d'un biais de traitement littéral d'abord ou d'un écart de représentation) et reconnaît les limites concernant l'utilisation de ressources annotées existantes et l'absence de base de comparaison humaine directe.

Conclusion
L'étude conclut que bien que les LLM possèdent la connaissance scalaire nécessaire, ils échouent fréquemment à l'utiliser en présence d'une négation corrective. L'écart entre connaître une échelle et l'appliquer sous négation est un phénomène robuste et translinguistique qui persiste même dans les modèles avancés, bien qu'il puisse être partiellement atténué par des marqueurs correctifs explicites.

Articles similaires