💬 NLP

Continuous Interpretive Steering for Scalar Diversity

Cette étude introduit l'orientation interprétative continue (CIS) et le jeu de données GraSD pour démontrer que la sensibilité pragmatique graduelle des grands modèles de langage, notamment dans la diversité scalaire, est encodée dans leur espace de représentation et peut être systématiquement récupérée par une intervention contrôlée au niveau des activations.

Auteurs originaux : Ye-eun Cho

Publié 2026-04-09

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ye-eun Cho

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que les grands modèles de langage (les IA comme moi) sont comme des orchestres géants. Chaque instrument représente une partie de la mémoire de l'IA. Pour le moment, quand on demande à l'IA de comprendre une phrase, elle joue une partition très littérale. Si on lui dit « J'ai mangé quelques biscuits », elle pense littéralement « oui, j'en ai mangé », sans comprendre la nuance humaine « donc je n'en ai pas mangé tous ».

Les chercheurs de cette étude (Ye-eun Cho) veulent savoir si l'IA peut comprendre ces nuances subtiles, appelées implicatures scalaires. Mais ils ont un problème : les méthodes habituelles pour tester l'IA (comme changer les instructions dans le prompt) sont comme essayer de faire jouer un orchestre en lui criant des ordres depuis la salle. Ça marche parfois, mais c'est fragile et ça ne nous dit pas vraiment ce qui se passe à l'intérieur des musiciens.

Voici l'explication de leur nouvelle méthode, CIS, avec des analogies simples :

1. Le Problème : La « Diversité des Échelles »

En langage humain, toutes les nuances ne se valent pas.

Dire « Quelques personnes sont venues » implique très fort que « Toutes ne sont pas venues ».
Dire « Il fait un peu chaud » implique très faiblement que « Il ne fait pas très chaud ».

C'est ce qu'on appelle la diversité des échelles. Les humains sont très sensibles à ces degrés. Mais si on force l'IA à être « pragmatique » (à comprendre les sous-entendus) d'un coup, on risque de tout mélanger. C'est comme si on donnait un coup de marteau sur tous les instruments de l'orchestre en même temps : tout devient fort, mais on perd la finesse de la musique.

2. La Solution : Le « Volant de Direction Continu » (CIS)

Au lieu de crier des ordres, les chercheurs ont inventé une méthode pour toucher directement les câbles électriques à l'intérieur de l'IA, sans la réécrire (sans la réentraîner).

Imaginez que l'IA a un volant de direction invisible dans son cerveau.

La méthode ancienne (Uniforme) : On tourne ce volant d'un angle fixe pour tout le monde. Résultat ? L'IA comprend mieux les sous-entendus, mais elle devient un peu « bête » : elle applique la même logique à tout, qu'il s'agisse d'une nuance forte ou faible. C'est comme si on augmentait le volume de la radio à fond pour tout le monde : on entend mieux, mais on perd la distinction entre le chuchotement et le cri.
La méthode nouvelle (CIS - Graded) : Ici, on tourne le volant avec précision. On ajuste la force du coup de volant en fonction de la phrase.
- Pour une phrase où la nuance est forte, on tourne un peu plus.
- Pour une phrase où la nuance est faible, on tourne à peine.

C'est comme un chef d'orchestre qui ne crie pas « Jouez fort ! » à tout le monde, mais qui fait un geste subtil pour le violon, un geste plus large pour la trompette, et un geste presque invisible pour la flûte. Le résultat ? L'orchestre joue une musique riche et nuancée, exactement comme un humain le ferait.

3. L'Outil : GraSD (La Carte des Nuances)

Pour tester cela, ils ont créé un nouveau jeu de données appelé GraSD. C'est une sorte de carte au trésor qui classe les phrases selon la force de leur sous-entendu. Au lieu de dire « C'est vrai ou faux », cette carte dit : « Cette phrase a un sous-entendu de niveau 1 (faible), celle-ci de niveau 5 (très fort) ».

4. Ce qu'ils ont découvert

En testant sur quatre IA différentes, ils ont vu deux choses fascinantes :

Le coup de marteau (Uniforme) : Ça marche pour faire comprendre l'IA, mais ça écrase les différences. L'IA devient trop zélée et interprète tout comme un sous-entendu fort, même quand ce n'est pas le cas.
Le volant précis (CIS) : L'IA commence à se comporter comme un humain. Elle comprend que « quelques » est très fort, mais que « un peu » est faible. Elle garde cette finesse.

En résumé

Cette étude nous dit que les IA ne sont pas juste des machines à « vrai ou faux ». Elles ont en elles une géographie des nuances. Si on sait comment toucher les bons câbles avec la bonne force (le CIS), on peut révéler cette intelligence subtile.

C'est comme passer d'un interrupteur qui ne fait que « Allumé/Éteint » à un variateur de lumière (un gradateur) qui permet de régler l'ambiance exacte, du crépuscule doux au soleil de midi, pour que l'IA comprenne vraiment le monde tel que nous le vivons : avec toutes ses nuances.

1. Problématique et Contexte

L'inférence pragmatique, en particulier l'implicature scalaire (où l'usage d'un terme faible comme "quelques" implique la négation d'un terme fort comme "tous"), est un phénomène intrinsèquement gradué chez les humains. Ce phénomène, appelé diversité scalaire, signifie que la force de l'implicature varie selon les termes lexicaux utilisés (par exemple, "quelques" déclenche une forte implicature, tandis que "chaud" en déclenche une faible).

Cependant, les évaluations actuelles des Modèles de Langage à Grande Échelle (LLM) sur ces capacités reposent principalement sur des manipulations de prompts (instructions, exemples). Ces approches présentent deux limites majeures :

Elles sont éphémères et sensibles à la forme de surface, reflétant peut-être une sensibilité aux indices superficiels plutôt qu'à des représentations internes stables.
Elles tendent à traiter l'enrichissement pragmatique comme un objectif uniforme, risquant d'effacer la diversité scalaire (c'est-à-dire de forcer le modèle à interpréter tous les termes de la même manière, sans nuance).

L'objectif de cette étude est de déterminer si les LLMs possèdent une sensibilité pragmatique graduée au niveau de leurs représentations internes et comment la révéler sans se fier uniquement aux prompts.

2. Méthodologie

L'article propose une nouvelle approche appelée Continuous Interpretive Steering (CIS) (Pilotage Interprétatif Continu), combinée à un nouveau jeu de données.

A. Le Jeu de Données : GraSD

Pour évaluer la diversité scalaire, les auteurs ont construit GraSD (Graded Scalar Diversity).

Composition : Il agrège 121 paires d'items <faible, fort> issues de quatre études psycholinguistiques antérieures (van Tiel et al., 2016 ; Ronai et Xiang, 2021/2024 ; Pankratz et Van Tiel, 2021).
Structure : Chaque paire est augmentée en 100 instances contextuelles, générant un total de 121 000 phrases. Pour chaque paire, trois variantes sont créées :
- Ancre : Contient le terme faible (ex: "Quelques animaux...").
- Logique : Remplace le terme faible par le terme fort (ex: "Tous les animaux...").
- Pragmatique : Encode l'implicature (ex: "Pas tous les animaux...").

B. Le Pilotage Continu (CIS)

Au lieu de modifier les poids du modèle ou d'utiliser des prompts, l'étude intervient directement sur les activations internes du modèle lors de l'inférence.

Espace d'activation : Les représentations cachées ( $h$ ) sont extraites de plusieurs couches du transformateur et concaténées.
Vecteur de pilotage : Un vecteur de direction $v$ est calculé comme la différence entre les représentations de la variante pragmatique et la variante logique.
Intervention continue : La représentation d'une phrase ancre est modifiée selon la formule :
$h'(x) = h(x) + \alpha v$
Où $\alpha$ est un coefficient scalaire contrôlant l'intensité de l'intervention.
Deux conditions expérimentales :
1. Pilotage Uniforme : Un $\alpha$ fixe est appliqué à tous les items, indépendamment de leur nature.
2. Pilotage Gradué : L'intensité $\alpha$ varie systématiquement selon des grades (A à E) attribués aux items, reflétant leur diversité scalaire théorique (les items à forte implicature reçoivent un $\alpha$ plus fort).

C. Modèles et Analyse

Les expériences ont été menées sur quatre LLMs open-weight : LLaMA3, Qwen2, Gemma2 et OLMo.
La préférence interprétative est mesurée par la similarité cosinus entre la représentation pilotée et les variantes pragmatique/logique. Des tests statistiques (Wilcoxon et corrélation de Spearman) évaluent les changements de comportement et la préservation de l'ordre relatif des items.

3. Résultats Clés

Les résultats, obtenus sur les quatre modèles, montrent une distinction nette entre les deux approches de pilotage :

Pilotage Uniforme :
- Augmente globalement et significativement la proportion d'interprétations pragmatiques par rapport à la ligne de base.
- Limite : Il efface la diversité scalaire. Les corrélations entre les préférences de base et les résultats pilotés sont faibles et non significatives. Tous les items réagissent de manière homogène, indépendamment de leur sensibilité intrinsèque. C'est une intervention "grossière".
Pilotage Gradué :
- Produit également un déplacement global vers l'interprétation pragmatique, mais avec une hétérogénéité structurée.
- Préservation de la sensibilité : Les corrélations de Spearman sont modérées et statistiquement significatives. Le modèle conserve l'ordre relatif des items : les termes qui devraient avoir une forte implicature réagissent davantage au pilotage que ceux qui en ont une faible.
- La distribution des changements d'interprétation est large et alignée sur la hiérarchie de grades théorique (A-E).

4. Contributions Principales

Méthodologique (CIS) : Introduction d'une méthode de pilotage qui traite la force de l'intervention comme une variable expérimentale continue. Cela permet de sonder la géométrie de l'espace de représentation des inférences pragmatiques, au-delà des simples résultats binaires (succès/échec).
Ressource (GraSD) : Création d'un dataset massif et contrôlé encodant spécifiquement la diversité scalaire graduée, permettant une évaluation fine des LLMs.
Théorique : Preuve que la sensibilité graduée aux phénomènes pragmatiques est encodée dans l'espace de représentation des LLMs et peut être récupérée systématiquement par une intervention contrôlée, validant ainsi que ces modèles possèdent une forme de compétence pragmatique structurée.

5. Signification et Implications

Cette étude remet en question les évaluations agrégées des LLMs qui se contentent de mesurer une augmentation globale des réponses pragmatiques. Elle démontre qu'une telle augmentation peut masquer une incapacité à distinguer les nuances lexicales.

En montrant que le pilotage gradué permet de révéler des schémas d'interprétation différenciés alignés sur la cognition humaine (diversité scalaire), l'article suggère que :

Les LLMs ne sont pas simplement des moteurs de probabilité de surface, mais encodent des distinctions sémantiques et pragmatiques subtiles dans leurs états internes.
L'évaluation future des capacités cognitives des IA doit passer par des analyses granulaires et item-spécifiques plutôt que par des moyennes globales.
Le CIS offre un cadre généralisable pour étudier d'autres phénomènes pragmatiques gradués au-delà de l'implicature scalaire.

En résumé, l'article propose un cadre rigoureux pour passer d'une évaluation "binaire" de la pragmatique des LLMs à une analyse "continue" et nuancée, révélant ainsi la richesse interne de leurs représentations.