They Infer What You Meant: Models Represent Communicative Intent More Reliably Than They Act On It

Résumé Technique : « Ils infèrent ce que vous vouliez dire : les modèles représentent l'intention communicative plus de manière fiable qu'ils n'agissent dessus »

Énoncé du problème
Les modèles de langage déployés échouent fréquemment à saisir l'intention communicative d'un émetteur — ce que l'émetteur cherche à accomplir en envoyant un message — pour ne répondre qu'au contenu littéral de la surface. Par exemple, lorsqu'un utilisateur partage un projet créatif terminé sans demander de critique, un modèle peut par défaut proposer des commentaires non sollicités ; lorsqu'un utilisateur partage une expression brute d'épuisement, le modèle peut effectuer une évaluation des risques. Cet échec est formulé comme une rupture de la compétence pragmatique (le « ce qui était voulu » de Grice vs le « ce qui a été dit »). Bien que des tests de comportement existent, le mécanisme interne de cet échec reste inexploré : spécifiquement, si l'intention est représentée dans les états cachés du modèle et, si tel est le cas, pourquoi la lecture par défaut échoue à agir sur elle.

Méthodologie
L'étude utilise un plan expérimental de correspondance de surface pour isoler l'intention communicative du contenu lexical.

• Stimuli : Les auteurs ont construit des contrastes binaires (ex. : reconnaître vs évaluer) où le suffixe du message final est identique au niveau des octets, mais où le préfixe précédent définit l'intention (ex. : « Je suis fier de celui-ci » vs « Soyez franc, je préférerais entendre les défauts »).
• Sondage (Probing) : Des sondes linéaires (régression logistique avec PCA) sont entraînées sur les états cachés par défaut du modèle (l'état immédiatement avant la génération) pour décoder l'intention. Les contrôles incluent :
  • Des baselines de sac de mots (bag-of-words) pour s'assurer que la sonde ne lit pas des indices lexicaux de surface.
  • Une validation croisée par exclusion de formulation pour tester la généralisation à travers diverses tournures de phrases.
  • Des tests d'intention inférée où l'intention n'est jamais énoncée mais inférée pragmatiquement du contexte (ex. : « cadeau d'anniversaire » vs « pièce de portfolio »).
• Pilotage (Manipulation d'activation) : Pour tester la causalité, les auteurs extraient une direction discriminante (vecteur de poids logistique) des états cachés et l'ajoutent au flux résiduel à des couches de décodage spécifiques pendant la génération. Ils mesurent si ce « pilotage » (steering) permet de récupérer le comportement voulu (respecter l'intention) sans instruction explicite.
• Modèles : Les expériences couvrent six modèles issus de quatre familles (Qwen, Llama, Mistral, Phi) et de tailles allant de 3B à 32B, incluant des versions de base (pré-instruction) et des versions ajustées par instruction (instruct-tuned).

Résultats clés

1. Représentation robuste : L'intention communicative de l'émetteur est représentée de manière robuste dans les états cachés du modèle. Les sondes linéaires décodent l'intention avec une précision élevée (jusqu'à 1,00) sur les six modèles, même lorsque l'intention est inférée plutôt qu'énoncée, et ce, en étant déconnectée du sentiment (chaleur vs neutralité). Cette représentation existe dans les checkpoints de base, indiquant qu'elle est apprise lors du pré-entraînement, et non par l'ajustement d'instruction.
2. Le retard de lecture (Discard) : Malgré le fait que l'intention soit clairement représentée, la sortie par défaut échoue souvent à agir dessus. Sur trois des six modèles (Qwen-3B, Qwen-7B, Llama-8B), la réponse par défaut respecte une intention de « reconnaissance » seulement environ 60 % du temps, penchant par défaut vers un feedback non sollicité.
3. Stratification de la profondeur : Au sein d'un modèle, l'intention est décodable plusieurs couches avant la couche où la lecture agit sur elle. Par exemple, dans Qwen-3B, l'intention est entièrement décodable à la couche 24, mais le pilotage à cette couche ne permet pas de récupérer le comportement ; un pilotage efficace nécessite une couche ultérieure (couche 30).
4. Stratification spécifique au modèle : L'échec à agir sur l'intention n'est pas une loi d'échelle universelle mais une stratification spécifique au modèle. Les modèles plus petits ou moins matures en termes d'instruction (≤8B) présentent le comportement de « rejet » (discard), tandis que les modèles plus grands ou plus matures (≥14B) respectent souvent l'intention dès la base.
5. Récupération causale : Le pilotage du flux résiduel le long de la direction d'intention discriminante à la couche appropriée récupère le comportement voulu (ex. : augmentant le respect de l'intention de « reconnaissance » de 0,65 à 0,98 dans Qwen-3B) sans aucun prompt. Cette direction est presque orthogonale aux axes génériques d'offre de feedback, suggérant qu'elle route une intention spécifique représentée plutôt que d'agir comme un simple bouton de verbosité.
6. Généralisation : La représentation se généralise à un second contraste d'intention lexicalement distinct (soutenir vs aider), bien que les résultats de pilotage causal pour cet axe aient été moins concluants (un résultat nul pour la spécificité du pilotage).

Contributions principales

• Caractéristique d'interprétabilité de premier rang : L'article traite l'intention communicative de l'émetteur comme une caractéristique linéaire et causale, distincte des attributs de l'utilisateur ou des croyances de personnages.
• Décomposition Représenter-Puis-Lire (Represent-Then-Readout) : Il établit une dissociation mécaniste : les modèles représentent l'intention de manière robuste et universelle, mais la lecture (agir sur elle) est un processus distinct, fragile et spécifique au modèle.
• Levier causal sans prompts : Il démontre qu'une direction liée à l'intention représentée peut servir de levier causal pour récupérer le comportement voulu, performant autant que des instructions explicites mais ne nécessitant aucun prompt.
• Contrôles rigoureux : L'étude rapporte des résultats nuls et des tests pré-enregistrés peu concluants (ex. : le test géométrique pour les lois d'échelle, la spécificité du pilotage pour l'axe soutenir/aider) aussi ouvertement que les confirmations.

Signification et affirmations
L'article recadre l'observation courante selon laquelle « le modèle ne comprend pas ». Les preuves suggèrent que le modèle comprend ; l'intention est présente dans la représentation interne. L'échec réside dans le mécanisme de lecture qui ne parvient pas à router cette représentation vers la sortie finale.

• Portée modeste : Les auteurs précisent explicitement qu'ils ne prétendent pas que « respecter » est toujours le comportement normatif correct (un modèle peut justement proposer une critique constructive). La prétention porte sur la routabilité : le modèle représente l'intention mais adopte par défaut un comportement différent.
• Aperçu mécaniste : Les conclusions suggèrent que la « compétence pragmatique » n'est pas une capacité monolithique mais un processus stratifié où la représentation précède l'action. L'écart entre la représentation et l'action est l'endroit où les outils d'interprétabilité (comme le pilotage) peuvent intervenir.
• Transférabilité : Bien que l'écart comportemental soit spécifique au modèle, les auteurs émettent l'hypothèse que la carte sous-jacente « représenter-puis-router » est universelle et peut se transférer aux systèmes fermés de pointe, même si le défaut comportemental spécifique ne l'est pas.

L'article conclut que la séparation entre la représentation d'une intention et l'action sur celle-ci est une propriété fondamentale des architectures actuelles, observable via des sondes linéaires et un pilotage causal, et que cette séparation est le lieu principal de l'échec pragmatique dans des configurations de modèles spécifiques.