Résumé technique : Décomposition de la manière dont le prompting oriente le comportement

Énoncé du problème

Les instructions de prompting permettent aux modèles de langage de grande taille (LLM) et aux modèles de langage-vision (VLM) de modifier leur comportement lors de l'inférence sans mise à jour des poids. Bien qu'il soit établi que les prompts restructurent les représentations internes, la nature mécaniste spécifique de cette transformation reste obscure. La littérature existante a caractérisé ces changements via des mesures scalaires (ex. : similitude représentationnelle, capacité de la variété) ou a démontré que des opérateurs d'ingénierie de faible complexité (ex. : vecteurs additifs, rotations) peuvent orienter le comportement. Cependant, il existe une lacune dans la compréhension de la classe de transformation mathématique qui se produit naturellement lorsqu'une instruction change. Plus précisément, on ignore si les changements induits par le prompt s'expliquent mieux par de simples translations, des transformations rigides, des mélanges affines ou des non-linéarités complexes, et si ces transformations pilotent causalement les changements de comportement observés.

Méthodologie

Les auteurs introduisent un cadre de décomposition géométrique imbriqué pour analyser comment les prompts remodèlent la géométrie représentationnelle. L'approche centrale consiste à traiter le prompting comme une transformation de la variété (manifold) représentationnelle pour le contenu suivant le prompt.

1. Hiérarchie géométrique imbriquée

Pour un modèle donné, une couche, un jeu de données et une paire de prompts (Prompt Source $A$ et Prompt Cible $B$), les auteurs ajustent une séquence de cartes de plus en plus expressives et invariantes au stimulus $f: \mathbb{R}^D \to \mathbb{R}^D$ qui alignent les états cachés de $A$ vers ceux de $B$. La hiérarchie se compose de cinq classes de transformations strictement imbriquées :

1. Translation ($F_T$) : Un simple décalage de la moyenne ($x + b$).
2. Transformation rigide avec mise à l'échelle uniforme ($F_{O_u}$) : Rotation/réflexion et mise à l'échelle uniforme ($b + c(x-a)Q$).
3. Transformation rigide avec mise à l'échelle par axe ($F_{O_a}$) : Permet une mise à l'échelle indépendante des axes alignés ($b + (x-a)QD$).
4. Transformation affine ($F_L$) : Mélange linéaire général plus translation ($b + (x-a)M$).
5. Transformation non linéaire ($F_N$) : Un perceptron multicouche (MLP) partagé ($b + g_\theta(x-a)$).

2. Mesures d'évaluation

Le cadre évalue ces transformations à l'aide de trois familles de mesures sur des stimuli de test (held-out) :

• Variance expliquée incrémentale ($\Delta R^2$) : La variance supplémentaire dans les représentations du prompt cible expliquée par chaque niveau par rapport au niveau précédent dans la chaîne imbriquée.
• Mesures de géométrie représentationnelle : Corrélation de Spearman entre la matrice de dissimilarité représentationnelle (RDM) transformée et la RDM de la tâche cible, ainsi que les scores de silhouette pour mesurer la séparation des clusters.
• Intervention causale : La carte ajustée est appliquée à l'état caché d'un prompt source à une seule couche, remplaçant l'état original. Le modèle poursuit ensuite la passe avant (forward pass). Le résultat est évalué selon la pertinence (adresser l'attribut cible) et l'exactitude (justesse de la réponse) par rapport à la vérité terrain du prompt cible.

3. Configuration expérimentale

• Modèles : Trois LLM (OPT-2.7B, Llama3-8B-Instruct, Qwen3-8B) et trois VLM (BLIP-2, LLaVA-OneVision, Qwen3-VL).
• Jeux de données : Six jeux de données (trois texte : EmotionalStory, WritingStyle, Number ; trois image : EmoSet, StyleTransfer, COCO) avec des structures d'attributs factorielles pour permettre des comparaisons de prompts intra- et inter-attributs.
• Paires de prompts : Six groupes allant des paires cross-attribut (ex. : sujet $\to$ émotion) aux prompts sources non pertinents.

Résultats clés

1. Le prompting remodèle la géométrie vers la structure de la tâche

Les changements de représentation induits par le prompt croissent de manière quasi monotone avec la profondeur de la couche. Crucialement, la géométrie représentationnelle du prompt cible s'aligne de plus en plus bien avec la structure de la tâche (mesurée par la corrélation RDM et les scores de silhouette) à mesure que la profondeur augmente, se séparant nettement du prompt source dans les couches profondes.

2. Les cartes de faible complexité expliquent la majeure partie de la variance

À travers tous les modèles et jeux de données, la translation représente la plus grande part du changement de représentation induit par le prompt, dominant dans les premières couches. Les transformations rigides avec mise à l'échelle uniforme constituent la contribution significative suivante.

• Les transformations affines sont le premier niveau capable de récupérer presque totalement la géométrie de la tâche du prompt cible et de produire des gains correspondants dans l'accord comportemental.
• Les transformations non linéaires offrent la meilleure récupération mais présentent des rendements décroissants par rapport aux cartes affines ; le saut de la transformation rigide par axe à l'affine est plus significatif que le saut de l'affine à la non linéaire.

3. Stratégies de routage spécifiques au modèle et à la tâche

• Différences de modèles : OPT-2.7B repose davantage sur les composantes de rotation, de réflexion et non linéaires par rapport à Llama3 et Qwen3, qui semblent utiliser des "codes d'instruction" de plus faible dimension (dominés par la translation).
• Différences de paires de prompts : Certaines paires de prompts (ex. : requêtes oui/non) reposent plus sur les transformations de rotation et affines que les paires ouvertes.
• Dépendance à la profondeur : La translation domine les couches précoces, tandis que les niveaux de plus haute complexité (affine, non linéaire) contribuent davantage dans les couches moyennes à profondes.

4. Validation causale

Les interventions causales confirment que la simple translation de l'état caché peut orienter substantiellement le comportement. Cependant, les transformations affines constituent le seuil critique pour récupérer à la fois la géométrie représentationnelle cible et une haute exactitude comportementale. Cela suggère que le mélange linéaire inter-dimensionnel est un mécanisme clé pour réorganiser les représentations vers la tâche instruite.

Signification et affirmations

L'article affirme fournir un cadre général pour décomposer les changements de représentation induits par le prompting en composantes géométriques interprétables. La conclusion principale est que l'effet d'un prompt d'instruction peut être largement compris comme une transformation affine de la représentation du contenu.

• Insight mécaniste : Les auteurs soutiennent que si la translation fait "l'essentiel du travail" pour déplacer la représentation, la rotation et le cisaillement (composantes affines) corrigent la composante structurée résiduelle nécessaire à l'alignement de la tâche.
• Interprétabilité : En quantifiant la contribution de chaque palier de transformation, le cadre révèle comment les modèles routent la structure pertinente de la tâche. Il suggère que le prompting naturel est implémenté via des transformations de faible complexité dans l'espace d'activation, plutôt que par des restructurations non linéaires complexes.
• Limites : Les auteurs notent explicitement que leur analyse est limitée aux prompts d'instruction zero-shot et n'évalue pas les démonstrations few-shot, les soft prompts ou le conditionnement de contexte long. L'intervention est restreinte à une seule couche et un seul jeton (token).

Ce travail se positionne non pas comme une méthode pour concevoir de nouveaux opérateurs de pilotage, mais comme un outil de diagnostic pour comprendre la nature géométrique du prompting naturel, suggérant que les conséquences opérationnelles du prompting sont concentrées dans la structure fine résiduelle (rotation et petites parties non linéaires) après la translation primaire.