Résumé technique : Transmuer les prompts en poids

Énoncé du problème

Les méthodes actuelles de contrôle des grands modèles de langage (LLM) au moment de l'inférence tombent généralement dans deux catégories empiriques : le pilotage d'activation (ajout de « vecteurs de pilotage » aux états cachés) et l'édition de modèle (application de modifications de bas rang aux matrices de poids). Bien qu'efficaces, ces techniques reposent largement sur des heuristiques empiriques, telles que la moyenne des activations contrastives, manquant ainsi d'une justification théorique unifiée ancrée dans l'architecture transformer. De plus, les approches existantes traitent souvent l'information du prompt comme transitoire ou nécessitent des modifications architecturales pour encoder les instructions de manière permanente dans les poids. Le défi central est d'établir une méthode fondée sur les premiers principes pour condenser l'entrée textuelle transitoire (le prompt) en mises à jour de poids réutilisables et indépendantes des tokens, capables d'encoder durablement des instructions ou de nouvelles connaissances sans avoir à relancer le prompt.

Méthodologie

Le document s'appuie sur la théorie fondamentale de Dherin et al. (2025), qui a démontré que l'effet computationnel d'un prompt d'entrée $I$ sur un bloc transformer peut être parfaitement répliqué par l'application de mises à jour spécifiques de rang un (appelées « patchs de tokens minimaux »), dépendant du token, aux poids et au biais du bloc (feed-forward).

Les auteurs proposent un cadre pour généraliser ces mises à jour transitoires et spécifiques aux tokens en des constructions statiques et réutilisables appelées Vecteurs de Pensée ($\delta(I)$) et Matrices de Pensée ($\Delta(I)$).

1. Dérivation théorique

• Patchs dépendants des tokens : Pour un prompt $C = [I, x_1, \dots, x_n]$, l'effet du contexte $I$ sur un token $x$ est répliqué par les mises à jour $\delta_x(I)$ et $\Delta_x(I)$.
• Vecteur de Pensée : Pour créer un vecteur indépendant des tokens, les auteurs minimisent l'erreur quadratique entre les vecteurs de tokens optimaux et un vecteur unique. La solution est la moyenne arithmétique des vecteurs spécifiques aux tokens :
  $$\delta(I) := \frac{1}{n} \sum_{i=1}^n \delta_i = \frac{1}{n} \sum_{i=1}^n (A(C, x_i) - A(C \setminus I, x_i))$$
  Cela fournit une justification théorique à la pratique heuristique de la moyenne des activations contrastives.
• Matrice de Pensée : La matrice optimale est dérivée en minimisant l'erreur sur l'ensemble des exemples. Le Théorème 2.1 prouve que si la matrice $Z = \sum a_i a_i^T$ est inversible, le minimum global est atteint par :
  $$\Delta(I) = \left( \sum_{i=1}^n W \delta_i a_i^T \right) Z^{-1}$$
  Ceci démontre que la matrice de pensée optimale émerge naturellement comme une somme de mises à jour de rang un.

2. L'algorithme de patch de pensée (Thought Patching)

Les auteurs introduisent une procédure d'alignement itérative par couche (Algorithme 1) pour transmuer les instructions en poids :

1. Passage contextuel : Exécuter le modèle vanilla sur le prompt complet $[I, x]$ pour collecter les sorties d'attention « vérité terrain » $A_l$.
2. Passage non-contextuel : Exécuter le modèle sur $[x]$ en utilisant les poids actuellement patchés pour collecter les sorties approximées $a_l$.
3. Calcul de la divergence : Calculer les résidus $dz_l = A_l - a_l$.
4. Calcul de la mise à jour :
   • La mise à jour du Vecteur de Pensée est la moyenne des divergences.
   • La mise à jour de la Matrice de Pensée est calculée via une minimisation par moindres carrés (avec une régularisation de Ridge optionnelle) pour résoudre la mise à jour de poids qui minimise l'erreur résiduelle.
5. Application : Les mises à jour sont mises à l'échelle par un taux d'apprentissage $\eta$ et appliquées aux poids.

3. Adaptations architecturales

La méthode est adaptée aux architectures modernes comme Gemma 3, qui utilisent RMSNorm et des activations Gated GeLU :

• Gated GeLU : L'optimisation de la matrice de pensée est découpée en deux estimations de moindres carrés indépendantes pour les projections $W_{up}$ et $W_{gate}$.
• Absence de biais : Puisque Gemma ne possède pas de paramètres de biais explicites dans la projection MLP de sortie, le décalage du vecteur de pensée est absorbé directement dans la matrice de projection $W_{down}$, ajustée selon les facteurs d'échelle RMSNorm pour maintenir les distributions d'activation.

Principales contributions

1. Unification théorique : Le papier fournit une explication de premier principe de la raison pour laquelle le pilotage par activation (moyenne des activations contrastives) et l'édition de modèle de bas rang réussissent. Il prouve que ces heuristiques sont équivalentes à l'approximation par moindres carrés des vecteurs et matrices de pensée optimaux.
2. Cadre de transmutation : Il élève le concept de « patch de pensée » d'un outil théorique de compression de prompt à un algorithme pratique pour le contrôle direct du modèle et l'injection permanente de connaissances.
3. Indépendance vis-à-vis des tokens : La méthode parvient à condenser des informations transitoires et dépendantes des tokens en vecteurs et matrices réutilisables et indépendants des tokens, adaptés aux architectures complexes et non linéaires.
4. Implémentation algorithmique : Les auteurs fournissent un algorithme concret (Algorithme 1) ainsi que des modifications spécifiques pour l'appliquer à des modèles modernes comme Gemma.

Résultats expérimentaux

L'approche a été validée sur le modèle Gemma 3.0 1B Instruction Tuned sur plusieurs tâches :

• Tâches arithmétiques et linguistiques : Sur des tâches comme la somme et la multiplication de nombres, le modèle patché (sans l'instruction dans le contexte) a atteint une précision de 100 %, égalant parfaitement la performance du modèle original avec le prompt complet. Cela a été obtenu avec seulement 10 exemples.
• Détoxification : Appliquée au jeu de données ParaDetox, la méthode a réduit la toxicité de 90,53 % à 6,22 %, se rapprochant étroitement de la référence à contexte complet (6,7 %) tout en préservant le sens sémantique (scores BERT).
• Traduction et récupération de connaissances : La méthode a atteint une grande précision pour la traduction du français/espagnol vers l'anglais et la récupération des capitales de pays, surpassant nettement le modèle de base non patché et approchant les performances à contexte complet.
• Injection de nouvelles connaissances : Le modèle a absorbé avec succès des dictionnaires clé-valeur synthétiques. Les performances sont restées proches de 100 % pour de petits dictionnaires ($k \le 8$), mais ont montré une dégradation lorsque la taille du dictionnaire augmentait ($k=32$ est tombé à 91 %) ou lorsque les structures de requête différaient des prompts d'entraînement.

Signification et affirmations

Le papier affirme établir un lien théorique direct entre la mécanique transitoire de l'inférence des transformers et la modification permanente du modèle. En agrégeant des patchs de tokens éphémères en vecteurs et matrices de pensée réutilisables, les auteurs fournissent une méthode fondée sur des principes et efficace en termes de données pour encoder durablement les instructions de prompt dans les poids.

La signification réside dans la confirmation que la moyenne contrastive et les mises à jour de bas rang ne sont pas de simples astuces empiriques, mais des mécanismes natifs de l'encodage d'instructions par les transformers. Ce travail fait le pont entre les théories du « continuum paramétrique » et la mise en œuvre pratique, offrant une explication mathématique unifiée des méthodes de contrôle existantes.

Les auteurs restent modestes quant aux limites, notant que la formulation actuelle par moindres carrés est susceptible de surapprentissage (overfitting) sur des structures de prompts spécifiques (ce qui est visible dans la tâche d'injection de connaissances où la divergence des requêtes a provoqué des baisses de performance) et que les travaux futurs se concentreront sur une régularisation avancée pour prévenir le surapprentissage structurel lors de l'injection de connaissances.