A Negative Result on Cross-Model Activation Transfer in a Pythia Multi-Hop Setting

Résumé Technique : Un résultat négatif sur le transfert d'activation inter-modèles dans un cadre multi-étapes avec Pythia

Énoncé du Problème
Des recherches récentes ont démontré que les modèles de langage peuvent transmettre des traits comportementaux (par exemple, des préférences ou un désalignement) à d'autres modèles via des signaux cachés intégrés dans les données d'entraînement générées, un processus connu sous le nom d'« apprentissage subliminal ». Cependant, ce transfert est médiatisé par les données, se produit lors de l'entraînement via le réglage fin (fine-tuning) et repose sur l'adaptation du récepteur à la distribution de l'émetteur. Cet article étudie un canal plus strict et plus direct : le transfert d'activation au moment de l'inférence. La question centrale est de savoir si un modèle émetteur peut communiquer des états de raisonnement intermédiaires utiles, au niveau de l'instance, à un modèle récepteur en traduisant et en injectant directement des activations cachées, contournant ainsi entièrement le goulot d'étranglement du langage naturel. L'étude demande spécifiquement si une instance unique d'état de raisonnement peut être transférée sans aucune adaptation ni réglage fin du récepteur.

Méthodologie
L'expérience utilise un environnement contrôlé impliquant deux modèles de la famille Pythia : un émetteur (Pythia-160M) et un récepteur (Pythia-410M). Les deux modèles partagent l'architecture GPT-NeoX et le même tokenizer, mais diffèrent par leurs dimensions cachées.

1. Tâche : Raisonnement multi-étapes (multi-hop), où les modèles doivent répondre à des questions basées sur un contexte fourni. L'ensemble d'évaluation est composé de 396 échantillons.
2. Mécanisme de Traduction : Une couche de traduction linéaire est entraînée hors ligne pour mapper les états cachés de la dimension 160M de l'émetteur vers la dimension 410M du récepteur. L'objectif d'entraînement minimise l'erreur L2 par rapport aux activations normalisées du récepteur.
3. Protocole d'Injection :
   • Émetteur : Traite l'invite de la tâche, et les états cachés sont extraits de la couche 8.
   • Récepteur : Traite la même invite. À la couche 16, les états cachés natifs du récepteur sont soit :
     • Remplacés : Substitués entièrement par les activations traduites de l'émetteur.
     • Injectés de manière additive : Un petit vecteur traduit est ajouté à l'état natif.
     • Corrigés par l'échelle (Scale-Corrected) : Les vecteurs traduits sont redimensionnés pour correspondre à la norme L2 native du récepteur avant l'injection.
   • Baselines : Comprend une baseline « Sans Injection » et une baseline « Relais en Langage Naturel » (où l'émetteur génère du texte, que le récepteur lit ensuite).
4. Contrôles : L'étude emploie des contrôles rigoureux, incluant l'« auto-injection B-vers-B » (injecter les propres états du récepteur pour vérifier le mécanisme de crochet/hook), le « Aléatoire de même norme » (injecter des vecteurs aléatoires de magnitude correcte) et la « Traduction mélangée » (injecter des états traduits provenant d'échantillons incorrects) afin d'isoler les modes de défaillance.

Résultats Clés
L'article rapporte un résultat négatif ciblé : bien que la couche de traduction atteigne un alignement hors ligne élevé, les activations transférées ne parviennent pas à améliorer la performance en aval.

• Alignement Hors Ligne vs Utilisabilité Causale : La couche de traduction linéaire apprend avec succès une correspondance forte, atteignant une similarité cosinus normalisée de ~0,97 et un $R^2$ normalisé de ~0,88 à travers les graines (seeds). Malgré cet alignement de représentation élevé, l'injection de ces états ne produit aucune amélioration par rapport à la baseline « Sans Injection ».
• Métriques de Performance :
  • Injection Additive : Montre une inclusion moyenne de frontière de mot de 0,0926, statistiquement indiscernable de la baseline sans injection (0,0884) avec des intervalles de confiance traversant zéro.
  • Injection par Remplacement : Est systématiquement destructrice. Le remplacement de l'état du récepteur par les activations traduites fait chuter la performance à presque zéro (0,0025).
  • Correction d'Échelle : Le redimensionnement des vecteurs traduits pour correspondre à la norme L2 du récepteur (qui était environ deux ordres de grandeur plus grande que les vecteurs traduits non corrigés) ne permet pas de sauver la performance. Le remplacement corrigé par l'échelle reste nettement inférieur à la baseline (0,0076 contre 0,0884).
• Analyse d'Échec : La chaîne d'ablation révèle deux facteurs d'échec :
  1. Inadéquation de la Norme L2 : Les vecteurs non corrigés sont trop petits (norme ~0,85 contre ~68,70), provoquant une interférence destructrice.
  2. Erreur de Direction/Distribution Résiduelle : Même après correction de la norme, la performance reste bien en dessous de la baseline. Cela indique que la direction ou la distribution de l'état traduit est fondamentalement incompatible avec le calcul causal du récepteur, même si l'espace vectoriel est statistiquement aligné.
• Validations des Contrôles :
  • Auto-injection B-vers-B : Correspond exactement à la baseline sans injection, confirmant que le crochet d'injection lui-même ne dégrade pas la performance.
  • Contrôles Mélangés : L'injection d'états traduits provenant de mauvais échantillons est aussi destructrice que le remplacement direct, prouvant que le signal est spécifique à l'identité de l'échantillon, et non une propriété vectorielle générique.

Contributions Clés

1. Séparation de l'Alignement et de l'Utilisabilité : La principale contribution est la démonstration empirique que l'alignement de représentation hors ligne (haute similarité cosinus/$R^2$) n'est pas suffisant pour l'utilisabilité causale côté récepteur. Un vecteur peut être parfaitement aligné dans un espace normalisé tout en étant inutilisable comme remplacement de la trajectoire interne de l'état du récepteur.
2. Quantification des Modes d'Échec : L'étude décompose l'échec en une inadéquation de magnitude (norme L2) et une erreur résiduelle de direction/distribution, identifiant cette dernière comme le facteur dominant empêchant le transfert réussi.
3. Définition du Périmètre : L'article précise que si l'« apprentissage subliminal » (transfert médiatisé par les données, au temps de l'entraînement) fonctionne, l'injection d'activation linéaire au moment de l'inférence ne s'étend pas automatiquement à cette capacité, particulièrement lorsque le récepteur n'est pas adapté à la distribution de l'émetteur.

Signification et Revendications
L'article conclut que pour que la communication d'activation de modèle à modèle réussisse, l'objectif de conception doit changer. Il ne suffit pas d'optimiser uniquement l'ajustement de la représentation émetteur-récepteur (alignement hors ligne). Les travaux futurs devront probablement optimiser l'usage causal côté récepteur, ce qui nécessite potentiellement des objectifs d'entraînement prenant en compte la manière dont le récepteur utilise réellement l'état injecté.

Les auteurs déclarent explicitement qu'il s'agit d'un résultat négatif ciblé, limité à une famille de modèles, une tâche et un mécanisme de traduction linéaire. Il ne s'agit pas d'une affirmation d'impossibilité générale concernant toutes les formes de pilotage d'activation (activation steering) ou de couture de modèles (model stitching). Cependant, cela impose une norme plus stricte au domaine : pour que le transfert caché soit utile, le récepteur doit être capable d'intégrer causalement l'état inséré comme faisant partie de son propre calcul, une condition qui n'est pas remplie par une simple cartographie linéaire hors ligne dans ce contexte.