Predictive Memory Localization: Forecasting Selective Intervention Paths from Internal Signals

Résumé Technique : Localisation Prédictive de la Mémoire (PML - Predictive Memory Localization)

Énoncé du Problème
Le pilotage par activation (activation steering) permet aux chercheurs de contrôler le comportement des modèles de langage en injectant des représentations internes localisées dans des couches spécifiques. Cependant, la littérature suggère une lacune critique : si la localisation identifie où l'information réside, elle ne garantit pas qu'une direction donnée admet un « régime d'exploitation sélectif ». Une direction peut réussir à déplacer un comportement cible à une intensité d'intervention donnée, tout en endommageant simultanément des voisins sémantiques ou des capacités non liées à une autre intensité, ou bien elle peut échouer à produire un effet net à n'importe quelle intensité. Les méthodes actuelles reposent souvent sur des preuves de localisation statiques ou des interventions à intensité fixe, ce qui ne permet pas de prédire si un coefficient sélectif utilisable existe pour un enregistrement, une direction et une couche donnés. Le problème central est de distinguer les directions qui offrent un levier de celles qui causent des dommages collatéraux à travers un chemin d'intervention mesuré.

Méthodologie
Les auteurs introduisent la Localisation Prédictive de la Mémoire (PML), un cadre qui traite le chemin d'intervention sur grille mesurée comme l'objet prédictif de la localisation de la mémoire.

1. Chemins d'Intervention sur Grille Mesurée :
   La PML définit un chemin conditionné par l'enregistrement à travers une grille prédéfinie d'intensités d'intervention ($\alpha$). Pour chaque enregistrement $i$, direction $v$ et couche $\ell$, le système mesure :

   • Mouvement Cible ($\Delta T$) : Changements dans la marge de réponse pour les comportements souhaités.
   • Dommages Collatéraux : Changements dans les marges des voisins sémantiques ($\Delta N$) et des capacités générales ($\Delta C$).
   • Calibration Aléatoire : Des seuils distincts au 95e percentile ($\tau_T, \tau_N, \tau_C$) sont établis à l'aide de directions gaussiennes aléatoires pour définir ce qui constitue un effet cible significatif ou un dommage.
   • Résultats : Le système enregistre quatre événements binaires à des coefficients plus forts tenus à l'écart : Target-any (Cible-n'importe-quel), Neighbor Damage (Dommage-voisin), Capability Damage (Dommage-capacité) et Clean-any (Propre-n'importe-quel : effet cible sans dommage).

2. Signaux Prédictifs :
   La PML prévoit ces résultats en utilisant une hiérarchie de preuves :

   • Baseline & Métadonnées ($B+M$) : Propriétés de l'enregistrement et configuration du modèle.
   • Localisation Statique ($L$) : Caractéristiques dérivées de la séparation des classes, de la projection et de la saillance sans intervention.
   • Géométrie Supervisée ($G$) : Caractéristiques issues des machines à caractéristiques récursives (RFM) et du produit extérieur de gradient moyen (AGOP), incluant la concentration spectrale et l'alignement.
   • Réponse à Faible Dose ($R$) : Une mesure causale « disjointe de l'intensité » prise à une faible intensité d'intervention ($|\alpha| = 0,1$). Cela sert de diagnostic dynamique peu coûteux.

3. Politique de Décision :
   Un sélecteur sensible au risque utilise ces prévisions pour choisir un coefficient spécifique ou s'abstenir. La fonction d'utilité récompense le mouvement cible et pénalise les diminutions de marge collatérales. La politique vise à maximiser l'utilité tout en évitant les scans denses des coefficients.

Contributions Clés

• Définition d'un Chemin Calibré Aléatoirement : L'article définit un chemin de grille mesurée qui enregistre conjointement le levier de la cible, le dommage du voisin sémantique, le dommage de la capacité et les coefficients propres pour chaque combinaison enregistrement-direction-couche.
• Séparation des Signaux Statiques vs Causaux : L'étude démontre que la localisation statique et la géométrie supervisée sont de faibles priors prédictifs. En revanche, une réponse à faible dose ($R$) disjointe de l'intensité est le signal dominant pour prévoir les résultats à des intensités plus fortes et disjointes.
• Prévision Actionnable : La PML connecte la prévision à l'action via une politique tenant compte des dommages. Cette politique sélectionne un coefficient ou s'abstient, fournissant une preuve de concept pour réduire le coût computationnel des évaluations d'interventions denses.

Résultats Expérimentaux
L'étude évalue 3 000 enregistrements gelés à travers neuf jeux de données et quatorze domaines, générant 30 000 chemins distincts. Les résultats sont confirmés sur trois modèles de base avec des normes résiduelles appariées (Qwen3-1.7B, Qwen3.5-2B, Ministral-3-3B).

• Performance des Directions : Les directions apprises (spécifiquement RFM/AGOP à la couche 7) surpassent significativement les contrôles aléatoires. Dans l'étude principale, RFM/AGOP a atteint une incidence de 13,1 % pour Target-any et de 12,3 % pour Clean-any, dépassant les lignes de base aléatoires de 3,6 et 3,4 points de pourcentage, respectivement.
• Hiérarchie Prédictive : Les caractéristiques de localisation statique ajoutent peu de valeur prédictive au-delà des métadonnées de base. La réponse à faible dose ($R$) à $|\alpha|=0,1$ est le prédicteur le plus fort pour les résultats à $|\alpha| \in \{0,25, 0,5\}$.
• Robustesse du Modèle : La hiérarchie prédictive (Faible dose > Statique) se reproduit sur les trois modèles de base, avec des scores macro AUROC de l'enregistrement tenu à l'écart allant de 0,801 à 0,828.
• Utilité de la Décision : Un sélecteur piloté par les prédicteurs améliore l'utilité et réduit considérablement les dommages aux voisins sémantiques par rapport à une politique à intensité fixe. Il réduit le besoin d'évaluation d'un scan dense (26 coefficients) à environ 2,55 évaluations (deux sondages faibles plus une action finale).

Signification et Revendications
L'article affirme que la PML transforme la localisation de la mémoire d'une affirmation statique en une prévision falsifiable des résultats sélectifs au niveau de la marge. La conclusion centrale est qu'une petite réponse causale est un prédicteur plus utile d'un comportement sélectif ultérieur qu'une géométrie de localisation statique seule.

Les auteurs soulignent que la localisation n'implique pas automatiquement la contrôlabilité ; une direction peut être bien localisée tout en manquant d'un régime d'exploitation sélectif. En couplant la localisation avec une mesure causale peu coûteuse, la PML identifie les directions qui admettent des coefficients utilisables et celles qui nécessitent une abstention. Le travail ne prétend pas résoudre l'édition générale de modèles ou garantir la sécurité face à tous les effets secondaires en aval, mais propose plutôt un cadre rigoureux et sensible au risque pour sélectionner les intensités d'intervention basées sur la topologie du chemin mesuré.