Predictive Memory Localization: Forecasting Selective Intervention Paths from Internal Signals

Technische Samenvatting: Predictive Memory Localization (PML)

Probleemstelling
Activation steering stelt onderzoekers in staat om het gedrag van taalmodellen te controleren door gelokaliseerde interne representaties in specifieke lagen te injecteren. De literatuur suggereert echter een kritieke kloof: hoewel lokalisatie identificeert waar informatie zich bevindt, garandeert dit niet dat een specifieke richting een "selectief operationeel regime" toelaat. Een richting kan een doelgedrag succesvol verschuiven bij één interventiekracht, terwijl deze tegelijkertijd semantische buren of ongerelateerde capaciteiten bij een andere kracht beschadigt, of het kan bij geen enkele kracht een schoon effect produceren. Huidige methoden vertrouwen vaak op statische lokalisatiebewijzen of interventies met een vaste sterkte, die er niet in slagen te voorspellen of er voor een gegeven record, richting en laag een bruikbare, selectieve coëfficiënt bestaat. Het kernprobleem is het onderscheid tussen richtingen die hefboomwerking bieden en richtingen die collaterale schade veroorzaken over een gemeten interventiepad.

Methodologie
De auteurs introduceren Predictive Memory Localization (PML), een raamwerk dat het gemeten interventiepad behandelt als het voorspellende object van geheugenlokalisatie.

1. Gemeten-Grid Interventiepaden:
   PML definieert een record-geconditioneerd pad over een vooraf gespecificeerd grid van interventie-sterktes ($\alpha$). Voor elk record $i$, richting $v$, en laag $\ell$ meet het systeem:

   • Doelbeweging ($\Delta T$): Veranderingen in de antwoordmarge voor gewenste gedragingen.
   • Collaterale Schade: Veranderingen in de marge van semantische buren ($\Delta N$) en algemene capaciteit ($\Delta C$).
   • Willekeurige Kalibratie: Afzonderlijke 95e-percentiel drempelwaarden ($\tau_T, \tau_N, \tau_C$) worden vastgesteld met behulp van willekeurige Gaussische richtingen om te definiëren wat een significante doel-effect of schade vormt.
   • Uitkomsten: Het systeem registreert vier binaire gebeurtenissen bij gehouden externe sterkere coëfficiënten: Target-any, Neighbor Damage, Capability Damage, en Clean-any (doeleffect zonder schade).

2. Voorspellende Signalen:
   PML voorspelt deze uitkomsten met behulp van een hiërarchie van bewijs:

   • Baseline & Metadata ($B+M$): Eigenschappen van het record en modelconfiguratie.
   • Statische Lokalisatie ($L$): Kenmerken afgeleid van klasse-scheiding, projectie en saliëntie zonder interventie.
   • Gesuperviseerde Geometrie ($G$): Kenmerken van Recursive Feature Machines (RFM) en Average Gradient Outer Product (AGOP), inclusclusief spectrale concentratie en uitlijning.
   • Low-Dose Respons ($R$): Een "sterkte-disjuncte" causale meting genomen bij een zwakke interventie-sterkte ($|\alpha| = 0.1$). Dit dient als een goedkope dynamische diagnose.

3. Beslissingsbeleid:
   Een risico-bewust selector gebruikt deze voorspellingen om een specifieke coëfficiënt te kiezen of af te zien. De nutsfunctie beloont doelbeweging en straft collaterale marge-afname af. Het beleid beoogt het nut te maximaliseren terwijl het vermijden van dichte scans van het coëfficiënt-grid wordt nagestreefd.

Belangrijkste Bijdragen

• Definitie van een Willekeurig-Gekalibreerd Pad: Het artikel definieert een gemeten-grid pad dat gezamenlijk doel-hefboomwerking, semantische-buur schade, capaciteits-schade en schone coëfficiënten registreert voor elke record-richting-laag combinatie.
• Scheiding van Statische versus Causale Signalen: De studie toont aan dat statische lokalisatie en gesuperviseerde geometrie zwakke voorspellende priors zijn. In contrast hiermee biedt een sterkte-disjuncte low-dose respons ($R$) het dominante signaal voor het voorspellen van uitkomsten bij sterkere, disjuncte sterktes.
• Actiegerichte Voorspelling: PML verbindt voorspelling met actie via een gehouden externe collateral-bewuste policy. Deze policy selecteert een coëfficiënt of ziet af, wat een bewijs van concept levert voor het verminderen van de computationele kosten van dichte interventie-evaluaties.

Experimentele Resultaten
De studie evalueert 3.000 bevroren records over negen datasets en veertien domeinen, waarbij 30.000 verschillende paden worden gegenereerd. Resultaten worden bevestigd over drie residual-norm-gematchte basismodellen (Qwen3-1.7B, Qwen3.5-2B, Ministral-3-3B).

• Prestaties van de Richting: Geleerde richtingen (specifiek RFM/AGOP bij laag 7) presteren significant beter dan willekeurige controles. In de primaire studie bereikte RFM/AGOP een 13,1% Target-any en 12,3% Clean-any incidentie, wat de willekeurige baselines met respectievelijk 3,6 en 3,4 procentpunten overtreft.
• Voorspellende Hiërarchie: Statische lokalisatiekenmerken voegen weinig voorspellende waarde toe bovenop de baseline metadata. De low-dose respons ($R$) bij $|\alpha|=0.1$ is de sterkste voorspeller voor uitkomsten bij $|\alpha| \in \{0.25, 0.5\}$.
• Model Robuustheid: De voorspellende hiërarchie (Low-dose > Static) repliceert over alle drie de basismodellen, met record-held-out macro AUROC scores variërend van 0,801 tot 0,828.
• Beslissingsnut: Een predictor-gestuurde selector verbetert het nut en vermindert semantische-buur schade aanzienlijk vergeleken met een vaste-sterkte policy. Het vermindert de noodzaak voor evaluatie van een dichte scan (26 coëfficiënten) naar ongeveer 2,55 evaluaties (twee zwakke probes plus een uiteindelijke actie).

Betekenis en Claims
Het artikel claimt dat PML geheugenlokalisatie transformeert van een statische claim naar een weerlegbare voorspelling van marge-niveau selectieve uitkomsten. De centrale bevinding is dat een kleine, causale respons een nuttigere voorspeller is voor latere selectieve gedragingen dan statische lokalisatiegeometrie alleen.

De auteurs benadrukken dat lokalisatie niet automatisch impliceert dat er controle mogelijk is; een richting kan goed gelokaliseerd zijn maar toch een gebrek hebben aan een selectief operationeel regime. Door lokalisatie te koppelen aan een goedkope causale meting, identificeert PML welke richtingen bruikbare coëfficiënten toelaten en welke vereisen dat men afziet. Het werk claimt niet het oplossen van algemene modelbewerking of het garanderen van veiligheid over alle downstream bijwerkingen, maar biedt eerder een rigoureus, risico-bewust raamwerk voor het selecteren van interventie-sterktes op basis van de topologie van het gemeten pad.