Towards Isolated Interventions via Almost Orthogonal Features in Language Models

Technische Samenvatting: Naar geïsoleerde interventies via bijna orthogonale kenmerken in taalmodellen

Probleemstelling
Een centraal uitgangspunt van mechanistische interpreteerbaarheid is dat betekenisvolle concepten in taalmodellen (LM's) overeenkomen met lineaire kenmerken in de activatieruimte. Voor deze kenmerken om betrouwbare causale interventies te ondersteunen, mag het manipuleren van één kenmerk de effecten van andere kenmerken niet substantieel veranderen. Echter, in de praktijk zijn geleerde kenmerken vaak verstrengeld. Deze "kenmerkinterferentie" treedt op wanneer kenmerken sterk uitgelijnd zijn in de representatieruimte, waardoor gelokaliseerde interventies (bijv. het sturen van een model) onbedoelde downstream-effecten hebben, wat de causale bijdragen vertroebelt en de interventiegeschiktheid beperkt. Dit probleem wordt verergerd door het fenomeen van superpositie, waarbij modellen meer kenmerken representeren dan ze dimensies hebben, wat leidt tot interferentiepatronen die moeilijk te controleren zijn.

Methodologie
Gesterkt door het principe van Onafhankelijke Causale Mechanismen (ICM), dat stelt dat complexe systemen kunnen worden gedecomposeerd in autonome modules die elkaar niet beïnvloeden, stellen de auteurs voor om interne kenmerken te dwingen bijna orthogonaal te zijn. De methodologie omvat een tweestaps fine-tuning pipeline:

1. Orthogonale SAE-training: De auteurs trainen een Sparse Autoencoder (SAE) op de residual stream activaties van een taalmodel. In tegen tegenstelling tot standaard SAE's introduceren zij een expliciete orthogonaliteitsregularisatie-straf op de decoder matrix $D$. De verliesfunctie bevat een term $\lambda \| \text{tril}(D^\top D) \|_F^2$, die de off-diagonaal elementen van de Gram-matrix bestraft, waardoor een lage zelf-coherentie (nabijheid tot orthogonaliteit) tussen feature-atomen wordt afgedwongen.
2. LM Adaptatie: Zodra de SAE is getraind en de gewichten zijn bevroren, voegen de auteurs deze in een vooraf getrainde Transformer (specifiek een Gemma 2 2B model) in op een intermediaire laag (laag 12 van 26). Vervolgens voeren zij low-rank adaptatie (LoRA) uit op het taalmodel om het aan te passen aan de nieuwe feature-geometrie terwijl de algehele prestaties behouden blijven.

Theoretisch Kader
Het artikel formaliseert de relatie tussen kenmerkinterferentie en interventiegeschiktheid. Door de representatie van het LM te modelleren als een ijle lineaire combinatie van kenmerken ($X = DZ$) en een lineaire hypothese voor de output-mapping aan te nemen, leiden de auteurs een bovengrens af voor de verwachte discrepantie tussen de ware output en de modeloutput volgend op een interventie.

• Zij tonen aan dat de mismatch na de interventie wordt gecontroleerd door een baseline term en een interventie-specifieke term die proportioneel is aan de zelf-coherentie van de feature-dictionary, aangeduid als $\mu(D)$.
• Specifiek wordt de verwachte discrepantie begrensd door een term die $\delta^2 (d-1)\mu(D)$ bevat, waarbij $\delta$ de magnitude van de interventie is. Dit demonstreert theoretisch dat het verminderen van zelf-coherentie (het vergroten van orthogonaliteit) de propagatie van interferentie direct beperkt, waardoor de isolatie van interventies wordt verbeterd.

Belangrijkste Bijdragen

1. Theoretische Bovengrens: De auteurs bieden een theoretische bovengrens die de interventiegeschiktheid in de residual stream relateert aan kenmerkinterferentie, waarbij de discrepantie in modeloutputs expliciet wordt gekoppeld aan de zelf-coherentie van de feature-dictionary.
2. Orthogonale Fine-tuning Pipeline: Zij demonstreren een pipeline die een LM fine-tunt rond een SAE met een bijna orthogonale decoder. Zij tonen aan dat deze aanpak de prestaties en interpreteerbaarheidsscores vergelijkbaar met niet-gepenaltyste SAE's behoudt op taken met wiskundige redenering.
3. Geïsoleerde Interventies: De auteurs voeren de eerste geïsoleerde interventies uit op specifieke concepten binnen een SAE door de spill-over effecten expliciet te beperken. Zij slagen erin concepten te wisselen (bijv. de naam "Jerry" te veranderen in "Aquaman") terwijl de redeneervermogens van het model behouden blijven en onbedoelde veranderingen aan andere kenmerken worden geminimaliseerd.

Resultaten

• Orthogonaliteit vs. Prestaties: Empirische evaluatie op de GSM8K dataset laat zien dat het verhogen van de orthogonaliteitsstraf $\lambda$ de orthogonaliteitsverlies monotoon verlaagt (wat de scheiding van kenmerken verbetert) zonder de nauwkeurigheid van het model op wiskundige redeneertaken significant te verslechteren. De prestaties van modellen met strikte orthogonaliteitsstraffen blijven competitief met de niet-gepenaltyste baseline.
• Effectiviteit van Interventies: In experimenten met de substitutie van voornamen (bijv. "Jerry" naar "Aquaman") en andere concepten (dieren, locaties), vertoonden modellen met hogere orthogonaliteitsstraffen ($\lambda \ge 10^{-6}$) aanzienlijk betere isolatie.
  • Correcte Substitutie: Naarmate de straf toenam, genereerde het model vaker de correct gesubstitueerde naam (bijv. het herstellen van "Aquaman" ~70,9% van de tijd met $\lambda=10^{-4}$ versus ~60,1% zonder straf).
  • Gereduceerde Spill-over: De modellen met orthogonaliteitsstraffen waren succesvoller in het laten vallen van het oorspronkelijke concept zonder het onterecht te behouden in de output.
• Interpreteerbaarheid: De interpreteerbaarheid van de kenmerken (gemeten aan de hand van het vermogen van een LLM om feature-verklaringen correct te koppelen aan tekstfragmenten) bleef constant over verschillende orthogonaliteitsstraffen, wat aangeeft dat het afdwingen van orthogonaliteit de menselijke begrijpelijkheid van de kenmerken niet opoffert.

Betekenis en Claims
Het artikel claimt dat kenmerkverstrengeling een primaire belemmering is voor geïsoleerde interventies in taalmodellen. Door de relatie tussen interventiegeschiktheid en het ICM-principe formeel te relateren en aan te tonen dat orthogonaliteitsregularisatie kenmerkinterferentie vermindert, suggereren de auteurs een principiële route om de identificeerbaarheid en atomiciteit van SAE-kenmerken te verbeteren zonder de downstream bruikbaarheid op te offeren.

De auteurs kaderen hun werk bescheiden als een stap naar meer betrouwbare en voorspelbare AI-systemen. Zij stellen dat hun aanpak precieze, gelokaliseerde modificaties van interne representaties mogelijk maakt, wat cruciaal is voor het begrijpen van hoe specifieke componenten bijdragen aan outputs. Zij erkennen dat hun aanpak potentieel dual-use zorgen met zich meebrengt met betrekking tot de precieze sturing van modeloutputs. Zij merken echter op dat hun methode directe toegang tot modelinternals en technische expertise vereist, wat de toegankelijkheid beperkt en de waarschijnlijkheid van misbruik vermindert. Het werk claimt niet alle problemen van superpositie of adversariële robuustheid op te lossen, maar suggereert dat het stimuleren van orthogonaliteit kan fungeren als een sterke architecturale bias naar meer robuuste modellen.