💬 NLP

FishBack: Pullback Fisher Geometry for Optimal Activation Steering in Transformers

Het artikel introduceert FishBack, een nieuwe methode voor activatiesturing die de gebrekkige Euclidische aanname vervangt door de Fisher-informatie metriek om een optimale sturingsrichting af te leiden, waardoor off-target distorties in transformer-modellen over verschillende groottes en lagen heen aanzienlijk worden verminderd.

Oorspronkelijke auteurs: Sihan Wang, Jiayi Zhao, Qingyan Cao, Hongbo Yao, Lin Shu

Gepubliceerd 2026-08-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sihan Wang, Jiayi Zhao, Qingyan Cao, Hongbo Yao, Lin Shu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn enorme netwerken van kunstmatige neuronen die hebben geleerd om het volgende woord in een zin te voorspellen door biljoenen voorbeelden te lezen. Eenmaal getraind kunnen deze modellen ongelooflijk nuttig zijn, maar ze kunnen ook koppig of onveilig zijn, waarbij ze tekst genereren die bevooroordeeld, onwaarheidsgetrouw of simpelweg niet is wat de gebruiker bedoelde. Jarenlang hebben onderzoekers geprobeerd deze gedragingen te corrigeren door een kleine duw toe te voegen aan de interne berekeningen van het model terwijl het werkt. Deze techniek, bekend als activation steering, houdt in dat er een specifieke richting wordt gevonden in de verborgen lagen van het model en dat de data langs dat pad wordt geduwd om een gewenst kenmerk aan te moedigen, zoals waarachtigheid of een specifieke grammaticale tijd. Het is een lichtgewicht alternatief voor het hertrainen van het hele model, wat duur en tijdrovend is. Deze duwtjes zijn echter berucht onbetrouwbaar. Een duw die perfect werkt in één deel van het netwerk, faalt vaak in een ander deel, of erger nog, het lost één probleem op terwijl het per ongeluk iets anders volledig breekt, waardoor het model onzin gaat produceren of zijn oorspronkelijke persoonlijkheid verliest.

De kernreden voor deze instabiliteit, volgens een nieuwe studie door onderzoekers van de South China University of Technology, is een fundamenteel misverstand over de ruimte waarin deze modellen opereren. De meeste bestaande methoden behandelen de interne staat van het model alsof het een plat, gewoon rooster is, waarbij het bewegen over een bepaalde afstand in elke richting evenveel inspanning kost. De onderzoekers stellen dat dit een onjuiste visie is. In werkelijkheid is de ruimte binnen een taalmodel gebogen en ongelijkmatig, vergelijkbaar met het oppervlak van de aarde vergeleken met een platte kaart. Een korte afstand bewegen in de ene richting kan de output van het model drastisch veranderen, terwijl bewegen over dezelfde afstand in een naburige richting bijna geen effect heeft. De oude methoden probeerden, door een plat oppervlak aan te nemen, in essentie een auto in een rechte lijn over een bergketen te rijden, waarbij de steile hellingen en valleien die de route eigenlijk bepalen, werden genegeerd.

Om dit op te lossen, ontwikkelde het team een nieuwe aanpak genaamd FishBack. In plaats van de juiste richting te raden, berekenden zij de ware vorm van het landschap dat het model navigeert. Ze ontdekten dat de regels die bepalen hoe een kleine verandering in het midden van het netwerk de uiteindelijke output beïnvloedt, worden bepaald door een specifieke wiskundige eigenschap genaamd de Fisher-informatie metriek. Deze metriek fungeert als een topografische kaart, die precies laat zien hoe "steil" of "vlak" het terrein is in elke richting. Door deze kaart terug te trekken van de laatste outputlaag van het model naar de tussenliggende lagen waar de sturing plaatsvindt, konden de onderzoekers de ware geometrie van het probleem zien. Ze gebruikten deze kaart vervolgens om het enkel beste pad te vinden om de staat van het model te veranderen. Dit pad is geen rechte lijn; het is een gebogen route die de gewenste verandering in gedrag bereikt terwijl het de minste hoeveelheid "energie" verbruikt en de rest van de kennis van het model zo min mogelijk verstoort.

De onderzoekers testten deze methode op drie verschillende taalmodellen van variërende groottes, variërend van een kleiner model met 768 interne dimensies tot enorme modellen met meer dan vierduizend dimensies. Ze concentreerden zich op drie specifieke taken: het veranderen van een werkwoord naar de derde persoon enkelvoud, het veranderen naar een onvoltooid tegenwoordige tijd (progressive form), of het veranderen naar de verleden tijd. In elk geval vergeleken ze hun nieuwe geometrische methode met de standaard, platte ruimte-technieken. De resultaten waren opmerkelijk. Op het kleinere model verminderde de nieuwe methode de ongewenste bijwerkingen — wat de onderzoekers off-target distortion noemen — met een factor tot wel zesënhalf vergeleken met de beste bestaande methoden. Op de grotere, complexere modellen was de verbetering zelfs nog consistenter, waarbij de ongewenste veranderingen met een factor van bijna vier werden verminderd in de vroege en middelste lagen van het netwerk.

Cruciaal is dat de studie ook aantoonde dat de oude methoden niet alleen iets minder efficiënt waren; ze waren fundamenteel gebrekkig in hun aanpak. Wanneer de onderzoekers de complexe geometrische kaart vervingen door een eenvoudige platte aanname in hun eigen systeem, daalde de prestatie aanzienlijk, wat bewees dat de kromming van de ruimte de sleutel tot succes was. De nieuwe methode werkt door een precieze, optimale richting te berekenen voor elke specifieke situatie, in plaats van een enkele vaste vector voor alle inputs te gebruiken. Dit stelt het model in staat om zich aan te passen aan de unieke vorm van zijn interne staat op dat exacte moment. De onderzoekers ontwikkelden ook een manier om deze complexe richting te berekenen zonder de volledige kaart expliciet te hoeven opbouwen, wat te traag zou zijn geweest voor de grootste modellen. In plaats daarvan gebruikten ze een slimme benadering die de essentiële vorm van het landschap vastlegt met slechts een paar honderd berekeningen, waardoor de techniek praktisch bruikbaar is voor de echte wereld.

De bevindingen suggereren dat de instabiliteit die de huidige activation steering-methoden teistert, geen bug in de modellen zelf is, maar een gevolg van het gebruik van de verkeerde geometrie om hen te navigeren. Door te erkennen dat de interne wereld van een taalmodel gebogen is en dat de kosten van beweging sterk variëren afhankelijk van de richting, biedt de FishBack-methode een stabiele en efficiënte manier om deze systemen te sturen. De onderzoekers hebben aangetoond dat deze geometrische correctie het meest waardevol is in de vroege en middelste lagen van het netwerk, waar het landschap het meest ongelijkmatig is. Naarmate de data zich naar de uiteindelijke output beweegt, vlakt het landschap af, en daarmee neemt het voordeel van de complexe methode af, wat perfect overeenkomt met de theorie. Dit werk biedt een duidelijk pad vooruit om taalmodellen betrouwbaarder en controleerbaarder te maken, door een kwetsbaar proces van trial-and-error te veranderen in een nauwkeurig, wiskundig onderbouwd instrument.

Technische Samenvatting: FishBack – Pullback Fisher-geometrie voor optimale activatiesturing in Transformers

1. Probleemstelling

Activatiesturing (activation steering) is naar voren gekomen als een lichtgewicht methode om het gedrag van Large Language Models (LLM's) te wijzigen zonder parameterupdates. Door de verborgen toestanden (hidden states) tijdens de inferentie te verplaatsen langs specifieke lineaire richtingen, kunnen onderzoekers concepten (bijv. waarachtigheid, sentiment, weigering) versterken of onderdrukken. Echter, bestaande methoden (zoals CAA, ActAdd en ITI) vertonen aanzienlijke broosheid: ze zijn instabiel over lagen heen, vereisen nauwe afstemming van coëfficiënten en verstoren vaak gedragingen die niet gerelateerd zijn aan het doelconcept.

De auteurs herleiden deze mislukkingen tot een fundamentele, vaak onuitgesproken aanname die gedeeld wordt door huidige methoden: dat de tussenliggende activatieruimte Euclidisch is. Deze methoden passen updates toe van de vorm $h \leftarrow h + \alpha v$ , waarbij de ruimte als vlak wordt behandeld waar een stap in elke richting evenveel kost. Het artikel betoogt dat deze aanname gebrekkig is. Hoewel bekend is dat de uiteindelijke softmax-laag een niet-Euclidische geometrie bezit (de Fisher–Rao-metriek), is de geometrie die de interventies in tussenliggende lagen beheert — waar de sturing daadwerkelijk plaatsvindt — ongetoetst gebleven. Bijgevolg sturen huidige methoden langs "rechte lijnen" die suboptimaal en kostbaar zijn in termen van off-target verstoring.

2. Methodologie: Het FishBack-framework

Het artikel stelt FishBack voor, een framework dat de correcte geometrie voor sturing in tussenliggende lagen direct afleidt uit de berekening van het model, in plaats van het aan data te fitten.

2.1 De Pullback Fisher-metriek

De kerninzicht is dat de kosten van een interventie niet de Euclidische lengte zijn, maar hoeveel het de voorspelde tokenverdeling verschuift.

Output Metriek: In de laatste laag wordt de verandering in voorspelling bepaald door de Fisher-informatie metriek $H$ van de softmax-kop.
Pullback: Om de kosten van een perturbatie $\delta h$ in een tussenliggende laag $\ell$ te bepalen, trekken de auteurs deze metriek terug (pullback) door de Jacobiaan $J$ van het netwerk (de afgeleide van de afbeelding van laag $\ell$ naar de output).
De Metriek: De resulterende metriek op laag $\ell$ is $G = J^\top H J$ . Deze matrix $G$ is de pullback Fisher-metriek. Het is een symmetrische positief semi-definite matrix en komt overeen met de gegeneraliseerde Gauss–Newton-matrix van de negatieve log-likelihood van het model met betrekking tot de activatie $h$ .

2.2 Optimale Sturingsrichting

Met behulp van $G$ wordt het probleem van het vinden van een sturingsrichting een geoptimaliseerd probleem met beperkingen: een doelconcept-verandering induceren terwijl de beweging van de rest van de distributie (off-target verstoring) wordt geminimaliseerd.

Concept Covector: De conceptrichting wordt gerepresenteerd als een covector $q = J^\top \beta_W$ , waarbij $\beta_W$ de probe voor het doelconcept is.
Closed-Form Oplossing: De optimale verplaatsing $\delta h^\star$ die een conceptverandering $\rho$ bereikt met minimale off-target verstoring (gemeten als KL-divergentie) wordt gegeven door:
$\delta h^\star = \frac{\rho}{q^\top G^\dagger q} G^\dagger q$
waarbij $G^\dagger$ de Moore–Penrose pseudoinversie is.
Niet-Doel Optimaliteit: Onder een scheidbaarheidsvoorwaarde (waarbij de concept- en inhoudfactoren van de distributie onafhankelijk zijn), is het minimaliseren van de totale KL-divergentie equivalent aan het minimaliseren van de off-target KL-divergentie. Hiermee is deze richting optimaal voor het behoud van ongerelateerde gedragingen.

2.3 Schaalbaarheid naar 8B Modellen

Het expliciet vormen van $G$ (omvang $d \times d$ ) is computationeel onhaalbaar voor grote modellen (bijv. Llama-3-8B, Qwen3-8B met $d=4096$ ). De auteurs ontwikkelen een matrix-vrije benadering:

Actie Evaluatie: De actie van $G$ op een vector wordt berekend via eindverschil Jacobian-vectorproducten en backward passes, waardoor expliciete matrixvorming wordt vermeden.
Low-Rank Spectrum: Het spectrum van $G$ is sterk geconcentreerd. Een gerandomiseerde decompositie (rank 50) wordt gebruikt om de laagdimensionale subspace te vinden waar de inversie wordt berekend.
Frozen Jacobian: Om berekeningen te besparen, wordt de Jacobiaan één keer berekend bij het initiële punt en vastgehouden over de sturingsstappen, waarbij alleen de Fisher-informatie en de covector worden bijgewerkt.

3. Belangrijkste Bijdragen

Identificatie van de Correcte Geometrie: Het artikel stelt vast dat de metriek die de sturing in tussenliggende lagen beheert de pullback Fisher-informatie is ( $G = J^\top H J$ ), direct afgeleid van het model in gesloten vorm. Dit staat in contrast met de platte (Euclidische) metriek die door additieve methoden wordt aangenomen.
Closed-Form Optimale Richting: De auteurs leiden een closed-form expressie af voor de sturingsrichting die de off-target KL-divergentie minimaliseert voor een gegeven conceptverandering. Deze richting roteert de ruwe concept-covector naar de "goedkope" richtingen van de output-geometrie.
Schaalbare Benadering: Er is een matrix-vrij algoritme ontwikkeld dat de optimale richting herstelt voor 8B-schaal modellen binnen enkele honderden partiële forward passes per geval, wat de methode praktisch maakt voor moderne LLM's.
Empirische Validatie: Het framework wordt geëvalueerd op drie werkwoord-morfologie concepten (derde persoon enkelvoud, progressief, verleden tijd) over GPT-2 Small, Llama-3-8B en Qwen3-8B.

4. Experimentele Resultaten

De evaluatie gebruikt een contrafactueel protocol waarbij methoden worden vergeleken bij gelijke conceptverandering (om een gelijke on-target effectiviteit te garanderen) om de off-target verstoring (KL-divergentie op niet-concept tokens) te meten.

GPT-2 Small: FishBack verlaagt de mediane off-target KL-divergentie met factoren van 1.4x tot 6.5x vergeleken met individuele baselines (CAA, ActAdd, ITI, ReFT, RepSurgery). Tegenover de "Best-per-case" oracle (die de baseline selecteert met de kleinste off-target divergentie voor elk specifiek geval), bereikt FishBack nog steeds een lagere off-target divergentie met een mediane ratio van 1.25 (ten gunste van FishBack), hoewel de marge dunner is dan tegenover vaste baselines.
8B Modellen (Llama-3-8B, Qwen3-8B): In vroege en middelste lagen vermindert FishBack de off-target KL met mediane factoren van 1.8x tot 3.6x ten opzichte van baselines.
Geometrische Ablatie: Het vervangen van de pullback-metriek $G$ door de identiteitsmatrix (Euclidische ablatie) terwijl de rest van de pipeline identiek blijft, resulteert in aanzienlijk hogere off-target verstoring (ratio's van 1.3x tot 2.45x), wat bevestigt dat de winst toe te schrijven is aan de geometrische correctie zelf.
Laag Afhankelijkheid: Het geometrische voordeel is het meest uitgesproken in de vroege en middelste lagen waar de metriek sterk anisotroop is (conditiegetallen $\sim 10^7$ ). In diepere lagen vlakt de geometrie af en neemt het voordeel af, wat in lijn is met de theoretische voorspellingen.

5. Betekenis en Claims

Het artikel claimt dat de instabiliteit en off-target verstoring van huidige activatiesturing-methoden voortkomen uit het negeren van de intrinsieke niet-Euclidische geometrie van de representatieruimte van het model. Door deze geometrie expliciet te modelleren via de pullback Fisher-metriek, biedt FishBack een theoretisch gefundeerde, optimale richting voor interventie.

Theoretische Rigor: De methode vertrouwt niet op het fitten van manifolds aan data, maar leidt de metriek direct af uit de Jacobiaan en de softmax-kop van het model, wat een optimale richting garandeert onder de tweede-orde benadering.
Praktische Impact: Het framework demonstreert dat de geometrische correctie zelfs in grotere, complexere modellen (8B parameters) zijn voordeel behoudt, wat de getrouwheid van gedragsmodificatie aanzienlijk verbetert.
Beperkingen: De auteurs merken op dat het voordeel van de methode afhankelijk is van de anisotropie van de pullback-metriek. In zeer diepe lagen waar de geometrie bijna Euclidisch (plat) wordt, versmalt het voordeel van de correctie, wat consistent is met de in het artikel afgeleide theoretische grenzen.

Samenvattend herformuleert FishBack activatiesturing als een probleem van navigeren door een gekromde manifold gedefinieerd door de eigen informatie-geometrie van het model, waarmee een robuuste oplossing wordt geboden voor de broosheid van lineaire sturingsvectoren.