🤖 machine learning

Local Linearity of LLMs Enables Activation Steering via Model-Based Linear Optimal Control

Dit artikel introduceert een methode voor het sturen van LLM-activaties tijdens inferentie door gebruik te maken van lokale lineariteit en lineaire kwadratische regelaars, waardoor gesloten-lus feedback wordt toegepast voor robuuste en nauwkeurige gedragscontrole zonder offline training.

Oorspronkelijke auteurs: Julian Skifstad, Xinyue Annie Yang, Glen Chou

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Julian Skifstad, Xinyue Annie Yang, Glen Chou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een Large Language Model (LLM), zoals de slimme chatbots die we vandaag de dag gebruiken, een gigantisch, complex orgel is. Elke toets die je indrukt (je vraag) laat een reeks van binnenin de machine bewegen, waardoor er een antwoord uitkomt.

Soms wil je dat dit orgel een andere melodie speelt. Misschien wil je dat het niet meer beledigend is, of juist dat het eerlijker antwoordt, of misschien dat het een verhaal vertelt over een hond in plaats van een kat.

Tot nu toe waren er twee manieren om dit te doen:

De zware methode: Je neemt het hele orgel uit elkaar, schroeft de buizen los en bouwt het opnieuw op. Dit heet "fine-tuning". Het werkt goed, maar het is duur, langzaam en je hebt een nieuwe versie van het orgel nodig voor elke nieuwe melodie.
De simpele methode: Je duwt op de toetsen terwijl iemand anders speelt, of je plakt een sticker op een toets. Dit heet "activatie-sturing". Het is sneller, maar vaak onnauwkeurig. Je duwt misschien op de verkeerde plek, of je duwt te hard, waardoor het orgel uit elkaar valt (de antwoorden worden onzin).

Deze paper introduceert een nieuwe, slimme methode genaamd A-LQR.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Geheim: Alles is (bijna) rechtlijnig

De onderzoekers ontdekten iets verrassends. Hoewel de binnenkant van deze AI-modellen eruitziet als een wirwar van ingewikkelde, niet-lineaire wiskunde (zoals een doolhof), gedragen ze zich op kleine schaal eigenlijk heel simpel en rechtlijnig.

De Analogie: Stel je voor dat je een auto bestuurt. Als je het stuur heel hard naar links slaat, gaat de auto misschien niet precies in een rechte lijn, maar op een klein stukje weg (bijvoorbeeld 10 meter) gedraagt de auto zich alsof hij in een rechte lijn rijdt.
De onderzoekers zeggen: "We hoeven niet het hele doolhof te begrijpen. Als we alleen kijken naar het kleine stukje weg waar de auto nu rijdt, kunnen we doen alsof het een rechte lijn is."

2. De Oplossing: De Slimme Stuurman (A-LQR)

Omdat ze weten dat het gedrag op korte termijn "rechtlijnig" is, kunnen ze een klassieke techniek uit de ingenieurswereld gebruiken: Lineaire Optimal Control (LQR).

De Analogie: Stel je voor dat je een boot bestuurt in een storm. Je wilt naar een specifieke haven (het gewenste antwoord, bijvoorbeeld "eerlijk en veilig").
- De oude methoden waren als een stuurman die roept: "Ik duw het roer naar links!" en hoopt dat het werkt. Maar als de wind verandert, raakt hij de haven niet.
- A-LQR is als een automatische piloot met radar. Deze kijkt continu naar waar de boot nu is, vergelijkt dat met waar hij moet zijn, en berekent precies hoeveel hij het roer moet bewegen om daar zo soepel mogelijk te komen.
- Het gebruikt de "kaart" van het orgel (de wiskundige structuur) om te voorspellen wat er gebeurt als je een toets indrukt, en past dat direct aan.

3. De Voordelen: Waarom is dit beter?

Geen Nieuw Orgel nodig: Je hoeft het model niet opnieuw te trainen. Je past het gewoon aan tijdens het praten.
Precisie: Omdat het continu kijkt naar de fout ("Oh, we zijn net iets te veel naar rechts gedraaid"), maakt het kleine, precieze correcties in plaats van grote, ruwe duwtjes.
Veiligheid: Het voorkomt dat de AI "in paniek" raakt en onzin begint te praten (wat vaak gebeurt bij de oude methoden als je te hard duwt). Het houdt de "stroom" van het model stabiel.
Veelzijdig: Je kunt het gebruiken om giftige antwoorden te stoppen, maar ook om de AI te dwingen om over specifieke onderwerpen (zoals "honden" of "kathedralen") te praten, of zelfs om de AI te "hacken" en haar te laten doen wat ze normaal niet zou doen (jailbreaking).

Samenvattend

Deze paper zegt eigenlijk: "Waarom proberen we een ingewikkeld, niet-lineair doolhof te doorlopen, als we weten dat het op korte afstand gewoon een rechte weg is? Laten we een slimme navigatie gebruiken die die rechte weg volgt, zodat we precies kunnen sturen waar we naartoe willen, zonder het hele voertuig te verbouwen."

Het is alsof je van een ruwe, handmatige besturing overschakelt naar een zelfrijdende auto die perfect weet hoe hij moet sturen om veilig en precies op zijn bestemming aan te komen.

Probleemstelling

Bestaande methoden voor het uitlijnen van Large Language Models (LLMs) tijdens de inferentie (zoals activation steering of representatie-engineering) hebben vaak te maken met beperkingen:

Open-loop controle: Veel huidige methoden passen interventies toe zonder rekening te houden met hoe verstoringen zich door de lagen van de transformer-propageren. Ze negeren de dynamiek van het model.
Gebrek aan feedback: Ze missen online feedback over de fout in de activatie, wat leidt tot suboptimale besturing en minder robuustheid tegen storingen.
Niet-voorspellend: Ze gebruiken geen kennis van de modelgewichten om te voorspellen hoe ingrepen het gedrag beïnvloeden, wat vaak resulteert in te agressieve of inefficiënte interventies.

Het doel is om een methode te ontwikkelen die het gedrag van een LLM tijdens generatie nauwkeurig kan sturen (bijv. om giftigheid te verminderen of eerlijkheid te verhogen) zonder de modelgewichten te wijzigen, maar wel met een theoretisch onderbouwde, gesloten-lus (closed-loop) aanpak.

Methodologie: A-LQR

De auteurs stellen A-LQR (Activation-LQR) voor, een framework dat LLM-inferentie modelleert als een lineair tijdsvariërend (LTV) dynamisch systeem en gebruikmaakt van de Lineaire Kwantitatieve Regelaar (LQR) uit de controletheorie.

De kern van de methode bestaat uit drie pijlers:

Lokale Lineariteit van LLMs:
- Ondanks de niet-lineaire structuur van transformer-blokken, tonen de auteurs empirisch aan dat de dynamiek per laag binnen een breed scala aan modellen en schalen goed benaderd kan worden door lokale lineaire modellen.
- Ze ontdekken dat de Jacobiaan-matrices (die de lokale dynamiek beschrijven) van een specifieke laag sterk gecorreleerd zijn, ongeacht de specifieke inputactivaties. Dit maakt het mogelijk om een enkele set van lineaire benaderingen te gebruiken voor verschillende trajecten.
Linear Feature Setpoint (LFS):
- Om een doel te definiëren voor de besturing, gebruiken ze een "Linear Feature Setpoint". Dit is een automatische procedure om semantische doelen (setpoints) in de activatieruimte te genereren.
- Door het verschil in gemiddelde activaties te berekenen tussen een positieve dataset (bijv. onschadelijke prompts) en een contrastieve dataset (bijv. giftige prompts), wordt een richting $v_k$ geïsoleerd die een bepaald semantisch kenmerk vertegenwoordigt.
- De gewenste sterkte van dit kenmerk ( $\beta^*_k$ ) wordt dynamisch aangepast per laag op basis van de norm van de activaties, wat zorgt voor consistente sturing.
Actieve Sturing via LQR:
- Het LLM wordt gemodelleerd als: $z_{k+1} = A_k z_k + B_k u_k$ , waarbij $z$ de activatie is en $u$ de stuurinvoer.
- De auteurs passen de klassieke LQR toe om een feedbackcontroller te synthetiseren die de afwijking van de gewenste setpoint minimaliseert, terwijl de grootte van de interventie ( $u_k$ ) wordt bestraft om de oorspronkelijke redenering van het model te behouden.
- De controller berekent de interventie $u_k$ op basis van de huidige activatie $z_k$ en de Jacobiaan $A_k$ (die offline is berekend), waardoor het een gesloten-lus (closed-loop) systeem is dat reageert op de daadwerkelijke fout in real-time.

Belangrijkste Bijdragen

Analyse van lokale lineariteit: Het paper levert bewijs dat Jacobiaans van transformer-lagen sterk gecorreleerd zijn, wat de basis vormt voor het gebruik van lineaire controletheorie op niet-lineaire LLMs.
A-LQR Algorithm: Een nieuw, trainingsvrij algoritme dat LQR gebruikt om optimaal stuurgedrag te synthetiseren voor activaties. Het is schaalbaar en vereist geen offline training van het model zelf.
Theoretische garanties: De auteurs leiden theoretische bovengrenzen af voor de trackingfout van semantische kenmerken, wat formele garanties biedt voor de prestaties van de sturing.
Adaptieve Setpoints: De introductie van LFS zorgt voor robuuste verstoringafwijzing en maakt het mogelijk om willekeurige semantische concepten te moduleren.

Resultaten

De methode is uitgebreid getest op diverse open-source modellen (Llama-3, Gemma-2, Qwen) en taken:

Giftigheidsreductie (Toxicity Mitigation):
- A-LQR reduceert giftige output aanzienlijk (tot wel 30x tot 50x minder dan de basismodellen), wat beter presteert dan state-of-the-art baselines zoals ITI, ActAdd en PID-AcT.
- Cruciaal is dat dit gebeurt met minimale degradatie van de outputkwaliteit (diversiteit en coherentie), wat vaak een probleem is bij andere methoden.
Eerlijkheid (Truthfulness):
- Op de TruthfulQA-dataset verbetert A-LQR de eerlijkheid van de antwoorden aanzienlijk zonder de informativiteit te schaden, en presteert het consistent beter dan concurrenten.
Concept-inductie:
- Het systeem kan willekeurige concepten (zoals "hond" of "voetbal") succesvol in generaties introduceren door de $\lambda$ -parameter (sterkte van het setpoint) aan te passen.
Jailbreaking:
- Als "mechanistische jailbreak" getest, kan A-LQR (vooral in de variant A-LQR+ die op alle tokens ingrijpt) weigeringsgedrag van modellen omzeilen en schadelijke instructies uitvoeren. Dit onderstreept de kracht van de methode, maar roept ook ethische vragen op.
Efficiëntie:
- De online overhead is laag (enige matrixvermenigvuldigingen), wat leidt tot een minimale vertraging in de generatiesnelheid (tokens per seconde) vergeleken met het basismodel.

Betekenis en Impact

Dit paper is significant omdat het een brug slaat tussen controletheorie en LLM-interpreteerbaarheid. Door de lokale lineariteit van LLMs te benutten, transformeert het activatiesturing van een heuristische, open-loop techniek naar een wiskundig onderbouwde, gesloten-lus besturingsprobleem.

Voor veiligheid: Het biedt een krachtig, trainingsvrij hulpmiddel om LLMs veiliger en betrouwbaarder te maken tijdens het gebruik, zonder de kosten van hertraining.
Voor onderzoek: Het biedt een nieuw perspectief op de interne dynamiek van LLMs, bevestigend dat lineaire benaderingen effectief zijn voor het begrijpen en sturen van complexe neurale netwerken.
Dual-use: Het paper erkent eerlijk dat dezelfde techniek die gebruikt wordt voor veiligheid ook kan worden gebruikt om schadelijk gedrag te forceren (jailbreaking), wat de noodzaak benadrukt voor robuuste verdedigingsmechanismen.

Kortom, A-LQR stelt een nieuwe standaard voor voor hoe we LLMs tijdens de inferentie kunnen sturen: niet door blind te gokken, maar door het model te behandelen als een dynamisch systeem dat we kunnen voorspellen en optimaliseren.