💬 NLP

Towards Understanding Steering Strength

Dit artikel presenteert de eerste theoretische analyse van stuurkracht (steering strength) in grote taalmodellen, waarbij precieze wetten worden afgeleid die de niet-monotone effecten ervan op modelgedrag beheersen en deze voorspellingen empirisch worden gevalideerd over elf verschillende architecturen.

Oorspronkelijke auteurs: Magamed Taimeskhanov, Samuel Vaiter, Damien Garreau

Gepubliceerd 2026-07-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Magamed Taimeskhanov, Samuel Vaiter, Damien Garreau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een superintelligente, maar lichtelijk ondeugende robotkok. Het heeft geleerd om allerlei gerechten te bereiden uit zijn trainingsdata, maar soms voegt het per ongeluk "vergif" (schadelijke of ongewenste gedragingen) toe aan het recept. Om dit op te lossen zonder de hele kok opnieuw te trainen, gebruiken onderzoekers een techniek genaamd activation steering. Zie dit als het geven van een zachte duw in de juiste richting aan de robot terwijl hij aan het koken is, waarbij je zijn interne gedachten richting "veiligheid" of "eerlijkheid" duwt en weg van "misleiding" of "schade".

De grote vraag waar dit paper een antwoord op zoekt is: Hoe hard moet je duwen?

Als je te licht duwt, negeert de robot je en blijft hij het slechte gerecht koken. Als je te hard duwt, kun je de robot omverwerpen, waardoor de maaltijd volledig mislukt. De auteurs, Magamed Taimeshanov, Samuel Vaiter en Damien Garreau, besloten uit te zoeken wat de perfecte hoeveelheid kracht is, die zij de stuurkracht (weergegeven door de Griekse letter $\alpha$ ) noemen.

De "Bult" in de Weg

Het meest verrassende wat ze ontdekten, is dat het verhogen van de stuurkracht niet simpelweg zorgt ervoor dat het gedrag van de robot in een rechte lijn "beter" wordt. In plaats daarvan gedraagt het zich als een achtbaan met een specifieke vorm.

Stel je voor dat je de robot probeert om "veilige" woorden te laten zeggen. Terwijl je de duw ( $\alpha$ ) langzaam verhoogt:

De Stijging: In het begin gaat de waarschijnlijkheid dat de robot veilige woorden zegt omhoog. Geweldig!
De Piekpunt: Vervolgens bereikt het een optimaal punt. Dit is de "bult". De robot zegt precies wat je wilt, en de rest van het gesprek blijft nog steeds logisch.
De Daling: Maar als je voorbij die piek blijft duwen, gaat de waarschijnlijkheid van de veilige woorden zelfs omlaag. De robot raakt in de war en de kwaliteit van zijn antwoorden stort in.

Het paper bewijst wiskundig dat dit "bult"-gedrag voor de meeste woorden echt is. Ze ontdekten dat "off-target" woorden (het slechte spul dat je juist wilt vermijden) hun piek bereiken en beginnen te vervagen voordat de "target" woorden (het goede spul) dat doen. Dit betekent dat er een specifiek venster is waarin de robot gefocust is op het juiste onderwerp zonder nog kapot te gaan.

De "Sigmoïde" S-curve

Wanneer ze naar het grotere plaatje keken — hoe waarschijnlijk het is dat de robot een heel concept produceert (zoals "kwaadaardigheid" of "vreugde") in plaats van slechts één woord — vonden ze een andere vorm: een S-curve (of sigmoïde).

Denk hierbij aan een lichtschakelaar die niet direct aanklikt. Naarmate je de stuurkracht verhoogt, blijft het concept uit, begint het dan langzaam te gloeien, en is het uiteindelijk volledig verlicht. Het paper laat zien dat de waarschijnlijkheid dat een concept verschijnt een vloeiende S-vorm volgt, wat overeenkomt met wat andere onderzoekers in experimenten hebben gezien. Ze merkten echter ook op dat als je de kracht te ver opvoert, de robot je prompt volledig negeert en gewoon begint met het herhalen van dezelfde paar woorden, ongeacht wat je er ook naar vraagt.

De Prijs van het Duwen

Hier zit de adder onder het gras: Je krijgt niets voor niets.

Het paper bewijst dat, ongeacht hoe zorgvuldig je de stuurkracht kiest, het duwen de robot altijd iets slechter maakt in zijn oorspronkelijke taak (het correct voorspellen van het volgende woord). Ze maten dit met een metriek genaamd cross-entropy (een manier om te meten hoe "verrast" het model is door zijn eigen output).

Ze ontdekten dat rond het punt waar je helemaal niet duwt ( $\alpha = 0$ ), de schade aan de prestaties van het model een U-vorm heeft.

Als je een klein beetje duwt, is de schade klein (het ziet eruit als een milde curve).
Als je veel duwt, wordt de schade veel groter.
Cruciaal is dat het paper laat zien dat deze schade niet een rechte lijn is; het groeit kwadratisch (zoals $x^2$ ) bij kleine duwtjes. Dit betekent dat zelfs een kleine toename in kracht de prestaties sneller kan schaden dan je zou verwachten.

Wat Ze Hebben Uitgesloten

De auteurs waren zeer zorgvuldig in het uitsluiten van enkele veelvoorkomende misvattingen:

Het is geen rechte lijn: Ze lieten expliciet zien dat het idee dat "meer sturing altijd gelijk staat aan meer van het gewenste gedrag" onjuist is. Voorbij een bepaald punt zorgt meer sturing ervoor dat het gewenste gedrag juist minder waarschijnlijk wordt.
Het is geen magie: Ze argumenteerden tegen het idee dat je zomaar een willekeurig getal voor de stuurkracht kunt kiezen. Het paper suggereert dat het "optimale punt" afhangt van de specifieke prompt en het model, dus een "one-size-fits-all" getal bestaat niet.
Het gaat niet alleen over de target: Ze lieten zien dat sturing ook invloed heeft op andere concepten. Als je de robot probeert te sturen naar "gelukkig" zijn, ben je misschien per ongeluk ook minder waarschijnlijk "verdrietig" te zijn, maar je kunt ook de vaardigheid van de robot om over "wiskunde" of "programmeren" te praten verstoren, afhankelijk van hoe de concepten in de hersenen van de robot met elkaar verstrengeld zijn.

Hoe Zeker Zijn Ze?

De auteurs hebben niet alleen gegokt; ze bouwden een wiskundig model van een vereenvoudigde robot (een "Unconstrained Features Model") en bewezen deze gedragingen met strikte wiskunde. Vervolgens testten ze hun theorieën op elf verschillende real-world taalmodellen, variërend van kleine tot enorme modellen zoals GPT-2, Gemma en Qwen.

Ze vonden dat het "bult"-patroon, de S-curve en de U-vormige schade aan de prestaties consistent voorkwamen in al deze verschillende modellen. Hoewel ze toegeven dat hun wiskundige model een versimpeling van de werkelijkheid is, geeft het feit dat de echte robots zich exact gedroegen zoals de wiskunde voorspelde, hen een hoog vertrouwen in hun bevindingen.

De Kernboodschap

Het paper suggere wordt dat het sturen van een taalmodel lijkt op het afstemmen van een radio. Als je de draaiknop te ver draait, krijg je geen duidelijker signaal; je krijgt alleen maar ruis. De auteurs stellen een tweestapsstrategie voor voor iedereen die deze modellen probeert te controleren:

Zoek eerst het "plafond" — het punt waarop de robot begint te breken of je prompt negeert.
Kies vervolgens een kracht net onder dat plafond die je de meeste "goede" gedragingen geeft, terwijl de schade aan de algemene intelligentie van de robot zo laag mogelijk blijft.

Ze hebben het probleem niet opgelost om het perfecte getal voor elke situatie te vinden, maar ze hebben ons een kaart van het terrein gegeven zodat we niet langer in het donker hoeven te tasten.

Probleem
Large Language Models (LLM's) erven vaak schadelijke gedragspatronen uit trainingsdata, zoals bedrog of de bereidheid om schade aan te richten. Een populaire methode voor post-training controle, activation steering, probeert dit te mitigeren door een richting in de latente representatieruimte van het model te identificeren die geassocieerd is met een doelconcept (bijv. veiligheid) en de residual stream tijdens inferentie langs deze richting te verstoren. Hoewel de methodologie voor het selecteren van de sturingsrichting (bijv. verschil van gemiddelden) goed gevestigd is, blijft de keuze van de sturingssterkte-hyperparameter, $\alpha$ , grotendeels heuristisch. Praktijkgebruikers worden geconfronteerd met een kritieke afweging: een onvoldoende $\alpha$ slaagt er niet in het gewenste gedrag op te roepen, terwijl een excessieve $\alpha$ de prestaties van het model zodanig degradeert dat er onherstelbare schade optreedt. Momenteel is er een gebrek aan theoretisch begrip over hoe $\alpha$ kwantitatief invloed heeft op de waarschijnlijkheid van de volgende token, de aanwezigheid van concepten en de algehele modelprestaties (cross-entropy).

Methodologie
De auteurs stellen een theoretische analyse voor van sturingssterkte met behulp van een vereenvoudigd, hanteerbaar model dat bekend staat als het Unconstrained Features Model (UFM, aangepast van eerder werk over neural collapse). Dit model gaat ervan uit dat hoogwaardige concepten overeenkomen met disjuncte deelverzamelingen van de vocabulaire en dat het model de waarschijnlijkheden van de trainingsdata perfect heeft geleerd.

Theoretisch Kader: De studie definieert een sturingsvector $v$ als het verschil van de gemiddelden tussen de embeddings van "positieve" contexten (die het doelconcept vertonen) en "negatieve" contexten (die het concept missen). De sturingsoperatie verschuift de context-embedding $h_j$ naar $h_j + \alpha v$ .
Analytische Afleiding: De auteurs leiden precieze kwalitatieve wetten af die drie sleutelhoeveelheden regeren als functies van $\alpha$ $α$ :
- Toename van de waarschijnlijkheid van de volgende token ( $\Delta p$ ): De verandering in waarschijnlijkheid voor specifieke tokens.
- Toename van de conceptwaarschijnlijkheid ( $\Delta p(C)$ ): De geaggregeerde verandering in waarschijnlijkheid voor tokens die behoren tot een specifconcept.
- Verschil in cross-entropy ( $\Delta CE$ ): De verandering in modelprestaties ten opzichte van de ongestuurde staat.
Empirische Validatie: De theoretische voorspellingen worden gevalideerd over elf moderne LLM's (variërend van kleine GPT-architecturen tot modellen zoals Gemma 3, Qwen 3 en Llama 2) en twaalf verschillende concepten (inclusclusief veiligheidsgerelateerde eigenschappen zoals "kwaadwillend" en "depressie", en onderwerpen zoals "wiskunde"). De experimenten maken gebruik van een verschil-van-gemiddelden sturingsvector geconstrueerd uit contrastieve of willekeurige prompt-sets, waarbij de residual streams op verschillende lagen worden gestuurd.

Belangrijkste Bijdragen en Resultaten

Niet-monotone "Bump"-gedrag van Token-waarschijnlijkheden: In tegen tegen de intuïtie dat sturing simpelweg de waarschijnlijkheid van doel-tokens monotoon verhoogt, onthult de analyse een "bump"-gedrag. Voor de meeste tokens stijgt de waarschijnlijkheidstoename $\Delta p(\alpha)$ tot een piek bij een specifieke $\alpha$ en neemt daarna af. Cruciaal is dat off-target tokens (die niet tot het doelconcept behoren) hun piekwaarschijnlijkheid eerder bereiken dan doel-tokens. Dit suggereert een "sweet spot" voor $\alpha$ waar het doelconcept wordt bevoordeeld voordat de distributie instort op enkele dominante tokens.
Sigmoïdale Evolutie van Conceptwaarschijnlijkheid: De waarschijnlijkheid van het doelconcept in de output volgt een sigmoïdale (tanh-vormige) curve naarmate $\alpha$ toeneemt, wat overeenkomt met empirische observaties. Omgekeerd neigen off-target concepten die geen tokens met extreme log-odds bevatten, terug naar hun ongestuurde waarden, terwijl zij met uniform lagere log-odds monotoon afnemen.
Lokale Kwadratische Degradatie van Prestaties: Het artikel biedt de eerste theoretische karakterisering die aantoont dat sturing noodzakelijkerwijs de globale prestaties degradeert. De toename in cross-entropy $\Delta CE(\alpha)$ is lokaal U-vormig rond $\alpha = 0$ , volgend een kwadratische trend ( $\Delta CE \propto \alpha^2$ ) bepaald door de variantie van de log-odds. Dit bevestigt dat elke vorm van sturing verstoring introduceert.
Groot- $\alpha$ -limiet: Voor moderne transformers met normalisatielagen convergeren de gestuurde logits, wanneer $|\alpha| \to \infty$ , naar de unembedding van de genormaliseerde sturingsrichting, waardoor ze onafhankelijk worden van de input-prompt. Dit verklaart het geobserveerde plateau van de cross-entropy en de instorting van de output-diversiteit bij hoge sturingssterktes.

Significantie
Het artikel beweert de eerste theoretische analyse van sturingssterkte te bieden, waarmee het verder gaat dan empirische trial-and-error. Door de niet-monotone effecten op token-waarschijnlijkheden en de onvermijdelijke kwadratische kosten voor de cross-entropy te karakteriseren, biedt het werk een principieel fundament voor het selecteren van $\alpha$ . De auteurs stellen een tweestaps-selectiestrategie voor: eerst het beperken van de zoekruimte tot $[0, \alpha^\star]$ , waarbij $\alpha^\star$ de drempel is voordat model-degeneratie (prompt-onafhankelijkheid) optreedt, en vervolgens het kalibreren van $\alpha$ binnen dit bereik om de aanwezigheid van het concept te maximaliseren terwijl de degradatie van de cross-entropy onder een specifieke drempel blijft. Dit kader beoogt om de inferentie-tijd controle betrouwbaarder, efficiënter en controleerbaar te maken, hoewel de auteurs erkennen dat het overbruggen van de kloof tussen hun vereenvoudigde theoretische aannames en de complexiteit van real-world gemengde-concept contexten een uitdaging blijft voor toekomstig werk.