🤖 machine learning

Dynamically Scaled Activation Steering

Dit artikel introduceert Dynamically Scaled Activation Steering (DSAS), een methode-onafhankelijk framework dat de sterkte van activatie-interventies adaptief moduleert op basis van de inputcontext om de balans tussen toxiciteitsmitigatie en nutbehoud in generatieve modellen te verbeteren, met een minimale computationele overhead.

Oorspronkelijke auteurs: Alex Ferrando, Xavier Suau, Jordi Gonzàlez, Pau Rodriguez

Gepubliceerd 2026-07-31

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alex Ferrando, Xavier Suau, Jordi Gonzàlez, Pau Rodriguez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de dirigent bent van een enorm, onzichtbaar orkest gemaakt van pure wiskunde. Dit orkest is een "generatief model", een type computerbrein dat verhalen kan schrijven, plaatjes kan schilderen of problemen kan oplossen. Maar zoals elke muzikant kan het soms een valse noot spelen of, erger nog, een schadelijke noot. Jarenlang hebben wetenschappers geprobeerd dit te herstellen door de muziek te "sturen". Denk aan sturen als het zwaaien met een baton om het hele orkest te vertellen zachter te spelen, of om een specifiek instrument te vermijden. Het probleem met de oude manier van sturen is dat het een beetje onhandig is: het vertelt het hele orkest om zacht te spelen, zelfs wanneer ze al een prachtige, veilige melodie spelen. Dit maakt de muziek vlak en saai, zelfs wanneer niemand iets fout deed.

De paper die je nu gaat lezen, introduceert een nieuwe, superintelligente dirigent genaamd DSAS (Dynamically Scaled Activation Steering). In plaats van met de baton naar de hele groep te zwaaien, luistert DSAS naar elke individuele muzikant. Het vertelt alleen de specifieke muzikanten die op het punt staan een "toxische" of schadelijke noot te spelen om het volume te verlagen, terwijl de rest van het orkest precies mag spelen zoals ze willen. Het is het verschil tussen een leraar die roept "Iedereen stil!" wanneer slechts één leerling praat, versus een leraar die slechts die ene leerling zachtjes op de schouder tikt. Deze paper laat zien dat door deze precisie te gebruiken, we het slechte gedrag kunnen stoppen zonder het goede deel te verpesten, waardoor deze AI-breinen veiliger en nuttiger worden zonder ze dommer te maken.

Het Grote Idee van de Paper: De "Slimme Dimmer" voor AI

De onderzoekers, Alex Ferrando de las Morenas en zijn team van Apple en de Universitat Autònoma de Barcelona, realiseerden zich dat de oude methode van "activation steering" te bot was. In de wereld van AI is "activation steering" een techniek waarbij wetenschappers de interne signalen van een model aanpassen om het richting een gewenst gedrag te duwen, zoals beleefd zijn of de waarheid spreken. Meestal passen ze een "globale sterkte" toe (laten we het een volumeknop noemen, of $\lambda$ ) die het sturen voor alles wat het model doet, omhoog of omlaag draait.

Het probleem? Als je het volume op "beleefd zijn" omhoog draait, kan het model zo beleefd worden dat het helemaal niet meer op vragen reageert, of als je het omhoog draait om "toxische" woorden te stoppen, kan het gaan klinken als een robot en zijn creativiteit verliezen. De paper betoogt dat we moeten weten wanneer we moeten sturen, niet alleen hoe we moeten sturen.

Hier komt DSAS kijken. De auteurs stellen een framework voor dat werkt als een slimme dimmer voor elk woord (of "token") dat de AI genereert. In plaats van een globale knop, gebruikt DSAS een kleine, getrainde "poortwachter" voor elke laag van het AI-brein. Deze poortwachter kijkt naar de context van wat de AI zegt en vraagt: "Is dit specifieke woord waarschijnlijk giftig of schadelijk?"

Als het antwoord nee is (de AI praat over een zonnige dag of een wiskundig probleem), blijft de poort open en stroomt de AI natuurlijk voort.
Als het antwoord ja is (de AI staat op het punt om een belediging of een gevaarlijke instructie te genereren), gaat de poort dicht en wordt de sturing hard ingezet om die specifieke gedachte om te leiden.

De paper demonstreert dit met een leuke, niet-beledigende voorbeelden: het sturen van de AI weg van het woord "banaan". Wanneer de AI wordt gevraagd een verhaal te schrijven over een aap die fruit eet, detecteert DSAS het concept "banaan" en past een sterke sturingskracht toe om het zeggen van het woord te voorkomen. Maar wanneer de AI wordt gevraagd een verhaal te schrijven over een kat of een auto, ziet DSAS dat "banaan" niet relevant is, en laat de sturing met rust. Het resultaat? De AI vermijdt het "banaan"-concept succesvol wanneer dat moet, maar verliest niet zijn vermogen om over katten of auto's te praten.

Wat Ze Hebben Ontdekt: Een Betere Balans

Het team heeft DSAS getest op verschillende populaire AI-modellen (zoals Qwen en Gemma) en vergeleken met andere sturingsmethoden. Ze maten twee dingen: hoe goed het model toxiciteit (of het "banaan"-concept) vermeed en hoe goed het zijn algemene intelligentie behield (zoals het vermogen om trivia-vragen te beantren of vloeiende zinnen te schrijven).

De resultaten waren duidelijk: DSAS verbeterde de trade-off consistent.

In de grafieken van de paper, die eruitzien als bergketens die de best mogelijke balans laten zien (een zogenaamde "Pareto front"), lagen de DSAS-lijnen altijd hoger en beter dan de oude methoden.

Voor Toxiciteit: Bij het proberen te stoppen van onbeleef gedrag van de AI, zorgde DSAS ervoor dat de modellen veel veiliger konden zijn zonder dat ze klonken als kapotte robots. De modellen behielden hun vloeiendheid en het vermogen om complexe vragen te beantwoorden (gemeten via benchmarks zoals MMLU) veel beter dan bij het gebruik van oudere, "one-size-fits-all" sturing.
Voor Afbeeldingen: Ze hebben dit zelfs geprobeerd op beeldgeneratoren (modellen die plaatjes tekenen). Ze vroegen het model om afbeeldingen van bananen te vervagen, maar andere afbeeldingen scherp te houden. De oude methode maakte alles een beetje wazig. DSAS daarentegen vervaagde alleen de afbeeldingen die daadwerkelijk bananen bevatten, waardoor de plaatjes van auto's en landschappen perfect helder bleven.

De paper verkende ook een versie genaamd E2E-DSAS, waarbij de "poortwachter" tegelijkert met de sturing zelf wordt getraind, in plaats van een aparte stap te zijn. Deze versie liet veelbelovend zien en presteerde soms gelijk aan of zelfs beter dan de standaard DSAS, wat suggerekerend is dat de methode flexibel genoeg is om direct in het trainingsproces te worden ingebakken.

Wat Het Niet Is (en Wat Het Niet Beweert)

Het is belangrijk om te weten wat deze paper niet zegt. De auteurs merken zorgvuldig op dat DSAS geen toverstaf is die alle AI-veiligheidsproblemen oplost.

Het is geen vervanging voor fine-tuning: De paper beweert niet dat DSAS de noodzaak vervangt om modellen te trainen op goede data. Het is een hulpmiddel dat bovenop bestaande modellen wordt gebruikt.
Het is geen perfecte lokalisatie: In de experimenten met afbeeldingen, hoewel DSAS veel beter was in het targeten van specifiek concepten, geven de auteurs toe dat het de bananen niet altijd alleen in de afbeelding vervaagde. Soms verspreidde de vervaging zich een beetje naar de achtergrond. Het is een "zachte" lokalisatie, geen chirurgische laser.
Het leunt op data: De "poortwachter" heeft een kleine set voorbeelden nodig (zoals 32 toxische zinnen en 32 veilige zinnen) om te leren waar hij naar moet kijken. Als de data ruis bevat of slecht is, kan de poortwachter in de war raken, hoewel de paper laat zien dat DSAS in dat geval meestal veilig terugvalt op de standaard sturing in plaats van het model te breken.

De Kernboodschap

Deze paper suggereert dat de toekomst van het controleren van AI niet gaat over het omhoog draaien van het volume van veiligheid voor iedereen. Het gaat over het zijn van een slimme, aandachtige dirigent die precies weet wanneer hij een specifiek instrument een zachte "shh" moet toefluisteren en wanneer hij de muziek vrij moet laten stromen. Door de sturing dynamisch aan te passen op basis van wat de AI daadwerkelijk zegt, biedt DSAS een manier om deze krachtige instrumenten veiliger te maken zonder de intelligentie op te offeren die ze juist zo nuttig maakt. De auteurs laten zien dat deze aanpak werkt voor zowel tekst als afbeeldingen, en hoewel het geen opgelost probleem is, is het een belangrijke stap richting AI die weet hoe ze zich moet gedragen zonder haar persoonlijkheid te verliezen.

Technische Samenvatting: Dynamisch Geschaalde Activatie-sturing (DSAS)

Probleemstelling

Activatie-sturing (activation steering) is een krachtige techniek geworden voor het sturen van generatieve modellen naar gewenste gedragingen (bijv. mitigatie van toxiciteit, kennisbewerking) door interne activaties te manipuleren zonder de gewichten van het model aan te passen. Echter, bestaande methoden passen interventies doorgaans uniform toe op alle inputs met behulp van een vaste globale sterkteparameter ( $\lambda$ ). Deze ononderscheiden toepassing verslechtert de prestaties van het model op inputs die geen sturing vereisen, zoals benigne of ongerelateerde inhoud, wat leidt tot een suboptimale afweging tussen veiligheid/alignment en bruikbaarheid/fluentie.

Hoewel er conditionele sturingsmethoden bestaan om dit aan te pakken, vertrouwen deze vaak op statische regels, binaire triggers of prompt-niveau heuristieken die een gebrek aan precisie vertonen. Bovendien zijn veel bestaande adaptieve methoden afgestemd op specifieke sturingsfamilies (bijv. ITI-achtige methoden) en slagen ze er niet in te generaliseren naar distributionele of end-to-end geleerde sturingsbenaderingen. Er is behoefte aan een universeel, methode-agnostisch framework dat de sturingssterkte op een per-token of per-feature basis nauwkeurig kan aanpassen, waarbij alleen krachtig wordt ingegrepen wanneer ongewenst gedrag wordt gedetecteerd.

Methodologie: Dynamisch Geschaalde Activatie-sturing (DSAS)

DSAS is een sturings-agnostisch framework dat de beslissing van wanneer te sturen ontkoppelt van hoe te sturen. Het moduleert adaptief de sterkte van elke bestaande sturingstransformatie ( $T_\ell$ ) over lagen en inputs heen.

Kernmechanisme

Voor elke geïntervenieerde laag $\ell$ en token $k$ introduceert DSAS een gate $h_\ell(t_{\ell,k}) \in [0, 1]$ die interporeert tussen de originele embedding en de gestuurde embedding:
$T^{DSAS}_\ell(t_{\ell,k}) = (1 - h_\ell(t_{\ell,k})) \cdot t_{\ell,k} + h_\ell(t_{\ell,k}) \cdot T_\ell(t_{\ell,k}; \lambda)$
Hierbij zorgt $h_\ell \approx 0$ ervoor dat de embedding ongemoeid blijft, terwijl $h_\ell \approx 1$ de volledige interventie toepast.

Training van de Gate

De gate $h_\ell$ wordt getraind als een logistische regressor per laag om te onderscheiden tussen:

Bronset ( $S$ ): Samples die ongewenst gedrag vertonen (bijv. toxische tekst).
Controleset ( $C$ ): Samples die neutraal zijn met betrekking tot het te wijzigen gedrag (bijv. niet-toxische tekst).

Het trainingsproces omvat:

Activatiecollectie: Het doorsturen van inputs uit $S$ en $C$ naar laag $\ell$ om gemiddelde embeddings te verkrijgen.
Dimensiereductie: Het toepassen van PCA op de gecombineerde bron- en controleactivaties om overfitting in hoogdimensionale ruimtes te beperken en de trainingstijd te verkorten.
Classificatie: Het trainen van een logistische regressor om de waarschijnlijkheid te voorspellen dat een embedding tot de bronset behoort. Deze waarschijnlijkheid dient als de adaptieve sterktecoëfficiënt.

End-to-End Optimalisatie (E2E-DSAS)

Het artikel introduceert ook een end-to-end variant waarbij de gate-parameters gezamenlijk worden geoptimaliseerd met de sturingstransformatie (specifiek met LinEAS). Dit houdt het minimaliseren van een bronverlies in (het duwen van brondistributies naar doeldistributies) in, terwijl een controle-regularisatieterm wordt toegepast om ervoor te zorgen dat de activaties van de controleset vergelijkbaar blijven vóór en na de interventie. Dit maakt het mogelijk om de gate direct via backpropagation te leren zonder statische PCA-projecties.

Belangrijkste Bijdragen

Framework Voorstel: Introductie van DSAS, een methode-agnostisch framework dat de sterkte van de interventie dynamisch schaalt op basis van activatiekenmerken, waarbij geleerd wordt wanneer te sturen in plaats van vaste policies toe te passen.
Verbeterde Afwegingen: Demonstratie dat DSAS de Pareto-front verbetert voor de afweging tussen toxiciteitsmitigatie en behoud van capaciteiten (gemeten via perplexiteit en MMLU-accuratesse) over meerdere Large Language Models (Qwen 2.5, Gemma 2) en sturingsmethoden (CAA, ITI, LinEAS).
Superieur aan Baselines: Empirisch bewijs dat DSAS recentere conditionele sturingsmethoden (CAST, MERA, AlphaSteer) overtreft in het behouden van modelutiliteit terwijl toxiciteit wordt verminderd.
End-to-End Integratie: Uitbreiding van DSAS naar end-to-end frameworks (E2E-DSAS), wat gezamenlijke training met sturingsfuncties mogelijk maakt en diverse activatiefuncties ondersteunt (bijv. ReLU, Sigmoid).
Cross-Modale Generalisatie: Succesvolle toepassing van DSAS op text-to-image diffusiemodellen (DMD2), wat aantoont dat het in staat is om concept-gerelateerde afbeeldingen (bijv. bananen) selectief te vervagen terwijl ongerelateerde beeldgeneratie behouden blijft.

Experimentele Resultaten

Toxiciteit Mitigatie: In experimenten op Qwen 2.5 (1.5B, 7B) en Gemma 2 (2B) verschoof DSAS consistent de Pareto-front, waarbij het lagere toxiciteitsscores (ToxTET) bereikte bij hetzelfde niveau van capaciteitsbehoud vergeleken met vanilla sturing. Bijvoorbeeld: de combinatie van DSAS met LinEAS verminderde toxiciteit aanzienlijk meer dan LinEAS alleen, zonder de gebruikelijke straf in perplexiteit of MMLU-accuratesse te veroorzaken.
Conditioneel Gedrag: Kwalitatieve casestudy's (het wegsturen van "banaan") toonden aan dat door DSAS versterkte methoden het doelconcept effectief onderdrukten in relevante prompts, terwijl neutrale prompts grotendeels onveranderd bleven, zelfs bij het gebruik van hogere globale sterkteparameters ( $\lambda > 1$ ).
Diffusiemodellen: In text-to-image experimenten slaagde CAA+DSAS erin afbeeldingen met specifieke concepten (bijv. bananen, telefoons) te vervagen, terwijl de helderheid van niet-concept afbeeldingen behouden bleef, terwijl vanilla CAA alle afbeeldingen ononderscheidenmatig vervaagde.
Efficiëntie: DSAS introduceert minimale computationele overhead tijdens inferentie (ongeveer $2d_\ell + 2$ FLOPs per embedding), wat het praktisch maakt voor real-time generatie.
Robuustheid: De methode blijft robuust tegen ruisige trainingssignalen; als de classifier het verschil tussen bron en controle niet kan onderscheiden, keert DSAS van nature terug naar een veilig regime (uniforme sturing met verminderde sterkte) zonder de prestaties onder de baseline te laten dalen.

Betekenis en Claims

Het artikel claimt dat DSAS een significante vooruitgang vertegenwoordigt in activatie-sturing door het kritieke probleem van ononderscheidende interventie aan te pakken. Door de timing van de interventie te ontkoppelen van het mechanisme van de sturing, maakt DSAS het mogelijk om:

Selectieve Alignment: Modellen kunnen worden gestuurd van schadelijke gedragingen alleen wanneer dat nodig is, waardoor hun natuurlijke fluentie en algemene capaciteiten op benigne inputs behouden blijven.
Interpretabiliteit: De methode identificeert exact welke tokens of ruimtelijke features sturing vereisen en in welke mate, wat een transparant beeld geeft van het interventieproces.
Generaliteit: In tegenstelling tot eerdere adaptieve methoden is DSAS niet gebonden aan een specifiek sturingsalgoritme of invoermodaliteit, waardoor het toepasbaar is op een breed scala aan generatieve taken, inclus\nsluitend tekstgeneratie en beeldsynthese.

De auteurs concluderen dat DSAS een praktische, low-overhead oplossing biedt voor het bereiken van betere alignment in generatieve modellen, waarbij de afweging tussen veiligheid en utiliteit wordt verbeterd zonder uitgebreide hertraining of gewichtsaanpassingen te vereisen.