Technische Samenvatting: Een muntworp per token: Bernoulli Sparse Steering van Large Language Models

Probleemstelling

Activatie-sturing via Sparse Autoencoders (SAEs) biedt een mechanisme om het gedrag van Large Language Models (LLMs) te controleren—zoals het verminderen van toxiciteit of het afdwingen van specifieke persona's—zonder taakspecifieke fine-tuning. Echter, standaardmethoden (bijv. ActAdd, ITI, CAA) passen sturingssignalen toe op elke gegenereerde token. Deze dichte, uniforme interventie duwt de activaties van het model van hun natuurlijke manifold af, wat vaak leidt tot degradatie van de vloeiendheid, repetitieve outputs veroorzaakt en leidt tot overcorrectie in situaties met meerdere attributen.

De centrale vraag die de auteurs stellen is: Is dichte interventie bij elke token noodzakelijk? Zij hypothetiseren dat persistente perturbatie redundant kan zijn en dat gedragscontrole bereikt kan worden door middel van een ijle, stochastische toepassing van sturingssignalen.

Methodologie

Het paper introduceert twee stochastische interventiestrategieën die sturingssignalen willekeurig regelen, waarbij de deterministische toepassing bij elke token wordt vervangen. Beide methoden maken gebruik van een sturingsvector $v$ afgeleid van SAE-features geassocieerd met een doelgedrag.

1. Ontdekking van de sturingsrichting

Met behulp van een Sparse Autoencoder (SAE) getraind op de residual stream activaties op een specifieke laag $\ell^*$, identificeren de auteurs gedrag-onderscheidende features. Ze berekenen het gemiddelde feature-activatiedifferentieel ($\Delta_i$) tussen een positieve set (die het doelgedrag vertoont) en een neutrale set. De top-$K$ features worden geselecteerd om unit-norm sturingsvectoren $v$ te vormen.

2. Stochastische interventiemechanismen

Het sturingssignaal op tokenpositie $t$ wordt gedefinieerd als $s_t = m_t \cdot \alpha v$, waarbij $\alpha$ de magnitude is en $m_t$ een binaire gate.

• Stochastic Token Steering (STS): Op elke positie $t$ wordt een onafhankelijke gate $m_t \sim \text{Bernoulli}(p)$ gesampled. Het signaal wordt toegepast op een willekeurige subset van tokens met waarschijnlijkheid $p$. Dit ontwerp is positie-agnostisch en maakt geen aannames over welke specifieke tokens gedragsrelevant zijn.
• Stochastic Block Steering (SBS): Een enkele gate $m \sim \text{Bernoulli}(p)$ wordt één keer per sequentie gesampled. Als $m=1$, wordt het signaal uniform toegepast op een leidend venster van grootte $W$ (bijv. de eerste 32 of 64 tokens); indien niet, vindt er geen interventie plaats. Dit maakt gebruik van de hypothese dat vroege tokens een onevenredige contextuele invloed hebben.

3. Vloeiendheid-behoudende regularisatie

Om het risico op incoherente outputs te beperken die worden veroorzaakt door additieve interventies, passen de auteurs drie lichtgewicht correcties toe:

1. Normbehoud: Het herschalen van de gestuurde activatie om de oorspronkelijke norm te herstellen, waardoor de interventie beperkt blijft tot een rotatie in plaats van magnitude-inflatie.
2. Activatie Clamping: Het begrenzen van de scalaire projectie op $v$ om over-amplificatie te voorkomen.
3. Repetitiebestraf (Repetition Penalty): Het verlagen van de weging van eerder gegenereerde tokens tijdens het decoderen om de neiging naar repetitie tegen te gaan wanneer hoog-waarschijnlijke continuaties worden onderdrukt.

Experimentele Opzet

De methoden werden geëvalueerd op twee modellen (LLaMA 3.1-8B en Gemma-2 2B) over twee gedragstaken:

1. Toxiciteitvermindering: Het gebruik van de RealToxicityPrompts dataset om toxische generatie te onderdrukken.
2. Emotie-sturing: Het gebruik van de GoEmotions dataset om specifieke emoties (Angst en Verdriet) op te wekken.

Baselines:

• Geen sturing: Ongewijzigde generatie.
• Full Steering (FS): Deterministische interventie bij elke token ($p=1$).
• Prompting: Zorgvuldig samengestelde taakspecifieke instructies die aan de input worden voorafgevoegd.

Metrieken:

• Effectiviteit: Gemiddelde toxiciteitsreductie en gemiddelde waarschijnlijkheidstoename voor doelemoties.
• Kwaliteit: Perplexity (GPT-2) en n-gram repetitiescores (Rep-3, Rep-4).

Belangrijkste Resultaten

1. Sparse Steering herstelt Dense Performance

De primaire bevinding is dat het sturen van slechts een fractie van de tokens de meerderheid van de gedragsverschuiving herstelt die door dense steering wordt bereikt.

• Voor LLaMA 3.1-8B herstelt STS bij $p=0.5$ meer dan 95% van de toxiciteitsreductie van full-steering en meer dan 80% van de winst op emotietaken.
• STS presteert beter dan zorgvuldig ontworpen prompt-gebaseerde baselines, zelfs bij lage interventieratio's (bijv. $p \approx 0.3$ voor toxiciteit), waarbij minder dan de helft van de tokens wordt verstoord terwijl superieure controle wordt bereikt.

2. STS presteert beter dan SBS

Stochastic Token Steering (STS) presteert consistent beter dan Stochastic Block Steering (SBS) bij een gelijkwaardige interventieratio.

• Voor emotie-sturing verdubbelt STS bij $p=0.5$ ruwweg de waarschijnlijkheidstoename van SBS (met venster $W=32$).
• Dit suggereert dat de residual stream het sturingssignaal cumulatief over de sequentie integreert in plaats van te vertrouwen op geprivilegieerde vroege posities.

3. Inverse Schaling van Magnitude en Dosering

De optimale sturingsmagnitude ($\alpha^*$) schaalt invers met de interventieratio ($p$).

• Naarmate $p$ afneemt, neemt de vereiste $\alpha$ toe (bijv. voor Gemma-2 2B stijgt $\alpha^*$ van 30 bij $p=1.0$ naar 35 bij $p=0.2$).
• Cruciaal is dat de toename sublineair is ten opzichte van $1/p$. De effectieve "dosering" ($p \cdot \alpha$) neemt af wanneer tokens worden gedropt.
• Implicatie: Sparse steering bereikt vergelijkbare gedragsverschuivingen terwijl er aanzienlijk minder totaal signaal in de residual stream wordt geïnjecteerd.

Betekenis en Claims

Het paper claimt dat SAE-gemedieerde controle rate-limited is: de gedragsuitkomst hangt af van de cumulatieve signaal-dosering over een sequentie in plaats van de dichtheid van de interventie.

• Efficiëntie: Sparse steering maakt vergelijkbare gedragsverschuivingen mogelijk met minder totaal geïnjecteerd signaal, wat het risico op degradatie van de vloeiendheid en downstream prestaties vermindert.
• Eenvoud: De methode reduceert controle tijdens inferentie tot een enkele scalaire parameter $p, en vereist geen reward model, geen geleerd gating-beleid, en geen berekening buiten een "muntworp per token".
• Generaliseerbaarheid: De bevindingen houden stand over verschillende modelfamilies (LLaMA en Gemma) en gedragstaken (onderdrukking van toxiciteit en opwekking van emotie), wat suggereert dat de redundantie van dichte interventie een algemene eigenschap is van activatie-sturing.

De auteurs concluderen dat het verdelen van het sturingssignaal over willekeurige posities een robuustere strategie is dan het concentreren ervan in aaneengesloten vroege vensters, en dat het versparen van de interventie niet enkel een vastgesteld perturbatiebudget herverdeelt, maar ook het benodigde budget vermindert om een beoogde gedragsverschuiving te bereiken.