Enhancing Instruction Following of LLMs via Activation Steering with Dynamic Rejection

Dit paper introduceert DIRECTER, een nieuwe activatiesturingstechniek die dynamisch de stuurkracht aanpast op basis van plausibiliteit en een eenmalige attentie-analyse om de instructievolgingscapaciteit van grote taalmodellen te verbeteren zonder de kwaliteit van de gegenereerde tekst te schaden.

De kern

Stel je voor dat een Large Language Model (LLM) een zeer getalenteerde, maar soms wat koppige kok is. Deze kok kan prachtige gerechten bereiden (antwoorden geven), maar als je hem vraagt om een specifiek recept te volgen zonder zout, of om het gerecht in een bepaalde vorm te serveren, slaat hij soms de plank mis. Hij houdt zo erg van zijn eigen creatieve stijl dat hij je instructies negeert, of hij probeert zo hard je instructies te volgen dat het gerecht er onsmakelijk uitziet (bijvoorbeeld: "Geen komma's!" leidt tot een zin die onleesbaar is).

Dit artikel introduceert DIRECTER, een slimme nieuwe manier om deze kok te helpen zonder zijn creativiteit te doden. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Te Hard Duwen (Oversteering)

Vroeger probeerden mensen de kok te helpen door hem fysiek te duwen in de juiste richting. Ze zeiden bijvoorbeeld: "Duw harder op de knop voor 'geen komma's'!"

• Het risico: Als je te hard duwt, verliest de kok de balans. Hij maakt een raar gerecht dat wel aan de regels voldoet, maar er niet meer uitziet als eten. Dit noemen ze in het artikel "oversteering". De instructie wordt gevolgd, maar de kwaliteit van het antwoord zakt in.

2. De Oplossing: DIRECTER (De Slimme Regisseur)

DIRECTER is geen statische duw, maar een slimme regisseur die de hele tijd meekijkt. In plaats van één keer hard te duwen en te hopen dat het goed komt, doet DIRECTER het volgende:

A. De "Proefkeuring" (Plausibility Check)

Stel je voor dat DIRECTER elke zin die de kok gaat zeggen eerst even in stilte probeert.

• Hij zegt: "Oké, ik ga proberen deze zin zonder komma's te maken."
• Dan kijkt hij: "Ziet dit eruit als een zin die de kok normaal gesproken zou zeggen? Of is dit nu een rare, onnatuurlijke zin?"
• Als het er raar uitziet: DIRECTER zegt: "Stop! Dit is te geforceerd." Hij verzwakt zijn duw direct. Hij zegt: "Oké, probeer het maar iets minder streng."
• Als het er normaal uitziet: DIRECTER zegt: "Goed zo! Ga maar door."

Dit zorgt ervoor dat de instructies worden gevolgd, maar dat de tekst altijd natuurlijk en leesbaar blijft.

B. De "Krachtige Spier" (Layer Ranking)

Een LLM is als een gebouw met 32 verdiepingen (lagen). Niet elke verdieping is even belangrijk voor het volgen van instructies.

• DIRECTER doet vooraf een snelle test om te zien welke verdiepingen het meest gevoelig zijn voor instructies.
• Het is alsof hij eerst kijkt: "Moet ik de kok duwen bij de deur, of moet ik hem duwen in de keuken?"
• Hij pakt alleen de juiste "spieren" (lagen) om aan te spreken, zodat hij niet onnodig veel energie verspilt of de verkeerde dingen verandert.

C. De "Dynamische Rem"

Het meest ingenieuze is dat DIRECTER niet vastzit aan één instelling.

• Soms moet je de instructie streng volgen (bijvoorbeeld: "Geen komma's").
• Soms is de instructie lastig en moet hij de rem erop gooien om de tekst niet te laten instorten.
• DIRECTER past dit per woord aan. Hij is als een ervaren chauffeur die continu het stuur corrigeert: soms een klein beetje, soms een grote draai, en soms helemaal niet, afhankelijk van hoe de weg eruitziet.

Waarom is dit zo goed?

In eerdere methoden moest je vaak kiezen: of je volgt de instructie perfect maar de tekst is slecht, of de tekst is mooi maar je volgt de instructie niet.
DIRECTER haalt het beste van beide werelden:

1. Hoger succes: De kok volgt de regels veel beter (tot 6,5% beter dan andere methoden).
2. Beter eten: De tekst blijft vloeiend en natuurlijk, omdat DIRECTER nooit te ver duwt.
3. Efficiënt: Het kost niet veel extra tijd of energie om deze regisseur aan te sturen.

Samenvattend

DIRECTER is als een slimme coach die naast de kok staat. Hij zegt niet: "Doe het zo!" en laat het dan maar. Hij zegt: "Probeer het zo... oh wacht, dat klinkt raar, probeer het iets anders... ja, dat klinkt goed!" Hierdoor krijgen we antwoorden die precies doen wat we willen, zonder dat het eruitziet als een robot die net een taalboek heeft gelezen.

Technische samenvatting

1. Het Probleem: Oversteering bij Instructievolging

Grote Taalmodellen (LLMs) hebben aanzienlijke vooruitgang geboekt dankzij instructietuning, maar ze falen vaak bij het volgen van complexe of strikte gebruikersinstructies (bijvoorbeeld "gebruik geen komma's" of "schrijf in Shakespeare-stijl").

Bestaande methoden voor activatiesturing (activation steering) proberen dit op te lossen door de interne activeringen van het model tijdens de inferentie te manipuleren. Echter, deze methoden lijden vaak aan het probleem van oversteering:

• Overmatige nadruk: Er wordt te veel focus gelegd op de instructie, wat ten koste gaat van de taaknauwkeurigheid (bijvoorbeeld een wiskundig probleem oplossen terwijl de instructie wordt gevolgd) en de algehele tekstkwaliteit.
• Statische configuratie: Bestaande methoden gebruiken vaak handmatig ingestelde hyperparameters die statisch blijven gedurende de hele generatie. Ze kunnen zich niet aanpassen aan de dynamische veranderingen in de tekstgeneratie per stap, wat leidt tot suboptimale prestaties of degradatie van de output.

2. Methodologie: DIRECTER

De auteurs introduceren DIRECTER (Dynamic Rejection Steering), een nieuwe methode die oversteering mitigeert door de sterkte van de sturing dynamisch aan te passen op basis van een plausibiliteitsgeleidde decodeerlus.

De kerncomponenten van DIRECTER zijn:

A. Dynamische Afstoting (Dynamic Rejection)

In plaats van een vaste sturingssterkte toe te passen, gebruikt DIRECTER een lus die bij elke decodeerstap (token generatie) de volgende stappen doorloopt:

1. Initiële Forward Pass: Het model voert een standaard forward pass uit om de ruwe kansverdeling ($p_t$) te krijgen.
2. Gestuurde Forward Pass: Er wordt een proefversie uitgevoerd waarbij de KV-cache (Key-Value cache) van de instructietokens wordt geschaald (vermenigvuldigd met een factor $\alpha$) op een geselecteerde set van lagen. Dit resulteert in een gestuurde verdeling ($\tilde{p}_t$).
3. Plausibiliteitscontrole: De top-token van de gestuurde verdeling ($\tilde{i}^*_t$) wordt vergeleken met de oorspronkelijke verdeling. De interventie wordt alleen geaccepteerd als de kans op dit token in de oorspronkelijke verdeling hoog genoeg is:
   $$p_{t, \tilde{i}^*_t} \geq \beta \cdot p_{t, i^*_t}$$
   Waarbij $\beta$ een drempelwaarde is (bijv. 0.5).
4. Adaptieve Verzwakking: Als de gestuurde output als "onwaarschijnlijk" wordt beschouwd (de voorwaarde is niet voldaan), wordt de sturingssterkte verzwakt door het aantal gestuurde lagen te halveren (de minst gevoelige lagen worden verwijderd). Dit proces herhaalt zich totdat een acceptabele output wordt gevonden of de set leeg is (waarna de originele output wordt gebruikt).

B. Lagenrangschikking op Basis van Aandachtsgevoeligheid

Om de sturing efficiënt te verzwakken, is een rangschikking van de lagen nodig. DIRECTER voert een eenmalige analyse uit na het invullen van de prompt (prefill):

• Er wordt per laag getest wat het effect is van het schalen van de keys van de instructietokens.
• Een disturbance score ($D_j(\ell)$) wordt berekend die de afwijking meet in de hidden states van alle lagen, zowel voor directe effecten als voor gepropageerde effecten.
• Lagen worden gerangschikt op basis van hun aandachtsgevoeligheid (attention sensitivity). De meest invloedrijke lagen worden eerst gestuurd; bij afstoting worden de minst invloedrijke lagen eerst verwijderd.

C. Efficiëntie Gate

Om de rekenkosten van de lus te beperken, wordt een "gating mechanism" gebruikt. Als de kans op de tweede beste token in de originele verdeling al lager is dan de drempel ($\beta \cdot p_{t, i^*_t}$), wordt de gestuurde forward pass overgeslagen, omdat het onwaarschijnlijk is dat de sturing een acceptabele output zou produceren.

3. Belangrijkste Bijdragen

• Dynamische Controle: DIRECTER introduceert een mechanisme dat de sturingssterkte per decodeerstap aanpast, in plaats van te vertrouwen op statische hyperparameters.
• Plausibiliteitsgeleidde Lus: De methode koppelt sturing aan een validatiestap die de kwaliteit van de output bewaakt, waardoor oversteering effectief wordt tegengegaan zonder extra datasets.
• Geen Extra Training: Het is een inference-time methode die geen hertraining van het model vereist en werkt met bestaande LLM's.
• Lagenrangschikking: Een nieuwe, data-gedreven methode om te bepalen welke lagen het meest effectief zijn voor sturing, gebaseerd op gevoeligheidsanalyse.

4. Resultaten

DIRECTER werd uitgebreid geëvalueerd op diverse benchmarks, waaronder IFEval (strikte instructievolging), LIFBench (lange context) en GSM8K-Format (redenering met formatteerconstraints).

• Prestatieverbetering: DIRECTER verbeterde de gemiddelde nauwkeurigheid met 6,5% ten opzichte van de zero-shot baseline en sloeg eerdere sturingsmethoden (zoals PASTA en SpotLight) met ongeveer 4%.
• Balans tussen Kwaliteit en Volging: In tegenstelling tot andere methoden die vaak taaknauwkeurigheid opofferen voor instructievolging, behaalde DIRECTER de hoogste taaknauwkeurigheid (≈92%) terwijl de tekstkwaliteit gelijk bleef aan de niet-gestuurde baselines.
• Generalisatie: De methode werkte consistent goed op modellen van verschillende grootte (1B tot 14B parameters) en verschillende architecturen (Llama en Qwen).
• Efficiëntie: De doorvoer (throughput) nam slechts met ongeveer 16% af ten opzichte van de baseline, wat aanzienlijk beter is dan andere methoden zoals SpotLight. Het geheugengebruik is verwaarloosbaar.

5. Betekenis en Conclusie

DIRECTER vertegenwoordigt een belangrijke stap in het betrouwbaar en controleerbaar maken van LLM-generatie. Het lost het fundamentele dilemma op tussen het volgen van strikte instructies en het behouden van de kwaliteit en correctheid van de output.

Door oversteering dynamisch te detecteren en te corrigeren, biedt DIRECTER een robuust raamwerk voor inference-time interventie. Het bewijst dat mechanische sturing van modellen niet statisch hoeft te zijn, maar adaptief kan reageren op de context van de generatie. Dit maakt het een praktische oplossing voor real-world toepassingen waar strikte naleving van regels (zoals in juridische teksten, codegeneratie of formatteer-taken) essentieel is, zonder dat het model "dwaalt" of onzin genereert.