Compositional Steering of Large Language Models with Steering Tokens

Probleemstelling

Het implementeren van Large Language Models (LLMs) in real-world toepassingen vereist vaak dat de output tegelijkertijd voldoet aan meerdere, soms complexe, wenselijke eigenschappen (bijvoorbeeld: het antwoord moet in het Frans zijn, tussen de 50 en 70 woorden lang zijn, en in titelhoofdletters geschreven).

Hoewel bestaand onderzoek zich uitgebreid richt op het sturen van LLMs naar één enkel gedrag (single-behavior steering), blijft compositional steering (het gelijktijdig sturen naar meerdere gedragingen) een onderbelicht probleem. Bestaande methoden hebben beperkingen:

• Fine-tuning: Vereist het updaten van modelparameters, wat rekenkundig intensief is en het risico op "catastrophic forgetting" (vergeten van eerder geleerde kennis) of negatieve interferentie met zich meebrengt. Voor $N$ gedragingen zouden $2^N$ aparte fine-tuning-procedures nodig zijn om alle combinaties te dekken.
• Prompting (Instructies): Het gebruik van natuurlijke taal-instructies is breekbaar (brittle); semantisch equivalente prompts leiden vaak tot inconsistente resultaten.
• Activatie-sturing (Activation Steering): Bestaande methoden die werken in de activatieruimte (binnen het model) falen vaak bij het generaliseren van nieuwe combinaties van gedragingen.

Methodologie: Compositional Steering Tokens

De auteurs stellen een nieuwe methode voor die gebruikmaakt van sturingstokens (steering tokens) die opereren in de input-tokenruimte, in plaats van in de interne activatieruimte van het model. De kern van de methode is tweeledig en maakt gebruik van zelf-distillatie (self-distillation):

1. Individuele Gedragstokens:

   • Voor elke gewenste eigenschap (bijv. "Frans", "10-50 woorden") wordt een trainbaar token (een vector $e_b$) geleerd.
   • Dit token vervangt de lange natuurlijke taal-instructie.
   • Training: Een "student" (het gefrozen LLM met het sturingstoken) wordt getraind om dezelfde output te genereren als een "leraar" (hetzelfde gefrozen LLM met de volledige natuurlijke taal-instructie). Het doel is het minimaliseren van de KL-divergentie tussen de outputverdelingen.
   • De basis van het LLM blijft volledig bevroren; alleen de embeddings van de tokens worden bijgewerkt.

2. Compositie-token ():

   • Om meerdere gedragingen te combineren, wordt een speciaal trainbaar token <and> geïntroduceerd.
   • Voor een prompt met twee gedragingen wordt de input als volgt samengesteld: [Prompt Tokens] + [Token_1] + <and> + [Token_2].
   • Training: De <and>-token wordt getraind op paren van gedragingen, terwijl de individuele gedragstokens en het LLM zelf bevroren blijven. Dit zorgt ervoor dat de <and>-token het concept van compositie leert, in plaats van specifieke gedragingen te modificeren.
   • Orthogonaliteit: Om te voorkomen dat de <and>-token degradeert tot een bestaand gedragstoken, wordt een orthogonaliteitsregularisatie toegepast. Dit dwingt de vector van <and> om orthogonaal te blijven ten opzichte van alle bevroren gedragstokens.

Belangrijkste Bijdragen

• Input-Level Control: In tegenstelling tot activatie-sturing, werken deze tokens als invoerembeddings. Dit maakt zero-shot compositie mogelijk zonder de interne parameters van het model aan te passen.
• Gecombineerde Generalisatie: De methode generaliseert succesvol naar:
  1. Ongeziene combinaties van bekende gedragingen.
  2. Combinaties met volledig nieuwe (ongezien) gedragingen.
  3. Combinaties met een onbekend aantal gedragingen (bijv. training op 2, inferentie op 3 of 4).
• Hybride Aanpak: De auteurs tonen aan dat het combineren van sturingstokens met natuurlijke taal-instructies de beste resultaten oplevert, waarbij de twee methoden elkaars sterke punten aanvullen.

Resultaten

De auteurs hebben hun methode uitgebreid geëvalueerd op zeven verschillende LLM-architecturen (o.a. Qwen, Llama, SmolLM, OLMo, Gemma) met een scala aan verifieerbare constraints (taal, lengte, hoofdlettergebruik, zinsstructuur).

• Superieure Compositie: Sturingstokens presteren significant beter dan traditionele instructies en andere sturingsmethoden (zoals LoRA-merging, LM-Steer en CAA) bij het hanteren van ongeziene combinaties. Bijvoorbeeld, bij ongeziene 2-gedragingen-combinaties op Qwen3-8B scoorde de methode 76,9% nauwkeurigheid, tegenover 71,8% voor puur tekstuele instructies.
• Robuustheid: De hybride methode (tokens + instructies) bereikte de hoogste nauwkeurigheid (87,9% voor 2-gedragingen, 62,9% voor 3-gedragingen) en de laagste variatie afhankelijk van de volgorde van de tokens.
• Schaalbaarheid: De prestaties verbeteren met de modelgrootte (van 3B tot 14B parameters). Interessant is dat training uitsluitend op 2-gedragingen-combinaties voldoende bleek om goed te generaliseren naar 3- en zelfs 4-gedragingen-combinaties bij grotere modellen.
• Kwaliteit: De kwaliteit van de gegenereerde antwoorden bleef hoog en vergelijkbaar met andere methoden, wat aantoont dat de nauwkeurigheid van de constraints niet ten koste gaat van de semantische coherentie.

Betekenis en Conclusie

Dit werk introduceert een efficiënt en krachtig mechanisme voor de controle van LLM-gedrag in real-world scenario's waar meerdere constraints tegelijkertijd gelden. De belangrijkste implicaties zijn:

1. Efficiëntie: Het elimineert de noodzaak voor kostbare fine-tuning voor elke nieuwe combinatie van taken.
2. Flexibiliteit: Het biedt een oplossing voor het "compositional generalization"-probleem, waarbij modellen in staat zijn om nieuwe combinaties van regels te volgen zonder daar specifiek op getraind te zijn.
3. Complementariteit: Het toont aan dat leerbare vectorrepresentaties (tokens) en natuurlijke taal-instructies niet concurreren, maar elkaar versterken. De combinatie van beide levert de meest robuuste oplossing op.

De methode biedt een veelbelovende richting voor de deploy van LLMs in omgevingen waar strikte, meervoudige controle over de output vereist is, zonder de integriteit of generalisatievermogen van het basismodel te compromitteren.