Technische Samenvatting: UniSteer

Probleemstelling

Activeringsgebaseerde besturing is naar voren gekomen als een lichtgewicht, modulaire paradigma voor het sturen van Large Language Models (LLM's) door in te grijpen op interne representaties tijdens inferentie, waardoor de noodzaak voor parameterupdates wordt vermeden. Echter, bestaande methoden ondervinden aanzienlijke beperkingen in flexibiliteit en compositie:

• Vaste Richtingen: Methoden zoals Contrastive Activation Addition (CAA) en Representation Engineering (RepE) vertrouwen op vooraf gedefinieerde, vaste stuurrichtingen die zijn afgeleid van contrastieve voorbeelden.
• Taakspecifieke Modules: Geraande interventiemethoden (bijv. LoReFT, ODESteer) trainen aparte modules voor elk gewenst gedrag.
• Compositief Falen: Deze benaderingen worstelen met het hanteren van fijnmazige concepten of compositieve beperkingen (bijv. "wees behulpzaam, onschadelijk en beknopt"), omdat onafhankelijk geleerde richtingen vaak met elkaar interfereren in hoogdimensionale activeringsruimten.

De kernuitdaging is het ontwikkelen van een unificerend mechanisme dat LLM's kan sturen naar willekeurige gedragingen, concepten en meervoudige beperkingen met behulp van natuurlijke taal, zonder aparte modellen te moeten fiten voor elk doel.

Methodologie: UniSteer

De auteurs stellen UniSteer voor, een tekstgeleid activatie-flow matching-model dat een conditionele verdeling over residual-stream-activaties leert. In plaats van vaste vectoren te leren, leert UniSteer een universeel conditioneel snelheidsveld in de activeringsruimte.

1. Tekstgeconditioneerde Activatie-Flow Matching

UniSteer modelleert de conditionele verdeling $p_\theta(a^{(\ell)}_i | c, \ell, i)$, waarbij $a$ de residual-stream-activatie is op laag $\ell$ en token $i$, en $c$ een condition in natuurlijke taal is (bijv. "Wees kwaadaardig" of "Wees beknopt en onschadelijk").

• Trainingsdoel: Het model leert een conditioneel vectorveld $v_\theta$ door de flow-matching-loss te minimaliseren. Het interpolatieert tussen een prior-ruisstate $a_0 \sim \mathcal{N}(0, I)$ en een doelactivatie $a_1$ met behulp van een lineair waarschijnlijkheidspad $a_t = (1-t)a_0 + ta_1$. De doel-snelheid is $u_t = a_1 - a_0$. Het model wordt getraind om deze snelheid te voorspellen, geconditioneerd op de tekst $c$.
• Architectuur: Het flow-model is geïmplementeerd als een DiT-stijl transformer met cross-attention naar een bevroren tekstencoder (Qwen3-0.6B) en geleerde embeddings voor laag- en tokenposities.

2. Inferentie-tijd Activeringssturing via Flow-inversie

Om een bevroren LLM te sturen, voert UniSteer flow-inversie uit in plaats van te resampleen vanaf nul:

1. Partiële Inversie: Een bronactivatie $a_{src}$ (waargenomen tijdens generatie) wordt achteruit getransporteerd langs de flow, geconditioneerd op de broncondition $c_{src}$, naar een intermediaire ruizige latente state $a_\tau$ (waarbij $\tau = 1 - \lambda$, en $\lambda$ de bewerkingssterkte is).
2. Voorwaartse Regeneratie: De latente state wordt vervolgens voorwaarts getransporteerd langs de flow, geconditioneerd op de doelcondition $c_{tgt}$, om een bewerkte activatie $\hat{a}_{edit}$ te genereren.
3. Injectie: De bewerkte activatie wordt teruggeinjecteerd in de residual stream van de bevroren LLM om de daaropvolgende generatie te beïnvloeden.

3. Classificatie in Activeringsruimte

UniSteer fungeert ook als een classifier zonder aparte head. Gegeven een kandidaatset van tekstuele labels, reconstrueert het model de input-activatie onder elke condition. Het label dat de laagste conditionele reconstructie-energie oplevert ($\|a - \tilde{a}(c_j)\|^2_2$) wordt geselecteerd als de voorspelling.

Belangrijkste Bijdragen

1. Unificerende Formulering: Het artikel formuleert activeringssturing als tekstgeconditioneerd activatietransport, en introduceert een conditioneel flow-matching-model dat een enkel snelheidsveld leert voor heterogene controledoelen (gedragseigenschappen, fijnmazige concepten en meervoudige beperkingen).
2. Flow-inversie voor Bewerking: De auteurs stellen een flow-inversiemechanisme voor dat het mogelijk maakt dat een enkel model zowel enkelvoudige-gedrag als compositieve sturing afhandelt door activaties gedeeltelijk te inverseren en te regenereren op basis van natuurlijke taal-conditions.
3. Unificerende Interface voor Bewerking en Classificatie: Dezelfde conditionele activatiemodel dient een dubbel doel: sturen van generatie via flow-inversie en classificeren van interne staten via reconstructie-energie, waardoor de noodzaak voor taakspecifieke classifiers of interventiemodules wordt geëlimineerd.

Experimentele Resultaten

De auteurs evalueerden UniSteer op drie doel-LLM's (Llama-3.2-1B, Qwen2.5-1.5B en Qwen2.5-7B) in vijf scenario's:

• Gedragscontrole (Persona): UniSteer behaalde de hoogste scores voor doel-eigenschappen over alle modellen voor eigenschappen zoals "kwaadaardig" en "sycophantisch", en presteerde beter dan baselines zoals CAA en RepE.
• Sturing van Waarheidsvinding (TruthfulQA): UniSteer verbeterde de Truth*Info-score ten opzichte van de originele modellen, wat de mogelijkheid aantoont om te sturen op feitelijke nauwkeurigheid in plaats van alleen op stijl.
• Sturing van Fijnmazige Concepten (AxBench): UniSteer behaalde concurrerende of superieure prestaties bij conceptsturing (bijv. "wees beknopt") in vergelijking met concept-specifieke baselines, ondanks het gebruik van één gedeeld model.
• Volgen van Meervoudige Beperkingen (RECAST): UniSteer slaagde erin om gelijktijdige beperkingen te hanteren (bijv. 5 of 10 beperkingen), en presteerde beter dan baselines die worstelen met interferentie tussen meerdere vaste richtingen.
• Classificatie in Activeringsruimte (ToxiGen): Met behulp van reconstructie-energie behaalde UniSteer state-of-the-art of gelijkbeste nauwkeurigheid en AUC bij het classificeren van giftige versus niet-giftige inhoud, wat zijn vermogen valideert om condition-afhankelijke activatiedistributies vast te leggen.
• Token-niveau Analyse: Analyse van "start_with"-beperkingen toonde aan dat UniSteer bewerkingen positiebewust toepast, met een sterke uitlijning met beperkingsrichtingen op specifieke tokenposities (bijv. het begin van een antwoord) in plaats van het toepassen van globale verstoringen.

Betekenis en Claims

Het artikel claimt dat UniSteer een unificerende interface biedt voor LLM-sturing en classificatie. Door te verschuiven van vaste richtingen of taakspecifieke modules naar een tekstgeconditioneerd snelheidsveld, behandelt de methode op natuurlijke wijze compositieve beperkingen en fijnmazige concepten die voor bestaande methoden moeilijk te combineren zijn.

De auteurs benadrukken dat deze benadering het mogelijk maakt voor:

• Veelzijdigheid: Een enkel model kan diverse taken (persona, waarheidsvinding, beperkingen) afhandelen door simpelweg de tekstuele condition te veranderen.
• Compositionaliteit: Meervoudige beperkingen worden direct uitgedrukt in de conditiontekst, waardoor interferentieproblemen bij het combineren van aparte stuurvectoren worden vermeden.
• Interpreteerbaarheid: Het vermogen van het model om activaties te classificeren via reconstructie-energie suggereert dat het geleerde flow-effectief de semantische structuur van de interne staten van het model vastlegt.

De auteurs merken beperkingen op, waaronder een gebrek aan evaluatie op generatie van lange teksten, stabiliteit bij multi-turn gesprekken en complexe redeneertaken. Ze wijzen ook op veiligheidsaspecten, en erkennen dat hetzelfde mechanisme dat wordt gebruikt om behulpzaamheid te verbeteren, theoretisch kan worden gebruikt om ongewenste gedragingen te versterken, wat toekomstige veiligheidsfilters en audits noodzakelijk maakt.