Technische Samenvatting: FLAS (Flow-based Activation Steering)

Probleemstelling

Hoewel Large Language Models (LLM's) sterke capaciteiten vertonen, blijft het betrouwbaar controleren van hun gedrag om af te stemmen op specifieke menselijke voorkeuren of concepten tijdens de inferentie een uitdaging. Bestaande controlemechanismen staan voor duidelijke beperkingen:

• Prompting: Hoewel eenvoudig, faalt contextueel prompting vaak om complexe concepten robuust te integreren zonder de instructievolging of vloeiendheid te verslechteren.
• Fine-tuning: Methoden zoals LoRA of SFT zijn rekentechnisch duur, vatbaar voor catastrofale vergeetachtigheid en ontberen interpreteerbaarheid.
• Activation Steering: Huidige methoden voor activatiesturing (bijv. DiffMean, CAA, ReFT) wijzigen intermediaire representaties terwijl de modelparameters bevroren blijven. Echter, grote schaal evaluaties op AxBench tonen aan dat deze methoden vaak worden ingehaald door eenvoudig prompting. Bovendien vereisen ze vaak per-concept sterkte-aanpassing op ontwikkelingssets en generaliseren ze slecht tot ongezette concepten.

De auteurs hypotheseren dat deze beperkingen voortkomen uit ongeverifieerde vereenvoudigende aannames die worden gedeeld door eerdere methoden, specifiek:

1. Vaste, Eén-staps Transformaties: Interventies zijn beperkt tot één verplaatsingsvector die slechts één keer wordt toegepast.
2. Positie-invariantie: Dezelfde interventie wordt uniform toegepast over alle tokenposities in een sequentie.
3. Contrastieve Supervisie: Veel methoden vertrouwen op gekoppelde positieve/negatieve data (contrastieve paren) voor training.

Methodologie: FLAS

Het artikel stelt FLAS (Flow-based Activation Steering) voor, een methode die vaste, één-staps interventies vervangt door een geleerd, concept-geconditioneerd snelheidsveld.

Kernformulering

FLAS modelleert het sturingsproces als een continue stroom in plaats van een discrete sprong. Gegeven een basis taalmodel met verborgen toestand $h$ op laag $\ell$ en een natuurlijke taal conceptbeschrijving $c$, leert FLAS een snelheidsveld $v_\theta(h, t, c)$ gedefinieerd door de Gewone Differentiaalvergelijking (ODE):
$$\frac{d}{dt}\phi_t(h) = v_\theta(\phi_t(h), t, c)$$
waarbij $\phi_0(h) = h$. De gestuurde activatie $h'$ wordt verkregen door dit snelheidsveld te integreren van tijd $t=0$ tot een stroomtijd $T$:
$$h' = \phi_T(h) = h + \int_0^T v_\theta(\phi_t(h), t, c) dt$$

In de praktijk wordt deze integraal benaderd met een N-staps voorwaartse Euler-methode:
$$h_{k+1} = h_k + \frac{T}{N} v_\theta\left(h_k, \frac{kT}{N}, c\right)$$
Dit stelt de interventie in staat om gecurveerde, meerstaps trajecten te volgen door de activatieruimte, aanpassend naarmate de activatietoestand evolueert.

Architectuur (FlowBlock)

Het snelheidsveld $v_\theta$ wordt geïnstancierd als een FlowBlock, een transformer-stijl module ingevoegd op een specifieke laag van het bevroren basismodel.

• Inputs: Huidige activatie $h_k$, gecodeerde conceptrepresentatie $\phi(c)$, en tijdstap $t_k$.
• Mechanisme:
  1. Tijd Conditionering: Tijd wordt geïnjecteerd via sinusvormige embeddings.
  2. Cross-Attention: De activatie attendeert op de conceptcodering (gegenereerd door een bevroren conceptencoder die de vroege lagen van het basismodel hergebruikt).
  3. Self-Attention & MLP: Een causale self-attention laag en een feedforward netwerk verwerken de informatie om een per-token verplaatsing te produceren.
• Belangrijkste Eigenschappen:
  • Staat-Afhankelijk: De snelheid hangt af van de huidige activatie $h$, wat adaptieve trajecten mogelijk maakt.
  • Per-Token: De snelheid wordt berekend voor elke tokenpositie, wat niet-uniforme sturing over een sequentie mogelijk maakt.
  • Zero-Shot: Het wordt getraind op alleen positieve voorbeelden (concept-uitgelijnde antwoorden) met een standaard taalmodeleringsdoel, waardoor de behoefte aan contrastieve paren wordt geëlimineerd.

Trainingsstrategie

• Doel: Minimaliseren van cross-entropy voor taalmodellen op de output tokens na injectie van de gestuurde activatie $h_N$.
• Diversiteitsstraf: Een diversiteitsverlies wordt toegevoegd om de cosinus-similariteit tussen gemiddeld gepoolde snelheden van verschillende concepten binnen een batch te straffen, zodat onderscheidende sturingsrichtingen worden gewaarborgd.
• Sterktecontrole: De stroomtijd $T$ fungeert als een continue scalair parameter. Door $T$ te randomiseren tijdens training (bijv. $T \sim \text{Uniform}[0.5, 2.0]$), leert het model om te extrapoleren naar verschillende sterkten bij inferentie zonder per-concept aanpassing.

Belangrijkste Bijdragen

1. FLAS Framework: De introductie van een concept-geconditioneerd snelheidsveld geïntegreerd via meerstaps Euler-stappen, wat adaptieve, meerstaps en positie-gevoelige sturing mogelijk maakt, getraind uitsluitend op positieve data.
2. Prestaties op AxBench: FLAS is de eerste geleerde sturingsmethode die consistent in-context prompting overtreft op de AxBench benchmark.
   • Gemma-2-2B-IT (Houd-out): HMean 1.015 (vs. Prompting 0.762).
   • Gemma-2-9B-IT (Houd-out): HMean 1.113 (vs. Prompting 1.091).
   • Cruciaal wordt dit bereikt met een enkele vaste stroomtijd ($T=2$) en geen per-concept aanpassing.
3. Generalisatie: De methode generaliseert over model families (getest op Qwen3-4B) en schaalt monotoon met het aantal trainingsconcepten (tot 16k), zonder duidelijke verzadiging.
4. Geometrische Inzichten: Analyse van de geleerde stroom onthult dat effectieve sturings trajecten gecurveerd zijn, meerdere stappen vereisen om op te lossen, en significant variëren over tokenposities. Dit daagt de "Lineaire Representatie Hypothese" uit en suggereert dat eerdere aannames over de geometrie van de activatieruimte onvolledig zijn.

Resultaten en Analyse

• Robuustheid: In tegenstelling tot baselines (bijv. ReFT, DiffMean, AcT) die verslechteren in instructievolging en vloeiendheid naarmate de sturingssterkte toeneemt, behoudt FLAS hoge scores over een breed scala aan stroomtijden ($T \in [0.5, 4.0]$).
• Ablatiestudies:
  • Cross-Attention: Het uitschakelen van cross-attention (het pad voor conceptinformatie) veroorzaakt een catastrofale daling in prestaties ($t = -37.82$).
  • Meerstaps: Het reduceren van de integratiestappen naar $N=1$ (een enkele adaptieve verplaatsing) degradeert de prestaties aanzienlijk, wat de noodzaak bevestigt van meerstaps, gekromde trajecten.
  • Diversiteitsverlies: Het verwijderen van de diversiteitsstraf vermindert de prestaties en veroorzaakt een instorting in instructievolging bij hoge stroomtijden.
• Rekenkosten: FLAS introduceert een per-token generatie overhead (ongeveer 1.5x op 2B modellen) door de herhaalde evaluatie van de FlowBlock, maar dit wordt acceptabel geacht gezien de kwaliteitswinst. Het is significant meer parameter-efficiënt dan HyperSteer (dat een hypernetwerk van 2.6B+ parameters gebruikt).

Betekenis

Het artikel stelt dat FLAS een paradigmaverschuiving in activatiesturing vertegenwoordigt door interventies te behandelen als stromen in plaats van statische vectoren.

• Empirisch Bewijs: Het biedt empirisch bewijs dat effectieve sturing niet-lineaire en positie-gevoelige interventies vereist, wat suggereert dat de geometrische aannames die ten grondslag liggen aan veel van de eerdere literatuur onvolledig zijn.
• Praktische Impact: Door de behoefte aan contrastieve data en per-concept aanpassing te verwijderen, biedt FLAS een schaalbaarder en robuuster pad voor het controleren van LLM-gedrag, waarbij het succesvol de kloof overbrugt tussen de flexibiliteit van prompting en de efficiëntie van parameter-vrije sturing.
• Theoretisch Inzicht: De visualisatie van gekromde, meerstaps trajecten biedt een nieuwe lens voor het begrijpen van de interne berekeningen van LLM's, verdergaand dan de hypothese van lineaire deelruimten.