Contextual Linear Activation Steering of Language Models

1. Probleemstelling

Grote Taalmodellen (LLM's) bezitten latente capaciteiten (bijv. redeneren, sentimentcontrole, veiligheidsweigering) die kunnen worden opgeroepen via Linear Activation Steering (LAS). LAS werkt op de "linear representation hypothesis", die stelt dat semantische concepten worden weergegeven als vaste lineaire richtingen in de activatieruimte van het model. Door een geschaalde stuurvector ($\alpha d$) toe te voegen aan de interne activaties van het model, kan het gedrag worden gewijzigd.

Echter, bestaande LAS-methode lijden aan twee kritieke beperkingen:

1. Contextonafhankelijkheid: Huidige methoden passen een vaste scalair coëfficiënt ($\alpha$) uniform toe over alle tokens en prompts. Dit negeert de nuance van de inputcontext, wat leidt tot inconsistente stuurkwaliteit (ondersturen of oversturen) afhankelijk van de prompt.
2. Inefficiëntie bij afstemming: Het selecteren van de optimale vaste $\alpha$ vereist dure grid searches met menselijke of LLM-evaluatoren voor elke nieuwe taak, waardoor de aanpak breekbaar is en moeilijk schaalbaar.

2. Methodologie: Contextual Linear Activation Steering (CLAS)

De auteurs stellen CLAS voor, een methode die de vaste scalair coëfficiënt vervangt door een contextafhankelijke, geleerde stuurcoëfficiënt.

Kernmechanisme

In plaats van $\tilde{h}_{\ell,t} = h_{\ell,t} + \alpha d_\ell$, berekent CLAS een dynamische coëfficiënt op basis van de huidige activatie en een geleerde sensingsvector:
$$\tilde{h}_{\ell,t} = h_{\ell,t} + (c_\ell \cdot [h_{\ell,t}, 1]) d_\ell$$
Waarbij:

• $h_{\ell,t}$ de activatie is bij blok $\ell$ en token $t$.
• $d_\ell$ de stuurvector (richting) is, afgeleid uit een probe.
• $c_\ell \in \mathbb{R}^{k+1}$ een geleerde sensingsvector is die specifiek is voor blok $\ell$.
• $[h_{\ell,t}, 1]$ de concatenatie is van de activatie met een constante bias-term.
• De term $(c_\ell \cdot [h_{\ell,t}, 1])$ fungeert als de dynamische stuurcoëfficiënt $\alpha_{\ell,t}$.

Tweestaps Trainingsproces

CLAS ontkoppelt de extractie van de stuurrichting van de afstemming van de stuursterkte:

1. Extractie van Stuurvector (Richting):

   • Gebruikt een dataset van prompt-concept labelparen.
   • Traint een Activation Probe bij elk transformatorblok met behulp van Recursive Feature Machines (RFM). RFM berekent iteratief het Average Gradient Outer Product (AGOP) om taakrelevante kenmerken te leren, en presteert beter dan standaard lineaire probes.
   • De stuurvector $d_\ell$ is de hoofd-eigenvector van de uiteindelijke AGOP-matrix, georiënteerd om positief te correleren met de conceptlabels.
   • Opmerking: Deze stap is vrij van backpropagation en snel.

2. Leren van Sensingsvector (Sterkte):

   • Gebruikt een kleine dataset van prompt-completionparen (waarbij de prompt de specifieke taakinstructie mist, maar de completion het gewenste gedrag demonstreert).
   • Bevriest alle LLM-parameters en leert uitsluitend de sensingsvectoren $\{c_\ell\}$ door de standaard next-token prediction loss te minimaliseren.
   • Hierdoor kan het model leren wanneer en hoeveel er gestuurd moet worden op basis van de inputcontext, zonder outputs te genereren en te scoren.

3. Belangrijkste Bijdragen

• Contextafhankelijke Sturing: Introduceert een mechanisme om de stuursterkte dynamisch te moduleren op basis van de inputcontext, waardoor de breekbaarheid van methoden met vaste coëfficiënten wordt opgelost.
• Efficiënte Afstemming: Elimineert de noodzaak van dure grid searches en externe evaluatoren. CLAS wordt afgestemd via standaard next-token prediction loss, wat aanzienlijk sneller en schaalbaarder is.
• Ontkoppeld Architectuur: Scheidt de ontdekking van het "wat" (stuurrichting via RFM-probes) van het "hoeveel" (sensingsvectoren via fine-tuning), waardoor de interpreteerbaarheid van de stuurrichtingen behouden blijft.
• Behoud van Interpreteerbaarheid: In tegenstelling tot parameter-efficiënte fine-tuning (PEFT) methoden die ondoorzichtige low-rank matrices leren, behoudt CLAS de lineaire probe-richtingen, waardoor nauwkeurig conceptmonitoring mogelijk is.

4. Experimentele Resultaten

De auteurs evalueerden CLAS op 11 diverse sturingstaken (bijv. stap-voor-stap redeneren, meertalige vertaling, jailbreak-resistentie, sentimentverschuiving) over 4 model-families (Qwen2.5-7B, Llama-3.1-70B/8B, Llama-3.2-1B).

Prestatiebenchmarks:

• T.o.v. Standaard LAS: CLAS presteert consequent beter dan standaard LAS (vaste $\alpha$) over bijna alle model-taakparen, vaak met aanzienlijke marges.
• T.o.v. PEFT (LoRA & ReFT): CLAS komt overeen met of overtreft de prestaties van LoRA en ReFT (Rank-1) in situaties met beperkte data.
  • Snelheid: CLAS is aanzienlijk sneller af te stemmen dan LAS (die grid search vereist) en vergelijkbaar met of sneller dan LoRA/ReFT.
  • Robuustheid: Bij interferentietests (sturen voor één taak en evalueren op andere) veroorzaakt CLAS minimale degradatie van andere capaciteiten in vergelijking met de significante dalingen die vaak worden gezien bij LoRA en ReFT.
• Conceptmonitoring: Wanneer gebruikt als lineaire probes om concepten te detecteren, bereikten de door RFM afgeleide richtingen die door CLAS worden gebruikt aanzienlijk hogere nauwkeurigheid (Gemiddeld ~96-97%) in vergelijking met richtingen die door LoRA en ReFT worden geleerd (Gemiddeld ~68-74%). Dit bevestigt dat CLAS-richtingen semantischer beter zijn afgestemd op de doelconcepten.

Specifieke Bevindingen:

• Bij de JailbreakBench-taak was CLAS de enige methode die succesvol anti-weigeringsgedrag induceerde over alle modellen, terwijl LoRA en ReFT volledig faalden.
• CLAS behaalde de hoogste gemiddelde nauwkeurigheid op 10/11 taken voor de meeste modellen.

5. Betekenis en Conclusie

Het paper toont aan dat lineaire activatiesturing kan worden geschaald en robuust kan worden gemaakt door over te stappen van vaste coëfficiënten naar contextbewuste, geleerde coëfficiënten.

• Schaalbaarheid: Door de noodzaak van per-prompt afstemming of grid searches te verwijderen, maakt CLAS activatiesturing levensvatbaar voor real-world implementatie waar inputs dynamisch variëren.
• Interpreteerbaarheid: Het overbrugt de kloof tussen de interpreteerbaarheid van mechanistisch begrip (probes) en de prestaties van fine-tuning. De stuurvectoren blijven interpreteerbare lineaire richtingen, in tegenstelling tot de ondoorzichtige gewichten van LoRA/ReFT.
• Generalisatie: De methode bewijst dat bestaande stuurrichtingen aanzienlijk effectiever kunnen worden gemaakt door ze simpelweg te moduleren met contextafhankelijke coëfficiënten, wat een nieuw paradigma biedt voor het controleren van LLM-gedrag zonder volledige fine-tuning.

Kortom, CLAS biedt een schaalbaar, interpreteerbaar en accuraat alternatief voor zowel traditionele activatiesturing als parameter-efficiënte fine-tuning, met name in scenario's met gelabelde data.