Beyond Linear Steering: Unified Multi-Attribute Control for Language Models

Titel: Beyond Linear Steering: Unified Multi-Attribute Control for Language Models

Auteurs: Narmeen Oozeer, Luke Marks, Shreyans Jain, Fazl Barez, Amirali Abdullah.

---

1. Het Probleem

Grote Taalmodellen (LLMs) moeten vaak tijdens de inferentie (tijdens het genereren van tekst) worden gestuurd om specifieke gedragsattributen te tonen, zoals toon, feitelijke juistheid of toxiciteit. Bestaande methoden voor "activation steering" (sturen via activaties) hebben echter twee fundamentele beperkingen:

1. Lineariteitsaannames: De meeste huidige technieken (zoals Contrastive Activation Addition - CAA) veronderstellen dat attributen lineair en additief zijn in de activatieruimte van het model. Dit betekent dat men verschillende stuurvectoren simpelweg bij elkaar optelt. In de praktijk leidt dit echter vaak tot interferentie tussen attributen, verlies van coherentie of een "verwatering" van het gewenste gedrag.
2. Schaalbaarheid en Tuning: Bestaande methoden vereisen vaak aparte stuurvectoren per attribuut en per-token gating-functies, wat de complexiteit en de noodzaak voor hyperparameter-tuning per attribuutcombinatie vergroot.

Het doel is om een methode te vinden die meerdere, soms tegenstrijdige, gedragsattributen tegelijkertijd en dynamisch kan combineren zonder het model opnieuw te hoeven trainen.

---

2. Methodologie: K-Steering

De auteurs introduceren K-Steering, een unificerende en flexibele aanpak die gebruikmaakt van niet-lineaire gradienten om meerdere attributen tegelijkertijd te sturen.

Kerncomponenten:

• Niet-lineaire Classificatie: In plaats van lineaire vectoren te berekenen, trainen de auteurs een enkel Multi-Layer Perceptron (MLP) als een multi-label classifier. Deze classifier wordt getraind op de verborgen activaties (hidden activations) van het LLM om verschillende tonen of debatstijlen te herkennen.
• Gradient-Based Interventie: Tijdens de inferentie worden de activaties van het model aangepast door de gradienten van de classifier te gebruiken. De interventie wordt geformuleerd als:
  $$a'_i = a_i - \alpha \nabla_{a_i} \mathcal{L}(g_\phi(a_i))$$
  Waarbij:
  • $a_i$ de oorspronkelijke activatie is.
  • $g_\phi$ de MLP-classifier is.
  • $\mathcal{L}$ een verliesfunctie is die de waarschijnlijkheid van gewenste klassen maximaliseert en ongewenste klassen minimaliseert.
  • $\alpha$ een schalingsfactor is.

Algoritmen:

1. Iteratieve Gradient-Based Steering (Algorithm 1): Voert meerdere gradient-stappen uit om de activaties geleidelijk naar de gewenste richting te bewegen. Dit is effectief voor het combineren van "naar X toe" en "weg van Y" instructies.
2. Projection Removal (Algorithm 2): Een efficiëntere, één-staps methode voor het verwijderen van ongewenste attributen. Deze gebruikt een Householder-reflectie om de component van de activatie die overeenkomt met de gradient van het ongewenste attribuut om te keren, in plaats van deze simpelweg te projecteren. Dit is krachtiger dan lineaire ablatie.

Voordeel: De methode maakt geen lineaire aannames, vereist geen opslag van aparte vectoren per attribuut en maakt dynamische composities mogelijk zonder hertraining.

---

3. Belangrijkste Bijdragen

1. Nieuwe Datasets: De auteurs hebben twee nieuwe benchmarks ontwikkeld die specifiek zijn ontworpen voor multi-attribuut sturing:
   • TONEBANK: Een dataset voor het sturen van conversatietonen (bijv. empathisch, zakelijk, informeel).
   • DEBATEMIX: Een dataset voor het sturen van verschillende retorische stijlen in debatten (bijv. Reductio ad Absurdum, Burden of Proof Shift).
2. Methodologische Innovatie: Bewijs dat een enkele niet-lineaire classifier effectief kan sturen in meerdere richtingen tegelijk, wat beter presteert dan het optellen van lineaire vectoren.
3. Evaluatie Framework: Een semi-automatisch protocol dat binaire zoekopdrachten gebruikt om de optimale stuursterkte ($\alpha$) te vinden die de effectiviteit maximaliseert terwijl de coherentie van het model behouden blijft.

---

4. Resultaten

De methode werd getest op drie model families (Llama-3.2-3B, Mistral-7B, OLMo-2-7B) en vergeleken met sterke baselines zoals CAA en Deep Causal Transcoding (DCT).

• Prestatie: K-Steering overtreft CAA en DCT consistent in het nauwkeurig sturen van meerdere gedragingen tegelijkertijd. Op de TONEBANK en DEBATEMIX benchmarks liet K-Steering de grootste veranderingen zien in de activaties van de classifier voor de doelklassen.
• LLM-Judges: Evaluatie door andere LLM's bevestigde dat K-Steering beter bestand is tegen het "verwateringseffect" (dilution) dat optreedt bij het middelen van meerdere lineaire vectoren.
• Meerlagige en Meerstaps Sturing:
  • Het toepassen van sturing over meerdere lagen tegelijk (multi-layer) verhoogt de effectiviteit, vooral voor complexe taken.
  • Meerdere gradient-stappen (multi-step) verbeteren de prestaties bij kleine stapgroottes, maar kunnen bij te grote stapgroottes leiden tot incoherente output.
• Algemene Vaardigheden: Op benchmarks zoals MMLU behoudt K-Steering de prestaties van het basismodel, wat aangeeft dat de sturing de algemene taalvaardigheid niet significant schaadt.

---

5. Betekenis en Toekomst

Significantie:
Dit werk is een belangrijke stap voorbij de lineaire benadering van LLM-sturing. Het toont aan dat gedragsattributen in LLMs niet-lineair gecombineerd kunnen worden en dat een enkele, getrainde classifier een krachtigere en flexibele interface biedt voor inferentie-tijd controle dan statische vectoren. Dit maakt het mogelijk om complexe, samengestelde gedragspatronen (bijv. "zakelijk maar empathisch") te creëren zonder de kosten van RLHF of hertraining.

Beperkingen en Uitdagingen:

• Computatiekosten: De iteratieve gradient-benadering is computatieduurder dan lineaire methoden (lineair afhankelijk van het aantal stappen).
• Datasets: De huidige evaluatie is gebaseerd op kunstmatige datasets; de generaliseerbaarheid naar natuurlijk voorkomende, complexe multi-attribuut scenario's blijft een open vraag.
• Ethiek: De mogelijkheid om modelgedrag fijnmazig te manipuleren brengt risico's met zich mee, zoals het omzeilen van veiligheidsmaatregelen.

Conclusie:
K-Steering biedt een robuust fundament voor de volgende generatie controlemechanismen voor LLMs, waarbij de nadruk ligt op niet-lineaire interacties en dynamische, samengestelde gedragscontrole.