Technische Samenvatting: Hoogdimensionale Willekeurige Projectie voor Activatiesturing in Taalmodellen

Probleemstelling

Activatiesturing (activation steering) is een primaire methode geworden voor het controleren van Large Language Models (LLM's) zonder kostbare hertraining. Huidige state-of-the-art methoden, zoals Activation Addition en Directional Ablation, vertrouwen op Difference-in-Means (DiM) vectoren. Deze methoden schatten sturingsrichtingen in door het lineaire gemiddelde verschil te berekenen tussen de activaties van doel- en bronklassen in de oorspronkelijke residual stream.

De auteurs stellen echter dat deze lineaire methoden fundamenteel beperkt zijn. Onder de superpositie-hypothese coderen neurale netwerken meer kenmerken dan ze neuronen hebben door ze te laten overlappen in de activatieruimte. Bijgevolg kunnen relevante signalen voor gedrag mogelijk niet volledig worden gevangen door eerste-orde gemiddelde verschuivingen. In plaats daarvan kunnen discriminatieve signalen bestaan in nietlineaire feature-subruimten of als tweede-orde statistische structuren (bijv. variantieverschillen) die lineaire DiM-schatters niet kunnen herstellen. Bestaande pogingen om dit aan te pakken met Sparse Autoencoders (SAEs) presteren vaak slechter dan lineaire baselines of vereisen training, wat een gat laat voor een training-vrije benadering die toegang kan krijgen tot deze hogere-orde signalen.

Methodologie: HiDRA

De auteurs stellen HiDRA (High-Dimensional Random-projection for Activation Steering) voor, een training-vrij framework dat de ruimte waarin sturingsrichtingen worden geschat en toegepast, wijzigt.

Kernmechanisme

HiDRA werkt door modelactivaties naar een hogerdimensionale nietlineaire ruimte te tillen voordat de sturing wordt uitgevoerd, en vervolgens de gewijzigde activaties terug te projecteren naar de oorspronkelijke residual stream. De pijplijn bestaat uit drie stappen:

1. Lifting (Projectie): Gegeven een activatievector $x \in \mathbb{R}^d$ op laag $\ell$, past HiDRA een willekeurige projectie toe met behulp van een Gaussische matrix $A \in \mathbb{R}^{m \times d}$ (waarbij $m \gg d$) gevolgd door een nietlineaire activatiefunctie $\sigma$ (standaard: LeakyReLU).
   $$x' = \sigma(Ax)$$
   Dit brengt de data in kaart naar een hoogdimensionale feature-ruimte $\mathcal{H}$.

2. Steering in de Lifted Ruimte: De sturingsvector $d^{(\ell)}$ wordt berekend als de Difference-in-Means vector, maar berekend binnen de gelifte hoogdimensionale ruimte met behulp van de geprojecteerde activaties.
   $$d^{(\ell)} = \frac{1}{|D_{target}|} \sum_{t \in D_{target}} x'^{(\ell)}(t) - \frac{1}{|D_{source}|} \sum_{t \in D_{source}} x'^{(\ell)}(t)$$

3. Injectie en Reconstructie: Tijdens inferentie wordt de sturingsvector met sterkte $\alpha$ toegevoegd aan de geprojecteerde activaties. Het resultaat wordt vervolgens teruggeprojecteerd naar de oorspronkelijke ruimte met behulp van de pseudo-inverse van de projectiematrix ($A^\dagger$) en de inverse van de nietlineaire functie ($\sigma^{-1}$).
   $$x^{(\ell)}_{steered} = A^\dagger \sigma^{-1} \left( \sigma(Ax^{(\ell)}) + \alpha d^{(\ell)} \right)$$

Theoretische Fundering

Het paper biedt een theoretische rechtvaardiging gebaseerd op het Gaussische superpositie-model.

• Propositie 3.1: Demonstreert dat als de feature-ruimte kan worden ontleed in een lineaire subruimte en een residuele subruimte, de Fisher-ratio (een maatstaf voor discriminatief vermogen) in de feature-ruimte strikt groter is dan in de lineaire ruimte als er een residueel discriminatief signaal bestaat ($v_{res} \neq 0$).
• Stelling 3.5: Bewijst dat onder een Gaussisch superpositie-model de norm van het residuele component in de gelifte ruimte ondergrenst heeft door tweede-orde discriminatieve signalen (variantie-gaten tussen klassen). Dit suggereert dat willekeurige projectie met nietlineariteiten lineaire schatters (zoals DiM) in staat stelt om signalen te vangen die onzichtbaar zijn in de oorspronkelijke lineaire ruimte.

Belangrijkste Bijdragen

1. Theoretische Analyse: De auteurs bewijzen dat onder de superpositie-hypothese tweede-orde discriminatieve signalen aanwezig zijn in de gedrags-subruimte. Ze demonstreren dat feature-ruimte DiM bewezen deze residuele signalen kan vangen, die buiten het bereik liggen van standaard lineaire gemiddelde-verschuivingsmethoden.
2. HiDRA Framework: Ze introduceren een plug-in, training-vrije sturingsmethode die naadloos integreert met bestaande pijlijnen. Het vereist geen hertraining van het model en gebruikt een vaste, willekeurig geïnitialiseerde projectiematrix.
3. Empirische Validatie: Uitgebreide experimenten over diverse LLM-families (Gemma, Llama, Qwen) en taken tonen aan dat HiDRA consequent beter presteert dan baseline-tegenhangers terwijl de algemene modelcapaciteiten behouden blijven.

Experimentele Resultaten

De auteurs evalueerden HiDRA op drie verschillende sturings-taken:

1. Jailbreaking

• Setup: Modellen sturen om te voldoen aan schadelijke verzoeken (met gebruik van datasets zoals ADVBENCH en MALICIOUSINSTRUCT).
• Baselines: Vergeleken met Mean-AcT (standaard DiM steering).
• Resultaten: HiDRA bereikte hogere Attack Success Rates (ASR) over alle geteste modellen (Gemma 2, Llama 3.2, Qwen 2.5). Bijvoorbeeld, op Gemma2-9B-IT steeg de ASR van 84,00% (Mean-AcT) naar 90,00% (HiDRA) in de all-token setting. Cruciaal is dat de algemene taalmodellering-capaciteiten (gemeten via TINYBENCHMARKS) vergelijkbaar bleven met de baselines, wat wijst op geen significante degradatie in behulpzaamheid.

2. Waarachtigheid (Truthfulness)

• Setup: Modellen sturen om waarheidsgetrouwere en informativere antwoorden te produceren met behulp van de TRUTHFULQA benchmark.
• Resultaten: HiDRA verbeterde de "waar $\times$ informatief" metriek op zowel Gemma-2-2B als Llama-3-8B vergeleken met Mean-AcT en geen sturing. De methode behield prestaties op algemene benchmarks, wat suggereert dat de winst in waarachtigheid niet werd behaald door het opofferen van algemene capaciteit.

3. CAA-stijl Multiple-Choice Vraagbeantwoording

• Setup: Het controleren van de waarschijnlijkheid van specifieke gedragconcepten (bijv. "Sycophancy", "Hallucination") in een multiple-choice setting, waarbij wordt vergeleken met Contrastive Activation Addition (CAA) en Sparse Activation Steering (SAS).
• Resultaten: HiDRA demonstreerde superieure controle over doelconcepten. Het behaalde de beste resultaten bij het onderdrukken van negatieve attributen (lagere token-waarschijnlijkheid) voor alle zes geteste concepten en bij het promoten van positieve attributen voor vijf van de zes concepten, waarmee het zowel CAA als SAS overtrof.

Ablatie-studies

• Vector Extractie: De auteurs vergeleken DiM met Lineaire Discriminant Analyse (LDA) voor vectorextractie. De resultaten gaven aan dat de prestatiewinsten van HiDRA primair voortkomen uit de hoogdimensionale projectie in plaats van covariantie-conditionering, aangezien HiDA met DiM beter presteerde dan LDA in de oorspronkelijke ruimte.
• Nietlineariteit: De keuze van de nietlineaire kaart is van belang. Hoewel polynomiale kaarten (Cube, Cubic) een hoge ASR opleverden, produceerden zij degeneratieve generaties. LeakyReLU en Skip-softplus varianten bleken optimaal omdat ze globaal Lipschitz continu zijn, wat zorgt voor stabiele perturbaties bij het terugmappen naar de residual stream.

Betekenis en Claims

Het paper claimt dat HiDRA een bewijsbaar superieure benadering biedt voor activatiesturing door gebruik te maken van de geometrie van hoogdimensionale willekeurige projecties.

• Voorbij Lineaire Limieten: Het adresseert de beperking van lineaire sturingsmethoden door discriminatieve signalen te vangen die bestaan in de nietlineaire residuele structuur van de activatieruimte, specifiek die voortvloeiend uit de superpositie van latente features.
• Efficiëntie en Compatibiliteit: In tegenstelling tot SAE-gebaseerde methoden is HiDRA training-vrij en vereist het geen training van sparse dictionaries. Het fungeert als een "plug-in" die met elke bestaande sturingspijplijn kan worden gecombineerd zonder de modelarchitectuur of gewichten te wijzigen.
• Robuustheid: De methode bereikt sterkere gedragscontrole (hogere ASR, betere waarachtigheid, fijnere conceptcontrole) zonder de aanzienlijke computationele overhead van hertraining of de degradatie van mogelijkheden die vaak bij andere interventiemethoden wordt gezien.

De auteurs concluderen dat hoewel HiDRA enige overhead bij de inferentie introduceert door de projectie- en reconstructiestappen, het een principieel, sample-efficiënt pad biedt om toegang te krijgen tot hogere-orde controle-signalen in LLM's.