🤖 machine learning

High-Dimensional Random Projection for Activation Steering in Language Models

Das Paper stellt HiDRA vor, eine trainingsfreie Methode zur Steuerung von Aktivierungen, die hochdimensionale Zufallsprojektionen nutzt, um diskriminative Signale in nichtlinearen Merkmalsunterräumen zu erfassen und dadurch bestehende lineare Differenzmittelwert-Ansätze bei der Steuerung des Verhaltens großer Sprachmodelle ohne signifikanten Rechenaufwand übertrifft.

Ursprüngliche Autoren: Minh-Hieu Pham, Bach Do, Laziz Abdullaev, Tan Minh Nguyen, Khoat Than

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Minh-Hieu Pham, Bach Do, Laziz Abdullaev, Tan Minh Nguyen, Khoat Than

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) wie ein riesiges, komplexes Orchester vor, das eine Sinfonie spielt. Die „Aktivierungen“ sind die einzelnen Noten, die die Musiker in einem gegebenen Moment spielen. Forscher haben herausgefunden, dass man nicht das ganze Orchester neu trainieren muss, wenn man möchte, dass das Orchester einen bestimmten Musikstil spielt (wie zum Beispiel wahrheitsgetreuer oder umgekehrt rebellischer). Stattdessen kann man dem Dirigenten einfach eine spezifische Anweisung zuflüstern oder die Lautstärke einiger Instrumente mitten im Auftritt anpassen. Dies nennt man Activation Steering.

Die derzeitige Methode für dies zu tun, ist jedoch ein wenig so, als würde man versuchen, ein Klavier zu stimmen, indem man nur auf den Durchschnittston des gesamten Raumes hört. Das funktioniert ganz okay, aber es verpasst die subtilen, komplexen Harmonien, die die Musik wirklich unverwechselbar machen.

Hier ist, wie das Paper HiDRA (High-Dimensional Random Projection for Activation Steering) das Spiel verändert, einfach erklärt:

Das Problem: Die „flache“ Sichtweise

Derzeitige Methoden betrachten die Aufführung des Orchesters auf eine „flache“ Art und Weise. Sie berechnen den durchschnittlichen Unterschied zwischen einer „guten“ Aufführung und einer „schlechten“ einen.

Die Einschränkung: Stellen Sie sich vor, Sie versuchen, eine 3D-Skulptur zu beschreiben, indem Sie nur ihren Schatten an einer flachen Wand betrachten. Sie übersehen die gesamte Tiefe, die Kurven und die verborgenen Details. Ähnlich verhält es sich mit aktuellen Methoden, die die komplexen, nicht-linearen Signale, die in den Gehirnen des Modells verborgen liegen, übersehen. Sie sehen nur den „durchschnittlichen“ Unterschied und ignorieren die subtilen, zweitrangigen Muster, die bestimmte Verhaltensweisen tatsächlich definieren.

Die Lösung: Das „Magische Prisma“ (HiDRA)

Die Autoren schlagen ein neues Werkzeug namens HiDRA vor. Stellen Sie sich HiDRA wie ein magisches Prisma vor, das Sie vor die Notenblätter des Orchesters schieben.

Den Blick heben (Das Prisma): Anstatt die Noten in ihrer ursprünglichen, flachen Form zu betrachten, projiziert HiDRA sie in einen viel höheren, mehrdimensionalen Raum. Es ist, als würde man diesen flachen Schatten der Skulptur nehmen und ein Prisma verwenden, um das volle, 3D-Objekt mit all seinen verborgenen Kurven zu enthüllen.
Das verborgene Signal finden: In diesem neuen, erweiterten 3D-Raum werden die subtilen Unterschiede zwischen „wahrheitsgetreuen“ und „unwahrheitsgetreuen“ Antworten viel klarer und leichter zu erkennen. Das „Rauschen“, das die alten Methoden verwirrt hat, wird nun vom „Signal“ getrennt.
Die Anpassung: Sobald das System die perfekte Richtung identifiziert hat, um die Musik in diesen 3D-Raum zu lenken, verwendet es das Prisma in umgekehrter Reihenfolge, um diesen Impuls zurück in die ursprüngliche flache Partitur zu übersetzen.
Das Ergebnis: Das Orchester spielt den neuen Stil perfekt, ohne jedoch ein neues Lied lernen oder die Musiker neu trainieren zu müssen.

Warum es funktioniert (Die Theorie)

Das Paper nutzt ein Konzept namens „Superposition Hypothesis“ (Überlagerungshypothese). Stellen Sie sich das Gehirn des Modells wie einen überfüllten Raum vor, in dem viele verschiedene Ideen gleichzeitig sprechen, die sich wie Radiosender auf derselben Frequenz überlagern.

Alte Methode: Versucht, den „Wahrheits“-Sender zu finden, indem man einfach die Lautstärke des durchschnittlichen Rauschens erhöht. Dabei mischt man oft das statische Rauschen mit hinein.
HiDRA: Nutzt das Prisma, um die überlagernden Radiosender zu trennen. Es findet die spezifische „Frequenz“ (oder mathematische Richtung), in der das Wahrheitssignal am stärksten ist, selbst wenn dieses Signal zuvor im statischen Rauschen verborgen war.

Was sie getestet haben

Die Forscher haben dieses „magische Prisma“ bei drei verschiedenen Aufgaben getestet:

Jailbreaking: Der Versuch, das Modell dazu zu bringen, Sicherheitsregeln zu ignorieren. HiDRA war besser darin, das Modell dazu zu bringen, diesen Anfragen nachzukommen, als die alten Methoden.
Wahrheitsgetreue (Truthfulness): Der Versuch, das Modell dazu zu bringen, die Wahrheit zu sagen. HiDRA machte das Modell präziser und informativer, ohne dass es roboterhaft klang oder die Fähigkeit verlor, gute Sätze zu schreiben.
Multiple-Choice-Fragen: Der Versuch, das Modell in Richtung bestimmter Antworten zu steuern. HiDRA war präziser darin, das Modell zur richtigen Antwort zu drücken (oder von der falschen wegzudrücken) als bisherige Techniken.

Der Haken (Einschränkungen)

Das Paper stellt fest, dass HiDRA zwar leistungsstark ist, aber etwas mehr „Muskelkraft“ (Rechenleistung) erfordert, um den Prisma-Eff Effekt während der Aufführung auszuführen. Es ist ein kleiner Preis, den man für eine bessere Kontrolle zahlt, aber es bedeutet auch ein kleines bisschen zusätzliche Arbeit für den Computer.

Das Fazate

HiDRA ist ein kluges „Plug-and-Play“-Upgrade zur Steuerung von KI. Es erfordert kein Retraining der KI und keine Änderung ihrer Architektur. Es fügt lediglich eine mathematische Linse hinzu, die es uns ermöglicht, das Verhalten der KI klarer zu sehen und zu kontrollieren, indem es subtile Signale erfasst, die vorherige Methoden zu blind waren, um sie zu sehen.

Technisches Resümee: Hochdimensionale Zufallsprojektion für das Aktivierungs-Steering in Sprachmodellen

Problemstellung

Activation Steering hat sich zu einer primären Methode zur Steuerung von Large Language Models (LLMs) entwickelt, ohne dass ein kostspieliges Retraining erforderlich ist. Aktuelle State-of-the-Art-Methoden, wie etwa Activation Addition und Directional Ablation, stützen sich auf Difference-in-Means (DiM)-Vektoren. Diese Methoden schätzen Steuerungsrichtungen durch die Berechnung der linearen Mittelwertdifferenz zwischen den Aktivierungen von Ziel- und Quellklassen im ursprünglichen Residual Stream.

Die Autoren argumentieren jedoch, dass diese linearen Methoden fundamental begrenzt sind. Unter der Superpositionshypothese kodieren neuronale Netze mehr Merkmale als sie Neuronen besitzen, indem sie diese im Aktivierungsraum überlappen. Folglich werden verhaltensrelevante Signale möglicherweise nicht vollständig durch erstorderige Mittelwertverschiebungen erfasst. Stattdessen können diskriminative Signale in nichtlinearen Merkmals-Subräumen oder als statistische Strukturen zweiter Ordnung (z. B. Varianzunterschiede) existieren, die von linearen DiM-Schätzern nicht erfasst werden können. Bestehende Versuche, dies mittels Sparse Autoencoders (SAEs) zu adressieren, schneiden oft schlechter ab als lineare Baselines oder erfordern ein Training, was eine Lücke für einen trainingsfreien Ansatz hinterlässt, der auf diese höherorderigen Signale zugreifen kann.

Methodik: HiDRA

Die Autoren schlagen HiDRA (High-Dimensional Random-projection for Activation Steering) vor, ein trainingsfreies Framework, das den Raum modifiziert, in dem Steuerungsrichtungen geschätzt und angewendet werden.

Kernmechanismus

HiDRA operiert, indem es die Modellaktivierungen in einen höherdimensionalen, nichtlinearen Raum hebt, bevor das Steering durchgeführt wird, und anschließend die modifizierten Aktivierungen zurück in den ursprünglichen Residual Stream projiziert. Die Pipeline besteht aus drei Schritten:

Lifting (Projektion): Gegeben sei ein Aktivierungsvektor $x \in \mathbb{R}^d$ an Schicht $\ell$ . HiDRA wendet eine Zufallsprojektion unter Verwendung einer Gaußschen Matrix $A \in \mathbb{R}^{m \times d}$ (wobei $m \gg d$ ) gefolgt von einer nichtlinearen Aktivierungsfunktion $\sigma$ (Standard: LeakyReLU) an.
$x' = \sigma(Ax)$
Dies bildet die Daten in einen hochdimensionalen Merkmalsraum $\mathcal{H}$ ab.
Steering im gehobenen Raum: Der Steuerungsvektor $d^{(\ell)}$ wird als Difference-in-Means-Vektor berechnet, jedoch innerhalb des gehobenen hochdimensionalen Raums unter Verwendung der projizierten Aktivierungen.
$d^{(\ell)} = \frac{1}{|D_{target}|} \sum_{t \in D_{target}} x'^{(\ell)}(t) - \frac{1}{|D_{source}|} \sum_{t \in D_{source}} x'^{(\ell)}(t)$
Injektion und Rekonstruktion: Während der Inferenz wird der Steuerungsvektor mit der Stärke $\alpha$ zu den projizierten Aktivierungen addiert. Das Ergebnis wird dann unter Verwendung der Pseudoinversen der Projektionsmatrix ( $A^\dagger$ ) und der Inversen der nichtlinearen Funktion ( $\sigma^{-1}$ ) in den ursprünglichen Raum zurückprojiziert.
$x^{(\ell)}_{steered} = A^\dagger \sigma^{-1} \left( \sigma(Ax^{(\ell)}) + \alpha d^{(\ell)} \right)$

Theoretische Grundlage

Das Paper liefert eine theoretische Rechtfertigung basierend auf dem Gaußschen Superpositionsmodell.

Proposition 3.1: Zeigt auf, dass, falls der Merkmalsraum in einen linearen Subraum und einen residualen Subraum zerlegt werden kann, das Fisher-Verhältnis (ein Maß für die diskriminative Kraft) im Merkmalsraum strikt größer ist als im linearen Raum, sofern ein residuales diskriminatives Signal existiert ( $v_{res} \neq 0$ ).
Theorem 3.5: Beweist, dass unter einem Gaußschen Superpositionsmodell die Norm der residualen Komponente im gehobenen Raum durch die Differenzen zweiter Ordnung (Varianzlücken zwischen Klassen) nach unten beschränkt ist. Dies legt nahe, dass eine Zufallsprojektion mit Nichtlinearitäten es linearen Schätzern (wie DiM) ermöglicht, Signale zu erfassen, die im ursprünglichen linearen Raum unsichtbar sind.

Zentrale Beiträge

Theoretische Analyse: Die Autoren beweisen, dass unter der Superpositionshypothese diskriminative Signale zweiter Ordnung im Verhaltens-Subraum existieren. Sie zeigen, dass die Feature-Space-DiM-Methode diese residualen Signale nachweislich erfassen kann, die außerhalb der Reichweite von Standard-Linearen-Mean-Shift-Methoden liegen.
HiDRA-Framework: Sie führen eine Plug-in, trainingsfreie Steering-Methode ein, die sich nahtlos in bestehende Pipelines integrieren lässt. Sie erfordert kein Modell-Retraining und verwendet eine feste, zufällig initialisierte Projektionsmatrix.
Empirische Validierung: Umfangreiche Experimente über diverse LLM-Familien (Gemma, Llama, Qwen) und Aufgaben hinweg zeigen, dass HiDRA die Baseline-Gegenstücke konsistent übertrifft und dabei die allgemeinen Modellfähigkeiten bewahrt.

Experimentelle Ergebnisse

Die Autoren evaluierten HiDRA bei drei unterschiedlichen Steering-Aufgaben:

1. Jailbreaking

Setup: Steuerung von Modellen zur Befolgung schädlicher Anfragen (unter Verwendung von Datensätzen wie ADVBENCH und MALICIOUSINSTRUCT).
Baselines: Vergleich gegen Mean-AcT (Standard DiM Steering).
Ergebnisse: HiDRA erreichte höhere Attack Success Rates (ASR) über alle getesteten Modelle hinweg (Gemma 2, Llama 3.2, Qwen 2.5). Beispielsweise stieg die ASR bei Gemma2-9B-IT von 84,00 % (Mean-AcT) auf 90,00 % (HiDRA) im All-Token-Setting. Entscheidend war, dass die allgemeinen Sprachmodellierungsfähigkeiten (gemessen durch TINYBENCHMARKS) vergleichbar mit den Baselines blieben, was auf keine signifikante Verschlechterung der Hilfsbereitschaft hindeutet.

2. Wahrhaftigkeit (Truthfulness)

Setup: Steuerung von Modellen zur Erzeugung wahrhaftigerer und informativerer Antworten unter Verwendung des TRUTHFULQA-Benchmarks.
Ergebnisse: HiDRA verbesserte die Metrik „true $\times$ informative“ sowohl bei Gemma-2-2B als auch bei Llama-3-8B im Vergleich zu Mean-AcT und ohne Steering. Die Methode behielt die Leistung in allgemeinen Benchmarks bei, was darauf hindeutet, dass die Gewinne bei der Wahrhaftigkeit nicht durch das Opfern allgemeiner Fähigkeiten erzielt wurden.

3. CAA-Stil Multiple-Choice-Fragenbeantwortung

Setup: Kontrolle der Wahrscheinlichkeit spezifischer Verhaltenskonzepte (z. B. „Sycophancy“, „Hallucination“) in einem Multiple-Choice-Setting, im Vergleich zu Contrastive Activation Addition (CAA) und Sparse Activation Steering (SAS).
Ergebnisse: HiDRA demonstrierte eine überlegene Kontrolle über Zielkonzepte. Es erzielte die besten Ergebnisse bei der Unterdrückung negativer Attribute (geringere Token-Wahrscheinlichkeit) für alle sechs getesteten Konzepte sowie bei der Förderung positiver Attribute für fünf der sechs Konzepte und übertraf damit sowohl CAA als auch SAS.

Ablationsstudien

Vektorextraktion: Die Autoren verglichen DiM mit Linear Discriminant Analysis (LDA) zur Vektorextraktion. Die Ergebnisse deuteten darauf hin, dass die Leistungssteigerungen von HiDRA primär aus der hochdimensionalen Projektion stammen und nicht aus der Kovarianz-Konditionierung, da HiDRA mit DiM die LDA im Originalraum übertraf.
Nichtlinearität: Die Wahl der nichtlinearen Abbildung ist entscheidend. Während polynomielle Abbildungen (Cube, Cubic) hohe ASR-Werte lieferten, erzeugten sie degenerierte Generationen. LeakyReLU und Skip-softplus-Varianten erwiesen sich als optimal, da sie global Lipschitz-stetig sind, was stabile Perturbationen beim Mapping zurück in den Residual Stream gewährleistet.

Bedeutung und Behauptungen

Das Paper behauptet, dass HiDRA einen nachweislich überlegenen Ansatz für das Activation Steering bietet, indem es die Geometrie hochdimensionaler Zufallsprojektionen nutzt.

Jenseits linearer Grenzen: Es adressiert die Limitierung linearer Steering-Methoden, indem es diskriminative Signale erfasst, die in der nichtlinearen Residualstruktur des Aktivierungsraums existieren – speziell jene, die aus der Superposition latenter Merkmale resultieren.
Effizienz und Kompatibilität: Im Gegensatz zu SAE-basierten Methoden ist HiDRA trainingsfrei und erfordert kein Erlernen von spärlichen Dictionaries. Es fungt als „Plug-in“, das mit jedem bestehenden Steering-Pipeline kombiniert werden kann, ohne die Modellarchitektur oder die Gewichte zu verändern.
Robustheit: Die Methode erreicht eine stärkere Verhaltenskontrolle (höhere ASR, bessere Wahrhaftigkeit, feinere Konzeptkontrolle), ohne den signifikanten Rechenaufwand eines Retrainings oder die Kapazitätsminderung zu verursachen, die oft bei anderen Interventionsmethoden auftritt.

Die Autoren kommen zu dem Schluss, dass Hi)))), obwohl HiDRA einen gewissen Overhead bei der Inferenzzeit durch die Projektions- und Rekonstruktionsschritte einführt, einen fundierten, sample-effizienten Weg bietet, um höherorderige Kontrollsignale in LLMs freizusetzen.