Technisches Resümee: CircuitSteer

Problemstellung

Die Steuerung des Verhaltens von Large Language Models (LLMs) mittels Inference-Time-Steering bleibt eine kritische Herausforderung für das AI Alignment. Bestehende Methoden, wie etwa Contrastive Activation Addition (CAA) und Representation Engineering (RepE), verlassen sich typischerweise auf fixierte, einlagige Interventionen, die aus aggregierten Aktivierungsdifferenzen abgeleitet werden. Diese Ansätze stehen vor zwei primären Einschränkungen:

1. Semantische Konfundierung: Sie wenden einen einzelnen Interventionsvektor auf semantisch diverse Inputs an, was oft dazu führt, dass die verteilte Natur hochgradiger Konzepte nicht erfasst wird.
2. Geometrische Fehlausrichtung: Hochgradige semantische Konzepte sind über mehrere Schichten verteilt und entwickeln sich progressiv durch das Netzwerk. Mehrschichtige Interventionen ohne geometische Berücksichtigung scheitern, da Features, die dasselbe Konzept in unterschiedlichen Tiefen kodieren, oft Decoder-Richtungen aufweisen, die geometrisch fehlausgerichtet sind. Die Kombination dieser ohne Ausrichtung führt zu destruktiver Interferenz, was einen Fluenz-Kollaps (degradierte Textqualität) oder instabile Verhaltensänderungen zur Folge hat.

Derzeitige auf Sparse Autoencodern (SAE) basierende Methoden verbessern die Interpretierbarkeit durch die Zerlegung von Aktivierungen in monosemantische Features, gehen jedoch oft immer noch davon aus, dass eine einlagige Intervention ausreichend ist, und ignorieren dabei die kreuzschichtige Propagation semantischer Signale.

Methodik: CircuitSteer

CircuitSteer ist ein trainingsfreies Framework, das SAEs nutzt, um kohärente semantische Schaltkreise (Circuits) zu identifizieren und zu manipulieren, die über mehrere Schichten verteilt sind. Anstatt Features unabhängig pro Schicht auszuwählen, konstruiert es einen Feature-Flow-Circuit basierend auf zwei gemeinsamen Kriterien:

1. Feature-Koaktivierung: Identifizierung von Paaren $(l, i)$ und $(l+1, j)$, die auf denselben Inputs gleichzeitig aktiv sind, was eine kausale Beeinflussung approximiert.
2. Geometrische Ausrichtung: Sicherstellung, dass die Decoder-Richtungen dieser Features kompatibel sind (hohe Kosinus-Ähnlichkeit). Dies verhindert destruktive Interferenz, wenn Interventionen über mehrere Schichten hinweg angewendet werden.

Die Methode verläuft in drei Phasen:

• Circuit Discovery: Mittels kontrastiver Analyse zwischen Ziel-Prompts ($D^+$) und benignen Prompts ($D^-$) berechnet die Methode einen kontrastiven Spezifitätswert für Kanten im Feature-Flow-Graphen. Kanten mit hohen Spezifitätswerten werden beibehalten, um den Subcircuit zu isolieren, der für das Zielverhalten verantwortlich ist.
• Vektorsynthese: Für jede am isolierten Subcircuit beteiligte Schicht wird ein dichter Steering-Vektor synthetisiert, indem die Decoder-Richtungen aller am Circuit-Edge teilnehmenden Features gemittelt werden. Dies entkoppelt die Interventionsmagnitude von der Circuit-Größe.
• Multi-Point Intervention: Während der Inferenz werden diese synthetisierten Vektoren simultan an allen relevanten Schichten mit einem Skalar-Koeffizienten $\lambda$ angewendet. Die geometrische Ausrichtung stellt sicher, dass Interventionen eine konsistente gerichtete Verschiebung über die Tiefe hinweg verstärken, anstatt zuzulassen, dass spätere Schichten frühere Perturbationen kompensieren.

Das Framework erfordert keine Gewichtsupdates oder gradientenbasierte Optimierung; es nutzt vortrainierte SAEs (z. B. Gemma-Scope, Llama-Scope) und führt algebraische Operationen auf den Forward-Pass-Aktivierungen durch.

Zentrale Beiträge

• CircuitSteer Framework: Eine neuartige, trainingsfreie Mehrschicht-Steuerungsmethode, die verhaltensspezifische SAE-Circuits via Feature-Koaktivierung und geometrischer Ausrichtung der Decoder-Richtungen identifiziert.
• Notwendigkeit der geometrischen Ausrichtung: Empirische Demonstration, dass die geometrische Ausrichtung von Decoder-Richtungen eine Voraussetzung für stabiles Mehrschicht-Steering ist. Nicht ausgerichtete Features verursachen einen Fluenz-Kollaps, während ausgerichtete Features eine konsistente Verhaltensreduktion bei nahezu baseliner Perplexität erreichen.
• Umfassendes Benchmarking: Evaluierung gegen acht Baselines (einschließlich CAA, RepE, ITI, LoReFT und SAE-basierter Methoden) über vier Verhaltensdatensätze (Toxizität, Emotion, Sykophantie, Verweigerung) und zwei Modellfamilien (Gemma-2-2B und Llama-3.1-8B-Instruct).

Ergebnisse

Über alle Modelle und Datensätze hinweg ist CircuitSteer die einzige Methode, die konsistent fluenz-erhaltende Interventionen produziert:

• Fluenz-Erhaltung: Konkurrierende Methoden opfern entweder die Textqualität (hohe Perplexität) oder schaffen es nicht, eine ausreichende Verhaltensreduktion zu erzielen. CircuitSteer hält die normalisierte Perplexität nahe bei 1.0, während es eine signifikante Verhaltensreduktion erreicht.
• Komplexe Verhaltensweisen: Bei schwierigen Aufgaben wie Sykophantie und Verweigerung (Refusal) versagen Einzelschicht-Methoden (z. B. CAA) oft vollständig oder produzieren vernachlässigbare Änderungen. CircuitSteer reduziert Sykophantie erfolgreich auf Gemma-2-2B (wo andere Methoden versagen) und senkt die Verweigerungsrate von 89 % auf 0 % bei Llama-3.1-8B-Instruct.
• Robustheit: Die Methode skaliert effektiv auf größere Modelle (Qwen3.5-27B) und verschiedene SAE-Familien, ohne dass ein Hyperparameter-Retuning erforderlich ist.
• Erhalt von Fähigkeiten: Starkes Steering beeinträchtigt die Kernfähigkeiten nicht signifikant; die Genauigkeit auf MMLU und GSM8K bleibt weitgehend intakt.

Bedeutung und Ansprüche

Das Paper behauptet, dass CircuitSteer zeigt, dass Mehrschicht-Circuit-Steering, ermöglicht durch die Erzwingung der geometrischen Ausrichtung unter den selektierten Features, eine strikt robustere und effektivere Verhaltenssteuerung liefert als statische Einpunkt-Interventionen.

Die Autoren positionieren diese Arbeit als einen prinzipiellen Schritt hin zu einem sichereren Einsatz von Sprachmodellen, indem sie:

1. Von undurchsichtigen Residual-Stream-Interventionen zu einer transparenten Steuerung auf Feature-Ebene übergehen, bei der der spezifische Subcircuit für ein Verhalten inspiziert und feinjustiert werden kann.
2. Die fundamentalen Fehlerquellen des Mehrschicht-Steerings ohne geometrische Berücksichtigung (destruktive Interferenz und Fluenz-Kollaps) adressieren.
3. Einen skalierbaren, trainingsfreien Mechanismus zur Verhaltenssteuerung bereitstellen, der die verteilte Rechenstruktur von LLMs respektiert.

Das Paper schließt mit der Feststellung, dass die Abstimmung von Interventionen auf die eigene Feature-Geometrie des Modells essenziell ist, um sowohl Robustheit als auch Transparenz im AI Alignment zu erreichen.