Bridging Mechanistic Interpretability and Prompt Engineering with Gradient Ascent for Interpretable Persona Control

1. Problemstellung

Die Kontrolle emergenter Verhaltens-Personas (z. B. Schmeichelei/Sycophancy, Halluzinationen, kurzsichtige Belohnungssuche) in Large Language Models (LLMs) ist entscheidend für die KI-Sicherheit, stellt jedoch eine anhaltende Herausforderung dar. Bestehende Lösungen stehen vor einem Dilemma:

• Manuelles Prompt-Engineering: Ist intuitiv, aber nicht skalierbar, unpräzise und erfordert viel menschliches Expertenwissen.
• Automatische Optimierungsmethoden: Sind effektiv, agieren jedoch als „Black Boxes" ohne interpretierbaren Bezug zu den inneren Mechanismen des Modells.

Zudem führen herkömmliche Methoden zur Aktivierungssteuerung (Activation Steering), bei denen Vektoren direkt in die Residual-Streams injiziert werden, oft zu Verteilungsverschiebungen (Distributional Shifts), die die natürliche Struktur der Modellaktivierungen stören. Es fehlt eine Methode, die Prompt-Entdeckung systematisch mit mechanistischer Interpretierbarkeit verbindet, um gezielt und nachvollziehbar Personas zu steuern.

2. Methodik

Das Paper stellt ein neues Framework vor, das Gradienten-Ascent-Techniken anpasst, um gezielt Prompts zu entdecken, die unerwünschte Verhaltensweisen unterdrücken. Der Ansatz basiert auf zwei komplementären Algorithmen: RESGA (RESidual Gradient Ascent) und SAEGA (Sparse Autoencoder Gradient Ascent).

Der Prozess läuft in drei Stufen ab:

A. Konstruktion von Persona-Steering-Vektoren

Zunächst wird ein Vektor $v$ konstruiert, der die Richtung der unerwünschten Persona im Aktivierungsraum des Modells repräsentiert.

• RESGA (Repräsentationsbasiert): Berechnet den Steering-Vektor als Mittelwert-Differenz zwischen den Aktivierungen von Beispielen, die die Persona zeigen ($D^+$), und solchen, die sie nicht zeigen ($D^-$).
  $$v_{repr} = \frac{1}{|D^+|} \sum e(x) - \frac{1}{|D^-|} \sum e(x)$$
• SAEGA (SAE-basiert): Nutzt Sparse Autoencoder (SAE), um interpretierbare latente Merkmale zu identifizieren. Es werden die Top-$K$ Latents ausgewählt, die die größte Differenz in der Aktivierung zwischen $D^+$ und $D^-$ aufweisen. Der Vektor wird aus den Encoder-Richtungen dieser spezifischen, kausal relevanten Merkmale berechnet. Dies ermöglicht eine feinkörnige, feature-basierte Kontrolle.

B. Fluent Gradient Ascent (Fluenter Gradientenanstieg)

Um Prompts zu finden, die den Modellzustand von der unerwünschten Persona wegbewegen, wird eine Zielfunktion optimiert.

• Ziel: Maximierung der Projektion des Prompts weg vom Persona-Vektor (Minimierung der Persona).
• Fluency Constraint: Da reine Gradientenoptimierung oft zu unsinnigen Token-Sequenzen führt, wird eine Fluency-Komponente eingeführt. Die Gesamtverlustfunktion $L_\lambda(t)$ kombiniert die Steering-Zielfunktion $f(t)$ mit einem Strafterm für niedrige Token-Wahrscheinlichkeiten (Cross-Entropy):
  $$L_\lambda(t) = f(t) - \lambda \sum H(m(t_{\le i}), t_{i+1})$$
  Dies stellt sicher, dass die gefundenen Prompts für das Modell „fluent" (innerhalb der Trainingsverteilung) bleiben.

C. Evolutionary Prompt Optimization (EPO)

Die Optimierung erfolgt mittels eines evolutionären Algorithmus, der eine Population von Prompts verwaltet.

• Der Algorithmus berechnet Gradienten bezüglich der Token-Embeddings, um vielversprechende Token-Ersatzmöglichkeiten zu identifizieren.
• Durch Mutationen (Ersetzen von Tokens basierend auf Gradientenstärke) und Selektion wird eine Pareto-Frontier zwischen Steering-Effektivität und Sprachfluency erkundet.
• Es werden sowohl zufällige Initialisierungen als auch „Seed-Initialisierungen" (Start mit kurzen, sinnvollen Phrasen) verwendet, um interpretierbare Prompts zu erhalten.

3. Schlüsselbeiträge

1. Brückenschlag zwischen Interpretierbarkeit und Prompting: Das Framework verbindet mechanistische Einblicke (SAE-Latents) direkt mit der automatischen Entdeckung von Prompts, anstatt nur auf Black-Box-Optimierung zu setzen.
2. Zwei komplementäre Algorithmen:
   • RESGA: Nutzt dichte Residual-Stream-Repräsentationen.
   • SAEGA: Nutzt sparse, interpretierbare SAE-Merkmale für eine präzisere, feature-spezifische Kontrolle.
3. Fluenter Gradientenanstieg: Einführung einer Methode, die die Entdeckung effektiver Prompts mit der Aufrechterhaltung der sprachlichen Kohärenz (innerhalb der Modell-Manifold) balanciert.
4. Mechanistische Analyse: Das Paper liefert Evidenz, dass SAEGA nicht nur die Verteilung verschiebt, sondern die Varianz der Aktivierungen kollabieren lässt (Neutralisierung) und die natürliche Sparsity des Modells bewahrt, im Gegensatz zu dichten Steering-Vektoren, die die Aktivierungsstruktur zerstören.

4. Ergebnisse

Die Methoden wurden an drei Personas (Sycophancy, Halluzination, Myopic Reward) und drei Modellen (Llama 3.1, Qwen 2.5, Gemma 3) evaluiert.

• Quantitative Leistung:
  • Bei Sycophancy erreichten RESGA und SAEGA Fehlerraten von ca. 49,90 %, was einer perfekten Neutralisierung entspricht (das Modell stimmt weder systematisch zu noch ab). Dies ist eine signifikante Verbesserung gegenüber manuellen Prompts (79,24 % Fehlerrate im Vergleich zur Baseline) und dichten Steering-Methoden.
  • Bei Myopic Reward und Halluzination zeigten beide Methoden konsistente Verbesserungen gegenüber allen Baselines (Zero-Shot, manuelle Prompts, Dichte Vektoren, GCG, ProTeGi).
• Mechanistische Erkenntnisse:
  • SAEGA bewahrt die natürliche Sparsity (Anzahl aktiver SAE-Merkmale bleibt bei ~50, während dichte Vektoren auf >150 explodieren).
  • SAEGA unterdrückt gezielt kausal relevante Merkmale für die unerwünschte Persona, ohne andere Merkmale zu beeinflussen.
  • Die gefundenen Prompts bewegen das Modell auf einer stabilen, manifold-konformen Teilmenge des Aktivierungsraums, während dichte Vektoren das Modell aus dem natürlichen Daten-Manifold drängen.
• Qualitative Analyse:
  • Token Priming: RESGA nutzt oft Induction Heads, um spezifische Labels direkt in den Kontext zu injizieren.
  • Semantische Steuerung: SAEGA findet Fragmente, die reasoning-Modes (z. B. „kritische Evaluation") aktivieren, anstatt nur Token zu erzwingen. Seed-initialisierte Prompts bleiben dabei semantisch kohärenter.

5. Bedeutung und Ausblick

Dieses Paper bietet ein neues Paradigma für die kontrollierte und interpretierbare Verhaltensmodifikation von LLMs.

• Sicherheit: Es ermöglicht die Unterdrückung schädlicher Personas ohne teures Nachtrainieren (Fine-Tuning).
• Interpretierbarkeit: Durch die Nutzung von SAE-Latents wird transparent, welche internen Merkmale gesteuert werden, was das Verständnis von „Emergent Misalignment" vertieft.
• Limitationen: Der Ansatz benötigt gelabelte Daten für die Vektorkonstruktion und ist modell-spezifisch (SAE müssen für jedes Modell trainiert werden). Zudem neigen die effektivsten Prompts oft zu semantischer Inkohärenz, was zukünftige Forschung zu linguistischen Priors erfordert.

Zusammenfassend demonstriert die Arbeit, dass die Kombination aus mechanistischer Interpretierbarkeit und gradientenbasierter Prompt-Optimierung eine überlegene Alternative zu reinen Black-Box-Methoden oder manuellen Versuchen darstellt, um LLM-Verhalten präzise und nachvollziehbar zu steuern.