🤖 machine learning

Activation Steering for Synthetic Data Generation: The Role of Diversity in Downstream Safety Detection

Ursprüngliche Autoren: Vijeta Deshpande, Tootiya Giyahchi, Veena Padmanabhan, Leman Akoglu, Anna Rumshisky

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Vijeta Deshpande, Tootiya Giyahchi, Veena Padmanabhan, Leman Akoglu, Anna Rumshisky

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen Sicherheitsbeamten (einen Sicherheitsdetektor) darin zu unterrichten, eine bestimmte Art von Fehlverhalten zu erkennen, etwa wenn ein Schüler bei einer Prüfung schummelt. Das Problem ist, dass in einer wohlgeordneten Schule das Schummeln so selten ist, dass der Beamte es nie zu Gesicht bekommt und nicht lernen kann, wonach er Ausschau halten muss. Sie benötigen Beispiele für Schummeln, um den Beamten zu trainieren, aber Sie können nicht einfach darauf warten, dass es natürlich vorkommt.

Dieser Artikel untersucht einen cleveren Trick namens Aktivierungssteuerung (Activation Steering), um künstlich solche „Schummel"-Beispiele zu erzeugen, damit der Beamte lernen kann.

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Das Problem: Das Dilemma des „seltenen Verbrechens"

Sicherheitsmodelle (die Beamten) benötigen Beispiele für schlechte Dinge (Toxizität, Lügen, Schmeichelei), um zu lernen, wie man sie fängt. Doch weil wir KI darauf trainiert haben, höflich und ehrlich zu sein, sind schlechte Beispiele unglaublich selten. Es ist, als würde man versuchen, einen Haifisch-Detektor in einem Pool zu trainieren, in dem das Wasser so gefiltert wurde, dass alle Haie entfernt wurden. Sie müssen einige gefälschte Haie herstellen, um den Detektor zu trainieren, aber sie müssen echt genug aussehen, um nützlich zu sein.

2. Das Werkzeug: „Aktivierungssteuerung" (die Fernbedienung)

Anstatt zu versuchen, die KI mit einem kniffligen Prompt zu täuschen (wie etwa sie zu bitten, „einen Bösewicht zu spielen"), verwenden die Forscher Aktivierungssteuerung.

Die Analogie: Stellen Sie sich das Gehirn der KI als ein riesiges Orchester vor. Normalerweise sagt der Dirigent (der Prompt) den Musikern, was sie spielen sollen. Aktivierungssteuerung ist wie ein Techniker, der heimlich einen kleinen Magneten unter das Podium des Dirigenten schiebt. Dieser Magnet ändert nicht die Partitur; er schiebt die Instrumente nur leicht aus der Tonlage, damit sie eine bestimmte „böse" Note spielen.
Das Ziel: Nutzen Sie diesen Schubs, um die KI zu zwingen, Beispiele für Fehlverhalten (wie Lügen oder Unhöflichkeit) zu generieren, damit wir sie sammeln und unseren Sicherheitsdetektor trainieren können.

3. Die Entdeckung: Die „Goldilocks"-Zone

Die Forscher stellten fest, dass ein zu starkes Erhöhen des „Schubs" (der Steuerungsstärke) ein neues Problem schafft. Sie entdeckten drei Dinge, die ausbalanciert werden müssen, wie bei einem dreibeinigen Hocker:

Erfolg (der „Bösewicht"-Faktor): Verhält sich die KI tatsächlich wie der böse Charakter, den wir wollen? (Ja, wenn Sie stark genug schubsen).
Kohärenz (der „Geschichte"-Faktor): Ergibt die KI noch Sinn, oder beginnt sie zu wirren? (Nein, wenn Sie zu stark schubsen, bricht die Geschichte zusammen).
Vielfalt (der „Variation"-Faktor): Dies ist die größte neue Erkenntnis des Artikels. Wenn Sie die KI zu stark schubsen, hört sie auf, kreativ zu sein. Sie beginnt, dieselben wenigen Sätze immer wieder zu wiederholen, wie eine kaputte Schallplatte.
- Die Analogie: Wenn Sie einen Schriftsteller bitten, eine „gruselige Geschichte" zu schreiben, und Sie ihn zu stark drängen, könnte er 100 Geschichten schreiben, die alle sagen: „Das Monster ist da. Das Monster ist da. Das Monster ist da." Sie sind gruselig (Erfolg), es sind Sätze (Kohärenz), aber sie sind alle gleich (geringe Vielfalt).

Die Erkenntnis: Die Forscher stellten fest, dass stärkere Schübe die KI weniger vielfältig machen. Sie wird zu einem „Ein-Trick-Pony".

4. Die überraschende Wendung: Manchmal ist Kleiner besser

Normalerweise sind bei KI größere Modelle schlauer. Doch hier stellten die Forscher fest, dass das kleinere Modell (7 Milliarden Parameter) tatsächlich einen besseren Job bei der Generierung dieser „schlechten Beispiele" leistete als das größere Modell (32 Milliarden Parameter).

Die Analogie: Denken Sie an das große Modell als einen hochtrainierten, starren Militärgeneral. Wenn Sie ihm einen Schubs geben, „böse" zu sein, gerät es in Verwirrung und bricht zusammen. Das kleinere Modell ist wie ein schlagfertiger Straßenkünstler; es ist flexibler und kann sich an die „böse" Rolle anpassen, ohne das Gleichgewicht zu verlieren.

5. Die Lösung: Das „harmonische Mittel"-Rezept

Die Forscher testeten diese generierten Beispiele, indem sie einen Sicherheitsdetektor darauf trainierten. Sie stellten fest, dass:

Wenn die Beispiele nur „schlecht" waren (hoher Erfolg), aber repetitiv (geringe Vielfalt), der Sicherheitsdetektor nicht gut lernte.
Wenn die Beispiele „schlecht" waren, Sinn ergaben und vielfältig waren, wurde der Sicherheitsdetektor hervorragend.

Die praktische Schlussfolgerung:
Um die besten Trainingsdaten zu erhalten, sollten Sie nicht nur danach schauen, „wie schlecht ist die Ausgabe?". Sie benötigen ein Rezept, das Erfolg + Kohärenz + Vielfalt ausbalanciert.
Die Autoren schlagen eine einfache mathematische Formel (das „harmonische Mittel") vor, die diese drei Werte kombiniert. Wenn dieser kombinierte Wert hoch ist, wissen Sie, dass Sie die „Goldilocks"-Einstellung gefunden haben, bei der die KI die Rolle spielt, Sinn ergibt und die Dinge interessant hält.

Zusammenfassung

Der Artikel sagt: Aktivierungssteuerung ist ein mächtiges Werkzeug, um gefälschte Daten für „Fehlverhalten" zu erstellen, um Sicherheitsbeamte zu trainieren, aber nur, wenn Sie es nicht zu weit treiben. Wenn Sie zu stark drücken, wird die KI repetitiv und langweilig. Der Sweet Spot ist ein moderater Schubs, der die KI vielfältig und kohärent hält. Interessanterweise bewältigt ein kleineres, flexibleres KI-Modell diese Aufgabe oft besser als ein massives.

Technisches Fazit: Aktivierungssteuerung für die Generierung synthetischer Daten

Problemstellung
Sicherheitsdetektionsmodelle für Large Language Models (LLMs) benötigen diverse, hochwertige Beispiele für Ausgaben, die die Prinzipien der Hilfsbereitschaft, Harmlosigkeit und Ehrlichkeit (HHH) verletzen, um effektiv zu generalisieren. Da Modelle jedoch durch Supervised Fine-Tuning (SFT) und Reinforcement Learning from Human Feedback (RLHF) auf Sicherheit ausgerichtet werden, werden natürlich vorkommende HHH-verletzende Instanzen statistisch selten. Dieses Klassenungleichgewicht stellt eine Engstelle für das Training der nächsten Generation von Sicherheitsklassifikatoren dar. Zwar existieren Jailbreaking und Red-Teaming zur Synthese solcher Daten, doch arbeiten diese im diskreten Token-Raum und nutzen nicht das reiche Wissen, das in den hochdimensionalen versteckten Zuständen des Modells kodiert ist. Aktivierungssteuerung (Activation Steering, AS) bietet eine dateneffiziente Alternative, indem sie Generationen durch Steuerungsvektoren, die zu den versteckten Zuständen addiert werden, in Richtung Zielkonzepte lenkt. Die zentrale Frage lautet, ob AS hochwertige Trainingsdatensätze für nachgelagerte Sicherheitsklassifikatoren generieren kann – eine Fähigkeit, die in der bisherigen Literatur noch nicht getestet wurde.

Methodik
Die Autoren präsentieren eine zweigeteilte Studie mit intrinsischen und extrinsischen Evaluierungen über vier HHH-verletzende Konzepte hinweg: Unwahrhaftigkeit (RAGTruth), Toxizität (RealToxicityPrompts), Halluzination und Schmeichelei (CAAData).

Experimenteller Aufbau:
- Modelle: OLMo-2-7B und OLMo-2-32B.
- Steuerungsmethoden: Contrastive Activation Addition (CAA), Normalized CAA, Recursive Feature Machines (RFM) und Logistic Regression.
- Strategien: Sowohl die Steuerung über alle Schichten als auch über eine einzelne Schicht wurden untersucht, wobei der Fokus auf der Steuerung über alle Schichten lag.
- Datengenerierung: Steuerungsvektoren wurden aus 128 kontrastiven Paaren pro Konzept geschätzt. Diese Vektoren wurden durch skalierte Addition ( $h \leftarrow h + \lambda v$ ) angewendet, um 256-Token-Antworten zu generieren.
- Evaluierungsachsen:
  - Intrinsisch: Steuerungserfolg (LLM-as-a-Judge), Kohärenz (ArmoRM-Reward-Modell), Diversität auf Ebene der einzelnen Stichproben (MTLD-MB), Diversität auf Ebene des Datensatzes (Kompressionsverhältnis, n-Gram-Diversität) und Antwortlänge.
  - Extrinsisch: Nachgelagerter Nutzen, gemessen durch das Feinabstimmen eines Mistral-7B-Sicherheitsdetektors auf den gesteuerten Daten (unter Ersetzung der ursprünglichen HHH-verletzenden Beispiele) und die Evaluierung seiner AUROC auf zurückgehaltenen Testsets.
Designentscheidungen: Die Studie variierte systematisch die Steuerungsskala ( $\lambda$ ), die Modellgröße und die Steuerungsmethode, um deren Einfluss auf die Trade-offs zwischen Ausrichtung, Kohärenz und Diversität zu analysieren.

Hauptbeiträge

Rigoroses Evaluierungsframework: Die Arbeit führt Diversität auf Ebene der einzelnen Stichproben und des Datensatzes als kritische Qualitätsachsen ein, die in der bisherigen AS-Literatur fehlten, ergänzt durch einen längeren Generierungshorizont (256 Token) und direkte Tests des nachgelagerten Nutzens.
Diversität als kritische Achse: Die Studie identifiziert, dass eine Erhöhung der Steuerungsstärke die Antwortdiversität konsistent reduziert, ein Phänomen, das im Kontext von AS bisher übersehen wurde.
Heuristik für Praktiker: Die Autoren schlagen das harmonische Mittel aus Erfolg, Kohärenz und Diversität als praktischen heuristischen Zielwert für die Feinabstimmung der AS-Hyperparameter vor, da es konsistenter mit dem nachgelagerten Leistungsniveau korreliert als Erfolg oder Kohärenz allein.

Ergebnisse

Intrinsische Befunde:
- Diversitätskollaps: Eine Erhöhung der Steuerungsstärke ( $\lambda$ ) reduziert sowohl die Diversität auf Ebene der einzelnen Stichproben als auch auf Ebene des Datensatzes monoton. Die Verschlechterung der Diversität auf Ebene des Datensatzes ist besonders gravierend (Korrelationen bis zu -0,93).
- Modellgröße: Entgegen der Annahme, dass größere Modelle eine bessere Steuerung liefern, lieferte das kleinere OLMo-7B-Modell über die meisten Konfigurationen hinweg konsistent bessere Steuerungsergebnisse (höherer Erfolg, höhere Kohärenz und höhere Diversität) als das OLMo-32B-Modell.
- Trade-offs: Stärkere Steuerung verbessert die Ausrichtung (Erfolg), verschlechtert jedoch Kohärenz und Diversität.
Extrinsische Befunde:
- Nachgelagerter Nutzen: AS-generierte Daten erzeugten in 3 von 4 Konzepten (Unwahrhaftigkeit, Schmeichelei, Halluzination) bessere Sicherheitsklassifikatoren als prompt-generierte Daten. Ein hoher nachgelagerter Leistungsniveau trat jedoch nicht häufig auf und wurde nur in etwa 26 % der Durchläufe erreicht.
- Enges Regime: Ein erfolgreicher nachgelagerter Nutzen erfordert ein sorgfältiges Gleichgewicht, bei dem Erfolg, Kohärenz und Diversität gemeinsam erfüllt sind.
- Prädiktive Heuristik: Das harmonische Mittel der drei intrinsischen Achsen (Erfolg, Kohärenz, Diversität) korrelierte positiv mit der nachgelagerten AUROC über Datensätze und Methoden hinweg. Diese Korrelation war stärker und konsistenter als die Verwendung von Erfolg oder Kohärenz allein und bietet Praktizierenden ein zuverlässiges Validierungssignal.

Bedeutung und Behauptungen
Die Arbeit beansprucht, die erste zu sein, die Aktivierungssteuerung mit Metriken auf Ebene des Datensatzes und der Leistung nachgelagerter Klassifikatoren evaluiert. Ihre primäre Bedeutung liegt darin zu demonstrieren, dass AS eine gangbare Methode zur Synthese von Trainingsdaten für seltene Klassen für die Sicherheitsdetektion ist, sofern Praktizierende den Diversitätskollaps berücksichtigen.

Die Autoren betonen, dass der Nutzen von AS in einem „engen Regime" liegt, in dem die Steuerungsstärke so abgestimmt ist, dass Erfolg, Kohärenz und Diversität gleichzeitig erfüllt werden. Sie argumentieren, dass das harmonische Mittel dieser drei Metriken als praktische, kostengünstige Heuristik dient, um teure Hyperparametersweeps zu ersetzen. Die Studie kommt zu dem Schluss, dass AS zwar Potenzial zur Verbesserung der Sicherheitsdetektion besitzt, ihre Wirksamkeit jedoch stark von der Konfiguration abhängt und das kleinere Modell (7B) bei dieser spezifischen Aufgabe zur Generierung synthetischer Daten oft die größere Variante (32B) übertrifft. Die Autoren vermerken bescheiden Limitationen hinsichtlich des Umfangs der fixierten Hyperparameter, der verwendeten spezifischen Modellfamilie (OLMo) und des Potenzials für Längenverzerrungen in den Diversitätsmetriken.