💬 NLP

Towards Understanding Steering Strength

Dieses Paper präsentiert die erste theoretische Analyse der Steering-Stärke in großen Sprachmodellen, wobei präzise Gesetze hergeleitet werden, die deren nicht-monotone Effekte auf das Modellverhalten steuern, und diese Vorhersagen empirisch über elf verschiedene Architekturen hinweg validiert werden.

Ursprüngliche Autoren: Magamed Taimeskhanov, Samuel Vaiter, Damien Garreau

Veröffentlicht 2026-07-09

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Magamed Taimeskhanov, Samuel Vaiter, Damien Garreau

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als einen superintelligenten, aber leicht schelmischen Roboter-Koch vor. Er hat gelernt, allerlei Gerichte aus seinen Trainingsdaten zuzubereiten, aber manchmal fügt er versehentlich „Gift“ (schädliche oder unerwünschte Verhaltensweisen) zum Rezept hinzu. Um das zu beheben, ohne den gesamten Koch neu trainieren zu müssen, nutzen Forscher eine Technik namens Activation Steering. Stellen Sie sich das wie ein sanftes Anstoßen des Roboters in die richtige Richtung vor, während er kocht, um seine internen Gedanken in Richtung „Sicherheit“ oder „Ehrlichkeit“ und weg von „Täuschung“ oder „Schaden“ zu drücken.

Die große Frage, die dieses Paper behandelt, lautet: Wie stark sollte man drücken?

Wenn man zu sanft drückt, ignoriert der Roboter einen und kocht weiter das schlechte Gericht. Wenn man zu fest drückt, könnte man den Roboter umstoßen und das gesamte Mahl ruinieren. Die Autoren, Magamed Taimeskhanov, Samuel Vaiter und Damien Garreau, wollten herausfinden, was die perfekte Kraft ist, die sie Steering Strength (Lenkstärke) nennen (dargestellt durch den griechischen Buchstaben $\alpha$ ).

Der „Bump“ auf der Straße

Die überraschendste Erkenntnis war, dass das Erhöhen der Lenkstärke das Verhalten des Roboters nicht einfach in einer geraden Linie verbessert. Stattdessen verhält es sich wie eine Achterbahn mit einer spezifischen Form.

Stellen Sie sich vor, Sie versuchen, den Roboter dazu zu bringen, „sichere“ Wörter zu sagen. Während Sie den Druck ( $\alpha$ ) langsam erhöhen:

Der Anstieg: Zuerat steigt die Wahrscheinlichkeit, dass der Roboter sichere Wörter sagt. Großartig!
Der Gipfel: Dann erreicht er einen optimalen Punkt. Das ist der „Bump“ (Höcker). Der Roboter sagt genau das, was Sie wollen, und der Rest des Gesprächs ergibt immer noch Sinn.
Der Abfall: Aber wenn Sie über diesen Gipfel hinaus weiterdrücken, sinkt die Wahrscheinlichkeit für die sicheren Wörter tatsächlich wieder. Der Roboter wird verwirrt und die Qualität seiner Antworten bricht ein.

Das Paper beweist mathematisch, dass dieses „Bump“-Verhalten für die meisten Wörter real ist. Sie fanden heraus, dass „Off-Target“-Wörter (das schlechte Zeug, das man vermeiden will) ihren Gipfel erreichen und zu verblassen beginnen, bevor es die „Target“-Wörter (das gute Zeug) tun. Das bedeutet, dass es ein spezifisches Fenster gibt, in dem der Roboter auf das richtige Thema fokussiert ist, ohne bereits zu „brechen“.

Die „Sigmoid“-S-Kurve

Als sie sich das Gesamtbild ansah – wie wahrscheinlich es ist, dass der Roboter ein ganzes Konzept (wie „böse“ oder „Freude“) produziert, statt nur ein einzelnes Wort – fanden sie eine andere Form: eine S-Kurve (oder Sigmoid-Kurve).

Denken Sie an dies wie einen Lichtschalter, der nicht einfach sofort klickt. Während man die Lenkstärke erhöht, bleibt das Konzept erst aus, beginnt dann langsam zu leuchten und ist schließlich voll erleuchtet. Das Paper zeigt, dass die Wahrscheinlichkeit, dass ein Konzept erscheint, dieser glatten S-Form folgt, was mit den Beobachtungen anderer Forscher in Experimenten übereinstimmt. Sie merkten jedoch auch an, dass, wenn man die Stärke zu weit nach oben treibt, der Roboter gar nicht mehr auf Ihren Prompt hört und stattdessen anfängt, immer wieder dieselben wenigen Wörter zu wiederholen, egal was Sie ihn gefragt haben.

Der Preis des Drückens

Hier ist der Haken: Man kann nichts gewinnen, ohne etwas zu verlieren.

Das Paper beweist, dass man, egal wie sorgfältig man seine Lenkstärke wählt, den Roboter immer ein wenig schlechter in seiner ursprünglichen Aufgabe macht (der Vorhersage des nächsten Wortes). Sie haben dies mit einer Metrik namens Cross-Entropy gemessen (ein Maß dafür, wie „überrascht“ das Modell von seinem eigenen Output ist).

Sie fanden heraus, dass um den Punkt herum, an dem man gar nicht drückt ( $\alpha = 0$ ), der Schaden für die Leistung des Modells einer U-Form gleicht.

Wenn man ein wenig drückt, ist der Schaden gering (es sieht aus wie eine sanfte Kurve).
Wenn man viel drückt, wird der Schaden viel größer.
Entscheidend ist, dass das Paper zeigt, dass dieser Schaden nicht linear ist, sondern bei kleinen Drücken quadratisch (wie $x^2$ ) wächst. Das bedeutet, dass selbst eine kleine Erhöhung der Kraft die Leistung schneller beeinträchtigen kann, als man erwarten würde.

Was sie ausgeschlossen haben

Die Autoren waren sehr sorgfältig dabei, einige verbreitete Missverständnisse auszuschließen:

Es ist keine gerade Linie: Sie haben explizit gezeigt, dass die Vorstellung, dass „mehr Lenkung immer mehr des gewünschten Verhaltens bedeutet“, falsch ist. Über einen gewissen Punkt hinaus führt mehr Lenkung dazu, dass das gewünschte Verhalten weniger wahrscheinlich wird.
Es ist keine Magie: Sie argumentierten gegen die Idee, dass man einfach irgendeine beliebige Zahl für die Lenkstärke wählen kann. Das Paper legt nahe, dass der „Sweet Spot“ vom spezifischen Prompt und dem Modell abhängt, sodass es keine „Einheitsgröße“ gibt.
Es geht nicht nur um das Ziel: Sie zeigten, dass Lenkung auch andere Konzepte beeinflusst. Wenn man versucht, den Roboter zu „Glück“ zu lenken, könnte man versehentlich die Wahrscheinlichkeit für „Traurigkeit“ senken, aber man könnte auch die Fähigkeit des Roboters beeinträchtigen, über „Mathematik“ oder „Programmierung“ zu sprechen, je nachdem, wie die Konzepte im Gehirn des Roboters miteinander verknüpft sind.

Wie sicher sind sie sich?

Die Autoren haben nicht nur geraten; sie haben ein mathematisches Modell eines vereinfachten Roboters (ein „Unconstrained Features Model“) gebaut und bewiesen diese Verhaltensweisen mit strenger Mathematik. Sie haben diese Theorien dann an elf verschiedenen realen Sprachmodellen getestet, die von winzigen bis hin zu massiven Modellen wie GPT-2, Gemma und Qwen reichen.

Sie fanden heraus, dass das „Bump“-Muster, die S-Kurve und der U-förmige Schaden an der Leistung konsistent über all diese verschiedenen Modelle hinweg auftraten. Obwohl sie zugeben, dass ihr mathematisches Modell eine Vereinfachung der Realität ist, gibt ihnen die Tatsache, dass die echten Roboter exakt so reagierten, wie die Mathematik es vorhersagte, eine hohe Zuversicht in ihre Ergebnisse.

Das Fazit

Das Paper legt nahe, dass das Steuern eines Sprachmodells wie das Einstimmen eines Radios ist. Wenn man den Regler zu weit dreht, bekommt man kein klareres Signal, sondern nur statisches Rauschen. Die Autoren schlagen eine zweistufige Strategie für jeden vor, der diese Modelle steuern möchte:

Finden Sie zuerst die „Obergrenze“ (Ceiling) – den Punkt, an dem der Roboter anfängt zu „brechen“ oder Ihren Prompt zu ignorieren.
Wählen Sie dann eine Stärke knapp unter dieser Obergrenze, die das meiste „gute“ Verhalten liefert und gleichzeitig den Schaden an der allgemeinen Intelligenz des Roboters so gering wie möglich hält.

Sie haben das Problem nicht gelöst, die perfekte Zahl für jede einzelne Situation zu finden, aber sie haben uns eine Landkarte des Geländes gegeben, damit wir nicht länger im Dunkeln tappen.

Problemstellung
Große Sprachmodelle (LLMs) erben oft schädliche Verhaltensmuster aus ihren Trainingsdaten, wie etwa Täuschung oder die Bereitschaft, Schaden anzurichten. Eine populäre Methode zur Steuerung nach dem Training (Post-Training Control) ist das Activation Steering. Dabei wird versucht, dies zu mildern, indem eine Richtung im latenten Repräsentationsraum des Modells identifiziert wird, die mit einem Zielkonzept (z. B. Sicherheit) assoziiert ist, und der Residual Stream während der Inferenz entlang dieser Richtung gestört wird. Während die Methodik zur Auswahl der Steuerungsrichtung (z. B. Differenz der Mittelwerte) gut etabliert ist, bleibt die Wahl des Hyperparameters für die Steuerungsstärke, $\alpha$ , weitgehend heuristisch. Praktiker stehen vor einem kritischen Kompromiss: Ein unzureichendes $\alpha$ führt dazu, dass das gewünschte Verhalten nicht hervorgerufen wird, während ein übermäßiges $\alpha$ die Modellleistung bis zum Punkt irreparabler Schädigung verschlechtert. Derzeit mangelt es an einem theoretischen Verständnis darüber, wie $\alpha$ quantitativ die Wahrscheinlichkeiten des nächsten Tokens, die Präsenz eines Konzepts und die Gesamtmodellleistung (Kreuzentropie) beeinflusst.

Methodik
Die Autoren schlagen eine theoretische Analyse der Steuerungsstärke unter Verwendung eines vereinfachten, handhabbaren Modells vor, das als Unconstrained Features Model (UFM) bekannt ist und aus vorangegangener Arbeit zu Neural Collapse adaptiert wurde. Dieses Modell setzt voraus, dass hochgradige Konzepte mit disjunkten Teilmengen des Vokabulars korrespondieren und dass das Modell die Wahrscheinlichkeiten der Trainingsdaten perfekt gelernt hat.

Theoretischer Rahmen: Die Studie definiert einen Steuerungsvektor $v$ als die Differenz der Mittelwerte der Embeddings von „positiven“ Kontexten (die das Zielkonzept aufweisen) und „negativen“ Kontexten (die das Konzept nicht aufweisen). Die Steuerungsoperation verschiebt das Kontext-Embedding $h_j$ zu $h_j + \alpha v$ .
Analytische Ableitung: Die Autoren leiten präzise qualitative Gesetze ab, die drei Schlüsselgrößen als Funktionen von $\alpha$ $α$ regieren:
- Zunahme der Wahrscheinlichkeit des nächsten Tokens ( $\Delta p$ ): Die Änderung der Wahrscheinlichkeit für spezifische Tokens.
- Zunahme der Konzeptwahrscheinlichkeit ( $\Delta p(C)$ ): Die aggregierte Änderung der Wahrscheinlichkeit für Tokens, die zu einem spezifischen Konzept gehören.
- Differenz der Kreuzentropie ( $\Delta CE$ ): Die Änderung der Modellleistung relativ zum ungesteuerten Zustand.
Empirische Validierung: Die theoretischen Vorhersagen werden über elf moderne LLMs (von kleinen GPT-Architekturen bis hin zu Modellen wie Gemma 3, Qwen 3 und Llama 2) und zwölf verschiedene Konzepte (einschließlich sicherheitsrelevanter Eigenschaften wie „böse“ und „Depression“ sowie Themen wie „Mathematik“) validiert. Die Experimente nutzen einen durch Differenz der Mittelwerte konstruierten Steuerungsvektor aus kontrastiven oder zufälligen Prompt-Sets, wobei die Residual Streams in verschiedenen Layern gesteuert werden.

Wesentliche Beiträge und Ergebnisse

Nicht-monotones „Bump“-Verhalten der Token-Wahrscheinlichkeiten: Entgegen der Intuition, dass Steering einfach die Wahrscheinlichkeit von Ziel-Tokens monoton erhöht, zeigt die Analyse ein „Bump“-Verhalten (Höcker-Verhalten). Für die meisten Tokens steigt die Wahrscheinlichkeitszunahme $\Delta p(\alpha)$ bis zu einem Peak bei einem spezifischen $\alpha$ an und sinkt dann wieder. Entscheidend ist, dass Off-Target-Tokens (jene, die nicht zum Zielkonzept gehören) ihr Wahrscheinlichkeitsmaximum früher erreichen als die Target-Tokens. Dies deutet auf ein „Sweet Spot“ für $\alpha$ hin, in dem das Zielkonzept bevorzugt wird, bevor die Verteilung auf wenige dominante Tokens kollabiert.
Sigmoidale Entwicklung der Konzeptwahrscheinlichkeit: Die Wahrscheinlichkeit des Zielkonzepts im Output folgt einer sigmoidalen (tanh-förmigen) Kurve, wenn $\alpha$ steigt, was mit empirischen Beobachtungen übereinstimmt. Umgekehrt tendieren Off-Target-Konzepte, die keine Tokens mit extremen Log-Odds enthalten, dazu, zu ihren ungesteuerten Werten zurückzukehren, während jene mit einheitlich niedrigeren Log-Odds monoton abnehmen.
Lokale quadratische Degradation der Leistung: Das Paper liefert die erste theoretische Charakterisierung, die zeigt, dass Steering zwangsläufig die globale Leistung verschlechtert. Die Zunahme der Kreuzentropie $\Delta CE(\alpha)$ ist lokal U-förmig um $\alpha = 0$ und folgt einem quadratischen Trend ( $\Delta CE \propto \alpha^2$ ), der durch die Varianz der Log-Odds bestimmt wird. Dies bestätigt, dass jedes Steering eine Verzerrung einführt.
Large- $\alpha$ -Limit: Für moderne Transformer mit Normalisierungsschichten konvergieren die gesteuerten Logits, wenn $|\alpha| \to \infty$ , gegen das Unembedding der normalisierten Steuerungsrichtung und werden unabhängig vom Input-Prompt. Dies erklärt das beobachtete Plateau der Kreuzentropie und den Kollaps der Output-Diversität bei hohen Steuerungsstärken.

Bedeutung
Das Paper beansprucht für sich, die erste theoretische Analyse der Steuerungsstärke zu liefern und damit über das empirische Trial-and-Error hinauszugehen. Durch die Charakterisierung der nicht-monotonen Effekte auf Token-Wahrscheinlichkeiten und der unvermeidlichen quadratischen Kosten für die Kreuzentropie bietet die Arbeit eine fundierte Basis für die Auswahl von $\alpha$ . Die Autoren schlagen eine zweistufige Selektionsstrategie vor: Erstens die Beschränkung des Suchraums auf $[0, \alpha^\star]$ , wobei $\alpha^\star$ der Schwellenwert vor der Modell-Degeneration (Prompt-Unabhängigkeit) ist, und zweitens die Kalibrierung von $\alpha$ innerhalb dieses Bereichs, um die Präsenz des Konzepts zu maximieren und gleichzeitig die Kreuzentropie-Degradation unter einem spezifischen Schwellenwert zu halten. Dieser Rahmen zielt darauf ab, die Kontrolle zur Inferenzzeit zuverlässiger, effizienter und auditierbar zu machen, wenngleich die Autoren einräumen, dass die Überbrückung der Lücke zwischen ihren vereinfachten theoretischen Annahmen und der Komplexität realer Mixed-Concept-Kontexte eine Herausforderung für zukünftige Arbeiten bleibt.