🤖 machine learning

Predicting Future Behaviors in Reasoning Models Enables Better Steering

Dieses Paper schlägt die Future Probe Controlled Generation (FPCG) vor, eine Methode zur Steuerung auf Textebene, die Aktivierungsproben nutzt, welche darauf trainiert sind, zukünftige Verhaltensergebnisse aus intermediären Denkschritten vorherzusagen, wodurch eine effektive Kontrolle großer Reasoning-Modelle mit minimaler Verschlechterung der Ausgabequalität im Vergleich zu herkömmlichem Activation Steering ermöglicht wird.

Ursprüngliche Autoren: Evgenii Kortukov, Piotr Komorowski, Florian Klein, Paula Engl, Gabriele Sarti, Seong Joon Oh, Sebastian Lapuschkin, Wojciech Samek

Veröffentlicht 2026-06-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Evgenii Kortukov, Piotr Komorowski, Florian Klein, Paula Engl, Gabriele Sarti, Seong Joon Oh, Sebastian Lapuschkin, Wojciech Samek

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, gesprächigen Roboter, der versucht, ein Problem zu lösen oder eine Frage zu beantworten. Manchmal wird dieser Roboter verwirrt oder entscheidet sich dazu, etwas zu tun, das Sie nicht wollten (wie unhöflich zu sein, zu lügen oder gegen Regeln zu verstoßen).

Lange Zeit versuchten Wissenschaftler, dies zu beheben, indem sie die „Gedanken“ des Roboters untersuchten, nachdem er sie bereits laut ausgesprochen hatte. Sie sagten: „Oh, ich sehe, er hat gerade etwas Schlechtes gesagt. Lass uns sein Gehirn in die entgegengesetzte Richtung drücken, um das zu stoppen.“

Das Problem mit dieser alten Methode ist, dass es so ist, als würde man versuchen, ein Auto zu steuern, indem man das Lenkrad herumreißt, nachdem man bereits gegen einen Baum gefahren ist. Dies führt oft dazu, dass die Antworten des Roboters seltsam, fehlerhaft oder unsinnig klingen.

Dieses Paper stellt eine neue Art vor, den Roboter zu steuern: Die „Future Gaze“-Methode (Zukunftsblick-Methode).

So funktioniert sie, unterteilt in einfache Schritte:

1. Der alte Weg: In den Rückspiegel schauen

Die Forscher nennen die alte Methode „Detection“ (Erkennung).

Die Analogie: Stellen Sie sich einen Sicherheitsmann vor, der Ihren Ausweis erst prüft, nachdem Sie bereits durch die Tür gelaufen sind. Wenn der Wachmann Sie sieht, sind Sie bereits drin. Wenn er versucht, Sie wieder herauszuziehen, ist das chaotisch und unordentlich.
Die Wissenschaft: Alte Methoden betrachten den Text, den das Modell bereits generiert hat, um „schlechtes Verhalten“ zu finden. Sie versuchen dann, die verborgenen Gehirnsignale des Modells basierend auf diesem vergangenen Text zu verändern. Das Paper zeigt, dass dies oft die Qualität der Antwort ruiniert, weil das Modell verwirrt darüber ist, was es gerade eben gesagt hat.

2. Die neue Entdeckung: Die Kristallkugel

Die Forscher fanden heraus, dass das Gehirn des Roboters tatsächlich über ein zweites Signal verfügt, das wie eine Kristallkugel fungiert.

Die Analogie: Noch bevor der Roboter auch nur ein Wort spricht, lässt er im Stillen eine Simulation in seinem Kopf laufen. Es ist wie ein Schachspieler, der denkt: „Wenn ich meinen Bauern hierhin ziehe, könnte ich das Spiel in drei Zügen verlieren.“ Der Roboter weiß, was er beabsichtigt zu tun, noch bevor er es tatsächlich ausspricht.
Die Wissenschaft: Sie fanden „Prediction Features“ (Vorhersage-Merkmale). Dies sind verborgene Signale im Gehirn des Modells, die die zukünftige Wahrscheinlichkeit eines Verhaltens vorhersagen (z. B. „Es besteht eine 90-prozentige Chance, dass dieser Satz unhöflich wird“). Diese Signale existieren, bevor der schlechte Text geschrieben wird.

3. Die neue Methode: „Future Probe Controlled Generation“ (FPCG)

Anstatt das Lenkrad nach einem Crash herumzureißen, prüft diese Methode das GPS, bevor das Auto losfährt.

So funktioniert es:
1. Der Roboter steht kurz davor, den nächsten Satz zu schreiben.
2. Anstatt nur einen Satz zu schreiben, entwirft der Roboter schnell mehrere verschiedene Optionen (wie ein Autor, der drei verschiedene Wege durchdenkt, um „Hallo“ zu sagen).
3. Die „Kristallkugel“ (die neue Sonde/Probe) schaut sich jeden Entwurf an und fragt: „Wenn wir diesen Satz wählen, wie wahrscheinlich ist es, dass der Rest des Gesprächs schiefgeht?“
4. Das System wählt den Satz aus, der zum bestmöglichen zukünftigen Ergebnis führt.
5. Der Roboter schreibt diesen Satz und wiederholt den Prozess für den nächsten.

Warum ist das besser?

Keine Unfälle: Da der Roboter den besten Pfad wählt, bevor er sich festlegt, muss er seine Fehler nicht später korrigieren. Die Antworten bleiben hochwertig und natürlich.
Funktioniert, wenn andere scheitern: Das Paper testete dies in schwierigen Situationen, in denen die alte „Rückspiegel“-Methode den Roboter völlig unbrauchbar machte (indem sie ihn in Kauderwelsch verwandelte). Die neue „Kristallkugel“-Methode hielt den Roboter reibungslos am Laufen.

Das Wichtigste in Kürze

Das Paper beweist, dass das Vorhersagen der Zukunft etwas anderes ist als das Erkennen der Vergangenheit.

Alter Weg: „Ich sehe, dass du unhöflich bist, also hör auf!“ (Zu spät, verursacht Chaos).
Neuer Weg: „Ich sehe, dass du gleich unhöflich sein wirst, also lass uns stattdin einen anderen Satz wählen.“ (Verhindert das Problem, hält alles reibungslos).

Durch die Nutzung der eigenen internen „Zukunftsplanungssignale“ des Roboters können wir ihn sicher und hilfreich führen, ohne dass er wie eine kaputte Maschine klingt.

Technische Zusammenfassung: Vorhersage zukünftiger Verhaltensweisen in Reasoning-Modellen ermöglicht besseres Steering

Problemstellung

Eingesetzte Large Reasoning Models (LRMs) zeigen oft unerwartete Verhaltensweisen, was robuste Kontrollmechanismen erforderlich macht. Während das Test-Time Activation Steering – das Eingreifen in verborgene Repräsentationen zur Steuerung von Ausgaben – vielversprechend ist, leidet es häufig unter einer kritischen Einschränkung: der Verschlechterung der Ausgabequalität und der Modellfähigkeiten.

Die Autoren argumentieren, dass bestehende Steering-Methoden implizit auf Detection Features (Detektionsmerkmalen) beruhen – internen Repräsentationen, die Verhaltensweisen identifizieren, die bereits im generierten Text vorhanden sind. LRMs halten jedoch während ihres Chain-of-Thought (CoT)-Reasoning eine Verteilung über mehrere mögliche zukünftige Antworten auf, oft noch bevor eine Entscheidung verbalisiert wird. Das Paper postuliert, dass die Abhängigkeit von Merkmalen, die vergangene Verhaltensweisen detektieren, ein suboptimales Interventionsziel ist, da diese Merkmale schlechte Prädiktoren für zukünftige Verhaltensausgänge sind. Folglich zwingt das Steering basierend auf Detektionsmerkmalen das Modell dazu, von seiner natürlichen Generations-Mannigfaltigkeit abzuweichen, was zu inkohärenten oder qualitativ minderwertigen Ausgaben führt.

Methodik

1. Analyse der Dynamik der Verhaltensverteilung

Die Studie stellt zunächst fest, dass LRMs oft eine „behaviorale Unsicherheit“ aufweisen, bei der ein einzelner Prompt je nach Reasoning-Pfad zu multiplen Verhaltensausgängen führen kann. Mittels Resampling-Analysen verfolgen die Autoren, wie sich die Wahrscheinlichkeit eines spezifischen Verhaltens Satz für Satz während des CoT-Reasonings entwickelt. Sie stellen fest, dass das Modell bei unsicheren Beispielen eine endgültige Entscheidung während des Reasoning-Prozesses trifft und diese nicht vorab determiniert.

2. Unterscheidung zwischen Detection- und Prediction-Features

Der zentrale theoretische Beitrag ist die Identifizierung zweier distinkter Klassen interner Merkmale:

Detection Features: Aktivierungen, die signalisieren, dass ein Verhalten bereits im Text aufgetreten ist (typischerweise extrahiert aus den finalen Antworten).
Prediction Features: Aktivierungen, die die Tendenz des Modells kodieren, sich in der Zukunft auf eine bestimmte Weise zu verhalten, abgeleitet aus intermediären Reasoning-Schritten.

Um dies zu validieren, trainierten die Autoren Lineare Probes (und MLP-Probes) auf den Residual-Stream-Aktivierungen am Ende jedes Satzes, um die Wahrscheinlichkeit eines zukünftigen Verhaltens vorherzusagen.

Prediction Probes: Trainiert auf intermediären CoT-Aktivierungen, um die Wahrscheinlichkeiten zukünftiger Verhaltensweisen vorherzusagen. Diese erreichten eine hohe Genauigkeit (64 %–91 % binarisierte Genauigkeit) bei der Vorhersage, ob ein Verhalten auftreten würde.
Detection Probes: Trainiert auf den Aktivierungen der finalen Antwort, um das Verhalten zu detektieren. Wenn diese verwendet wurden, um zukünftige Ergebnisse vorherzusagen (basierend auf intermediären Schritten), schnitten diese Merkmale signifikant schlechter ab, was bestätigt, dass Detection- und Prediction-Features distinkt sind und nicht deckungsgleich verlaufen.

3. Future Probe Controlled Generation (FPCG)

Aufbauend auf der Existenz von Prediction-Features schlagen die Autoren Future Probe Controlled Generation (FPCG) vor, einen algorithmischen Ansatz zum Steering auf Textebene. Im Gegensatz zum Activation Steering, das den Residual-Stream generierter Token modifiziert, funktioniert FPCG wie folgt:

Candidate Generation: In jedem Reasoning-Schritt (Satz) generiert das Modell $M$ Kandidatensätze.
Scoring: Die Aktivierungen des Modells für jeden Kandidatensatz (bis zum Ende des Satzes) werden extrahiert.
Prediction: Eine trainierte Probe sagt die Wahrscheinlichkeit des gewünschten (oder unerwünschten) zukünftigen Verhaltens für jeden Kandidaten voraus.
Selection: Der Kandidat, der die Wahrscheinlichkeit des Zielverhaltens maximiert (oder minimiert), wird ausgewählt.
Iteration: Der Prozess wiederholt sich für den nächsten Satz.

Dieser Ansatz ermöglicht es dem Modell, den Pfad zu „wählen“, der mit dem gewünschten Verhalten übereinstimmt, während es auf der natürlichen Daten-Mannigfaltigkeit bleibt, da die Auswahl auf der eigenen probabilistischen Planung des Modells basiert und nicht auf externer Vektoraddition.

Kernergebnisse

Vorhersagegenauigkeit

Lineare Probes, die auf intermediären Aktivierungen trainiert wurden, sagten die Wahrscheinlichkeiten zukünftiger Verhaltensweisen mit hoher Genauigkeit voraus. Die binarisierte Genauigkeit (Vorhersage, ob ein Verhalten wahrscheinlicher als nicht ist) lag zwischen 64 % und 91 % über verschiedene Modelle (DeepSeek-R1-Distill-Llama-8B, Qwen3-14B, gpt-oss-20b, QwQ-32B) und Datensätze hinweg (Myopic Reward, Refusal, Prompt Injection etc.). Dies bestätigt, dass interne Repräsentationen starke Signale über zukünftige Verhaltensneigungen enthalten.

Steering-Performance und Qualität

Die Autoren evaluierten FPCG im Vergleich zum Standard-Difference-in-Means Activation Steering:

Verhaltenskontrolle: FPCG konnte die Anteile der Verhaltensweisen über alle getesteten Modelle und Datensätze hinweg signifikant verschieben (z. B. Reduktion des „Myopic Reward“-Verhaltens von 46,2 % auf 5,1 % bei DeepSeek-R1).
Ausgabequalität: Entscheidend ist, dass FPCG fast keine Verschlechterung der Ausgabequalität induzierte. Der Anteil der aufgrund von Formatverletzungen oder Inkohärenz herausgefilterten Generationen blieb nahe Null (0–3 % in den meisten Fällen). Im Gegensatz dazu verursachte Activation Steering eine signifikante Qualitätsverschlechterung, wobei bis zu 18 % der Generationen herausgefiltert wurden und die Perplexität in 9 von 12 Szenarien anstieg.
Perplexität: Activation Steering erhöhte die Generations-Perplexität in den meisten Szenarien, was darauf hindeutet, dass es die Aktivierungen von der natürlichen Daten-Mannigfaltigkeit wegdrängt. FPCG erhöhte die Perplexität nur in einem von 12 Szenarien.
Steerability (Steuerbarkeit): Beim gpt-oss-20b Modell versagte Activation Steering vollständig (unterbrach die Generierung) bei den Aufgaben Refusal, Prompt Injection und Wealth Seeking, während FPCG diese Verhaltensweisen ohne Qualitätsverlust steuern konnte.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Unterscheidung zwischen Behavior Detection (Verhaltensdetektion) und Behavior Prediction (Verhaltensvorhersage) essenziell für die effektive Kontrolle von LRMs ist.

Konzeptionelle Erkenntnis: Die Studie liefert Beweise dafür, dass LRMs intern eine probabilistische Verteilung zukünftiger Verhaltensweisen aufrechterhalten, die durch Merkmale repräsentiert wird, die sich von jenen unterscheiden, die realisierte Texte detektieren.
Praktischer Nutzen: Durch das Ansteuern von Prediction-Features via FPCG ist es möglich, das Verhalten des Modells mit hoher Stärke zu steuern und gleichzeitig die Ausgabequalität zu bewahren, wodurch die primäre Einschränkung aktueller Activation-Steering-Methoden überwunden wird.
Komplementarität: FPCG wird als komplementärer Ansatz zu bestehenden Methoden präsentiert, der in Szenarien, in denen aktivierungsbasierte Methoden versagen oder die Leistung mindern, erfolgreich steuern kann.

Die Autoren kommen zu dem Schluss, dass das Verständnis der Evolution interner Repräsentationen von der Planung bis zur Verbalisierung eine nuanciertere und effektivere Kontrolle der LRM-Verhaltensweisen ermöglicht.