💬 NLP

VSPO: Vector-Steered Policy Optimization for Behavioral Control

Ursprüngliche Autoren: Xuechen Zhang, Zijian Huang, Kai Yang, Weijia Zhang, Jiasi Chen, Samet Oymak

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Xuechen Zhang, Zijian Huang, Kai Yang, Weijia Zhang, Jiasi Chen, Samet Oymak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber leicht störrischen Schüler (das KI-Modell). Sie möchten, dass er ein Matheproblem korrekt löst (das primäre Ziel), aber Sie wollen auch, dass er die Antwort auf eine ganz bestimmte Weise erklärt – vielleicht wie ein geduldiger Grundschullehrer oder wie ein hochrangiger Universitätsprofessor.

Das Problem ist, dass dieser Schüler diese spezifischen Stile selten von sich aus bei der Erklärung verwendet. Wenn Sie ihm einfach sagen: „Sei mehr wie ein Professor", könnte er verwirrt sein oder Sie ignorieren. Wenn Sie versuchen, ihn zu unterrichten, indem Sie ihm Beispiele zeigen, die von einem berühmten Professor (einem „Lehrer") geschrieben wurden, könnte er diese Beispiele einfach auswendig lernen, ohne tatsächlich zu lernen, wie er selbst auf diese Weise denkt.

Diese Arbeit stellt eine neue Trainingsmethode namens VSPO (Vector-Steered Policy Optimization) vor, um dieses Problem zu lösen. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Sparse Reward"-Engpass-Situation

Stellen Sie sich vor, Sie versuchen, den Schüler zu mehr „Selbstvertrauen" zu erziehen. Sie bitten ihn, 10 Probleme zu lösen.

Der alte Weg (Reward Shaping): Sie warten auf seine Antwort. Wenn er zufällig selbstbewusst klingt, geben Sie ihm einen goldenen Stern. Wenn er unsicher klingt (was in 9 von 10 Fällen passiert), geben Sie ihm keinen Stern.
Das Problem: Da selbstbewusste Antworten so selten sind, erhält der Schüler sehr wenige goldene Sterne. Er bekommt nicht genug Übung, um das Muster zu lernen. Es ist wie der Versuch, Jonglieren zu lernen, indem man wartet, dass ein Ball einmal pro Woche zufällig in Ihre Hände fällt.

2. Die Lösung: Der „Steering Vector" (Der unsichtbare Stoß)

Die Forscher haben entdeckt, dass das „Gehirn" der KI (ihr interner Aktivierungsraum) spezifische Richtungen hat, wie unsichtbare Straßen, die zu bestimmten Verhaltensweisen führen.

Die Analogie: Denken Sie an den Geist der KI als eine riesige Landkarte. Es gibt eine spezifische „Professor-Straße" und eine „Grundschullehrer-Straße".
Wie sie die Straße finden: Sie verwenden eine superkluge „Lehrer-KI", um zwei Versionen einer Antwort zu schreiben: eine sehr fachkundige und eine sehr einfache. Sie messen den Unterschied zwischen diesen beiden Antworten im Gehirn der KI, um eine „Kartenkoordinate" (den Steering Vector) zu erstellen, die direkt zur „Professor-Straße" zeigt.

3. Der Zaubertrick: „On-Policy Self-Distillation"

Dies ist der Kern von VSPO. Anstatt darauf zu warten, dass der Schüler zufällig die „Professor-Straße" findet, geben die Forscher den Denkprozess des Schülers während der Problemlösung sanft einen Stoß.

Die Analogie: Stellen Sie sich vor, der Schüler wandert durch einen nebligen Wald.
- Normale KI: Sie wandert ziellos umher.
- VSPO: Die Forscher geben dem Schüler einen Kompass, der leicht in Richtung der „Professor-Straße" zeigt. Sie bitten den Schüler, 5 verschiedene Wege zu gehen:
  1. Einen Weg, der stark in Richtung des Profilstils gestoßen wird.
  2. Einen Weg, der schwach in diese Richtung gestoßen wird.
  3. Einen Weg ohne Stoß (normal).
  4. Einen Weg, der in die entgegengesetzte Richtung (Grundschullehrer-Stil) gestoßen wird.
  5. Einen weiteren schwachen Stoß.
Das Ergebnis: Anstatt im Nebel umherzuwandern, generiert der Schüler nun eine ganze Familie von Antworten, die von „sehr einfach" bis „sehr fachkundig" reicht. Selbst wenn der Schüler normalerweise einfache Antworten schreibt, zwingt dieser Stoß ihn, jetzt gerade fachkundige Antworten zu versuchen.

4. Lernen vom eigenen „gestoßenen" Selbst

Sobald der Schüler diese 5 verschiedenen Versionen generiert hat, prüft das System:

Ist die Antwort mathematisch korrekt?
Klingte sie wie der gewünschte Stil?

Das System wählt dann die beste „gestoßene" Version aus (diejenige, die sowohl korrekt war als auch wie ein Professor klang) und sagt: „Hey, erinnerst du dich, wie du geklungen hast, als wir dich gestoßen haben? Du bist dazu fähig! Lass uns das zu deinem neuen Normal machen."

Entscheidend ist, dass der Schüler aus seinen eigenen generierten Versuchen lernt, nicht aus dem externen „Lehrer-KI". Das ist wie wenn der Schüler eine Rede vor einem Spiegel übt, seinen Tonfall anpasst und dann beschließt: „Okay, ich kann so sprechen", anstatt nur eine Aufnahme von jemand anderem auswendig zu lernen.

Warum ist das besser als die alten Methoden?

Besser als bloßes Bitten (Textuelle Anleitung): Dem KI-Modell im Prompt zu sagen „Sei ein Professor", ist wie das Schreien von Anweisungen aus der Ferne. VSPO ist wie das physische Führen seiner Hand, während es schreibt. Es ist präziser und erfordert nicht, dass jedes Mal Anweisungen geschrien werden müssen.
Besser als das Kopieren eines Lehrers (Distillation): Das Kopieren der Arbeit eines Lehrers ist „off-policy" (Lernen von jemand anderem). VSPO ist „on-policy" (Lernen aus den eigenen verbesserten Versuchen). Dies macht das Lernen haltbarer und stabiler.
Löst das Problem des „seltenen Verhaltens": Indem während des Trainings künstlich eine Bandbreite von Verhaltensweisen (von einfach bis fachkundig) erzeugt wird, stellt VSPO sicher, dass die KI viele Beispiele des gewünschten Stils sieht, nicht nur die seltenen, auf die sie zufällig stößt.

Das Fazit

VSPO ist eine Trainingstechnik, die einen unsichtbaren „Stoß" (einen Steering Vector) verwendet, um eine KI zu zwingen, eine breite Vielfalt an Antworten mit unterschiedlichen „Persönlichkeiten" (wie selbstbewusst, fachkundig oder prägnant) zu generieren. Anschließend belohnt sie die KI dafür, innerhalb dieser spezifischen Persönlichkeiten die richtige Antwort zu finden, und lehrt die KI, diesen Stil dauerhaft anzunehmen.

Das Ergebnis ist eine KI, die schwierige Matheprobleme lösen und sie genau in dem Stil erklären kann, den Sie wünschen (fachkundig, einfach, selbstbewusst usw.), ohne ihre Genauigkeit zu verlieren, und das alles, während sie aus ihrer eigenen Übung lernt, anstatt nur einen Lehrer zu kopieren.

Technische Zusammenfassung: Vector-Steered Policy Optimization (VSPO)

Problemstellung

Moderne Large Language Models (LLMs) erfordern häufig eine Optimierung für ein primäres Genauigkeitsziel, während gleichzeitig sekundäre Verhaltenspräferenzen berücksichtigt werden müssen, wie etwa Ausführlichkeit, Ausdrucksweise des Vertrauens, Expertise-Level oder Robustheit gegenüber irreführendem Kontext. In der Praxis zeigen Basis-Modelle diese gewünschten Verhaltensweisen selten oder gar nicht, was zu einem Engpass bei spärlichen Verhaltensbelohnungen führt.

Bestehende Ansätze stoßen in diesem multiobjektiven Setting auf erhebliche Grenzen:

Reward Shaping: Das Hinzufügen von Hilfsbelohnungen zu Group Relative Policy Optimization (GRPO) ist oft ineffizient, wenn das Zielverhalten in den gesampelten Rollouts selten ist. Skalare Belohnungen bewerten Trajektorien, verbessern jedoch weder die Vielfalt noch die Qualität der Rollout-Verteilung selbst. Fehlt in einer GRPO-Gruppe qualitativ hochwertige oder verhaltensdiverse Kandidaten, liefert die relative Vorteilsnormierung nur schwache Lernsignale.
Teacher-Trace Distillation (SFT): Die Verwendung eines stärkeren Teacher-Modells zur Generierung oder Umschreibung von Spuren mit Zielverhalten führt zu einer Off-Policy-Diskrepanz. Das Student-Modell lernt aus Trajektorien, die von einem anderen Modell produziert wurden, und nicht aus seinen eigenen gesampelten Ausgaben, was potenziell eine Kluft zwischen dem distillierten Verhalten und der erreichbaren Verteilung des Student-Modells verursacht.
Online AI Feedback (RLAIF): Methoden, die leistungsstarke Teacher-Modelle während der RL-Schleife als Annotatoren oder Umschreiber einsetzen, sind aufgrund wiederholter API-Aufrufe rechenintensiv und leiden weiterhin unter Off-Policy-Nachteilen beim Training auf umgeschriebenen Spuren.

Methodik: Vector-Steered Policy Optimization (VSPO)

VSPO adressiert diese Engpässe durch den Einsatz von Steering-Vektoren, die mit Zielverhalten assoziiert sind, um die Intensität generierter Rollouts zu steuern. Die Methode wird als On-Policy-Verfahren zur latenten Selbst-Distillation konzipiert, bei dem das Modell seinen eigenen Steering-Vektor internalisiert.

Der VSPO-Workflow besteht aus zwei Phasen:

Phase 1: Konstruktion des Steering-Vektors

Ein Steering-Vektor wird konstruiert, um das Zielverhalten im latenten Aktivierungsraum des Modells darzustellen.

Kontrastives Umschreiben: Ein Teacher-Modell schreibt Basis-Antworten des Zielmodells in positive und negative Verhaltensvarianten um (z. B. Experten- vs. elementare Erklärungen).
Vektor-Extraktion: Die Aktivierungsunterschiede zwischen diesen positiven und negativen Varianten werden schichtweise berechnet. Die stärkste schichtweise Richtung wird ausgewählt und normalisiert, um den Steering-Vektor $v$ zu bilden. Dieser Vektor erfasst die latente Richtung des Zielverhaltens.

Phase 2: Selbst-Distillation Policy Optimization

Die aktuelle Policy wird unter Verwendung von GRPO optimiert, jedoch mit einem modifizierten Prozess zur Rollout-Generierung:

Gesteuerte Rollouts: Für jeden Prompt wird eine Gruppe von $G$ Rollouts mit variierenden Steering-Intensitäten $\beta \in \{\beta_1, \dots, \beta_G\}$ gesampelt. Diese Intensitäten werden angewendet, indem der Steering-Vektor während der Dekodierung in den Residual-Stream injiziert wird: $\tilde{h}_t = h_t + \beta v$ .
Berechnung der Belohnung: Jedes Rollout erhält eine Belohnung $r = r_0 + \alpha \beta$ , wobei $r_0$ die primäre Aufgabenbelohnung (z. B. Korrektheit) und $\alpha \beta$ eine Proxy-Verhaltensbelohnung ist, die proportional zur Steering-Intensität ist.
Policy-Update: Die Policy wird unter Verwendung des standardmäßigen GRPO-Ziels mit gruppenrelativen Vorteilen aktualisiert. Entscheidend ist, dass das Update auf die ungesteuerte Policy ( $\pi_\theta$ ) angewendet wird, während der Vorteil auf Basis der gesteuerten Spuren berechnet wird. Dies ermöglicht dem Modell, nützliche Verhaltensweisen aus seinen eigenen gesteuerten Varianten zu distillieren, ohne das Inferenzzeit-Verhalten der Policy dauerhaft durch den Steering-Vektor zu verändern.

Hauptbeiträge

Algorithmische Innovation: Die Einführung von VSPO, einer multiobjektiven Policy-Optimierungsmethode, die Steering-Vektoren nutzt, um Verhalten zu steuern und gleichzeitig die Aufgabenaccuracy zu erhalten. Im Gegensatz zu reinem GRPO oder Reward Shaping verbessert VSPO die Rollout-Vielfalt aktiv, indem es Spuren explizit entlang des Ziel-Latenzvektors sampelt. Im Gegensatz zu Teacher-Trace-SFT vermeidet es das Training auf Off-Policy-Teacher-Trajektorien; der Teacher assistiert lediglich bei der Vektorkonstruktion.
Theoretische Garantien: Die Arbeit zeigt, dass VSPO unter einer Banditen-Abstraktion nachweislich eine bessere Iterationskomplexität als reward-geformtes GRPO erreicht. Spezifisch, wenn steering-induzierte Verteilungen hinreichend mit dem Zielverhalten übereinstimmen (Erfüllung einer „ $\gamma$ -guten" Bedingung), sampelt VSPO seltene, aber wünschenswerte Verhaltensmuster hoch und beschleunigt so die Konvergenz.
Empirische Validierung: Umfassende Evaluierungen auf den Benchmarks MATH und MMLU-Pro belegen, dass VSPO Reward Shaping, Teacher-Trace-SFT, SDFT, SDPO und RLAIF-artige Baselines konsistent übertrifft. Es erzielt eine starke Kontrolle über vier Zielverhalten (Expertise-Level, Ausdrucksweise des Vertrauens, Robustheit gegenüber irreführendem Kontext und Ausführlichkeit) bei gleichzeitiger Beibehaltung oder Verbesserung der Aufgabenaccuracy.
Vorteilhafte Eigenschaften: VSPO induziert einen natürlichen Lernkurvenverlauf entlang der Verhaltensachse und hält eine policy-proximale Verteilung (niedrige NLL relativ zum Basis-Modell) aufrecht, wodurch die bei Off-Policy-Methoden häufig auftretenden starken Verteilungsverschiebungen vermieden werden.

Experimentelle Ergebnisse

Die Autoren evaluierten VSPO auf zwei Benchmarks (MMLU-Pro und MATH) mit vier Zielverhalten:

Expertise-Level: VSPO erreichte die stärkste bidirektionale Kontrolle (Wechsel zwischen Experten- und elementarem Stil) bei Beibehaltung hoher Accuracy (z. B. 64,3 % Experten-Level-Kontrolle auf MMLU-Pro im Vergleich zu 45,0 % für SFT).
Ausdrucksweise des Vertrauens: VSPO steuerte Antworten erfolgreich in Richtung selbstbewusster oder vorsichtiger Töne, ohne die Accuracy zu verschlechtern, und übertraf Baselines, die oft Stil gegen Korrektheit eintauschen.
Robustheit gegenüber irreführendem Kontext: In Szenarien, in denen Modelle dazu neigen, falschen injizierten Antworten zuzustimmen, verbesserte VSPO die Accuracy signifikant (64,2 % gegenüber 23,6 % für das Originalmodell), indem es während der Rollout-Generierung mehr unabhängige Denkspuren exponierte.
Präzises Schlussfolgern: VSPO verbesserte den Trade-off zwischen Accuracy und Länge und erreichte bei kürzeren Antworten eine höhere Accuracy im Vergleich zu Reward Shaping mit Längen-Strafen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass VSPO einen bedeutenden Schritt nach vorn in der kontrollierbaren multiobjektiven Ausrichtung darstellt. Indem Verhaltenskontrolle als latentes Steuerungsproblem und nicht als Reward-Shaping- oder Off-Policy-Distillationsproblem behandelt wird, ermöglicht VSPO:

Die Linderung des Engpasses bei spärlichen Belohnungen durch die Generierung vielfältiger, verhaltensausgerichteter Kandidaten direkt aus der aktuellen Policy.
Die Reduzierung der Abhängigkeit von teurem externem Feedback durch die Wiederverwendung eines einzelnen Steering-Vektors während der gesamten Optimierung, im Gegensatz zu Methoden, die wiederholte Teacher-Aufrufe erfordern.
Die Ermöglichung stabiler Optimierung durch die Aufrechterhaltung des Trainingsprozesses als On-Policy und policy-proximal, wodurch die bei Teacher-Trace-Distillation inhärente Verteilungsdiskrepanz vermieden wird.

Die Autoren schließen, dass VSPO ein robustes Framework zur Erlangung kontrollierbarer sekundärer Verhaltensweisen ohne Opferung der primären Aufgabenleistung bietet und eine effizientere sowie theoretisch fundiertere Alternative zu bestehenden RL- und Distillationsmethoden darstellt.