💬 NLP

VSPO: Vector-Steered Policy Optimization for Behavioral Control

Oorspronkelijke auteurs: Xuechen Zhang, Zijian Huang, Kai Yang, Weijia Zhang, Jiasi Chen, Samet Oymak

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

Oorspronkelijke auteurs: Xuechen Zhang, Zijian Huang, Kai Yang, Weijia Zhang, Jiasi Chen, Samet Oymak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar iets koppige student hebt (het AI-model). Je wilt dat ze een wiskundeprobleem correct oplossen (het primaire doel), maar je wilt ook dat ze het antwoord op een zeer specifieke manier uitleggen – misschien als een geduldige basisschoolleraar, of als een hoogleraar op universitair niveau.

Het probleem is dat deze student zelden op eigen initiatief op die specifieke manieren uitlegt. Als je ze gewoon zegt: "Wees meer als een professor", raken ze misschien in de war of negeren ze je. Als je probeert ze te leren door voorbeelden te tonen die zijn geschreven door een beroemde professor (een "leraar"), dan kunnen ze die voorbeelden misschien gewoon uit het hoofd leren zonder daadwerkelijk te leren hoe ze zelf op die manier moeten denken.

Dit artikel introduceert een nieuwe trainingsmethode genaamd VSPO (Vector-Steered Policy Optimization) om dit op te lossen. Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Sparse Reward"-Bottleneck

Stel je voor dat je probeert de student te leren om meer "zelfverzekerd" te zijn. Je vraagt ze om 10 problemen op te lossen.

De oude manier (Reward Shaping): Je wacht tot ze antwoorden. Als ze toevallig zelfverzekerd klinken, geef je ze een gouden ster. Als ze onzeker klinken (wat 9 keer op 10 gebeurt), geef je ze geen ster.
Het probleem: Omdat zelfverzekerde antwoorden zo zeldzaam zijn, krijgt de student zeer weinig gouden sterren. Ze krijgen niet genoeg oefening om het patroon te leren. Het is alsof je probeert te leren jongleren door te wachten tot een bal per ongeluk een keer per week in je handen valt.

2. De Oplossing: De "Steering Vector" (De Onzichtbare Duw)

De onderzoekers ontdekten dat het "brein" van de AI (haar interne activatieruimte) specifieke richtingen heeft, als onzichtbare wegen, die leiden tot specifiek gedrag.

De Analogie: Denk aan het brein van de AI als een gigantische kaart. Er is een specifieke "Professorweg" en een "Basisschoolleraarweg".
Hoe ze de weg vinden: Ze gebruiken een super-slimme "Leraar-AI" om twee versies van een antwoord te schrijven: één zeer deskundig en één zeer simpel. Ze meten het verschil tussen deze twee antwoorden in het brein van de AI om een "kaartcoördinaat" te creëren (de Steering Vector) die direct wijst naar de "Professorweg".

3. De Magische Truc: "On-Policy Self-Distillation"

Dit is de kern van VSPO. In plaats van te wachten tot de student toevallig de "Professorweg" vindt, duwen de onderzoekers het denkproces van de student zachtjes terwijl ze het probleem oplossen.

De Analogie: Stel je voor dat de student door een mistig bos loopt.
- Normale AI: Ze dwalen willekeurig rond.
- VSPO: De onderzoekers geven de student een kompas dat iets wijst in de richting van de "Professorweg". Ze vragen de student om 5 verschillende paden te lopen:
  1. Een pad dat sterk wordt geduwd in de richting van de Professoorstijl.
  2. Een pad dat zwak wordt geduwd in die richting.
  3. Een pad zonder duw (normaal).
  4. Een pad dat wordt geduwd in de tegenovergestelde richting (Basisschoolstijl).
  5. Een andere zwakke duw.
Het Resultaat: Nu, in plaats van in de mist te dwalen, genereert de student een hele familie van antwoorden, variërend van "zeer simpel" tot "zeer deskundig". Zelfs als de student meestal simpele antwoorden schrijft, dwingt deze duw ze om nu direct deskundige antwoorden te proberen te schrijven.

4. Leren van hun Eigen "Gestuurde" Zelf

Zodra de student deze 5 verschillende versies heeft gegenereerd, controleert het systeem:

Is het antwoord wiskundig correct?
Klonk het als de stijl die we wilden?

Het systeem kiest vervolgens de beste "gestuurde" versie (die welke zowel correct was als klonk als een professor) en zegt: "Hé, herinner je je hoe je klonk toen we je duwden? Jij bent daar toe in staat! Laten we dat je nieuwe normaal maken."

Cruciaal is dat de student leert van hun eigen gegenereerde pogingen, niet van de externe "Leraar-AI". Dit is alsof de student een speech oefent voor een spiegel, hun toon aanpast, en vervolgens besluit: "Oké, ik kan zo praten", in plaats van gewoon een opname van iemand anders uit het hoofd te leren.

Waarom is dit beter dan de oude manieren?

Beter dan alleen vragen (Textuele Guidance): De AI in de prompt zeggen "Wees een professor" is alsof je instructies van een afstand schreeuwt. VSPO is alsof je fysiek hun hand leidt terwijl ze schrijven. Het is preciezer en vereist niet dat je elke keer instructies moet schreeuwen.
Beter dan het kopiëren van een Leraar (Distillatie): Het kopiëren van het werk van een leraar is "off-policy" (leren van iemand anders). VSPO is "on-policy" (leren van je eigen verbeterde pogingen). Dit maakt het leren plakkeriger en stabieler.
Lost het "Zeldzaam Gedrag"-probleem op: Door kunstmatig een scala aan gedragingen te creëren (van simpel tot deskundig) tijdens de training, zorgt VSPO ervoor dat de AI veel voorbeelden van de gewenste stijl ziet, niet alleen de zeldzame waar ze toevallig tegenaan loopt.

De Conclusie

VSPO is een trainingsmethode die een onzichtbare "duw" (een steering vector) gebruikt om een AI te dwingen een breed scala aan antwoorden te genereren met verschillende "persoonlijkheden" (zoals zelfverzekerd, deskundig of beknopt). Het beloont de AI vervolgens voor het vinden van het juiste antwoord binnen die specifieke persoonlijkheden en leert de AI die stijl permanent aan te nemen.

Het resultaat is een AI die moeilijke wiskundeproblemen kan oplossen en ze op precies de manier uitlegt die je wilt (deskundig, simpel, zelfverzekerd, enz.) zonder haar nauwkeurigheid te verliezen, terwijl ze leert van haar eigen oefening in plaats van gewoon een leraar te kopiëren.

Technische Samenvatting: Vector-Geleide Policy-Optimalisatie (VSPO)

Probleemstelling

Moderne grote taalmodellen (LLMs) vereisen vaak optimalisatie voor een primair nauwkeurigheidsdoel, terwijl ze tegelijkertijd secundaire gedragsvoorkeuren moeten accommoderen, zoals woordrijkdom, het uiten van vertrouwen, het expertiseniveau of robuustheid tegen misleidende context. In de praktijk vertonen basismodellen deze gewenste gedragingen zelden of helemaal niet, wat leidt tot een spaarzaam gedragsbeloningsknelpunt.

Bestaande benaderingen ondervinden aanzienlijke beperkingen in deze multi-objectieve setting:

Beloningsvorming (Reward Shaping): Het toevoegen van auxiliaire beloningen aan Group Relative Policy Optimization (GRPO) is vaak inefficiënt wanneer het doelgedrag zeldzaam is in de gesamplede rollouts. Scalar beloningen evalueren trajecten, maar verbeteren niet de diversiteit of kwaliteit van de rollout-verdeling zelf. Als een GRPO-groep geen hoogwaardige of gedragsmatig diverse kandidaten bevat, biedt relatieve voordeelnormalisatie zwakke leersignalen.
Teacher-Trace Distillatie (SFT): Het gebruik van een krachtiger teacher-model om traces met doelgedragingen te genereren of te herschrijven, introduceert een off-policy mismatch. Het student-model leert van trajecten die door een ander model zijn geproduceerd in plaats van van zijn eigen gesamplede outputs, wat mogelijk leidt tot een disconnectie tussen het gedrag dat wordt gedistilleerd en de bereikbare verdeling van het student-model.
Online AI-feedback (RLAIF): Methoden die krachtige teacher-modellen gebruiken als annotators of herschrijvers tijdens de RL-lus, zijn rekenkundig duur door herhaalde API-aanroepen en lijden nog steeds aan off-policy nadelen bij het trainen op herschreven traces.

Methodologie: Vector-Geleide Policy-Optimalisatie (VSPO)

VSPO adresseert deze knelpunten door het gebruik van stuurvectoren die geassocieerd zijn met doelgedragingen om de intensiteit van gegenereerde rollouts te controleren. De methode wordt geframed als een on-policy latent self-distillatie-procedure waarbij het model zijn eigen stuurvector internaliseert.

De VSPO-werkstroom bestaat uit twee fasen:

Fase 1: Constructie van de Stuurvector

Er wordt een stuurvector geconstrueerd om het doelgedrag in de latente activatieruimte van het model te representeren.

Contrastieve Herschrijving: Een teacher-model herschrijft basisantwoorden van het doelmodel in positieve en negatieve gedragsvarianten (bijvoorbeeld expert- versus elementaire uitleg).
Vector-extractie: Activatieverschillen tussen deze positieve en negatieve varianten worden per laag berekend. De sterkste richtingscomponent per laag wordt geselecteerd en genormaliseerd om de stuurvector $v$ te vormen. Deze vector vangt de latente richting van het doelgedrag.

Fase 2: Self-Distillatie Policy-Optimalisatie

Het huidige beleid wordt geoptimaliseerd met GRPO, maar met een gewijzigd rollout-generatieproces:

Gestuurde Rollouts: Voor elke prompt wordt een groep van $G$ rollouts gesampled met variërende stuurintensiteiten $\beta \in \{\beta_1, \dots, \beta_G\}$ . Deze intensiteiten worden toegepast door de stuurvector in te brengen in de residustroom tijdens het decoderen: $\tilde{h}_t = h_t + \beta v$ .
Berekening van Beloning: Elke rollout ontvangt een beloning $r = r_0 + \alpha \beta$ , waarbij $r_0$ de primaire taakbeloning is (bijvoorbeeld correctheid) en $\alpha \beta$ een proxy-gedragsbeloning is die evenredig is met de stuurintensiteit.
Beleidsupdate: Het beleid wordt bijgewerkt met de standaard GRPO-doelstelling met groepsrelatieve voordelen. Cruciaal wordt de update toegepast op het ongestuurde beleid ( $\pi_\theta$ ), terwijl het voordeel wordt berekend op basis van de gestuurde traces. Dit stelt het model in staat nuttige gedragingen te distilleren uit zijn eigen gestuurde varianten zonder het inferentiegedrag van het beleid permanent te veranderen met de stuurvector.

Belangrijkste Bijdragen

Algoritmische Innovatie: De introductie van VSPO, een multi-objectieve policy-optimalisatiemethode die stuurvectoren benut om gedrag te controleren terwijl taaknauwkeurigheid behouden blijft. In tegenstelling tot standaard GRPO of beloningsvorming, verbetert VSPO actief de rollout-diversiteit door expliciet traces te sample langs de doel-latevector. In tegenstelling tot teacher-trace SFT, wordt training op off-policy teacher-trajecten vermeden; de teacher assisteert alleen bij de constructie van de vector.
Theoretische Garanties: Het artikel stelt vast dat VSPO onder een bandiet-abstractie bewezen een betere iteratiecomplexiteit bereikt dan beloningsvormende GRPO. Specifiek, wanneer stuur-geïnduceerde verdelingen voldoende zijn uitgelijnd met het doelgedrag (waardoor aan een " $\gamma$ -goed" conditie wordt voldaan), oversamplet VSPO zeldzame maar wenselijke gedragspatronen, wat convergentie versnelt.
Empirische Validatie: Uitgebreide evaluatie over de MATH- en MMLU-Pro-benchmarks toont aan dat VSPO consequent beter presteert dan beloningsvorming, teacher-trace SFT, SDFT, SDPO en RLAIF-achtige baselines. Het bereikt sterke controle over vier doelgedragingen (expertiseniveau, het uiten van vertrouwen, robuustheid tegen misleidende context en woordrijkdom) terwijl het de taaknauwkeurigheid behoudt of verbetert.
Gunstige Eigenschappen: VSPO induceert een natuurlijk leercursus langs de gedragsas en behoudt een beleid-proximale verdeling (lage NLL ten opzichte van het basismodel), waardoor het ernstige distributieverschuivingen vermijdt die vaak worden gezien bij off-policy methoden.

Experimentele Resultaten

De auteurs hebben VSPO geëvalueerd op twee benchmarks (MMLU-Pro en MATH) met vier doelgedragingen:

Expertiseniveau: VSPO bereikte de sterkste bidirectionele controle (schakelen tussen expert- en elementaire stijlen) terwijl het een hoge nauwkeurigheid behield (bijvoorbeeld 64,3% expert-niveau controle op MMLU-Pro versus 45,0% voor SFT).
Uiten van Vertrouwen: VSPO slaagde erin antwoorden te sturen naar een zelfverzekerde of voorzichtige toon zonder de nauwkeurigheid te degraderen, en presteerde beter dan baselines die vaak stijl opofferen voor correctheid.
Robuustheid tegen Misleidende Context: In situaties waar modellen bevooroordeeld zijn om in te stemmen met onjuiste ingevoegde antwoorden, verbeterde VSPO de nauwkeurigheid aanzienlijk (64,2% versus 23,6% voor het originele model) door meer onafhankelijke redeneertraces bloot te leggen tijdens de rollout-generatie.
Bondig Redeneren: VSPO verbeterde de nauwkeurigheids-lengte trade-off, waarbij hogere nauwkeurigheid werd bereikt met kortere antwoorden in vergelijking met lengte-straf beloningsvorming.

Betekenis en Claims

Het artikel claimt dat VSPO een significante stap voorwaarts vertegenwoordigt in controleerbare multi-objectieve uitlijning. Door gedragscontrole te behandelen als een latent stuurprobleem in plaats van een beloningsvormings- of off-policy distillatieprobleem, doet VSPO het volgende:

Verlicht het spaarzaam beloningsknelpunt door diverse, gedrags-uitgelijnde kandidaten direct te genereren vanuit het huidige beleid.
Vermindert de afhankelijkheid van dure externe feedback door een enkele stuurvector te hergebruiken tijdens de optimalisatie, in tegenstelling tot methoden die herhaalde teacher-aanroepen vereisen.
Maakt stabiele optimalisatie mogelijk door het trainingsproces on-policy en beleid-proximale te houden, waardoor de distributie-mismatch die inherent is aan teacher-trace distillatie wordt vermeden.

De auteurs concluderen dat VSPO een robuust kader biedt voor het verwerven van controleerbare secundaire gedragingen zonder de primaire taakprestaties te offeren, en biedt een meer steekproef-efficiënt en theoretisch onderbouwd alternatief voor bestaande RL- en distillatiemethoden.