🤖 machine learning

Symmetric Behavior Regularized Policy Optimization

Dit artikel introduceert een universeel raamwerk voor Symmetric Behavior Regularized Policy Optimization (SymBRPO) dat het gebrek aan gesloten oplossingen en numerieke instabiliteit in symmetrische divergenties overwint door een eindreeksbenadering van Pearson-Vajda divergenties te gebruiken, waarmee robuuste prestaties worden bereikt en beperkingen van asymmetrische regularisatie in offline reinforcement learning worden aangepakt.

Oorspronkelijke auteurs: Lingwei Zhu, Haseeb Shah, Zheng Chen, Martha White

Gepubliceerd 2026-07-21

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lingwei Zhu, Haseeb Shah, Zheng Chen, Martha White

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een videogame te spelen, maar je kunt hem niet laten oefenen door dingen uit te proberen in de echte wereld. Misschien is het spel te duur, te gevaarlijk, of is de robot al kapot. In plaats daarvan moet je hem leren met behulp van alleen een enorme video-opname van een menselijke speler die het spel al aan het spelen was. Dit is de wereld van "offline reinforcement learning". De robot moet leren van deze statische geschiedenis zonder ooit een nieuwe zet te doen.

Het lastige deel is dat de robot te hebzuchtig kan worden. Als hij in de video een zet ziet die er geweldig uitziet, kan hij proberen die perfect te kopiëren. Maar als die zet eigenlijk een gelukstreffer of een fout van de mens was, kan de robot neerstorten en falen. Om dit te voorkomen, gebruiken wetenschappers een "regularizer". Denk aan dit als een zachte lijn. Het bindt de nieuwe beslissingen van de robot aan de oude stijl van de mens, waardoor het voorkomt dat hij afdwaalt naar gevaarlijk, onverkend gebied. Meestal is deze lijn "asymmetrisch", wat betekent dat hij in de ene richting harder trekt dan in de andere. Het is als een ouder die heel streng is over het feit dat je naar links gaat, maar er niet zoveel om geeft als je naar rechts gaat.

Maar wat als de lijn "symmetrisch" was? Wat als hij even hard trok, ongeacht welke kant je op probeerde te dwalen? Dit artikel stelt een grote vraag: Is een symmetische lijn eigenlijk beter? De auteurs suggeren dat hoewel de oude asymmetische lijn de standaard was, een symmetische lijn bepaalde lastige situaties — zoals wanneer de robot vlak aan de rand van een klif staat of wanneer de menselijke data vreemde hiaten heeft — veel effectiever kan aanpaken. Echter, het gebruik van een symmetische lijn is wiskundig rommelig en gevoelig voor het breken van de hersenen van de robot (numerieke instabiliteit). Dit artikel bouwt een nieuw, stevig framework om die symmetische lijn werkend te krijgen zonder dat er iets kapotgaat.

Het Verhaal van de Symmetrische Lijn

In de wereld van robotleren is er een constante touwtrekwedstrijd. Aan de ene kant wil je dat de robot slim is en de beste zetten vindt. Aan de andere kant wil je dat hij veilig blijft en zich houdt aan wat hij weet. Het paper introduceert een methode genaamd Symmetric Behavior Regularized Policy Optimization (Sf-AC). Het is een chique manier om te zeggen: "Laten we de robot leren met een gebalanceerde, tweerichtingslijn in plaats van een eenrichtingslijn."

Waarom de oude lijn een beetje scheef was
Al een lange tijd gebruiken wetenschappers een "asymmetische" lijn (specifiek iets dat KL-divergentie wordt genoemd). Stel je voor dat je een nieuwe vorm in een oude mal probeert te passen. De oude lijn was geweldig in het stoppen van de robot bij het proberen van dingen die de mens nooit deed. Maar het had een gebrek: het was te bang om dingen te proberen die de mens zelden deed.

De auteurs voerden enkele eenvoudige tests uit (zoals een robot die een spel speelt met slechts twee knoppen) en ontdekten dat de oude lijn te conservatief was. Als een zeldzame knop eigenlijk de winnende zet was, was de oude lijn te bang om die in te drukken, denkend: "De mens raakte deze knop nauwelijks aan, dus ik zou dat ook niet moeten doen!" De nieuwe symmetrische lijn behandelt zeldzame goede zetten echter met meer respect. Het kijkt niet alleen naar hoe vaak de mens iets deed; het kijkt naar de balans tussen het idee van de robot en de geschiedenis van de mens. In hun tests stelde dit de robot in staat om sneller betere oplossingen te vinden.

Het probleem van de rand van de klif
Er is nog een probleem waar de oude lijn moeite mee had: grenzen. In veel spellen kun je je personage alleen binnen een specifiek bereik bewegen, bijvoorbeeld van -1 tot 1. Als de robot probeert naar -1,5 te bewegen, wordt hij door het spel simpelweg teruggeklapt naar -1. Dit veroorzaakt vreemd, vertekend gedrag.

De auteurs lieten zien dat de oude asymmetrische lijn de kansverdeling de neiging heeft om over de rand te "lekken". Het is alsof je water in een beker probeert te gieten die al vol is; het water stroomt over de zijkant, en wanneer het spel het terugklapt, raakt de robot in de war. De nieuwe symmetrische lijn is veel beter in het houden van het water binnen de beker. Het straft het over de rand lekken van beide kanten af, waardoor de robot veilig binnen de toegestane limieten blijft. In hun simulaties leidde dit tot bijna het dubbele aan beloning vergeleken met de oude methode, omdat de robot geen tijd verspilde aan illegale zetten.

De wiskundige rommel en de magische oplossing
Hier komt de adder onder het gras: Symmetrische lijnen zijn berucht moeilijk te gebruiken. Wanneer je probeert de perfecte wiskunde voor een symmetrische lijn op te schrijven, worden de vergelijkingen zo ingewikkeld dat je ze niet gemakkelijk kunt oplossen. Het is als het proberen op te lossen van een puzzel waarbij de stukjes steeds van vorm veranderen. Bovens, als je ze op een computer probeert te berekenen, kunnen de getallen zo groot of zo klein worden dat de computer crasht (een probleem genaamd numerieke instabiliteit).

De grote doorbraak van dit paper is een slimme wiskundige truc. De auteurs realiseerden zich dat elke complexe symmetrische lijn kan worden afgebroken in een lange, oneindige reeks van eenvoudigere stukjes (genaamd Pearson-Vajda divergenties). In plaats van de onmogelijke oneindige puzzel te proberen op te lossen, lieten ze zien dat je alleen de eerste paar stukjes (een eindige reeks) hoeft te gebruiken om een resultaat te krijgen dat bijna perfect is.

Door de reeks vroegtijdig af te kappen, slaagden ze erin om:

Een duidelijke formule te vinden: Ze leidden een nette, gesloten uitdrukking (closed-form expression) af voor het beste beleid van de robot, wat betekent dat de robot precies weet wat hij moet doen zonder te gokken.
De computer te beschermen tegen crashen: Ze creëerden een nieuwe, stabiele manier om de "loss" te berekenen, waardoor de numerieke explosies werden vermeden die eerdere pogingen teisterden.
Te bewijzen dat het goed genoeg is: Ze bewezen wiskundig dat hun "korte" versie ongelooflijk dicht bij de "perfecte" oneindige versie ligt, waarbij de fout zo klein is dat deze praktisch nul is.

Werkt het echt?
De auteurs stopten niet bij de wiskunde. Ze testten hun nieuwe methode, die ze Symmetric f-Actor-Critic (Sf-AC) noemen, op een beroemde set benchmarks voor robotleren genaamd D4RL. Deze benchmarks bevatten taken zoals een robot hond die leren lopen, een hand die leert een pen op te pakken, of een robot die een doolhof oplost.

De resultaten waren indrukwekkend. Op de meeste taken presteerde de nieuwe symmetrische methode even goed als of beter dan de beste bestaande methoden. Het was vooral goed in het afhandelen van de "randgevallen" waar andere robots moeite mee hadden. De auteurs controleerden ook hoe gevoelig de methode was voor het aantal stukjes dat ze in hun wiskundige truc gebruikten. Ze ontdekten dat de robot zelfs met slechts een paar stukjes (tussen de 2 en 6) consistent goed presteerde, wat suggereert dat de methode robuust is en niet overdreven ingewikkeld hoeft te zijn om te werken.

Wat ze uitsloten
Het is belangrijk om te vermelden wat het paper zegt niet te werken. De auteurs voerden expliciet aan tegen de huidige populaire praktijk om een symmetrische lijn te gebruiken voor het doel van de robot, maar een asymmetrische lijn voor de geschiedenis van de mens. Ze toonden via wiskunde en voorbeelden aan dat het mengen van deze twee soorten lijnen een "geometrische mismatch" creëert. Het is als het proberen te passen van een vierkante pen in een rond gat; de robot raakt in de war over welke kant hij op moet bewegen, wat leidt tot suboptimale prestaties. Hun paper bewijst dat als je een symmetrische benadering wilt gebruiken, je die voor zowel de lijn als het doel moet gebruiken.

Hoe zeker zijn ze?
De auteurs zijn zeer zelfverzekerd over hun wiskundige bewijzen. Ze hebben niet alleen gegokt dat de reeksbenadering werkt; ze hebben het bewezen met stellingen die exact laten zien hoe klein de fout is. In hun experimenten lieten ze de robot duizenden stappen doorlopen en middelden ze de resultaten over meerdere pogingen (seeds) om te verzekeren dat de resultaten niet louter op geluk berustten. Hoewel ze niet beweerden dat ze offline learning voor altijd hebben "opgelost", hebben ze aangetoond dat hun symmetrische benadering een krachtig, stabiel en vaak superieur alternatief is voor de standaardmethoden, vooral bij het omgaan met lastige grenzen of bevooroordeelde data.

Kortom, dit paper neemt een rommelig, moeilijk idee (symmetrische regularisatie) en temt het met een slimme wiskundige afkorting. Het resultaat is een robot-leermethode die evenwichtiger, stabieler en vaak slimmer is dan de instrumenten die we al jarenlang gebruiken.

Technische Samenvatting: Symmetric Behavior Regularized Policy Optimization

Probleemstelling

Behavior Regularized Policy Optimization (BRPO) is een standaard aanpak in offline reinforcement learning (RL), ontworpen om de distributieve verschuiving te mitigeren door het geleerde beleid ( $\pi$ ) te regulariseren naar een gedragbeleid ( $\pi_D$ ) afgeleid van een statische dataset. De kernuitdaging die in dit artikel wordt aangepakt, is de selectie van de divergentiemaat die gebruikt wordt voor regularisatie ( $D_{Reg}$ ) en optimalisatie ( $D_{Opt}$ ).

De bestaande literatuur maakt voornamelijk gebruik van asymmetrische divergenties (bijv. KL-divergentie, $\chi^2$ ), terwijl recente observaties in Large Language Models (LLMs) suggereren dat symmetrische divergenties (bijv. Jensen-Shannon, Jeffreys) die als optimalisatiedoelen worden gebruikt, de prestaties kunnen verbeteren. Het toepassen van symmetrische divergenties op BRPO brengt echter twee significante theoretische en praktische hindernissen met zich mee:

Gebrek aan gesloten vormoplossingen: Wanneer ze als regularisatoren ( $D_{Reg}$ ) worden gebruikt, laten symmetrische divergenties over het algemeen geen analytische expressie toe voor het optimale geregulariseerde beleid ( $\pi^*$ ), waardoor de eerste stap van BRPO onhandelbaar wordt.
Numerieke instabiliteit: Directe optimalisatie van symmetrische divergenties ( $D_{Opt}$ ) kan leiden tot numerieke problemen, met name wanneer beleidsregels een eindige ondersteuning hebben of ver uit elkaar liggen, wat ervoor zorgt dat gradiënten verdwijnen of exploderen.
Geometrische mismatch: Bestaande methoden die symmetrische divergenties gebruiken voor optimalisatie ( $D_{Opt}$ ) terwijl ze de asymmetrische KL behouden voor regularisatie ( $D_{Reg}$ ), lijden aan een mismatch in projectiegeometrie. Deze inconsistentie leidt tot suboptimale beleidsupdates omdat het optimalisatielandschap van de symmetrische loss niet overeenkomt met het doelbeleid gedefinieerd door de asymmetrische regularisator.

Methodologie

Het artikel stelt een nieuw framework voor om Symmetric BRPO mogelijk te maken door elke $f$ -divergentie weer te geven als een oneindige reeks Pearson-Vajda divergenties.

1. Universeel BRPO-framework via de Pearson-Vajda-reeks

De auteurs stellen vast dat elke $f$ -divergentie-regularisatie equivalent kan worden geformuleerd als een oneindige reeks Pearson-Vajda $\chi$ -divergenties:
$D_f(\pi || \pi_D) = \sum_{n=0}^{\infty} \frac{f^{(n)}(1)}{n!} \chi_n(\pi || \pi_D)$
waarbij $\chi_n$ de $n$ -de orde Pearson-Vajda divergentie vertegenwoordigt.

2. Eindige-reeks benadering voor handelbaarheid

Om het gebrek aan closed-form oplossingen te overwinnen, breken de auteurs de oneindige reeks af naar een eindig aantal termen ( $N_{Reg}$ ).

Closed-Form Beleid: Door de reeks af te breken bij $N_{Reg} < 5$ (specifiek wordt $N_{Reg}=2$ gebruikt voor de eenvoud), staat het geregulariseerde optimale beleid $\pi^*$ een closed-form expressie toe. Voor $N_{Reg}=2$ neemt het beleid de vorm aan:
$\pi^*(a|s) = \mu(a|s) \left[ 1 + \frac{Q(s,a) - \alpha(s)}{2\tau} \right]_+$
Deze expressie filtert van nature acties met een lage waarde (via de $[\cdot]_+$ operator), waardoor out-of-distribution (OOD) gedrag wordt gecontroleerd.
Numeriek Stabiele Surrogaat: Om numerieke instabiliteit in optimalisatie aan te pakken, leiden de auteurs een surrogaatdoelstelling ( $\hat{D}_{Opt}$ ) af die de symmetrische divergentie ontkoppelt in een KL-achtige term en een conditionele symmetrie term. De symmetrie term wordt benaderd via een Taylor-reeks expansie van de conditionele symmetrie functie $g(t)$ , waardoor het directe berekenen van ratio's die instabiliteit veroorzaken, wordt vermeden.
$\hat{D}_{Opt}(\theta) = \mathbb{E} \left[ -\left[ 1 + \frac{Q(s,a) - V(s)}{\tau} \right]_+ \ln \pi_\theta(a|s) \right] + \mathbb{E} \left[ \sum_{n=2}^{N_{Loss}} \frac{f^{(n)}(1)}{n!} \left( \frac{\pi^*(a|s)}{\pi_\theta(a|s)} - 1 \right)^n \right]$

3. Symmetric f-Actor-Critic (Sf-AC)

Het artikel introduceert het Sf-AC algoritme, dat het bovenstaande framework implementeert. Het maakt gebruik van de eindige-reeks benadering om het optimale beleidsdoel te berekenen en minimaliseert de stabiele surrogaat loss. Het algoritme zorgt ervoor dat zowel de regularisatie- als de optimalisatiedoelen dezelfde symmetrische divergentie gebruiken, waardoor de projectiegeometrie wordt uitgelijnd.

Belangrijkste Bijdragen

Theoretische Analyse van Symmetric BRPO: Dit artikel is het eerste dat systematisch de symmetrische BRPO bestudeert. Het toont via didactische voorbeelden aan dat symmetrische divergenties beter presteren dan asymmetrische divergenties op het gebied van:
- Het mitigeren van eenzijdige bias in support gaps.
- Het verbeteren van het gedrag van beleid nabij actiegrenzen onder clipping (het verminderen van lekkage van waarschijnlijkheidsmassa).
- Het waarborgen van de consistentie van de projectiegeometrie tussen $D_{Reg}$ en $D_{Opt}$ .
Resolutie van Onhandelbaarheid: De auteurs bewijzen dat het afbreken van de Pearson-Vajda reeks een closed-form optimale beleidsexpressie toestaat (Theorem 4), wat het probleem oplost waarbij symmetrische divergenties voorheen geen analytische oplossingen misten.
Stabiele Optimalisatie Surrogaat: Een nieuwe optimalisatiedoelstelling wordt afgeleid (Theorem 5) die de numerieke instabiliteiten die geassocieerd worden met vanilla symmetrische divergenties (bijv. Jensen-Shannon) vermijdt, terwijl een nauwe bovengrens op de benaderingsfout wordt gehandhaafd (Theorem 6).
Empirische Validatie: Het voorgestelde Sf-AC algoritme wordt geëvalueerd op de D4RL benchmark (MuJoCo, Adroit, Maze2D).

Resultaten

Benchmark Prestaties: Op de D4RL MuJoCo suite bereikt Sf-AC met Jensen-Shannon divergentie consequent top-tier prestaties, waarbij het vaak sterke baselines zoals XQL, IQL en AWAC verslaat over verschillende moeilijkheidsgraden (Medium, Medium-Expert, Medium-Replay).
Uitdagende Omgevingen: Op de moeilijke Adroit en Maze2D benchmarks behoort Sf-AC tot de top performers, wat robuustheid demonstreert in hoogdimensionele continue controle en sparse reward settings.
Grensbereik Gedrag: Experimenten bevestigen dat Sf-AC de waarschijnlijkheidsmassa effectiever binnen het toegestane actiebereik houdt dan KL-geregulariseerde methoden (zoals AWAC), die de neiging hebben massa buiten de grenzen te "spillen", wat leidt tot suboptimale geklipte beloningen.
Hyperparameter Robuustheid: De methode blijkt robuust te zijn voor het aantal termen ( $N_{Loss}$ ) dat in de eindige benadering wordt gebruikt, waarbij redelijke prestaties worden waargenomen voor $N_{Loss} \in \{2, \dots, 6\}$ .

Betekenis en Claims

Het artikel claimt de eerste te zijn die succesvol Symmetric Behavior Regularized Policy Optimization heeft afgeleid en geïmplementeerd. De betekenis ligt in:

Correctie van een Suboptimale Praktijk: Het identificeert en lost de suboptimaliteit op van het mengen van asymmetrische regularisatie met symmetrische optimalisatie, door aan te tonen dat het matchen van het divergentietype cruciaal is voor geometrische consistentie.
Brug Slaan tussen Theorie en Praktijk: Door een universeel framework te bieden op basis van de Pearson-Vajda reeks, maakt het artikel symmetrische divergenties (die voorheen als onhandelbaar werden beschouwd voor BRPO) computationeel haalbaar en numeriek stabiel.
Prestatiewinsten: De resultaten suggereren dat symmetrische divergenties een superieure afweging bieden tussen het gedragbeleid en actiewaarden, met name bij het afhandelen van randvoorwaarden en support gaps, wat leidt tot robuustere offline RL-agenten.

De auteurs merken een beperking op: de oneindige reeks representatie vereist dat de beleidsratio dicht bij de convergentieradius blijft (afgedwongen via PPO-stijl clipping), en toekomstig werk is nodig om de berekening van de beleidsratio volledig te vermijden.