🤖 machine learning

Stochastic Decision Horizons for Constrained Reinforcement Learning

Dit artikel introduceert Stochastic Decision Horizons (SDH), een theoretisch onderbouwd raamwerk dat in beperkt reinforcement learning voor elke stap naleving van beperkingen garandeert door schendingen te modelleren als effectieve verkorting van het horizon, wat leidt tot nieuwe off-policy algoritmen zoals VT-MPO die superieure beloning-schending trade-offs en trainingsstabiliteit bereiken in vergelijking met state-of-the-art methoden.

Oorspronkelijke auteurs: Nikola Milosevic, Leonard Franz, Daniel Haeufle, Georg Martius, Nico Scherf, Pavel Kolev

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikola Milosevic, Leonard Franz, Daniel Haeufle, Georg Martius, Nico Scherf, Pavel Kolev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert lopen. Op de oude manier (genaamd Beperkte MDP's of CMDP's) geef je de robot een "budget" aan fouten die het mag maken. Denk hierbij aan een creditcard: "Je mag 10 keer op het gras stappen voordat je in de problemen komt." De robot loopt misschien een tijdje voorzichtig, neemt dan een enorm risico, stapt 9 keer achter elkaar op het gras en is nog steeds "veilig" omdat het limiet nog niet is bereikt. Dit werkt voor zaken als brandstofverbruik, maar het is gevaarlijk voor situaties waarbij een robot omvalt of de hartslag van een patiënt piekt, waarbij één slechte stap direct tot een ramp leidt.

Dit artikel stelt een nieuwe manier voor om robots te leren, genaamd Stochastische Beslissingshorizons (SDH). In plaats van een creditcard-budget behandelt SDH elke stap als een "overlevingscontrole".

De Kernidee: De "Fragiele Glas" Analogie

Stel je voor dat de robot loopt op een vloer van fragiel glas.

De Oude Manier (Budget): De vloer heeft een teller. Als de robot te hard stapt, gaat de teller omhoog. Zolang de teller onder de 10 blijft, is de robot in orde. Het kan leren om wild rond te springen, in de hoop het limiet niet te bereiken.
De Nieuwe Manier (SDH): Elke keer als de robot een stap zet, is er een kans dat het glas barst. Als de stap veilig is, blijft het glas sterk. Als de stap gevaarlijk is (een "schending"), wordt het glas iets fragieler. Als de robot een echt slechte stap zet, kan het glas volledig breken en eindigt het "leven" van de robot in die specifieke trainingsrun direct.

Bij SDH voegt een schending niet alleen een punt toe aan een score; het verkort de toekomst van de robot. Als de robot weet dat een slechte stap zijn "leven" nu direct kan beëindigen, leert het om elke keer voorzichtig te zijn, niet alleen wanneer het dicht bij zijn budgetlimiet is.

Twee Manieren om met een "Gebarsten Glas" Om te Gaan

Het artikel onderzoekt twee verschillende filosofieën over wat er gebeurt nadat het glas barst (een schending optreedt):

De "Absorberende Staat" (AS-SAC): Stel je voor dat het glas breekt en de robot in een zwart gat valt. Het stopt volledig met het nemen van beslissingen. Het is game over voor die specifieke poging. De robot leert dat als het een fout maakt, het alle toekomstige beloningen verliest. Dit is als een "harde stop".
De "Virtuele Beëindiging" (VT-MPO): Stel je voor dat het glas barst en de robot nog steeds staat, maar nu "spookachtig" is. Het kan nog steeds zijn benen bewegen en beslissingen nemen, maar het kan geen punten (beloningen) meer verdienen voor zijn acties. Het is als het spelen van een videospel waarbij je nog in leven bent, maar je score op nul is bevroren. De robot blijft bewegen, maar leert dat slechte zetten zijn toekomst waardeloos maken.

Het artikel concludeert dat de tweede methode (VT-MPO) vaak stabieler en makkelijker te trainen is, vooral voor complexe taken.

De Grote Doorbraak: Realistisch Lopen

De auteurs hebben dit getest op een zeer complexe, realistische mensachtige robot met 90 spieren (genaamd H2190). Het leren van deze robot om natuurlijk te lopen zonder te vallen of zichzelf te verwonden, is een enorme uitdaging.

Het Probleem: Eerdere methoden probeerden "snel lopen" en "minder energie gebruiken" in evenwicht te brengen door constant de regels te veranderen (zoals een leraar die schreeuwt: "Loop sneller!" en dan "Langzamer!"). Dit maakte de training van de robot onstabiel en duurde lang.
Het Resultaat: Met behulp van SDH (specifiek de VT-MPO-methode) leerde de robot net zo realistisch te lopen als de beste eerdere methoden, maar deed het dit 4 keer sneller en met veel stabielere training. Het had geen constante regelwijzigingen nodig; het leerde gewoon dat slechte stappen zijn toekomst verkorten, waardoor het van nature een veilige, efficiënte manier van lopen vond.

Wanneer Werkt Dit? (De "Enkele Schaal" Regel)

Het artikel legt ook uit wanneer deze methode het beste werkt.

Het werkt geweldig als de gevaren consistent zijn. Bijvoorbeeld, als elke keer dat de robot te hard stapt, het een "gemiddeld" risico is dat zijn leven een beetje verkort. Dit is als lopen op een vloer waar elke losse tegel even gevaarlijk is.
Het strijdt als de gevaren gemengd zijn. Stel je een vloer voor waar 99% van de tijd, als je op een tegel stapt, er niets gebeurt, maar 1% van de tijd, als je op een tegel stapt, het hele gebouw ontploft. De "overlevings"methode vangt deze zeldzame, enorme explosie misschien niet omdat het gewend is aan kleine, frequente barsten. In deze gevallen kan de oude "budget"-methode nog steeds nodig zijn.

Samenvatting

Dit artikel introduceert een slimmere manier om robots veiligheid te leren. In plaats van hen een "budget" voor fouten te geven, leert het hen dat elke fout hun toekomst verkort. Dit dwingt hen om bij elke enkele stap veilig te zijn, wat leidt tot snellere, stabielere learning voor complexe taken zoals realistisch menselijk lopen.

Technische Samenvatting: Stochastische Besliskansen voor Beperkt Versterkend Leren

Probleemstelling

Versterkend leren (RL) voor real-world regelsystemen (bijvoorbeeld robotica, biomechanica, medische processen) vereist vaak het voldoen aan instantane beperkingen op elk tijdstip. Een enkele diepe overtreding kan hardwarebeschadiging, patiëntschade of controller-instabiliteit veroorzaken. Het standaardkader voor beperkt RL, het Beperkte Markov Beslissingsproces (CMDP), optimaliseert voor een cumulatieve kostenbegroting. Hoewel effectief voor globale begrotingen (bijvoorbeeld totale brandstofverbruik), kampen CMDP's met problemen bij instantane haalbaarheid. Het coderen van een limiet per stap in een cumulatieve begroting dwingt de begroting extreem klein te zijn, een regime waarin bestaande CMDP-algoritmen vaak falen om te convergeren of effectief te leren.

Het artikel stelt Stochastische Besliskansen (SDH) voor als een theoretisch onderbouwde alternatief. In plaats van een begroting te verbruiken bij overtreding, behandelt SDH een beperkingsovertreding als een instantaan (on)haalbaarheidssignaal dat de effectieve planningshorizon probabilistisch verkort.

Methodologie

1. Stochastische Besliskansen (SDH)

SDH herformuleert het beperkte probleem als een overlevingskans-probleem.

Mechanisme: Er wordt een overlevingskans voor staat-actie $\alpha(s, a) \in [0, 1]$ geïntroduceerd. Als een beperking wordt overtreden, daalt $\alpha$ , waardoor de kans dat de traject voortduurt, afneemt.
Doel: De agent maximaliseert de verwachte beloning op een willekeurig geometrisch eindtijdstip $T_\gamma$ , voorwaardelijk op het feit dat het traject tot dat punt heeft overleefd.
Bellman-formulering: Dit leidt tot een gewijzigde Bellman-vergelijking met gevormde beloningen en staat-actie-afhankelijke kortingen:
- $\tilde{r}(s, a) = \alpha(s, a) r(s, a)$
- $\tilde{\gamma}(s, a) = \gamma \alpha(s, a)$
Duale variabele: De Lagrange-duale variabele $\eta$ fungeert als een overlevingsbonus die aan de beloning wordt toegevoegd ( $r + \eta$ ) in plaats van als kostenstraf. Dit moedigt beleidsplannen aan die een hoge overlevingskans behouden.

2. Control as Inference (CaI) en Regularisatie

Om off-policy, geregulariseerde algoritmen af te leiden, gebruiken de auteurs Control as Inference. Zij identificeren twee verschillende semantische interpretaties van wat er gebeurt na een beperkingsovertreding, wat leidt tot twee verschillende regularisatoren:

Absorberende-Staat (AS) Semantiek: Het beslissingsproces stopt onmiddellijk bij overtreding. Alleen overlevende beslissingen dragen bij aan de informatiekost (KL-divergentie/entropie).
- Algoritme: AS-SAC (Absorberende-Staat Soft Actor-Critic).
- Regularisator: Maximum-entropie, maar alleen gewogen door de overlevende beslissingsmassa. Dit resulteert in een variabele-korting zachte Bellman-recursie.
Virtuele-Eindiging (VT) Semantiek: Het beslissingsproces gaat door, maar de kredietverlening voor beloning stopt. De agent blijft handelen op de onderliggende MDP, maar toekomstige beloningen worden geblokkeerd door overleving.
- Algoritme: VT-MPO (Virtuele-Eindiging Maximum a Posteriori Policy Optimization).
- Regularisator: KL-geregulariseerde beleidsverbetering op de gewone gekorte horizon, gekoppeld aan een overlevingsgevormde criticus.

3. Theoretische Link naar CMDP's

Het artikel introduceert overtredingsdiepte-profielen om de relatie tussen SDH en additieve-begroting CMDP's te karakteriseren.

Eén-schaal Regime: Als overtredingen voorkomen op één karakteristieke schaal (bijvoorbeeld frequente ondiepe overtredingen of zeldzame diepe overtredingen die een specifieke verdeling volgen), lost SDH effectief de overeenkomstige additieve-begroting CMDP op.
Meerdere-schaal Regime: Als het overtredingsprofiel schalen mengt (bijvoorbeeld frequente ondiepe overtredingen naast zeldzame diepe overtredingen), divergeren SDH- en CMDP-doelen. SDH kan exacte begrotingsbewuste haalbaarheidsregels niet reproduceren zonder de toestandsruimte te verrijken met geschiedenis.

Belangrijkste Bijdragen

Formalisatie van SDH: De auteurs formaliseren algemene voortzettingmodellen $\alpha(s, a)$ als Bellman-consistente overlevingsbezettingspatronen. Zij bewijzen dat SDH de vaste-duale Lagrange-vorm is van een stochastisch overlevingskans-probleem.
Geregulariseerde Off-Policy Algoritmen: Zij leiden de eerste off-policy, geregulariseerde algoritmen af voor instantane beperkingen: AS-SAC (max-entropie) en VT-MPO (KL-geregulariseerd). Beide zijn compatibel met ervaringherhaling.
Theoretische Scope-analyse: Via overtredingsdiepte-profielen schetsen zij precies wanneer SDH een additieve-begroting CMDP oplost (één-schaal overtredingen) en wanneer niet (meerdere-schaal overtredingen).
State-of-the-Art Biomechanische Controle: Zij passen VT-MPO toe op hoog-trouwheid musculoskeletale modellen en lossen het langdurige probleem van de afweging tussen inspanning en snelheid bij gang op als een vast instantane beperkingsprobleem.

Experimentele Resultaten

1. Hyfydy (Musculoskeletale Controle)

Opstelling: Training op drie humanoid modellen (H0918, H1622, H2190) met tot 90 spieren.
Vergelijking: Vergelijken met Effort Weight Adaptation (EWA), de state-of-the-art domeinspecifieke methode die adaptieve beloningherweging gebruikt.
Resultaten:
- Stabiliteit: VT-MPO convergeert naar stabiel lopen met aanzienlijk minder oscillaties dan EWA, die lijdt onder niet-stationaire beloningssignalen.
- Stapel-efficiëntie: VT-MPO bereikt state-of-the-art gangrealisme met 4 $\times$ minder omgevingsstappen (bijvoorbeeld het bereiken van piekprestaties op H2190 in 21M stappen versus 90M voor EWA).
- Realisme: Beide methoden bereiken vergelijkbare gang-matchpercentages (ongeveer 63-76%), maar VT-MPO bereikt deze pieken veel sneller en met strakkere beperkingen (snelheid, Grondreactiekrachten, gewrichtsmomenten).

2. Safety Gymnasium (Scope-test)

Opstelling: Geëvalueerd op locomotie- en navigatietaken met gestandaardiseerde kostensignalen.
Vondsten:
- Eén-schaal Taken (bijvoorbeeld AntVelocity): SDH (VT-MPO en AS-SAC) bereikt sterke beloning-kosten afwegingen, presteert beter dan onbeperkte baselines en komt overeen met beperkte baselines met hogere stap-efficiëntie.
- Meerdere-schaal Taken (bijvoorbeeld PointGoal, CarButton): De theorie voorspelt correct falen. In taken waarbij de agent enige beperkingsovertreding moet opofferen om een doel te bereiken (meerdere-schaal overtredingsprofielen), faalt SDH ofwel om beperkingen te voldoen of lijdt het aan catastrofale beloningsdegradatie. Dit bevestigt de theoretische beperking dat SDH geen universele solver is voor willekeurige additieve-begroting CMDP's.

Betekenis en Claims

Het artikel stelt dat Stochastische Besliskansen een complementaire ontwerpas bieden voor beperkt RL: vorm de horizon in plaats van een begroting af te stemmen.

Praktische Impact: SDH biedt een principiële manier om instantane beperkingen aan te pakken waar een enkele overtreding catastrofaal is, waardoor de instabiliteit van adaptieve beloningherweging (zoals EWA) en de moeilijkheid om kleine begrotingen in CMDP's in te stellen, worden vermeden.
Theoretisch Inzicht: Het werk verduidelijkt dat instantane beperkingen en cumulatieve begrotingen verschillende doelen zijn die alleen samenvallen onder specifieke geometrische voorwaarden (één-schaal overtredingsprofielen).
Algoritmische Vooruitgang: Het biedt de eerste geregulariseerde off-policy algoritmen (AS-SAC, VT-MPO) die specifiek zijn ontworpen voor instantane beperkingen, waardoor stabiele training mogelijk wordt op hoog-dimensionale, complexe systemen zoals 90-spier humanoiden.

De auteurs benadrukken dat hoewel SDH geen universele vervanging is voor CMDP's, het de exacte oplossing is voor overlevingskans-problemen en superieure stabiliteit en stap-efficiëntie biedt in regimes waar haalbaarheid per stap de primaire zorg is.