🤖 AI

Composing Reinforcement Learning Policies, with Formal Guarantees

Dit artikel stelt een nieuw raamwerk voor dat reactieve synthese voor hoogwaardige planning combineert met een reinforcement learning-aanpak voor laagwaardige beleidstraining op latente structuren om controllers te componeren voor complexe, twee-niveau omgevingen, terwijl het formele prestatiegaranties biedt zonder dat modeldistillatie vereist is.

Oorspronkelijke auteurs: Florent Delgrange, Guy Avni, Anna Lukina, Christian Schilling, Ann Nowé, Guillermo A. Pérez

Gepubliceerd 2026-08-06

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Florent Delgrange, Guy Avni, Anna Lukina, Christian Schilling, Ann Nowé, Guillermo A. Pérez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren navigeren door een gigantisch, verschuivend doolhof. Dit is niet zomaar een simpel doolhof; dit is een wereld waar de muren kunnen bewegen, de vloer kan veranderen en de robot beslissingen moet nemen in een fractie van een seconde om een botsing met vliegende obstakels te vermijden. Dit is de wereld van Reinforcement Learning (RL), een tak van kunstmatige intelligentie waarbij agenten leren door vallen en opstaan, net zoals een hond leert om te zitten voor een snoepje. Het doel is om een "policy" te vinden — een set regels die de agent vertelt wat hij in elke situatie moet doen om het beste resultaat te behalen.

Er is echter een addertje onder het gras. Hoewel RL uitstekend is in leren van ervaring, is het berucht slecht in het geven van garanties. Als je een standaard RL-robot vraagt: "Weet je 100% zeker dat je niet tegen die heftruck aanrijdt?", kan hij meestal niet met een wiskundig "ja" antwoorden. Hij zegt misschien: "Ik denk dat het wel goed gaat," maar in veiligheidskritische banen zoals het besturen van auto's of het beheren van elektriciteitsnetten, is "ik denk" niet goed genoeg. Dit is waar formele verificatie in beeld komt. Het is als een strikt wiskundig bewijs dat zegt: "Onder deze specifieieve omstandigheden is deze actie gegarandeerd veilig." De uitdaging waar wetenschappers voor staan, is dat deze twee werelden — leren van ervaring en wiskundig bewijs — meestal niet met elkaar opschuiven. Leren vereist enorme, chaotische data, terwijl bewijzen nette, eenvoudige modellen vereisen. Dit artikel stapt in deze chaotische intersectie om te zien of we beide kunnen hebben: een robot die de moeilijke dingen leert, maar nog steeds met een veiligheidscertificaat komt.

Het Grote Idee: De Kaart en de Kamers

De auteurs, een team van onderzoekers uit België, Israël, Nederland, Denemarken en het VK, stellen een slimme manier voor om het probleem in tweeën te splitsen. Stel je een enorme loods voor. Het hoog-niveau overzicht is een simpele kaart: een raster van kamers verbonden door deuren. Je kent de kaart perfect. Je weet dat Kamer A verbonden is met Kamer B, en Kamer B met de uitgang. Maar binnen in elke kamer? Dat is een mysterie. De "dynamiek" (hoe dingen bewegen, waar de obstakels zijn) is onbekend en chaotisch.

De auteurs noemen dit een twee-niveau structuur.

Het Hoog Niveau (De Kaart): Dit is het gemakkelijke deel. Het is slechts een grafiek van kamers en deuren.
Het Laag Niveau (De Kamers): Dit is het moeilijke deel. Binnen in elke kamer moet de agent wieltjes, arbeiders of andere robots ontwijken. De regels hier zijn complex en onbekend.

De belangrijkste truc van het artikel is "separation of concerns" (scheiding van verantwoordelijkheden). Ze gebruiken twee verschillende instrumenten voor de twee verschillende niveaus. Voor de kaart op hoog niveau gebruiken ze Reactive Synthesis. Zie dit als een superintelligente, logische planner die naar de kaart kan kijken en een reeks regels (zoals "Bereik de uitgang zonder iets te raken") en wiskundig het beste pad kan bewijzen. Het is als een GPS die nooit verdwaalt omdat hij over een perfecte kaart beschikt.

Maar de GPS kan de robot niet vertellen hoe hij een heftruck moet ontwijken binnen een kamer. Hiervoor gebruiken ze Reinforcement Learning (RL). De robot leert door simulaties te draaien binnen elke kamer, waarbij hij uitzoekt hoe hij van de ingang naar de uitgang komt zonder te crashen. Het probleem is dat standaard RL een "black box" is — je weet niet precies hoe het werkt, en je kunt niet bewijzen dat het veilig is.

De Magische Truc: De "Latente" Afkorting

Hier wordt het artikel echt interessant. In plaats van de robot simpelweg een rommelig, gigantisch neuraal netwerk (een brein gemaakt van wiskunde) te laten leren voor elke kamer, leren de auteurs de robot een beknopte latente model te leren.

Stel je voor dat je een chaotische kamer vol bewegende obstakels aan een vriend probeert te beschrijven. Je zou kunnen proberen elke beweging van elk object te beschrijven, wat eeuwig zou duren en onmogelijk te onthouden is. Of je kunt een vereenvoudigde schets (het "latente model") maken die de essentie van de kamer vangt: "Als ik naar links ga, raak ik meestal een muur; als ik naar rechts ga, vind ik meestal de deur."

De auteurs ontwikkelden een nieuwe trainingsmethode genaamd WAE-DQN. Dit is een chique naam voor een proces waarbij de robot twee dingen tegelijkertijd leert:

Hoe te handelen (de policy).
Hoe de vereenvoudigde schets te tekenen (het latente model).

Cruciaal is dat ze niet zomaar een schets raden; ze berekenen een garantie over hoe goed de scheks is. Ze gebruiken iets dat PAC bounds (Probably Approximately Correct) wordt genoemd. Denk hierbij aan een "vertrouwensscore". Het zegt niet: "Deze schets is perfect." Het zegt: "We zijn voor 95% zeker dat deze schets binnen 1% van het werkelijke gedrag van de kamer ligt."

Alles Samenbrengen: De Planner

Zodra de robot deze vereenvoudigde schetsen en de "vertrouwensscores" voor elke kamer heeft geleerd, komt de hoog-niveau planner in actie. De planner kijkt naar de kaart en de schetsen. Hij vraagt: "Als ik de robot in Kamer A stuur en hem vertel dat hij naar rechts moet gaan, wat is de kans dat hij de deur haalt?" Hij gebruikt de vertrouwensscores van de schetsen om dit wiskundig te beantwoorden.

Omdat de planner de "veiligheidsmarge" van elke schets van de kamer kent, kan hij een globaal plan opstellen dat wiskundig gegarandeerd werkt, ook al heeft de robot de details van de kamers geleerd door middel van vallen en opstaan.

De Experimenten: Werkt het?

Het team testte dit idee in twee zeer verschillende werelden:

Een Grid World: Een digitaal doolhof met bewegende vijanden.
ViZDoom: Een videogame-omgeving (gebaseerd op de klassieke Doom) waar de robot moet navigeren met visuele input (zoals een camera) terwijl hij vijanden ontwijkt.

In de Grid World creëerden ze een doolhof met 9 kamers en 11 bewegende vijanden. Standaard AI (met een methode genaamd DQN) had moeite om een goed pad te leren en liep vaak vast of crashte. Maar de nieuwe methode? Die leerde succesvol te navigeren. Nog indrukwekkender: ze testten het op een veel groter doolhof met 49 kamers en 47 vijanden. De robot kon, gebruikmakend van dezelfde geleerde "schetsen" van de kleine kamers, het enorme doolhof succesvol navigeren. Dit bewijst de "herbruikbaarheid" van hun aanpak: zodra je leert hoe je met een bepaald type kamer omgaat, kun je die kennis gebruiken in elke soortgelijke kamer, ongeacht hoe groot de kaart wordt.

In het ViZDoom-experiment moest de robot omgaan met visuele input en schietende vijanden. De resultaten lieten zien dat de "latente waarden" (de voorspellingen gemaakt door de vereenvoudigde schetsen) heel dicht bij wat er werkelijk gebeurde in het spel lagen. Bijvoorbeeld, wanneer de robot een kans van 24% op succes voorspelde in een specifiek scenario, lag het werkelijke succespercentage rond de 23%. Deze nabijheid bewijst dat de "schetsen" nauwkeurig genoeg waren om op te vertrouwen.

Waarom Dit Belangrijk Is

De grootste overwinning hier is niet alleen dat de robot beter werd in het spel. Het is dat de robot beter werd met een veiligheidscertificaat.

In het verleden, als je wilde dat een robot door een complexe omgeving navigeerde, moest je kiezen tussen:

Veiligheid: Het gebruik van een simpel model waarbij je alles kunt bewijzen, maar de robot te dom is om met echte wereldchaos om te gaan.
Vaardigheid: Het gebruik van een krachtige lerende robot die met chaos kan omgaan, maar waarbij je geen idee hebt of hij zal crashen.

Dit artikel laat een derde weg zien. Door de "kaart" te scheiden van de "kamers", en door de robot te leren vereenvoudigde, geverifieerde schetsen van de kamers te maken, hebben ze een systeem gecreëerd dat zowel slim is (het kan omgaan met bewegende obstakels en visuele input) als veilig (het komt met wiskundige garanties).

De auteurs geven toe dat hun methode nog steeds een "kaart" van de omgeving nodig heeft om mee te beginnen. Ze kunnen een robot niet in een volkomen onbekende wereld gooien en verwachten dat hij de kaart vanaf nul opbouwt. Maar voor omgevingen waarvan we de lay-out kennen (zoals een magazijn, een stadsraster of een softwaresysteem), maar niet de details van wat er in de kamers gebeurt, biedt deze aanpak een krachtig nieuw instrument. Het verandert de "black box" van leren in een "glass box" die we kunnen inspecteren, verifiëren en vertrouwen.

Technische Samenvatting: Het componeren van Reinforcement Learning-policies, met formele garanties

Probleemformulering
Het artikel behandelt de uitdaging van het construeren van controle-policies voor omgevingen met een tweelagige structuur: een bekende hoog-niveau graaf ("kaart") waarbij elk knooppunt wordt bevolkt door een Markov Decision Process (MDP) met onbekende dynamiek, ook wel een "kamer" genoemd. Het doel is om een lang-horizon taak te vervullen die gespecificeerd is als een logische formule over de hoog-niveau kaart (bijv. "bereik uiteindelijk knooppunt $T$ ") terwijl men door deze kamers navigeert.

De kernmoeilijkheid ligt in de afweging tussen schaalbaarheid en formele garanties. Traditionele reactieve synthese kan formele garanties bieden voor hoog-niveau taken, maar vereist expliciete modellen van de gehele omgeving, wat onhaalbaar is wanneer de kamer-dynamiek onbekend of hoog-dimensionaal is. Omgekeerd kan Reinforcement Learning (RL) omgaan met onbekende, hoog-dimensionale dynamiek, maar mist het over het algemeen formele garanties en heeft het moeite met ijle beloningen (sparse rewards) in lang-horizon taken. De auteurs stellen een raamwerk voor dat "zorgen scheidt" door reactieve synthese toe te passen voor de hoog-niveau planner en een nieuwe RL-procedure voor laag-niveau controle, met als doel de schaalbaarheid van RL te combineren met de formele garanties van synthese.

Methodologie
Het raamwerk levert een tweelagige controller op die bestaat uit een collectie laag-niveau policies ( $\Pi$ ) en een hoog-niveau planner ( $\tau$ ).

Laag-niveau leren (WAE-DQN):
In plaats van direct een policy te trainen op de ruwe omgeving en deze vervolgens te distilleren naar een model (een veelvoorkomende tweestapsbenadering), stellen de auteurs een verenigde, eenstapsprocedure voor genaamd WAE-DQN. Deze methode traint gelijktijdig:
- Een latente policy ( $\pi$ ) met behulp van Deep Q-Networks (DQN).
- Een beknopte latente model (een kleine MDP) met behulp van Wasserstein Auto-Encoded MDP's (WAE-MDP's).
Het latente model abstraheert de toestandruimte van de kamer via een embedding functie $\phi$ . De trainingsdoelstelling minimaliseert een transitie-verlies ( $L_P$ ), dat de discrepantie meet tussen de transitiedynamiek van de oorspronkelijke omgeving en het latente model onder de policy. Dit proces levert "Probably Approximately Correct" (PAC) garanties op de kwaliteit van de abstractie en de prestaties van de policy zonder een aparte distillatiestap.
Hoog-niveau Synthese:
Gegeven een kaart, een set geleerde laag-niveau policies (één voor elke kamer en uitgangsrichting), en een hoog-niveau specificatie, synthetiseert de auteur een planner.
- Zij construeren een beknopte MDP ( $M^G_\Pi$ ) waarbij toestanden de richting van binnenkomst in een kamer vertegenwoordigen, en acties de keuze van de volgende uitgangsrichting vertegenwoordigen.
- Transitie-kansen in dit beknopte model worden gedefinieerd door de verwachte waarden (succeskansen) van de laag-niveau latente policies.
- Een standaard planner wordt gesynthetiseerd op dit beknopte model om de hoog-niveau doelstelling te maximaliseren.
Garanties Verheffen (Lifting Guarantees):
Een cruciale theoretische bijdrage is het bewijs dat lokaal geleerde garanties voor elke kamer kunnen worden "verhoogd" naar de globale tweelagige controller. De auteurs tonen aan dat als de initiële distributie van elke kamer tijdens de training voldoende toestand-dekking biedt, de verschilwaarden tussen de echte omgeving en de geabstraheerde controller begrensd zijn. Dit stelt de PAC-bounds op individuele kamer-abstracties in staat om te vertalen naar formele garanties voor de globale planner.

Belangrijkste Bijdragen
Het artikel beschrijft drie theoretische bijdragen:

Leergaranties voor laag-niveau policies: De auteurs stellen een grens vast (Theorem 1) op het verschil tussen de waarden van het latente model en de echte omgeving op basis van het transitie-verlies ( $L_P$ ). Ze bewijzen verder (Theorem 2) dat deze bounds PAC-leerbaar zijn, wat een methode biedt om de steekproefcomplexiteit te berekenen voor het bereiken van een gewenste nauwkeurigheid.
Garanties op de gesynthetiseerde controller: Het artikel bewijst geheugenbounds voor de optimale hoog-niveau planner (Theorem 3), waarbij wordt aangetoond dat een planner met een geheugengrootte proportioneel aan het aantal knooppunten in de kaart voldoende is. Bovendien demonstreren zij (Theorem 4) dat het vinden van een optimale planner equivalent is aan het oplossen van een MDP waarvan de grootte alleen afhangt van de kaartstructuur, waarbij de potentieel enorme grootte van de individuele kamers effectief wordt genegeerd.
Verenigde Leer- en Synthesegaranties: De auteurs tonen aan (Theorem 5) dat het minimaliseren van de verliesfunctie om abstracties onafhankelijk voor elke kamer te leren, garandeert dat de waarden verkregen door de samengestelde tweelagige controller nauw overeenkomen met die in de echte omgeving. Dit valideert de "separation of concerns"-benadering.

Resultaten en Casestudies
De auteurs valideren hun raamwerk via twee casestudies waarbij een agent door omgevingen navigeert met bewegende adversariële obstakels:

Grid World: Een schaalbare grid-omgeving met variërende aantallen kamers en adversaries. Standaard DQN met reward shaping had moeite om policies te vinden, terwijl de voorgestelde WAE-DQN erin slaagde laag-niveau reach-avoid doelstellingen te leren.
ViZDoom: Een visuele omgeving die gebruikmaakt van de Doom game engine, met complexe visuele inputs en stochastisch gedrag van adversaries.

In beide studies bereikte de gesynthetiseerde tweelagige controller hoge succes-kansen, wat het vermogen van de aanpak demonstreert om de uitdagingen van ijle beloningen (sparse rewards) te overwinnen. De voorspelde waarden in de latente modellen kwamen nauw overeen met de empirische waarden waargenomen in de echte omgevingen, wat de kwaliteit van de geleerde abstracties bevestigt. Opvallend genoeg bleken de laag-niveau policies herbruikbaar te zijn; dezelfde set policies die getraind was op een kleinere configuratie, functioneerde effectief wanneer de omgeving werd opgeschaald (meer kamers/adversaries) zonder de laag-niveau componenten opnieuw te trainen.

Betekenis
Het artikel beweert dat het primaire voordeel is dat het formele garanties biedt voor controllers in omgevingen waar traditionele synthese niet schaalt vanwege onbekende of complexe laag-niveau dynamiek. Door de hoog-niveau planning (behandeld door synthese) te scheiden van de laag-niveau controle (behandeld door RL met PAC-garanties), vermindert het raamwerk de engineeringlast van reward shaping tot enkel lokale taken. Het biedt een oplossing voor het probleem van ijle beloningen in RL en maakt de herbruikbaarheid van laag-niveau policies mogelijk over soortgelijke kamers of veranderende hoog-niveau taken. Het werk overbrugt de kloof tussen de schaalbaarheid van deep RL en de strengheid van formele methoden, en biedt een pad naar het verifiëren en synthetiseren van controllers voor complexe, meerfasige autonome systemen.