🤖 machine learning

Q-based Variational Inverse Reinforcement Learning

Dit artikel introduceert Q-gebaseerde Variational Inverse Reinforcement Learning (QVIRL), een nieuwe Bayesiaanse methode die een posterieure verdeling over beloningen leert door een variationele verdeling over Q-waarden te optimaliseren, waardoor het schaalbare onzekerheidskwantificering en succesvolle training vanuit ruwe pixelobservaties in diverse omgevingen bereikt.

Oorspronkelijke auteurs: Ondrej Bajgar, Peter Tisnikar, Alessandro Abate, Konstantinos Gatsis, Maike Osborne

Gepubliceerd 2026-08-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ondrej Bajgar, Peter Tisnikar, Alessandro Abate, Konstantinos Gatsis, Maike Osborne

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Om kunstmatige intelligentie te bouwen die werkelijk nuttig en veilig is, moeten systemen leren handelen op een manier die strookt met menselijke waarden. Toch is het vragen aan een persoon om een precieze lijst met regels voor elke mogelijke situatie op te schrijven vaak onmogelijk; menselijke voorkeuren zijn te complex en subtiel om in een eenvoudige handleiding te vangen. In plaats daarvan kijken onderzoekers naar het menselijk gedrag zelf als de bron van waarheid. Door te kijken hoe een expert een taak uitvoert, kan een AI proberen terug te werken om de verborgen doelen en beloningen af te leiden die de keuzes van die expert aanstuurden. Dit proces, bekend als inverse reinforcement learning, stelt machines in staat om niet alleen te leren wat ze moeten doen, maar ook waarom ze het moeten doen. Er blijft echter een grote uitdaging bestaan: wanneer een AI probeert deze verborgen doelen te raden, produceert het vaak één enkel, rigide antwoord. Dit is gevaarlijk omdat hetzelfde gedrag door veel verschillende sets doelen verklaard kan worden, en de AI zijn eigen onzekerheid moet begrijpen om veilige beslissingen te nemen in de echte wereld.

Een team van onderzoekers heeft een nieuwe methode geïntroduceerd genaamd Q-based Variational IRL, of QVIRL, die deze onzekerheid aanpakt door machines te leren in kansen te denken in plaats van in vaste antwoorden. In plaats van één beloningsfunctie te raden, leert deze aanpak een heel scala aan mogelijke beloningen die het gedrag van een expert zouden kunnen verklaren. De onderzoekers hebben aangetoond dat hun methode complexe, hoogdimensionale omgevingen kan aan, waar eerdere technieken faalden, inclusief taken die betrokken zijn bij ruwe visuele gegevens van videogames. Door zich te concentreren op de verwachte toekomstige waarde van acties in plaats van alleen de onmiddellijke beloning, kan het systeem efficiënt een distributie van mogelijkheden berekenen. Dit stelt de AI niet alleen in staat om een beleid te leren dat goed presteert, maar ook om te identificeren wanneer het onzeker is, een cruciale capaciteit voor veiligheidskritische toepassingen zoals autonoom rijden of actief leren, waarbij het systeem precies kan vragen om meer gegevens op de plekken waar het het meest verward is.

De kerninnovatie van QVIRL ligt in de manier waarop het de wiskunde van het leren afhandelt. Traditionele methoden hebben vaak moeite omdat ze herhaaldelijk een complex planningsprobleem moeten oplossen om te achterhalen wat een expert vervolgens zou doen, een proces dat computationeel onmogelijk wordt naarmate de omgeving groter wordt. QVIRL omzeilt deze bottleneck door direct te werken met de verwachte toekomstige waarde van acties, bekend als Q-waarden. Stel je voor dat je probeert een kaart te begrijpen door naar de bestemming te kijken waar je naartoe streeft, in plaats van elke individuele stap van de reis te volgen; deze verschuiving in perspectief stelt het algoritme in staat om op te schalen. De onderzoekers trainden hun systeem op een verscheidenheid aan taken, van eenvoudige rastergebaseerde doolhoven tot de complexe, continue fysica van het landen van een ruimtevaartuig en het navigeren op een snelweg. In deze tests slaagde het systeem erin een distributie van beloningen te herstellen die nauw aansloot bij de ware onderliggende doelen, zelfs wanneer de gegevens beperkt waren.

Wat deze aanpak bijzonder krachtig maakt, is het vermogen om onzekerheid te kwantificeren. In veel eerdere pogingen om machines te onderwijzen vanuit menselijke voorbeelden, produceerde het systeem één enkele "beste gok" voor de beloning, waarmee het effectief deed alsof het het antwoord met absolute zekerheid wist. QVIRL behoudt daarentegen een wolk van mogelijkheden. Wanneer de onderzoekers dit testten in een gesimuleerde omgeving waar de AI moest kiezen tussen een veilig pad en een risicovolle kortere route door een onbekend gebied, veranderde het gedrag van het systeem op basis van zijn vertrouwen. Als de AI onzeker was over de beloning in het risicovolle gebied, koos het voor het veilige pad, wat effectief voorzichtig handelen betekende. Als het vertrouwen had, nam het de kortere route. Dit vermogen om risicomijdend te zijn bij onzekerheid is een belangrijke stap voorwaarts, aangezien het voorkomt dat de AI gevaarlijke fouten maakt simpelweg omdat het een gebrek aan gegevens heeft.

De onderzoekers toonden ook aan dat deze methode werkt met ruwe visuele input, zoals de pixelafbeeldingen van klassieke videogames. Terwijl andere methoden die proberen onzekerheid te schatten vaak vastlopen wanneer ze worden geconfronteerd met dergelijke hoogdimensionale gegevens, bleef QVIRL robuust. Het leerde games zoals Pong en Space Invaders spelen met een prestatie die vergelijkbaar is met de beste bestaande technieken, terwijl het tegelijkertijd een maatstaf leverde voor hoe zeker het was over zijn beslissingen. Deze schaalbaarheid suggereert dat de methode uiteindelijk toegepast kan worden op scenario's in de echte wereld waar sensoren complexe stromen visuele gegevens leveren, zoals bij zelfrijdende auto's of robotische assistenten.

Uiteindelijk demonstreert het werk dat het mogelijk is om AI-systemen te bouwen die zowel schaalbaar als bewust van hun eigen beperkingen zijn. Door af te stappen van single-point estimates en een volledige distributie van mogelijke beloningen te omarmen, biedt QVIRL een pad naar meer betrouwbare en veilige kunstmatige intelligentie. Het systeem leert niet alleen menselijk gedrag te imiteren; het leert de onzekerheid achter dat gedrag te begrijpen, waardoor het veiligere keuzes kan maken wanneer de weg vooruit onduidelijk is. Deze balans tussen leren van experts en weten wanneer om hulp te vragen, vertegenwoordigt een betekenisvolle vooruitgang in de zoektocht naar nuttige AI.

Technische Samenvatting: Q-gebaseerde Variationale Inverse Reinforcement Learning (QVIRL)

Probleemformulering

Het artikel behandelt de uitdaging van Bayesiaanse Inverse Reinforcement Learning (IRL) in hoogdimensionale en continue omgevingen. Hoewel niet-Bayesiaanse IRL succesvol is geweest in het leren van punt-schattingen van beloningsfuncties voor toepassingen in robotica en autonoom rijden, schieten deze methoden vaak tekort in het kwantificeren van onzekerheid. Dit is problematisch omdat de IRL-taak inherent ondergespecificeerd is (meerdere beloningsfuncties kunnen hetzelfde gedrag verklaren) en beperkt wordt door eindige demonstratiegegevens.

Bayesiaanse IRL beoogt een volledige posterieure verdeling over beloningsfuncties te herstellen in plaats van een enkele punt-schatting. Deze posterieure verdeling is cruciaal voor:

Robuustheid: Het genereren van beleid dat rekening houdt met onzekerheid in de beloning.
Actief Leren: Het selecteren van datapunten die de onzekerheid maximaal verminderen.

Echter, bestaande Bayesiaanse IRL-methoden kampen met een schaalbaarheidsbottleneck. Traditionele benaderingen met Markov Chain Monte Carlo (MCMC) vereisen het herhaaldelijk oplossen van het voorwaartse Reinforcement Learning (RL) probleem, wat ze computationeel onhandelbaar maakt voor continue of hoogdimensionale toestandsruimten. Daartegenover staan schaalbare variationele methoden (bijv. AVRIL), die vaak de volledere posterieure onzekerheidskwantificering opofferen door alleen punt-schattingen te modelleren of te falen in het vastleggen van onzekerheid over optimale Q-waarden en beleid.

Methodologie: QVIRL

De auteurs stellen Q-gebaseerde Variationale IRL (QVIRL) voor, een methode die gebruikmaakt van variationele inferentie (VI) om Bayesiaanse IRL naar complexe settings te schalen terwijl de volledige posterieure onzekerheid behouden blijft. De kerninnovatie is het verschuiven van de inferentieruimte van directe beloningen naar optimale Q-waarden.

Kernarchitectuur

Variationale Posterieure over Q-waarden: In plaats van beloningen direct te infereren, modelleert QVIRL een variationele verdeling $q_\theta$ over de optimale Q-waarden $Q^*(s, a)$ .
- Voor discrete ruimtes is dit een multivariate Gaussische verdeling.
- Voor continue ruimtes maakt het gebruik van een Gaussian Process (GP) structuur.
- De architectuur gebruikt een neurale encoder $\epsilon_\theta$ die een gemiddelde $\mu_{Q^*}$ , log-standaarddeviatie $\log \sigma_{Q^*}$ en een latente embedding $e$ output voor elke staat-actie paren.
- Een kernelfunctie (bijv. RBF) toegepast op deze embeddings modelleert de covariantie tussen Q-waarden van verschillende staat-actie paren, waardoor de correlatiestructuur die inherent is aan MDP's wordt gevangen.
Van Q-waarden naar Beloningen (Inverse Bellman):
- De beloning $R(s, a)$ wordt afgeleid van de Q-waarden via de inverse Bellman-vergelijking: $R(s, a) = Q^*(s, a) - \gamma \mathbb{E}_{s'}[\max_{a'} Q^*(s', a')]$ .
- Omdat de maximumfunctie van gezamenlijk Gaussische variabelen niet analytisch Gaussisch is, gebruiken de auteurs de Clark-benadering (Clark, 1961). Deze benadert recursief het maximum van $n$ Gaussische variabelen als een enkele Gaussische verdeling, wat een gesloten vorm (closed-form) afleiding van de momenten (gemiddelde en variantie) van de beloningsposterieur mogelijk maakt.
- Deze aanpak vermijdt het kostbare voorwaartse RL-probleem dat door andere methoden vereist is.
Likelihood-benadering:
- De likelihood van expert-demonstraties wordt gemodelleerd met een Boltzmann-rationaliteitsaanname: $p(a|s) \propto \exp(\beta Q^*(s, a))$ .
- Omdat de integraal van een softmax over een Gaussische verdeling geen gesloten vorm heeft, gebruiken de auteurs een benadering voorgesteld door Lu et al. (2021) om de actie-waarschijnlijkheid analytisch te schatten.
Trainingsdoelstelling:
- Het model wordt getraind door een verliesfunctie te minimaliseren die bestaat uit de negatieve log-likelihood van de demonstraties en de Kullback-Leibler (KL) divergentie tussen de geïnduceerde beloningsposterieur en een prior-verdeling.
- In continue settings wordt hulpdata (bijv. van een apprentice policy rollout) gebruikt om de KL-divergentie over de toestandsruimte te evalueren, en niet alleen op de expert-trajecten.

Belangrijkste Bijdragen

Schaalbare Bayesiaanse IRL: QVIRL is de eerste variationele Bayesiaanse IRL-methode die in staat is hoogdimensionale toestandsruimten (inclusclusief ruwe pixel-inputs) te verwerken terwijl de volledige posterieure onzekerheid over zowel Q-waarden als beloningen behouden blijft.
Q-waarde-centrische Inferentie: Door inferentie uit te voeren in de ruimte van optimale Q-waarden, omzeilt de methode de noodzaak om herhaaldelijk het voorwaartse RL-probleem op te lossen, een grote computationele hindernis voor eerdere Bayesiaanse IRL-benaderingen.
Onzekerheid-bewust Meesterschap (Apprenticeship): De methode maakt het mogelijk om risico-averse beleid (bijv. het optimaliseren van Conditional Value-at-Risk, CVaR) rechtstreeks uit de posterieure verdeling af te leiden, wat niet haalbaar is met punt-schatting methoden.
Actief Leersysteem: Door onzekerheidsschattingen over Q-waarden te bieden, dient QVIRL als een schaalbare ruggengraat voor actieve IRL, waardoor het selecteren van informatieve queries in continue omgevingen mogelijk wordt waar MCMC-gebaseerde methoden falen.

Experimentele Resultaten

De auteurs evalueerden QVIRL over drie dimensies: de kwaliteit van de posterieure benadering, de prestaties van het meesterschap (apprenticeship learning) en de effectiviteit van actief leren.

Posterieure Benadering: In gerandomiseerde 8x8 gridworlds kwam de posterieure verdeling van QVIRL nauw overeen met de grondwaarheid verkregen via MCMC (ValueWalk). In contrast hiermee produceerde de baseline variationele methode (AVRIL) overmoedige posterieuren met vertekende gemiddelden en een slechte kalibratie.
Meesterschap (Apprenticeship Learning):
- Gridworlds: QVIRL behaalde prestaties die vergelijkbaar zijn met de MCMC-oracle onder zowel ware beloningen als risico-averse (CVaR) criteria.
- Continue Controle (Lunar Lander, Highway): QVIRL bereikte expert-niveau prestaties met minder demonstraties en een lagere variantie tussen runs vergeleken met baselines (AVRIL, IQ-Learn, Behavior Cloning). Het vertoonde een hoge log-likelihood op uit de dataset gehouden expert-acties, zelfs met minimale data.
- Ruwe Pixels (Atari): QVIRL trainde succesvol op ruwe pixel-observaties voor Pong en Space Invaders, waarbij het competitieve rendementen behaalde met state-of-the-art imitatie-learning methoden (IQ-Learn), terwijl het het extra voordeel van een beloningsposterieur bood.
Actief Leren: In gridworlds combineerde QVIRL met informatie-winst acquisitiefuncties bijna de prestaties van de MCMC-oracle. In Lunar Lander presteerde het significant beter dan willekeurige sampling, wat zijn vermogen demonstreerde om datacollectie in continue domeinen te sturen.

Betekenis en Claims

Het artikel positioneert QVIRL als een belangrijke stap naar het praktisch bruikbaar maken van Bayesiaanse IRL voor real-world, hoogdimensionale toepassingen. De auteurs beweren dat door de computationele efficiëntie van variationele inferentie te combineren met de principiële onzekerheidskwantificering van Bayesiaanse methoden, QVIRL de schaalbaarheidsbeperkingen van MCMC en de onzekerheid-blindheid van bestaande variationele benaderingen overwint.

Specifiek stelt het artikel dat:

Het de eerste methode is voor Bayesiaanse IRL die training vanaf ruwe pixel-observaties demonstreert.
Het actief leren mogelijk maakt in settings die verder gaan dan kleine tabelvormige domeinen, een capaciteit die voorheen beperkt was tot MCMC-methoden die niet konden schalen.
De expliciete modellering van Q-waarde onzekerheid de natuurlijke afleiding van risico-gevoelige beleidsregels mogelijk maakt, wat essentieel is voor veiligheidskritische eisen in AI-ontwikkeling.

De auteurs hanteren een bescheiden toon en erkennen dat de methode steunt op benaderingen (Clark-benadering, likelihood-benadering) en dat toekomstig werk niet-Gaussische variationele families of de gezamenlijke schatting van de rationaliteitscoëfficiënt $\beta$ kan verkennen. Ze argumenteren echter dat de huidige resultaten een levensvatbaar pad tonen voor schaalbare, onzekerheid-bewuste meesterlijke imitatie (apprenticeship learning).