🤖 machine learning

Infra-Bayesian Reinforcement Learning Agents Outperform Classical RL For Worst-Case Robustness

Dit artikel presenteert de eerste proof-of-concept-implementatie van een infra-Bayesiaanse versterkingsleer-agent die klassieke RL overtreft in robuustheid voor het slechtst mogelijke geval door effectief om te gaan met Knightiaanse onzekerheid en modelmisspecificatie via een maximin-besluitvormingsproces.

Oorspronkelijke auteurs: Manish Aryal, Faiyaz Azam, Agnivo Banerjee, Sai Sidhanth Manoharan Jayanthi, Allegra Laro, Clément Legentilhomme, Andrew Lin, Florian Lorkowski, Radman Rakhshandehroo, Patric Rommel, Emanuel Ruzak, Na

Gepubliceerd 2026-05-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Manish Aryal, Faiyaz Azam, Agnivo Banerjee, Sai Sidhanth Manoharan Jayanthi, Allegra Laro, Clément Legentilhomme, Andrew Lin, Florian Lorkowski, Radman Rakhshandehroo, Patric Rommel, Emanuel Ruzak, Nathan Theng, Paul Yushin Rapoport

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Plannen voor het Slechtst Denkbare, Niet voor het Gemiddelde

Stel je voor dat je een kapitein bent die een schip bestuurt.

Klassieke Versterkende Leer (RL) is als een kapitein die ervan uitgaat dat de oceaan voorspelbaar is. Hij kijkt naar historische weergegevens, berekent de gemiddelde kans op een storm, en stuurt aan op wat het "meest waarschijnlijke" is. Dit werkt uitstekend als de oceaan zich precies gedraagt zoals de kaart van de kapitein voorspelt.
Het Probleem: In de echte wereld (vooral bij AI) kan de "oceaan" vol zitten met andere schepen die jou in de gaten houden en hun koers aanpassen op basis van wat zij denken dat jij gaat doen. Of het weer kan veranderen op manieren die je kaart nooit heeft bedacht. Als de kapitein alleen vertrouwt op gemiddelden, kan hij rechtstreeks de afgrond in varen omdat hij het "slechtst denkbare scenario" niet heeft meegerekend.
De Oplossing (Infra-Bayesiaanse RL): Dit artikel introduceert een nieuw type kapitein die niet alleen gokt op het gemiddelde weer. In plaats daarvan vraagt hij: "Wat is het slechtst mogelijke weer dat nog steeds mogelijk is, gezien wat ik weet?" Vervolgens stuurt hij zijn schip aan om dat specifieke slechtst denkbare scenario te overleven. Dit zorgt ervoor dat hij nooit verrast wordt, zelfs als de wereld vreemder is dan hij dacht.

De Twee Soorten "Niet Weten"

Het artikel legt uit dat er twee verschillende manieren zijn waarop een agent (zoals een AI) onzeker kan zijn over de wereld:

Gewone Onzekerheid (De dobbelsteen): Stel je voor dat je een dobbelsteen gooit. Je weet niet of het een 1 of een 6 wordt, maar je weet dat de regels eerlijk zijn. Je kunt een kans van 1 op 6 toekennen aan elk getal. Klassieke AI gaat hier goed mee om.
Knightiaanse Onzekerheid (Het Mistige Kaart): Stel je voor dat je in dikke mist rijdt. Je weet dat ergens vooruit een afgrond ligt, maar je hebt geen idee hoe ver weg die is, of zelfs of de weg nog bestaat. Je kunt geen "kans" toekennen aan de afgrond omdat je niet genoeg informatie hebt om een eerlijke gok te wagen.
- Klassieke AI probeert toch een gok te forceren (bijvoorbeeld: "Ik ga ervan uit dat de afgrond 50% kans heeft"). Als die gok verkeerd is, crasht de AI.
- Infra-Bayesiaanse AI geeft toe: "Ik ken de kansen niet." In plaats van te gokken, plant het voor het scenario waarin de afgrond direct voor de auto ligt. Het speelt op safe.

Hoe de Nieuwe Agent Werkt

De auteurs bouwden een "proof-of-concept" robot (een agent) die gebruikmaakt van dit nieuwe denken. Zo werkt het:

De "Kast met Hypothesen": In plaats van één enkel geloof te hebben over hoe de wereld werkt, houdt deze agent een hele kast vol met verschillende mogelijke werelden bij. Sommige zijn zeer waarschijnlijk, sommige zijn raar, en sommige zijn vreselijk.
De "Slechtst Denkbare" Filter: Wanneer de agent een beslissing moet nemen, middelt hij niet alle werelden in de kast. Hij kijkt naar de slechtste wereld in de kast die nog steeds mogelijk is, en vraagt zich af: "Als ik deze actie uitvoer, wat gebeurt er dan in die slechtste wereld?"
De Beslissing: Hij kiest de actie die het beste resultaat oplevert in dat slechtst denkbare scenario. Dit wordt een Maximin-strategie genoemd (het maximaliseren van de minimale winst).

De Experimenten: De Nieuwe Kapitein Getest

Het artikel testte deze nieuwe agent in twee specifieke scenario's:

1. De Adversariele Gokautomaat (Knightiaanse Onzekerheid)

De Opzet: Stel je twee gokautomaten voor. Je weet niet hoe waarschijnlijk het is dat ze uitbetalen, alleen dat Machine A 30% tot 70% van de tijd uitbetaalt, en Machine B 40% tot 80%.
De Valstrik: Een "trickster" (het milieu) kijkt misschien mee. Als je Machine A kiest, kan de trickster ervoor zorgen dat deze maar 30% uitbetaalt. Als je Machine B kiest, kan deze 40% uitbetalen.
Het Resultaat:
- De Klassieke Agent moest een specifieke kans gokken (bijvoorbeeld: "Ik denk dat Machine A 50% uitbetaalt"). Als de trickster eigenlijk op het 30%-niveau zat, verloor de Klassieke Agent geld.
- De Infra-Bayesiaanse Agent gokte niet. Hij besefte: "Het slechtst dat Machine A kan zijn is 30%, en het slechtst dat Machine B kan zijn is 40%." Dus koos hij altijd Machine B. Hij garandeerde zichzelf een winstpercentage van 40%, ongeacht hoe de trickster speelde. Hij won de "slechtst denkbare" strijd.

2. Newcomb's Probleem (De Gedachtelezer)

De Opzet: Dit is een beroemd logisch raadsel. Je ziet twee dozen: een doorzichtige met $1.000 en een ondoorzichtige. Een super slimme voorspeller heeft al geraden wat je gaat doen.
- Als de voorspeller dacht dat je alleen de ondoorzichtige doos zou nemen, legde hij $1 miljoen erin.
- Als de voorspeller dacht dat je beide dozen zou nemen, is de ondoorzichtige doos leeg.
Het Dilemma:
- Klassieke Logica (Causaal): "Het geld ligt er al! Mijn keuze nu kan het verleden niet veranderen. Ik moet beide dozen nemen om de $1.000 plus wat er in de andere zit te krijgen." (Resultaat: Vaak $0 of $1.000).
- Infra-Bayesiaanse Logica: "De voorspeller is goed in het raden van mijn strategie. Als ik besluit alleen de ondoorzichtige doos te nemen, heeft de voorspeller waarschijnlijk de miljoen erin gelegd. Als ik besluit beide dozen te nemen, is de doos leeg."
Het Resultaat: De Infra-Bayesiaanse agent begreep correct dat zijn strategie (zijn plan) de actie van de voorspeller in het verleden beïnvloedt. Hij koos ervoor om alleen de ondoorzichtige doos te nemen en vertrok met de $1 miljoen, presterend beter dan agenten die standaard beslissingstheorieën gebruikten.

Waarom Dit Belangrijk Is

Het artikel concludeert dat AI veilig en robuust moet zijn in de echte wereld, en dat het situaties moet aankunnen waar:

De wereld te complex is om perfect gemodelleerd te worden.
Het milieu reageert op het gedrag van de AI (zoals een menselijke bestuurder die reageert op een zelfrijdende auto).

Door te focussen op garanties voor het slechtst denkbare geval in plaats van gemiddelde voorspellingen, is dit nieuwe type AI minder waarschijnlijk om met vertrouwen verkeerde beslissingen te nemen wanneer de wereld niet verloopt volgens plan. Het is het verschil tussen een gokker die hoopt op het beste en een veiligheidsingenieur die zich voorbereidt op het slechtst mogelijke.

Opmerking over Beperkingen: De auteurs zijn voorzichtig om te zeggen dat dit een "proof-of-concept" is. Het werkt goed voor eenvoudige, eindige problemen (zoals de gokautomaten en logische raadsels hierboven). Ze hebben het nog niet opgeschaald naar complexe, continue taken uit de echte wereld, zoals het rijden door een stad, maar dit is een cruciale eerste stap naar het maken van AI die per ontwerp robuust is.

Technische Samenvatting: Infra-Bayesiaanse Versterkingsleer-Agenten Presteren Beter dan Klassieke RL voor Robuustheid in het Slechtst Mogelijke Geval

1. Probleemstelling

Klassieke Versterkingsleer (RL) en Bayesiaanse RL opereren onder de aanname dat een agent interageert met een vaste omgeving, doorgaans gemodelleerd als een Markov-besluitproces (MDP) of een Bayesiaanse posterior over dergelijke modellen. Dit kader veronderstelt realiseerbaarheid: de ware omgeving (of een voldoende nauwkeurig model daarvan) bestaat binnen de hypotheseklasse van de agent.

Deze aanname faalt echter in niet-realiseerbare situaties, met name die welke relevant zijn voor AI-veiligheid en ingebedde agentuur. In deze omgevingen:

Beleidafhankelijkheid: Andere actoren (voorspellers, mensen, instellingen) anticiperen op het beleid van de agent en reageren daarop, in plaats van alleen op de gerealiseerde acties.
Knightiaanse Onzekerheid: De agent staat voor ambiguïteit waarbij er geen gronden zijn om een precieze a-priori kansverdeling over mogelijke werelden te construeren.
Modelmisspecificatie: De echte wereld bevat systemen met een vergelijkbare of grotere complexiteit dan de agent, waardoor het voor elke hanteerbare hypotheseklasse onmogelijk is om een volledige beschrijving van de omgeving te bevatten.

Onder deze omstandigheden kunnen klassieke Bayesiaanse methoden "zeker foutieve" posteriors produceren, wat leidt tot onbetrouwbare beslissingen en onbegrensde regret. Standaard op waarde gebaseerde RL-agenten kunnen in beleidafhankelijke omgevingen (bijvoorbeeld het probleem van Newcomb) falen om te convergeren naar optimale beleidslijnen, en convergeren vaak slechts naar ratificeerbare beleidslijnen.

2. Methodologie: Infra-Bayesiaanse Versterkingsleer (IBRL)

Het artikel presenteert een proof-of-concept-implementatie van een Infra-Bayesiaanse Versterkingsleer (IBRL)-architectuur, ontworpen voor eindige-uitkomst, stateloze besluitproblemen. In tegenstelling tot klassieke agenten die een posteriorverdeling over MDP's onderhouden, onderhoudt de IB-agent een verzameling van onprecieze hypothesen weergegeven als infradistributies.

Kernwiskundige Objecten

a-maten (Affiene Maten): Het fundamentele bouwblok is een a-maat $a = (\lambda\mu, b)$ $a = (λ μ, b)$ , waarbij:
- $\mu$ een kansmaat is over waarnemingsgeschiedenissen (die gewone stochastische onzekerheid vertegenwoordigt).
- $\lambda \ge 0$ een schalingsfactor is.
- $b \ge 0$ een verschuivingsterm is.
- De evaluatie van een begrensd terugkeerfunctie $f$ wordt gegeven door $a(f) = \lambda E_\mu[f] + b$ .
- De verschuiving $b$ behoudt waarde van takken van de geschiedenisboom die door waarnemingen zijn uitgesloten, waardoor dynamische consistentie wordt gewaarborgd.
Infradistributies ( $\Psi$ ): Een verzameling toelaatbare a-maten. De agent evalueert een beleid aan de hand van zijn onderste verwachting:
$E_\Psi[f] = \inf_{a \in \Psi} a(f)$
Dit vertegenwoordigt de waarde die gegarandeerd is tegen het slechtst mogelijke toelaatbare lid van de hypotheseklasse.
Mengseltypen:
- Klassiek (Bayesiaans) Mengsel: Een gewogen combinatie van infradistributies ( $\sum w_i \Psi_i$ ), die onzekerheid vertegenwoordigt die overgemiddeld kan worden.
- Knightiaans Mengsel: Een set-union van infradistributies zonder gewichten, die ambiguïteit vertegenwoordigt waarbij de waarde wordt bepaald door het minst gunstige component.

Algorithmische Componenten

Representatie: De agent slaat alleen de extremale minimale punten van de infradistributie op (analoog aan hoekpunten van een convex polytoop), wat rekenkundige hanteerbaarheid garandeert.
Wereldmodellen: De implementatie ondersteunt specifieke gecomprimeerde representaties voor:
- Bernoulli-bandieten: Geschiedenissen weergegeven als $(N, R)$ -paren; maten als verzamelingen van $(c_i, p_i)$ -paren.
- Newcomb-achtige Problemen: Het wereldmodel bevat de volledige beloningsmatrix en de nauwkeurigheid van de voorspeller; er vindt geen leren van interne staten plaats aangezien de structuur bekend is.
Besluitproces:
- De agent discretiseert de beleidsruimte $\Pi$ .
- Het berekent de onderste verwachting voor elk beleid: $E_{\Psi(\pi)}[f] = \inf_{a \in \Psi(\pi)} a(f)$ .
- Het selecteert het beleid $\pi^*$ dat deze onderste verwachting maximaliseert (Maximin-strategie).
Bijwerkregel: Bij waarneming van een gebeurtenis $L$ $L$ , voert de agent een IB-stijl update uit:
- Beperkt de maat $\mu$ tot de waargenomen tak ( $\mu_L$ ).
- Transfereert de verwachte waarde van de niet-waargenomen takken naar de verschuivingsterm $b$ : $(\lambda\mu, b) \to (\lambda\mu_L, b + \lambda\mu((1-L)g))$ .
- Normaliseert de infradistributie.
- Vanwege de lineariteit van de update worden er geen nieuwe extremale punten gecreëerd; alleen bestaande punten worden bijgewerkt.

3. Belangrijkste Bijdragen

Eerste Proof-of-Concept Implementatie: De auteurs formuleren en implementeren een eindige-uitkomst IBRL-architectuur gebaseerd op a-maten, infradistributies en IB-stijl updates.
Herstel van Klassiek Gedrag: De architectuur blijkt normaal Bayesiaans gedrag te herstellen in het ontaarde geval waarin elke infradistributie slechts één minimaal punt heeft en alle onzekerheid klassiek is.
Prestaties in het Slechtst Mogelijke Geval: Empirisch bewijs dat een IB-agent een lagere worst-case regret bereikt dan een klassieke Bayesiaanse agent in omgevingen met Knightiaanse onzekerheid.
Optimaal Beleidafhankelijk Besluitvormen: Demonstratie dat de IB-agent optimale beloningen behaalt in Newcomb-achtige omgevingen, en beter presteert dan agenten voor klassieke besluittheorie (Causaal en Evidentieel) die de juiste causale structuur niet kunnen vastleggen of falen om te convergeren naar optimale beleidslijnen.

4. Experimentele Resultaten

A. Knightiaanse Onzekerheid (Adversariele Bandieten)

Opzet: Een twee-armige Bernoulli-bandiet waarbij de beloningskansen $p_1 \in [0.3, 0.7]$ en $p_2 \in [0.4, 0.8]$ adversariaal of tijd-afhankelijk worden gekozen. De agent kent alleen de beperkingen, niet de specifieke kansen.
Klassieke Agent: Moet een precieze prior aannemen (bijvoorbeeld puntmassa's op de hoekpunten). Het gedrag is zeer gevoelig voor deze willekeurige prior-keuze.
IB-Agent: Representeert de intervalbeperkingen direct als Knightiaanse onzekerheid. Het identificeert het slechtst mogelijke scenario $(p_1=0.3, p_2=0.4)$ en selecteert consequent Arm 2, wat een gemiddelde beloning van 0,4 garandeert.
Uitkomst: De IB-agent bereikt een lagere worst-case regret in vergelijking met de klassieke agent. De IB-agent weigert correct om te "leren" van potentieel adversariële patronen die misschien aantrekkelijk lijken maar niet robuust zijn.

B. Beleidafhankelijke Omgevingen (Probleem van Newcomb)

Opzet: Een variant van het probleem van Newcomb met een onvolmaakte voorspeller met nauwkeurigheid $\alpha$ . De agent kiest een beleid om met waarschijnlijkheid $p$ één doos te kiezen.
Uitkomst: De IB-agent selecteert consequent het optimale beleid op basis van de nauwkeurigheid van de voorspeller:
- Voor $\alpha > 0.55$ kiest hij één doos (optimaal).
- Voor $\alpha < 0.55$ kiest hij twee dozen (optimaal).
Vergelijking: Agenten voor Causale Besluittheorie kiezen altijd voor twee dozen, ongeacht de nauwkeurigheid (en missen hierdoor grote beloningen), terwijl agenten voor Evidentiële Besluittheorie één doos kiezen, maar om redenen die kunnen falen in andere causale structuren. De IB-agent kiest de optimale actie om de juiste structurele redenen.

5. Betekenis en Beweringen

Het artikel beweert dat dit werk de kloof overbrugt tussen de formele belofte van Infra-Bayesianisme (robust redeneren onder niet-realiseerbaarheid) en de praktische implementatie van agenten.

Robuustheid per Ontwerp: De resultaten suggereren dat voor agenten die opereren in gemissificeerde of beleidafhankelijke omgevingen, optimalisatie voor worst-case garanties (via onderste verwachtingen) robuustheid biedt die ontbreekt bij optimalisatie voor het gemiddelde geval (Bayesiaanse RL).
Onderscheid in Onzekerheid: De implementatie toont concreet aan dat het onderscheid maken tussen klassieke probabilistische onzekerheid en Knightiaanse onzekerheid leidt tot fundamenteel verschillende en veiligere agentgedragingen.
Fundamentele Stap: Hoewel de huidige implementatie beperkt is tot eindige uitkomsten en kleine hypothese ruimten, dient het als een noodzakelijke stap richting RL-systemen die robuust blijven onder modelmisspecificatie. De auteurs merken op dat de regretgrenzen voor hun IB-agent lineair zijn (een verbetering ten opzichte van klassieke RL in deze specifieke niet-realiseerbare situaties, hoewel nog steeds niet sublineair), en dat schalen naar continue ruimten en meerstapsprocessen een open uitdaging blijft voor toekomstig werk.

Het artikel concludeert dat IBRL een haalbaar pad biedt naar agenten die effectief kunnen redeneren wanneer de aanname van de "korrel van waarheid" van klassieke Bayesiaanse RL wordt geschonden.