🤖 machine learning

Confounding Robust Continuous Control via Automatic Reward Shaping

Dit artikel stelt een methode voor om automatisch effectieve beloningsvorming (reward shaping) te leren uit offline datasets voor continue controleproblemen, waarbij gebruik wordt gemaakt van causale principes om robuustheid te garanderen tegen onwaargenomen verstorende variabelen (confounders).

Oorspronkelijke auteurs: Mateo Juliani, Mingxuan Li, Elias Bareinboim

Gepubliceerd 2026-02-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mateo Juliani, Mingxuan Li, Elias Bareinboim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij moet voetballen. Je geeft hem een video van een professionele voetballer om van te leren (dit noemen we de offline dataset).

Maar er is een probleem: de video is gefilmd met een heel dure camera die ook de windrichting, de grasmat en zelfs de spanning in de lucht laat zien. De robot die jij traint, heeft echter maar een simpele, goedkope camera die alleen de bal en de spelers ziet. De robot ziet de acties van de voetballer, maar hij begrijpt niet waarom de voetballer bepaalde keuzes maakt, omdat hij de "verborgen factoren" (de wind, de ondergrond) niet kan zien.

In de wetenschap noemen we die verborgen factoren "confounders" (verstorende variabelen). De robot denkt misschien: "Oh, hij schopt de bal zo omdat hij een blauwe schoen draagt!", terwijl het eigenlijk door de wind kwam. Dit zorgt voor enorme verwarring.

Wat is dit onderzoek?

De onderzoekers van de Columbia University hebben een slimme manier bedacht om deze verwarring op te lossen. Ze hebben een methode ontwikkeld die we "Causal Robust Reward Shaping" noemen.

Laten we dit uitleggen met een metafoor: De Slimme Coach.

1. De Verwarde Leerling (De standaard AI)

Normaal gesproken probeert een AI simpelweg de acties van de expert te kopiëren. Als de expert een perfecte trap geeft, probeert de AI dat ook te doen. Maar omdat de AI de "wind" niet ziet, raakt hij gefrustreerd of maakt hij rare fouten. Hij probeert de verkeerde dingen te kopiëren.

2. De Causal Bellman Equation (De "Wat als?"-bril)

De onderzoekers hebben een wiskundige formule gemaakt die werkt als een soort "wat als?"-bril. In plaats van alleen te kijken naar wat de expert deed, probeert de formule te berekenen: "Wat zou er gebeurd zijn als de expert een ándere actie had genomen?"

Door te rekenen aan de mogelijkheden die de expert niet koos, kan de AI een grens trekken. Hij leert: "Oké, de expert deed X, maar ik zie dat de omgeving ook invloed had. Ik ga niet alleen de actie kopiëren, maar ik ga zoeken naar de onderliggende waarde van de positie waarin de expert zich bevond."

3. Reward Shaping (De Extra Motivatie)

Om de robot sneller te laten leren, geven ze hem een soort "extra beloningen" (dit is de Reward Shaping).

Stel je voor dat je een kind leert fietsen. In plaats van alleen te zeggen "Goed gedaan!" als hij een hele ronde heeft gefietst (de hoofdbeloning), geef je hem ook een complimentje als hij zijn rug recht houdt of als hij goed naar het pad kijkt (de extra beloningen).

De onderzoekers gebruiken hun slimme "wat als?"-bril om deze extra complimentjes te berekenen. Ze geven de robot een extra duwtje in de rug wanneer hij een positie bereikt die, zelfs met de verborgen factoren in gedachten, heel waardevol is.

Waarom is dit belangrijk?

In de echte wereld is informatie bijna nooit perfect. Een zelfrijdende auto heeft misschien een sensor die even hapert, of een robot in een fabriek ziet niet precies hoe de temperatuur in de kamer verandert.

De resultaten van dit onderzoek laten zien dat:

De robot niet meer in de war raakt door de "verborgen wind" of "verborgen sensoren".
De robot veel sneller leert hoe hij moet bewegen (zoals rennen of lopen in simulaties).
De robot zelfs kan presteren als hij een "blind vlek" heeft (zoals de Hopper-robot in het onderzoek, die de hoek van zijn eigen gewricht niet kon zien).

Kortom: In plaats van een robot blindelings te laten kopiëren wat hij ziet, leert dit systeem de robot om te begrijpen wat de echte waarde is van een situatie, zelfs als hij het hele plaatje niet kan zien. Het is alsof je een robot leert om te voetballen door hem niet alleen de bewegingen te laten zien, maar hem ook te leren "voelen" wat de logica achter de beweging is.

Technische Samenvatting: Confounding Robust Continuous Control via Automatic Reward Shaping

1. Het Probleem: Confounding in Offline Reinforcement Learning

In veel real-world scenario's (zoals robotica) wordt gebruikgemaakt van offline datasets om agents te trainen. Een groot probleem is dat deze data vaak "besmet" is met unobserved confounders (niet-geobserveerde verstorende variabelen). Dit gebeurt wanneer de data is verzameld door een gedragspolicy (bijv. een mens of een legacy-systeem) die toegang had tot informatie (sensoren) die de leerling-agent niet heeft.

Wanneer een agent probeert te leren van deze data zonder rekening te houden met deze verborgen variabelen, ontstaan er vertekende (biased) schattingen van de waarde van acties. In continue controle-omgevingen (zoals MuJoCo) leidt dit tot suboptimale of zelfs onveilige policies, omdat de agent de causale relatie tussen actie, staat en beloning verkeerd interpreteert.

2. Methodologie: Causale Reward Shaping

De auteurs stellen een methode voor die gebruikmaakt van Potential-Based Reward Shaping (PBRS) om de online training te versnellen en robuuster te maken tegen deze confounding.

De kernstappen van hun aanpak zijn:

Confounded Markov Decision Process (CMDP): Ze definiëren een formeel model waarin de onwaarneembare ruis ( $U$ ) tegelijkertijd de acties, beloningen en de volgende toestanden beïnvloedt.
Causal Bellman Equation: De belangrijkste theoretische bijdrage is de afleiding van een nieuwe Bellman-vergelijking die rekening houdt met de onzekerheid van de "niet-gekozen" acties. In plaats van alleen te kijken naar wat er in de data staat, berekent deze vergelijking een optimistisch bovengrens (upper bound) op de optimale staatswaarden ( $V^*$ ). Dit wordt gedaan door een term toe te voegen die de best mogelijke opbrengst representeert die de agent had kunnen behalen als hij een andere actie had gekozen (de "road not taken").
Neurale Benadering: Omdat de causale Bellman-vergelijking in continue ruimtes niet direct oplosbaar is, gebruiken de auteurs neurale netwerken om de componenten (zoals de actie-propensity en de staatstransities) te benaderen via reparametrisatie-tricks.
PBRS Integratie: De geleerde causale bovengrens wordt gebruikt als een potentiaalfunctie ( $\phi$ ) in het PBRS-raamwerk. De extra beloning wordt berekend als: $r' = r + \gamma\phi(s') - \phi(s)$ . Dit zorgt ervoor dat de optimale policy van de originele taak behouden blijft, terwijl de agent wordt gestuurd door een informatiever signaal.

3. Belangrijkste Bijdragen

Theoretische Grondslag: De afleiding van de Causal Bellman Optimality Equation voor stationaire, oneindige-horizon CMDP's en het bewijs dat deze convergeert naar een uniek fixpunt dat een geldige bovengrens is.
Algoritme: Een nieuw neuraal leeralgoritme (Algorithm 1) dat deze causale bovengrenzen effectief leert uit geobserveerde offline trajecten in hoog-dimensionale continue ruimtes.
Robuustheid: Een methode die specifiek is ontworpen om de bias van onwaarneembare confounders te omzeilen, wat standaard off-policy methoden (zoals CQL) niet kunnen.

4. Resultaten

De methode is getest op complexe benchmarks zoals MuJoCo (Hopper, HalfCheetah, Walker2D, Ant) en Adroit (hand-manipulatie).

Superieure Prestaties: De voorgestelde Causal PBRS verslaat consequent causale-onbewuste baselines zoals CQL-Shaping en T-REX-Shaping.
Herstel van Prestatieverlies: In scenario's waar cruciale sensordata werd verwijderd (bijv. de hoek van een gewricht in de Hopper), kon de Causal PBRS de prestaties van de agent aanzienlijk verbeteren, terwijl standaard methoden (en zelfs recurrent networks) faalden.
Efficiëntie: De methode versnelt niet alleen het bereiken van een optimale policy, maar is ook robuust tegen variaties in de kwaliteit van de offline data (van "simpel" tot "expert" data).

5. Betekenis en Conclusie

Dit werk is een belangrijke stap richting causaal bewuste Reinforcement Learning. Het laat zien dat we, in plaats van simpelweg te proberen de data te imiteren, de causale structuur van de omgeving kunnen gebruiken om informatie uit "vervuilde" datasets te extraheren. Dit is essentieel voor de praktische toepassing van robotica, waarbij offline data vaak afkomstig is van systemen met betere sensoren dan de uiteindelijke robot die in de praktijk moet opereren.