Active Causal Structure Learning with Latent Variables: Towards Learning to Detour in Autonomous Robots

Dit artikel beschrijft hoe actief causaal structuurlernen met latente variabelen (ACSLWL) autonome robots in staat stelt om door het actief construeren van nieuwe interne causale modellen onverwachte obstakels, zoals transparante barrières, te omzeilen en zo een suboptimale situatie om te zetten in een voorspelbare situatie met een optimale plan.

De kern

De Robot die een "Onzichtbare Muur" Ontdekt

Stel je voor dat je een robot hebt die is getraind om een doel te bereiken, bijvoorbeeld een bal te pakken in een kamer. De robot heeft een intern landkaartje (een denkmodel) van hoe de wereld werkt. Hij weet: "Als ik naar voren loop, kom ik dichter bij de bal." Hij heeft dit geleerd in een kamer zonder obstakels.

Nu gebeurt er iets onverwachts: er staat plotseling een doorzichtige hek (een "paling fence") in zijn weg. Je kunt erdoorheen kijken, maar je kunt er niet doorheen lopen.

Voor de robot is dit een ramp. Hij loopt recht op het hek af, botst er tegen, en zijn verwachtingen gaan volledig mis. Hij dacht dat hij vooruit zou komen, maar hij blijft staan. Dit is waar dit onderzoek over gaat: Hoe leert een robot om zich aan te passen als de regels van de wereld plotseling veranderen, zonder dat hij de oorzaak direct kan zien?

De Oplossing: Een "Geheime Variabele" Erbij Denken

De robot kan de hek niet zien (het is doorzichtig), maar hij voelt wel dat hij vastloopt. In plaats van te blijven botsen, doet de robot iets slim: hij bedacht een nieuw concept in zijn hoofd.

Stel je voor dat je in een auto rijdt en plotseling niet meer kunt versnellen, maar je ziet geen remmen en geen brandstoftekort. Je denkt dan: "Er moet iets zijn dat ik niet zie, wat mijn snelheid blokkeert." De robot doet precies hetzelfde. Hij creëert een verborgen variabele (in het Engels: hidden variable).

Dit is een denkbeeldige "knop" in zijn brein die hij kan zetten op:

1. Aan: Er is een onzichtbare barrière.
2. Uit: Alles is normaal.

Omdat de robot niet kan zien waar de barrière zit, moet hij zelf ontdekken dat deze er is, door te kijken naar de gevolgen (hij botst, hij komt niet vooruit).

Het Proces: Van Verrassing naar Strategie

Het onderzoek beschrijft een proces dat in drie stappen verloopt, net als wanneer een mens een nieuwe situatie leert begrijpen:

1. De Verrassing (Surprise)
De robot heeft een "verwachtingsmodel". Hij denkt: "Als ik 2 stappen vooruit ga, ben ik 2 stappen dichter bij het doel."
Wanneer hij botst, is de werkelijkheid anders: "Ik ben nog steeds op dezelfde plek."
Dit verschil tussen wat hij verwachtte en wat er gebeurde, noemen de auteurs Surprise (verrassing). Het is alsof je een bal gooit en die valt niet naar beneden, maar zweeft. Dat is een enorme verrassing voor je brein.

2. Het Detecteren van de Oorzaak
Wanneer de verrassing te groot is, zegt de robot: "Er moet iets zijn dat ik over het hoofd zie."
Hij kijkt naar welke sensoren in de war zijn.

• Zijn de ogen (visie) in de war? Nee, hij ziet de bal nog steeds.
• Zijn de voeten (tactiel) in de war? Ja! Hij voelt dat hij stopt.
• Is de afstand (diepte) in de war? Ja! Hij denkt dat hij dichterbij is, maar is het niet.

De robot concludeert: "Er is een onzichtbare kracht die mijn beweging blokkeert." Hij voegt deze "onzichtbare kracht" toe aan zijn landkaartje als een nieuwe variabele.

3. Het Leren van een Nieuwe Route (Detour)
Nu de robot weet dat er een "onzichtbare muur" is, moet hij zijn strategie aanpassen.

• Vroeger: Altijd recht vooruit lopen.
• Nu: Als hij voelt dat hij tegen de muur botst (en de "onzichtbare muur"-knop op 'Aan' staat), leert hij om naast de muur te lopen (zijwaarts stappen) in plaats van er tegenaan te lopen.

Dit noemen ze Learning to Detour (leren om te omzeilen). De robot leert niet alleen dat hij vastloopt, maar leert ook hoe hij eromheen moet gaan.

Waarom is dit belangrijk?

Dit onderzoek is een stap richting Algemene Kunstmatige Intelligentie (AGI).

• Huidige robots zijn vaak dom: als je hun omgeving verandert (bijvoorbeeld een nieuwe muur), raken ze in de war en stoppen ze.
• Deze robot is slim: hij kan zelf ontdekken dat de wereld veranderd is, een nieuwe theorie bedenken ("Er is een onzichtbare barrière"), en zijn gedrag aanpassen om het doel toch te bereiken.

Het is alsof een kind dat leert fietsen, ineens een steile helling tegenkomt. In plaats van te stoppen, leert het kind dat het harder moet trappen of een andere route moet nemen. De robot doet dit op basis van wiskunde en waarschijnlijkheid, maar het resultaat is hetzelfde: aanpassingsvermogen.

Samenvattend in één zin:

Deze paper laat zien hoe een robot, wanneer hij op een onzichtbare muur botst, niet in paniek raakt, maar slim genoeg is om te bedenken: "Er is iets dat ik niet kan zien," en vervolgens een nieuwe route uit te stippelen om zijn doel toch te bereiken.

Technische samenvatting

Titel: Actief Causaal Structuurleren met Latente Variabelen: Op weg naar het Leren van Omwegen bij Autonome Robots

1. Probleemstelling

Autonome robots en AGI-agenten (Artificial General Intelligence) moeten kunnen omgaan met veranderende omgevingen en taken. Een specifiek probleem is wanneer een agent, die is getraind in een bepaalde omgeving, plotseling geconfronteerd wordt met een nieuwe, onbekende structuur (bijvoorbeeld een "transparante" barrière) die zijn bestaande causale model van de wereld ongeldig maakt.

• De uitdaging: De agent heeft een dynamisch beslissingsnetwerk (DDN) dat optimaal werkt zolang er geen barrière is. Wanneer de barrière verschijnt, faalt de agent: hij botst er tegen of kan zijn doel niet bereiken, omdat hij de oorzaak van het falen (de ondoordringbaarheid ondanks zichtbaarheid) niet begrijpt.
• De noodzaak: De agent moet in staat zijn om actief nieuwe interne causale modellen te construeren, inclusief het detecteren en modelleren van latente variabelen (variabelen die niet direct waarneembaar zijn, maar wel invloed hebben op de observaties), om zo van een suboptimale situatie naar een optimale, voorspelbare situatie te komen.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor: Active Causal Structure Learning with Latent Variables (ACSLWL). Dit raamwerk combineert causaal leren, theorie van verrassing (surprise) en dynamische beslissingsnetwerken.

A. Formele Basis:

• POMDP & DDN: De interactie wordt gemodelleerd als een Partially Observable Markov Decision Process (POMDP), vertaald naar een Dynamisch Beslissingsnetwerk (DDN). Het DDN bevat kansknopen (observaties), beslisknopen (acties) en nutknopen (beloningen).
• Causaliteit: Het model maakt onderscheid tussen associatie en causaliteit (mechanistische causality), waarbij gerichtheid van kanten causale effecten vertegenwoordigt.

B. Het Leerproces (De "Learning to Detour" cyclus):
Het proces verloopt in fasen om een nieuwe latente variabele te detecteren en te integreren:

1. Causaal Ontdekken (Causal Discovery):

   • De agent voert willekeurige acties uit om een initiële DDN-structuur te leren (intratemporale en intertemporale relaties).
   • Gebruik van causale coëfficiënten en transfer-entropy om de graafstructuur op te bouwen.

2. Detectie van Latente Variabelen via "Surprise" (Verrassing):

   • De agent berekent de verwachte nuttigheid (Maximum Expected Utility - MEU) voor een actie.
   • Na uitvoering van de actie wordt de werkelijke nuttigheid vergeleken met de verwachting.
   • Surprise Coëfficiënt ($C_S$): Een nieuwe maatstaf wordt gedefinieerd op basis van de divergentie tussen de voorspelde verdeling en de werkelijke uitkomst. Deze maatstaf normaliseert de Kullback-Leibler-divergentie met de informatie-dispersie (variatie van de informatie-inhoud).
   • Als de surprise in de nuttigheid significant is (vooral negatief, wat aangeeft dat de actie slechter presteerde dan verwacht), wordt de aanwezigheid van een latente variabele (HV - Hidden Variable) vermoed.

3. Selectie van Gerelateerde Variabelen:

   • De agent identificeert welke observatievariabelen (bijv. "Barrière Tactiel", "Diepte") ook een hoge surprise vertonen.
   • Een statistische hypothetetest wordt gebruikt om te bepalen welke variabelen als ouders of kinderen van de nieuwe verborgen variabele moeten dienen.

4. Structuurleren met Verborgen Variabelen:

   • Een nieuwe "XM" topologie wordt geïntroduceerd. De verborgen variabele (HV) wordt gekoppeld aan de geselecteerde observatievariabelen.
   • De structuur houdt rekening met mechanistische causaliteit: observaties op tijdstip $t$ beïnvloeden de HV, en de HV beïnvloedt de observaties op tijdstip $t+1$.

5. Parameter Schatting (Hard Weighted EM):

   • De Conditional Probability Tables (CPTs) voor de nieuwe structuur worden geleerd met behulp van een Hard Weighted Expectation-Maximization (EM) algoritme.
   • Gewichten: Observaties die een grote impact hebben op de nuttigheid (zelfs als de surprise klein is) krijgen een hoger gewicht. Dit zorgt ervoor dat de agent leert op basis van wat echt belangrijk is voor het doel, en niet alleen op basis van statistische ruis.

3. Belangrijkste Bijdragen

• ACSLWL Framework: Een nieuw raamwerk dat actief leren combineert met het detecteren van latente variabelen in real-time, specifiek gericht op het aanpassen van causale structuren.
• Theorie van Verrassing (Surprise Divergence): De introductie van een nieuwe divergentiemaatstaf die entropy en informatie-dispersie combineert om "surprise" te kwantificeren. Dit is robuuster dan standaard KL-divergentie en stelt de agent in staat om onderscheid te maken tussen ruis en echte structurele veranderingen.
• Actief Leren van Omwegen: Een concrete implementatie waarbij een robot leert een barrière te omzeilen door een interne causale variabele (de aanwezigheid van een ondoordringbare barrière) te "ontdekken" en te modelleren, zonder dat deze variabele direct zichtbaar is in de sensordata (behalve via de effecten).
• Hard Weighted EM: Een specifieke variant van het EM-algoritme die nuttigheidsverschillen gebruikt om observaties te wegen, waardoor het leren van causale modellen efficiënter en doelgerichter wordt.

4. Resultaten

De auteurs testen het model in een gesimuleerde omgeving waar een robot (een vierkant) moet navigeren naar een doelwit.

• Situatie: Een "transparante" barrière (spikes met openingen die kleiner zijn dan de robot) wordt plotseling in de weg geplaatst. De robot kan het doel zien, maar niet passeren.
• Vóór het leren: De robot botst herhaaldelijk tegen de barrière omdat zijn DDN aanneemt dat hij kan passeren zolang hij het doel ziet. De surprise-coëfficiënten voor "Barrière Tactiel" en "Diepte" zijn extreem hoog.
• Na het leren:
  • De agent introduceert een verborgen variabele (HV) die de aanwezigheid van de barrière modelleert.
  • De CPTs worden aangepast: de kans op een botsing (BT=1) bij een stap voorwaarts wordt nu correct gekoppeld aan de HV.
  • Gedrag: De robot stopt met het rechtstreeks op de barrière af te gaan. In plaats daarvan past hij zijn strategie aan: hij maakt kleinere stappen voorwaarts en voert "zijwaartse stappen" (Step Aside) uit om de barrière te omzeilen.
  • Validatie: De surprise-coëfficiënten voor de observatievariabelen en de nuttigheid dalen aanzienlijk na het leren, wat aantoont dat het nieuwe model de omgeving beter voorspelt. De robot bereikt het doel succesvol zonder onnodige botsingen.

5. Betekenis en Toekomstperspectief

• AGI en Robuustheid: Dit werk is een stap in de richting van AGI-agenten die niet alleen reageren op veranderingen, maar hun interne wereldmodellen fundamenteel herstructureren om met onbekende obstakels om te gaan. Het imiteert biologisch gedrag (zoals het "leren omzeilen" bij kikkers in eerdere studies van de auteurs).
• Toepassingsgebied: Hoewel nu getest in simulatie, is het raamwerk ontworpen voor toepassing in complexe, realistische scenario's zoals medische digitale tweelingen (waar latente ziektevariabelen een rol spelen) en fysieke robotica in onvoorspelbare omgevingen.
• Toekomstig Werk: De auteurs werken aan het uitbreiden van het model naar vectorvariabelen (in plaats van scalair), het hanteren van meerdere latente variabelen tegelijk, en het ontwikkelen van online algoritmen voor snellere, real-time ontdekking. Ook wordt gewerkt aan het koppelen van "surprise" aan "curiosity" om exploratiegedrag te sturen.

Conclusie:
Het papier demonstreert dat autonome agents, door actief te zoeken naar oorzaken van onverwachte resultaten (surprise) en deze te modelleren als latente variabelen, in staat zijn om complexe nieuwe gedragingen (zoals het omzeilen van obstakels) te leren zonder voorafgaande kennis van de specifieke structuur van de omgeving. Dit vormt een cruciale basis voor het creëren van robuuste, zelflerende robots.