Active Causal Structure Learning with Latent Variables: Towards Learning to Detour in Autonomous Robots

Diese Arbeit zeigt, wie autonome Roboter durch aktives kausales Strukturlernen mit latenten Variablen unerwartete Hindernisse wie transparente Barrieren bewältigen, indem sie neue kausale Modelle konstruieren, um von suboptimalen zu optimalen Handlungsplänen zu gelangen.

Das Wesentliche

Der Roboter, der eine unsichtbare Wand entdeckte

Stellen Sie sich einen kleinen, intelligenten Roboter vor, nennen wir ihn Robi. Robi hat ein Ziel: Er soll von Punkt A nach Punkt B laufen. In seiner Welt gibt es keine Hindernisse. Robi hat gelernt, wie die Welt funktioniert: Wenn er einen Schritt nach vorne macht, bewegt er sich auch wirklich nach vorne. Er hat ein mentales Modell in seinem Kopf (ein "Gehirn"), das ihm sagt: "Wenn ich das tue, passiert das."

Das Problem:
Eines Tages baut jemand eine unsichtbare Barriere in Robis Weg. Es ist wie ein Zaun aus Stäben, durch den man hindurchsehen kann, aber nicht durchgehen. Robi sieht das Ziel, aber er weiß nicht, dass da ein Zaun ist. Er läuft einfach drauf zu, stößt gegen den Zaun und bleibt stecken.

Für Robi ist das ein riesiges Rätsel. In seinem Gehirn sagt das Modell: "Schritt nach vorne = Bewegung nach vorne." Aber in der Realität passiert: "Schritt nach vorne = Stagnation." Robi ist verwirrt. Er erlebt eine Überraschung.

Die Lösung: Das "Geister-Modell" (Latente Variablen)

Hier kommt die geniale Idee des Papers ins Spiel. Anstatt einfach nur zu raten, was schiefgelaufen ist, baut Robi etwas Neues in sein Gehirn ein: Er erfindet eine unsichtbare Variable.

Stellen Sie sich vor, Robi denkt: "Vielleicht gibt es da draußen etwas, das ich nicht sehen kann, aber das meine Bewegung blockiert."
In der Wissenschaft nennen wir das eine latente Variable (ein versteckter Faktor). Für Robi ist es wie ein "Geister-Modell". Er fügt einen neuen Knoten in sein mentales Netz ein, den er "Unsichtbarer Zaun" nennt.

Wie lernt er das?

1. Die Überraschung messen: Robi nutzt eine Art "Überraschungs-Messgerät". Wenn seine Vorhersage (ich werde mich bewegen) und die Realität (ich bleibe stehen) zu weit auseinanderklaffen, schlägt der Alarm.
2. Das Modell anpassen: Sobald der Alarm losgeht, sagt Robi: "Okay, mein altes Modell reicht nicht. Ich brauche eine neue Regel." Er fügt den "Unsichtbaren Zaun" in sein Gehirn ein.
3. Die Kausalität verstehen: Er lernt nun: "Wenn ich mich dem Zaun nähere (und der Zaun existiert), dann führt mein Schritt nach vorne zu keinem Fortschritt." Er lernt die Ursache (der Zaun) und die Wirkung (keine Bewegung).

Der Umweg (Detour)

Sobald Robi dieses neue "Geister-Modell" in seinem Kopf hat, ändert sich sein Verhalten komplett. Er lernt nicht nur, dass er nicht weiterkommt, sondern er lernt auch die Lösung:

• Statt stur gegen den Zaun zu laufen, merkt er: "Aha, wenn ich zur Seite gehe (Schritt zur Seite), kann ich den Zaun umgehen."
• Er entwickelt einen Umweg. Er lernt, das Hindernis zu "detourieren" (zu umgehen).

Das ist der Kern der Arbeit: Ein intelligenter Agent (Roboter oder KI) muss nicht nur reagieren, sondern er muss aktive neue Modelle bauen, wenn die Welt sich unerwartet ändert. Er muss lernen, "abzulenken" (to detour), wenn der direkte Weg blockiert ist.

Warum ist das wichtig für die Zukunft?

Die Autoren sagen, dass dies ein Schritt hin zu Allgemeiner Künstlicher Intelligenz (AGI) ist.

• Heutige Roboter sind wie Autoklappen: Sie machen nur das, wofür sie programmiert wurden. Wenn ein neues Hindernis auftaucht, das sie nicht kennen, fallen sie aus.
• Zukünftige Roboter (wie in diesem Papier) sind wie neugierige Kinder oder Tiere. Wenn sie auf etwas Unbekanntes stoßen, fragen sie sich: "Was ist das?" und bauen sich ein neues Verständnis der Welt auf, um es zu meistern.

Zusammenfassend in einem Bild:
Stellen Sie sich vor, Sie fahren mit dem Auto und plötzlich ist die Straße gesperrt.

• Ein normaler Roboter würde gegen die Absperrung fahren und stehen bleiben, weil er nicht weiß, was er tun soll.
• Der Roboter aus diesem Papier würde denken: "Aha, da ist etwas, das ich nicht gesehen habe (eine latente Variable). Ich muss meine Route ändern." Er würde sofort eine neue Karte im Kopf zeichnen, die den Umweg zeigt, und weiterfahren.

Dieses Papier zeigt also, wie man Robotern beibringt, nicht nur zu sehen, sondern zu verstehen, warum Dinge passieren, und wie sie sich anpassen, wenn die Regeln der Welt plötzlich ändern.

Technische Zusammenfassung

Titel: Active Causal Structure Learning with Latent Variables: Towards Learning to Detour in Autonomous Robots

Autoren: Pablo de los Riscos und Fernando Corbacho

---

1. Problemstellung

Das Papier adressiert die Herausforderung, wie autonome Agenten und Roboter in sich ständig verändernden Umgebungen agieren können, insbesondere wenn sie auf unerwartete strukturelle Änderungen stoßen, die in ihren bisherigen internen Kausalmodellen nicht berücksichtigt wurden.

• Kontext: Ein Roboter wurde in einer Umgebung trainiert, in der keine Hindernisse existierten. Plötzlich wird eine unsichtbare (transparente) Barriere (ein Pfahlzaun mit Lücken, die für den Roboter zu schmal sind, aber durch die er sehen kann) in seinen Pfad zum Ziel eingefügt.
• Das Dilemma: Der Roboter versucht zunächst, direkt auf das Ziel zuzugehen, stößt jedoch auf die Barriere. Da er die Barriere nicht sehen kann (nur durch Berührung/„Taktiles" wahrnimmt) und keine Kausalität zwischen seiner Aktion und dem plötzlichen Stillstand in seinem bestehenden Modell kennt, versagt er.
• Ziel: Der Agent muss in der Lage sein, latente Variablen (nicht beobachtbare Ursachen) zu erkennen, neue kausale Strukturen zu lernen und sein internes Modell anzupassen, um eine effiziente Umgehungsstrategie („Detour") zu entwickeln. Dies wird als notwendige Komponente für Künstliche Allgemeine Intelligenz (AGI) betrachtet.

2. Methodik und Framework (ACSLWL)

Die Autoren stellen ein Framework namens Active Causal Structure Learning with Latent Variables (ACSLWL) vor. Dieses kombiniert dynamische Entscheidungnetzwerke (DDN) mit einer Theorie des „Überraschens" (Surprise Theory).

A. Grundlegende Architektur

• POMDP & DDN: Die Interaktion wird als Partially Observable Markov Decision Process (POMDP) modelliert, repräsentiert durch ein Dynamisches Entscheidungsnetzwerk (DDN). Das DDN besteht aus Chancen-Knoten (Beobachtungen), Entscheidungs-Knoten (Aktionen) und Nutzen-Knoten.
• Kausalität: Das Framework nutzt mechanistische Kausalität (X verursacht Y durch eine Funktion $Y = f(X, N)$) und unterscheidet zwischen beobachtbaren Variablen und latenten Variablen (die vom Agenten als „versteckte Variablen" modelliert werden).

B. Der Lernprozess in Phasen

Der Prozess des „Lernens zum Umgehen" (Learning to Detour) läuft in folgenden Phasen ab:

1. Kausale Entdeckung (Causal Discovery):

   • Der Agent führt zufällige Aktionen aus, um Daten zu sammeln.
   • Es werden intratemporale (innerhalb eines Zeitpunkts) und intertemporale (über Zeit hinweg) kausale Beziehungen gelernt, unter Verwendung von Kausalitätskoeffizienten und Transfer-Entropie.

2. Erkennung latenter Variablen (Surprise Detection):

   • Überraschungsdivergenz ($D_S$): Der Kern der Methode ist eine neue Metrik zur Messung von „Überraschung". Sie vergleicht die vom Agenten vorhergesagte Wahrscheinlichkeitsverteilung mit der tatsächlich beobachteten Verteilung.
   • Die Divergenz basiert auf Entropie ($H$) und Informationsdispersion ($VI$) und ist eine normalisierte Form der Kullback-Leibler-Divergenz.
   • Auslöser: Wenn die tatsächliche Nutzenfunktion ($U$) signifikant von der erwarteten maximalen Nutzenfunktion (MEU) abweicht und dies eine hohe „Überraschung" darstellt, wird die Existenz einer latenten Variable vermutet.

3. Struktur-Lernen mit versteckten Variablen:

   • Sobald eine latente Variable (hier: das Vorhandensein der Barriere) detektiert wurde, wird eine neue versteckte Variable (HV) in das DDN eingefügt.
   • Topologie („XM"-Struktur): Die Autoren definieren eine spezifische Topologie, bei der die HV von den beobachteten Variablen zum Zeitpunkt $t$ beeinflusst wird (Eltern) und die Verteilung der beobachteten Variablen zum Zeitpunkt $t+1$ beeinflusst (Kinder). Dies modelliert die kausale Kette: Beobachtung $\to$ Latente Ursache $\to$ Zukünftige Beobachtung.

4. Parametrisches Lernen (CPT Estimation):

   • Die bedingten Wahrscheinlichkeitstabellen (CPTs) für die neue Struktur werden mittels Hard Weighted Expectation Maximization (EM) geschätzt.
   • Beobachtungen mit hoher Überraschung, aber geringer Auswirkung auf den Nutzen, erhalten geringere Gewichte, während Beobachtungen mit großer Nutzenabweichung stärker gewichtet werden.

3. Schlüsselergebnisse

Die Simulation des Roboters in der beschriebenen Umgebung liefert folgende Ergebnisse:

• Verhaltensänderung: Vor dem Lernen bewegt sich der Roboter direkt auf das Ziel zu und kollidiert wiederholt mit der Barriere. Nach dem Lernen des versteckten Modells (HV) ändert der Roboter sein Verhalten: Er reduziert die Kraft des „Vorwärts"-Schritts und initiiert „Seitwärts"-Bewegungen (Step Aside), um die Barriere zu umgehen.
• Reduktion der Überraschung: Die Analyse der Überraschungskoeffizienten zeigt, dass nach dem Lernen die Überraschungswerte für die Variablen „Barrier Tactile" (Berührung der Barriere) und „Depth" (Entfernung zum Ziel) drastisch sinken. Der Agent kann die Umgebung nun korrekt vorhersagen.
• Anpassungsfähigkeit: Das Modell zeigt, dass der Agent in der Lage ist, eine suboptimale Situation (Stagnation) in eine vorhersehbare Situation mit einem optimalen Plan umzuwandeln, ohne dass externe Eingriffe nötig sind.
• Tabellenanalyse: Die marginalisierten CPTs zeigen, dass die Wahrscheinlichkeit, die Barriere zu berühren ($BT=1$), in Anwesenheit der versteckten Variable ($HV=1$) signifikant steigt, was das neue kausale Verständnis des Agents widerspiegelt.

4. Hauptbeiträge

1. Neues Framework (ACSLWL): Ein integrierter Ansatz, der aktives Lernen, kausale Struktur-Entdeckung und die explizite Modellierung latenter Variablen in dynamischen Entscheidungsumgebungen verbindet.
2. Theorie der Überraschung: Einführung einer neuen, asymmetrischen Divergenzmetrik ($D_S$), die auf Entropie und Informationsdispersion basiert, um signifikante Abweichungen zwischen Erwartung und Realität zu quantifizieren und latente Ursachen zu identifizieren.
3. Struktur-Learning-Algorithmus: Ein Verfahren zur automatischen Einfügung versteckter Variablen in DDNs und zur Anpassung der Topologie (XM-Struktur) basierend auf statistischen Hypothesentests der Überraschung.
4. Anwendung auf Roboter-Verhalten: Demonstration, wie ein autonomer Agent durch interne kausale Modellbildung eine komplexe Umgehungsstrategie (Detour) lernt, die er vorher nicht beherrschte.

5. Bedeutung und Ausblick

• AGI und Resilienz: Das Papier liefert einen wichtigen Baustein für die Entwicklung von AGI-Agenten, die nicht nur statisches Wissen anwenden, sondern ihre internen Weltmodelle dynamisch rekonstruieren können, wenn sie auf neue, unerwartete Hindernisse stoßen. Dies ist essenziell für robuste autonome Systeme in realen, unvorhersehbaren Umgebungen.
• Biologische Inspiration: Der Ansatz lehnt sich an biologische Lernprozesse an (z. B. das Umgehen von Hindernissen durch Frösche in früheren Studien), wo Organismen nach Verletzungen oder neuen Hindernissen kompensatorische Verhaltensweisen entwickeln.
• Zukünftige Arbeiten: Die Autoren planen, das Framework auf reale Roboter (z. B. Khepera), medizinische digitale Zwillinge (mit mehreren latenten Variablen) und kontinuierliche Variablen zu erweitern. Zudem wird an Online-Algorithmen zur effizienteren Berechnung der Entropie und an der Integration von „Neugier" (Curiosity) als Antriebskraft für die Exploration gearbeitet.

Zusammenfassend demonstriert das Papier, wie ein Agent durch die Kombination von kausaler Inferenz und einer quantitativen Theorie des „Überraschens" in der Lage ist, latente Umweltfaktoren zu entdecken und sein Verhalten autonom anzupassen, um trotz unvorhergesehener Hindernisse Ziele zu erreichen.