Probabilistic Recurrent Intention Switching Model

Technische Zusammenfassung: Probabilistisches Rekurrentes Intentionsschaltmodell (PRISM)

Problemstellung
Das Standard-Inverse Reinforcement Learning (IRL) geht davon aus, dass eine einzelne, stationäre Belohnungsfunktion das Verhalten eines Agenten steuert. In der Realität wechseln jedoch reale Agenten – sowohl biologische (z. B. Mäuse, die Labyrinthe durchqueren) als auch künstliche (z. B. ferngesteuerte Roboter) – häufig innerhalb eines einzelnen Episoden zwischen verschiedenen Zielen oder Strategien. Bestehende IRL-Ansätze für multiple Intentionen haben Schwierigkeiten, diese Wechsel effektiv zu modellieren:

• Dynamisches IRL (DIRL) geht von einer glatten, kontinuierlichen Variation der Belohnung aus, was im Widerspruch zu Evidenzen für diskrete Strategiewechsel steht und rechenintensive Inferenz erfordert ($T$ Bellman-Lösungen).
• Hierarchisches Inverses Q-Learning (HIQL) modelliert Intentionübergänge als gedächtnislose Markov-Kette, wodurch es versagt, geschichtshistorisch abhängige Wechsel zu erfassen, die durch Faktoren wie Müdigkeit oder Sättigung getrieben werden. Die Inferenz skaliert aufgrund des Baum-Welch-Algorithmus schlecht ($O(nK^2)$).
• SWIRL integriert die Historie durch Zustandsaugmentierung, führt dies jedoch zu einer exponentiellen Explosion des Zustandsraums ($|S|^L$), was praktische Historienlängen begrenzt.

Folglich skaliert keine bestehende Methode natürlich auf große, nicht-markowsche Umgebungen, während sie gleichzeitig interpretierbare, diskrete Intentionen wiederherstellt.

Methodik: PRISM
Die Autoren schlagen das Probabilistische Rekurrente Intentionsschaltmodell (PRISM) vor, ein Framework, das feste Übergangsmodelle und manuelle Zustandsaugmentierung durch ein leichtgewichtiges rekurrentes neuronales Netz (RNN) ersetzt.

1. Modellarchitektur:

   • Verstecktes-Intention-MDP (HI-MDP): Die Umgebung wird als MDP mit einem latenten Intentionraum $Z = \{1, \dots, K\}$ modelliert.
   • Rekurrente Gating: Eine parametrische Funktion $f_\theta$ (ein RNN, LSTM oder Transformer) bildet die Beobachtungshistorie $\phi_{1:t}$ auf eine weiche Wahrscheinlichkeitsverteilung über Intentionen zu jedem Zeitschritt ab. Dies ermöglicht dem Modell, komplexe, historisch abhängige Schaltmechanismen ohne explizite Zustandsaugmentierung zu erfassen.
   • Intentionsspezifische Belohnungen: Jeder Intention $k$ ist eine spezifische Belohnungsfunktion $r_k$ zugeordnet. Die Politik des Experten unter Intention $k$ wird als eine Boltzmann-optimale Politik angenommen, die aus $r_k$ abgeleitet ist.

2. Inferenz und Optimierung:

   • EM-Zerlegung: Die Autoren beweisen, dass das Expectation-Maximization (EM)-Ziel für PRISM exakt in unabhängige Teilprobleme zerfällt, was keine variationelle Approximation erfordert.
     • E-Schritt: Berechnet die posteriori-Verantwortlichkeit $P(z_t=k | \xi, \psi, \Theta)$ für jeden Zeitschritt. Aufgrund der Faktorisierung der Posteriori-Verteilung skaliert dieser Schritt linear mit $O(nK)$ pro Trajektorie, was eine signifikante Verbesserung gegenüber den $O(nK^2)$-Kosten markov-basierter Methoden darstellt.
     • M-Schritt:
       • Belohnungsupdate: Jede Belohnungsfunktion $r_k$ wird unabhängig aktualisiert, indem ein gewichtetes Inverses Action-Value-Iterationsproblem (IAVI) in geschlossener Form gelöst wird.
       • Netzwerkupdate: Die Parameter des Gating-Netzwerks $\theta$ werden per Gradientenabstieg aktualisiert, um die Likelihood der zugewiesenen Intentionen zu maximieren, regularisiert durch $\ell_1$ (um spärliches Schalten zu fördern) und die KL-Divergenz (um glatte Übergänge zu fördern).

3. Trainingsziel:
   Die Verlustfunktion kombiniert die negative Log-Likelihood der Intentionzuweisungen mit temporalen Glättungsstrafen, um erratiche Wechsel zu verhindern, während die Fähigkeit zum Schalten bei Bedarf erhalten bleibt.

Hauptbeiträge

1. PRISM-Framework: Eine neue IRL-Methode für multiple Intentionen, die ein rekurrentes Netz zur Modellierung der Intentionsdynamik nutzt und damit ein End-to-End-Lernen historisch abhängiger Wechsel ohne manuelle Zustandsaugmentierung ermöglicht.
2. Theoretische Garantien: Ein Beweis, dass sich das EM-Ziel exakt in unabhängige belohnungsspezifische Teilprobleme pro Intention zerlegen lässt, die mittels IAVI in geschlossener Form lösbar sind.
3. Rechenleistung: Ein $O(nK)$ E-Schritt, erreicht durch Posteriori-Faktorisierung, der die quadratische Komplexität von Vorwärts-Rückwärts-Algorithmen vermeidet, die in markov-basierten Ansätzen verwendet werden.
4. Erste groß angelegte robotische Anwendung: Die Anwendung von IRL für multiple Intentionen auf den BridgeData V2-Datensatz für robotische Manipulation, was die Fähigkeit der Methode demonstriert, über die Neurowissenschaft hinaus zu generalisieren.
5. Interpretierbarkeit: Die Wiederherstellung benennbarer, zeitlich kohärenter Intentionen und Belohnungskarten aus ungelabelten Demonstrationen über drei verschiedene Domänen hinweg.

Experimentelle Ergebnisse
PRISM wurde an drei Datensätzen zunehmender Komplexität evaluiert:

1. Frustration Gridworld (Validierung nicht-markowscher Dynamik):

   • Setup: Eine kontrollierte Umgebung, in der ein Agent Strategien basierend auf einem versteckten „Frustrationszähler" (ein strikt nicht-markowscher Zustand) wechselt.
   • Ergebnis: PRISM erreichte die höchste Test-Log-Likelihood und den niedrigsten erwarteten Wertunterschied im Vergleich zu HIQL, IAVI und MaxEnt IRL. Entscheidend war, dass PRISM den akkumulierenden Frustrationszustand erfolgreich verfolgte und Intentionen scharf wechselte, wohingegen HIQL (gedächtnislos) die kumulative Natur des Wechsels nicht erfassen konnte.

2. Maus-Labyrinth (Biologische Daten):

   • Setup: Reale Daten von wasserentzogenen Mäusen, die ein 127-Knoten-Labyrinth durchqueren.
   • Ergebnis: PRISM übertraf SWIRL und andere Baselines in der Test-Log-Likelihood. Es stellte drei verschiedene, interpretierbare Intentionen wieder her: Wassersuche, Heimkehr und Exploration. Die wiederhergestellten Belohnungskarten und Segmentierungsgrenzen stimmten mit bekannten biologischen Trieben und Verhaltensereignissen (z. B. Besuche an Wasserstellen) überein.

3. BridgeData V2 (Robotische Manipulation):

   • Setup: Ein groß angelegter Datensatz menschlich ferngesteuerter robotischer Manipulationsaufgaben mit hochdimensionalen visuellen Beobachtungen.
   • Ergebnis: Ohne jegliche Überwachung oder Vorwissen über Intentionen entdeckte PRISM vier zeitlich kohärente Manipulationsphasen: Annäherung/Abfahrt, Greifen, Tragen und Ruhe. Die Methode erreichte eine höhere Log-Likelihood auf zurückgehaltenen Daten als die Baselines, was demonstriert, dass diskreter Intentionwechsel eine allgemeine Eigenschaft zielgerichteten Verhaltens sowohl bei biologischen als auch bei künstlichen Agenten ist.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass PRISM eine skalierbare, theoretisch fundierte Lösung zur Wiederherstellung latenter Ziele in sequenziellem Verhalten bietet. Indem die Autoren beweisen, dass sich das EM-Ziel exakt zerlegen lässt, zeigen sie, dass komplexe historisch abhängige Wechsel modelliert werden können, ohne die rechnerische Handhabbarkeit der Belohnungswiederherstellung in geschlossener Form zu opfern.

Die Bedeutung liegt in der Demonstration, dass:

• Diskreter Zielwechsel sowohl bei biologischen als auch bei künstlichen Agenten weit verbreitet ist.
• Historisch abhängige Wechsel (nicht-markowsche Dynamik) End-to-End gelernt werden können, ohne manuelles Feature-Engineering oder Zustandsaugmentierung.
• Die wiederhergestellten Belohnungskarten einen strukturierten, interpretierbaren Rahmen bieten, um die latenten Ziele hinter komplexen Demonstrationen zu verstehen, und damit über einfache Politikimitation hinausgehen, um zu verstehen, warum ein Agent zu bestimmten Momenten handelt.

Die Autoren räumen Einschränkungen ein, darunter die aktuelle Abhängigkeit von diskreten MDPs (was eine Diskretisierung für visuelle Daten erfordert) und den Offline-Betrieb. Sie schlagen vor, dass zukünftige Arbeiten modellfreie Erweiterungen (Ersetzung von IAVI durch modellfreies inverses Q-Learning) und Online-Erweiterungen für die Echtzeit-Überwachung von Intentionen untersuchen könnten.