Probabilistic Recurrent Intention Switching Model

Technische Samenvatting: Probabilistisch Recurrent Intentieswitch-model (PRISM)

Probleemstelling
Standaard Inverse Versterkingsleer (IRL) gaat uit van één stationaire beloningsfunctie die het gedrag van een agent aanstuurt. Echter, real-world agents—zowel biologisch (bijv. muizen die labyrinten navigeren) als kunstmatig (bijv. telebediende robots)—schakelen frequent tussen verschillende doelen of strategieën binnen één episode. Bestaande IRL-aanpakken voor meerdere intenties worstelen om deze switches effectief te modelleren:

• Dynamic IRL (DIRL) gaat uit van een gladde, continue variatie in beloning, wat in strijd is met bewijs van discrete strategie-switches en rekenkundig dure inferentie vereist ($T$ Bellman-oplossingen).
• Hierarchical Inverse Q-Learning (HIQL) modelleert intentie-overgangen als een geheugenloze Markov-keten, wat niet in staat is om geschiedenisafhankelijke switches vast te leggen die worden gedreven door factoren zoals vermoeidheid of verzadiging. De inferentie schaalt slecht ($O(nK^2)$) vanwege het Baum–Welch-algoritme.
• SWIRL integreert geschiedenis via staatsexpansie, maar dit zorgt voor een exponentiële explosie van de toestandsruimte ($|S|^L$), wat de praktische lengte van geschiedenis beperkt.

Bijgevolg is er geen enkele bestaande methode die op natuurlijke wijze schaalt naar grote, niet-Markovse omgevingen terwijl het interpreteerbare, discrete intenties herstelt.

Methodologie: PRISM
De auteurs stellen het Probabilistisch Recurrent Intentieswitch-model (PRISM) voor, een raamwerk dat vaste transitie-modellen en handmatige staatsexpansie vervangt door een lichtgewicht recurrente neurale netwerken (RNN).

1. Modelarchitectuur:

   • Hidden-Intention MDP (HI-MDP): De omgeving wordt gemodelleerd als een MDP met een latente intentieruimte $Z = \{1, \dots, K\}$.
   • Recurrent Gating: Een parametrische functie $f_\theta$ (een RNN, LSTM of Transformer) mapt de waarnemingsgeschiedenis $\phi_{1:t}$ af naar een zachte waarschijnlijkheidsverdeling over intenties op elk tijdstip. Dit stelt het model in staat complexe, geschiedenisafhankelijke switchmechanismen vast te leggen zonder expliciete staatsexpansie.
   • Per-Intentie Beloningen: Elke intentie $k$ is gekoppeld aan een specifieke beloningsfunctie $r_k$. Het beleid van de expert onder intentie $k$ wordt verondersteld een Boltzmann-optimale beleid te zijn, afgeleid van $r_k$.

2. Inferentie en Optimalisatie:

   • EM-decompositie: De auteurs bewijzen dat het Expectation-Maximization (EM)-doel voor PRISM exact decomposeert in onafhankelijke subproblemen, waarbij geen variatieve benadering nodig is.
     • E-stap: Berekent de posterior-verantwoordelijkheid $P(z_t=k | \xi, \psi, \Theta)$ voor elk tijdstip. Door de factorisatie van de posterior, schaalt deze stap lineair als $O(nK)$ per traject, een significante verbetering ten opzichte van de $O(nK^2)$-kosten van methoden op basis van Markov-ketens.
     • M-stap:
       • Beloningsupdate: Elke beloningsfunctie $r_k$ wordt onafhankelijk bijgewerkt door een gewogen Inverse Action-Value Iteration (IAVI)-probleem in gesloten vorm op te lossen.
       • Netwerkupdate: De parameters van het gating-netwerk $\theta$ worden bijgewerkt via gradient descent om de waarschijnlijkheid van de toegewezen intenties te maximaliseren, geregulariseerd door $\ell_1$ (om schaarse switches te bevorderen) en KL-divergentie (om gladde overgangen te bevorderen).

3. Trainingsdoel:
   De verliesfunctie combineert de negatieve log-likelihood van de intentietoewijzingen met straffen voor temporale gladheid om onrustige switches te voorkomen, terwijl het vermogen om bij noodzaak te switchen behouden blijft.

Belangrijkste Bijdragen

1. PRISM-raamwerk: Een nieuwe IRL-methode voor meerdere intenties die een recurrent netwerk gebruikt om intentiedynamiek te modelleren, wat end-to-end leren van geschiedenisafhankelijke switches mogelijk maakt zonder handmatige staatsexpansie.
2. Theoretische garanties: Een bewijs dat het EM-doel exact decomposeert in onafhankelijke per-intentie beloningssubproblemen, die in gesloten vorm oplosbaar zijn via IAVI.
3. Rekenkundige efficiëntie: Een $O(nK)$ E-stap bereikt door posterior-factorisatie, waardoor de kwadratische complexiteit van forward-backward-algoritmen die in Markov-gebaseerde benaderingen worden gebruikt, wordt vermeden.
4. Eerste grootschalige robottoepassing: De toepassing van IRL voor meerdere intenties op de BridgeData V2-dataset voor robotmanipulatie, wat het vermogen van de methode aantoont om te generaliseren buiten de neurowetenschap.
5. Interpreteerbaarheid: Het herstellen van benoembare, temporair coherente intenties en beloningskaarten uit ongelabelde demonstraties over drie verschillende domeinen.

Experimentele Resultaten
PRISM werd geëvalueerd op drie datasets van toenemende complexiteit:

1. Frustration Gridworld (Validatie van niet-Markovse eigenschappen):

   • Opzet: Een gecontroleerde omgeving waarin een agent strategieën schakelt op basis van een verborgen "frustratie-teller" (een strikt niet-Markovse staat).
   • Resultaat: PRISM behaalde de hoogste test log-likelihood en het laagste verwachte waardeverschil in vergelijking met HIQL, IAVI en MaxEnt IRL. Cruciaal volgde PRISM de oplopende frustratie succesvol en schakelde het scherp van intentie, terwijl HIQL (geheugenloos) niet in staat was de cumulatieve aard van de switch vast te leggen.

2. Muizelabyrint (Biologische data):

   • Opzet: Real-world data van water-beperkte muizen die een labyrint van 127 knopen navigeren.
   • Resultaat: PRISM presteerde beter dan SWIRL en andere baselines in test log-likelihood. Het herstelde drie verschillende, interpreteerbare intenties: waterzoeken, thuiszoeken en exploratie. De herstelde beloningskaarten en segmentatiegrenzen kwamen overeen met bekende biologische drijfveren en gedragsgebeurtenissen (bijv. bezoeken aan waterpunten).

3. BridgeData V2 (Robotmanipulatie):

   • Opzet: Een grootschalige dataset van door mensen telebediende robotmanipulatietaken met hoogdimensionale visuele waarnemingen.
   • Resultaat: Zonder enige supervisie of voorkennis van intenties ontdekte PRISM vier temporair coherente manipulatiefasen: Benaderen/Afstand nemen, Grijpen, Dragen en Rust. De methode behaalde een hogere held-out log-likelihood dan baselines, wat aantoont dat discrete intentieswitches een algemeen kenmerk zijn van doelgericht gedrag bij zowel biologische als kunstmatige agents.

Betekenis en Claims
Het artikel claimt dat PRISM een schaalbare, theoretisch onderbouwde oplossing biedt voor het herstellen van latente doelen in sequentieel gedrag. Door te bewijzen dat het EM-doel exact decomposeert, tonen de auteurs aan dat complexe geschiedenisafhankelijke switches gemodelleerd kunnen worden zonder de rekenkundige haalbaarheid van beloningsherstel in gesloten vorm op te offeren.

De betekenis ligt in de demonstratie dat:

• Discrete doel-switches wijdverbreid zijn bij zowel biologische als kunstmatige agents.
• Geschiedenisafhankelijke switches (niet-Markovse dynamiek) end-to-end kunnen worden geleerd zonder handmatige feature-engineering of staatsexpansie.
• De herstelde beloningskaarten een gestructureerde, interpreteerbare lens bieden voor het begrijpen van de latente doelen achter complexe demonstraties, wat verder gaat dan simpele imitatie van beleid naar het begrijpen waarom een agent op specifieke momenten handelt.

De auteurs erkennen beperkingen, waaronder de huidige afhankelijkheid van discrete MDP's (waarbij discretisatie vereist is voor visuele data) en offline werking. Zij suggereren dat toekomstig werk modelvrije extensies kan verkennen (waarbij IAVI wordt vervangen door modelvrije inverse Q-learning) en online extensies voor real-time intentiebewaking.