GRAIL: Goal Recognition Alignment through Imitation Learning

1. Problemstellung

Das Ziel der Zielerkennung (Goal Recognition, GR) besteht darin, die Absichten eines Agenten aus beobachtbaren Verhaltenssequenzen abzuleiten. Bestehende GR-Ansätze basieren häufig auf der restriktiven Annahme, dass Agenten optimal handeln (d. h. sie folgen einem rationalen Plan oder maximieren eine Reward-Funktion).

Dies führt jedoch zu zwei Hauptproblemen in realen Szenarien:

1. Suboptimales und verzerrtes Verhalten: Menschen und reale Agenten handeln oft nicht optimal. Sie folgen systematischen Präferenzen (z. B. bevorzugte Routen, Vermeidung von Kurven) oder weisen Rauschen auf. Klassische Modelle, die Optimalität voraussetzen, interpretieren diese Abweichungen oft als Rauschen oder scheitern bei der Unterscheidung von Zielen, wenn die optimalen Pfade für verschiedene Ziele initial identisch sind (siehe Abbildung 1 im Paper).
2. Rechenkomplexität: Viele aktuelle Methoden erfordern entweder teure Planungsaufrufe (Planner) pro Beobachtung oder das Training von Reinforcement-Learning-(RL)-Modellen pro Ziel, was Latenzprobleme in interaktiven Systemen verursacht.

2. Methodik: GRAIL

Das Paper stellt GRAIL (Goal Recognition Alignment through Imitation Learning) vor, ein Framework, das das Problem der Zielerkennung als eine Sammlung von Imitationslernen (Imitation Learning, IL)-Problemen formuliert.

Kernidee:
Statt ein globales Optimalitätsmodell anzunehmen, lernt GRAIL für jedes Kandidatenziel $g$ eine separate, zielgerichtete Policy $\pi_g$ direkt aus Demonstrationsdaten (Trajektorien). Diese Daten können suboptimal oder systematisch verzerrt sein.

Der Ablauf gliedert sich in zwei Phasen:

• Offline-Policy-Learning (Training):

  • Für jedes Ziel $g \in G$ wird ein Datensatz $D_g$ von Demonstrationen gesammelt.
  • Es werden verschiedene IL-Algorithmen als Backbone verwendet, um eine Policy $\pi_g$ zu trainieren, die das Verhalten des Agenten für dieses spezifische Ziel nachahmt.
  • Die untersuchten Algorithmen sind:
    • BC (Behavioral Cloning): Überwachtes Lernen über State-Action-Paare.
    • GAIL (Generative Adversarial Imitation Learning): Adversariales Training zur Anpassung der Occupancy-Verteilungen.
    • AIRL (Adversarial Inverse Reinforcement Learning): Lernt eine Reward-Funktion und eine Policy gleichzeitig.
  • Das Ergebnis ist ein „Bank" von Policies, die die charakteristischen Verhaltensmuster (inkl. Bias und Suboptimalität) jedes Ziels kodieren.

• Online One-Shot Inference (Testzeit):

  • Bei einer neuen, teilweise beobachteten Trajektorie $\tau_{obs}$ wird keine Planung oder Umgebungsinteraktion durchgeführt.
  • Stattdessen wird die Trajektorie gegen jede gelernte Policy $\pi_g$ bewertet.
  • Als Bewertungsfunktion (Scoring) wird die Negative Average Mean Squared Error (MSE) zwischen den vorhergesagten Aktionen der Policy und den beobachteten Aktionen verwendet:
    $$S_g(\tau_{obs}) = -\frac{1}{T} \sum_{t=0}^{T-1} ||\pi_g(s_t) - a_t||^2$$
  • Das Ziel $\hat{g}$ wird als dasjenige ausgewählt, das den höchsten Score liefert (maximale Ähnlichkeit).

3. Schlüsselbeiträge

1. Neue Formulierung: GRAIL verbindet Zielerkennung, Imitationslernen und Inverse Reinforcement Learning (IRL). Es behandelt Abweichungen von der Optimalität nicht als Fehler, sondern als signifikante Merkmale, die gelernt werden müssen.
2. Effizienz: Das System ermöglicht eine Planer-freie (planner-free) Inferenz. Da die Policies bereits offline gelernt wurden, erfolgt die Zielerkennung in Echtzeit durch einen einzigen Forward-Pass, was Latenzprobleme eliminiert.
3. Robustheit: Durch das direkte Lernen aus Demonstrationen kann GRAIL systematische menschliche Verzerrungen (Biases) und suboptimales Verhalten modellieren, was bei reinen RL- oder Planungsansätzen oft scheitert.
4. Skalierbarkeit: Das Framework funktioniert sowohl in diskreten Umgebungen (MiniGrid) als auch in kontinuierlichen robotischen Steuerungsumgebungen (PandaReach).

4. Ergebnisse

Die Evaluation erfolgte in den Umgebungen MiniGrid (diskretes Navigation) und PandaReach (kontinuierliche Robotersteuerung) unter verschiedenen Bedingungen:

• Systematisch verzerrtes optimales Verhalten:

  • In Szenarien, bei denen Agenten zwar optimale Pfade wählen, aber eine systematische Präferenz für bestimmte Routen haben (z. B. Park-Routen), scheiterten klassische RL-basierte Baselines (GRAQL) mit einem F1-Score von ca. 0,3–0,5 (nahe Zufall).
  • GRAIL erreichte hier nahezu perfekte Erkennung (F1 $\approx$ 1,0), da es die spezifischen Präferenzen der Demonstrationen gelernt hatte.

• Suboptimales Verhalten (Rauschen/Abweichungen):

  • Unter suboptimalen Bedingungen (z. B. durch Rauschen oder Heuristiken) übertraf GRAIL die Baselines (GRAQL, DRACO) konsistent.
  • Der F1-Score verbesserte sich um 0,1 bis 0,3.
  • Besonders BC-GRAIL zeigte starke Leistung, da es suboptimale Muster direkt kopiert, während RL-Ansätze diese oft als Rauschen behandeln.

• Optimales Verhalten:

  • Auch unter idealen, rauschfreien Bedingungen blieb GRAIL konkurrenzfähig und übertraf die Baselines in komplexeren Szenarien (mehr Ziele, höhere Observabilität).

• Effizienz:

  • GRAIL ist in der Inferenz deutlich schneller als Baselines, da keine Umgebungsrollouts oder Planer benötigt werden.
  • Das Training ist effizienter als bei reinen RL-Ansätzen, da weniger Interaktionen mit der Umgebung nötig sind (insbesondere bei BC).

5. Signifikanz und Implikationen

Das Paper zeigt, dass die Annahme der rationalen Optimalität ein Hindernis für robuste Zielerkennung in der realen Welt ist. GRAIL bietet einen Paradigmenwechsel:

• Alignment: Es richtet die KI-Systeme besser an den tatsächlichen, oft unvollkommenen menschlichen Verhaltensweisen aus.
• Praktische Anwendbarkeit: Die Fähigkeit, Ziele in Echtzeit und ohne rechenintensive Planung zu erkennen, macht das System für interaktive Anwendungen (z. B. Mensch-Roboter-Interaktion) geeignet.
• Ethik: Die Autoren betonen die ethischen Implikationen, da solche Systeme zur Überwachung oder Manipulation missbraucht werden könnten. Sie fordern Transparenz, Datenschutz und Fairness bei der Implementierung.

Zusammenfassend stellt GRAIL einen skalierbaren, robusten und effizienten Ansatz dar, der Imitationslernen nutzt, um die Lücke zwischen theoretischen Zielerkennungsmodellen und dem chaotischen Verhalten realer Agenten zu schließen.