GRAIL: Goal Recognition Alignment through Imitation Learning

Titel: GRAIL: Goal Recognition Alignment through Imitation Learning

Auteurs: Osher Elhadad, Felipe Meneguzzi, en Reuth Mirsky.

1. Probleemstelling

Het doel van Goal Recognition (GR) is het afleiden van de onderliggende doelen van een agent op basis van haar waarneembare gedrag. Bestaande GR-methoden maken vaak een restrictieve aanname: dat agenten handelen volgens een optimale, rationele strategie (bijvoorbeeld het kortst mogelijke pad) die is gedefinieerd door een vooraf bepaald doel.

Dit leidt tot twee belangrijke problemen in realistische scenario's:

1. Afwijkingen van optimaliteit: Menselijk gedrag en gedrag van niet-ideale agenten vertonen vaak systematische vertekeningen (biases), cognitieve beperkingen of suboptimale keuzes. Een agent kiest bijvoorbeeld consequent een route door een park in plaats van het kortste pad, hoewel beide even snel zijn. Klassieke methoden, die uitgaan van optimaliteit, falen hierbij omdat ze deze patronen als "ruis" interpreteren in plaats van als een kenmerkend gedrag.
2. Berekeningskosten: Veel huidige methoden vereisen dure planning of het opnieuw trainen van Reinforcement Learning (RL) modellen per doel, wat leidt tot hoge latentie bij inferentie (tijdens het gebruik).

Het paper introduceert GRAIL om deze kloof te dichten door GR te aligneren met het daadwerkelijke, vaak imperfecte gedrag van agenten.

2. Methodologie

GRAIL (Goal Recognition Alignment through Imitation Learning) herformuleert het GR-probleem als een verzameling van Imitatieleer (Imitation Learning - IL) problemen, één voor elk kandidaat-doel.

Kernidee:
In plaats van een reward-functie te leren of een planner te gebruiken, leert GRAIL voor elk mogelijk doel $g$ een specifiek doelgericht beleid (policy) $\pi_g$ direct van demonstratietrajectoires. Deze trajectoires kunnen optimaal, suboptimaal of systematisch bevooroordeeld zijn.

Het proces bestaat uit twee fasen:

1. Offline Beleidstraining (Training):
   Voor elk doel $g \in G$ wordt een dataset van demonstraties $D_g$ verzameld. Er wordt een IL-algoritme toegepast om een beleid $\pi_g$ te trainen dat het gedrag voor dat specifieke doel nabootst. Het paper onderzoekt drie IL-varianten als "backbone":

   • BC (Behavioral Cloning): Supervised learning over state-action paren.
   • GAIL (Generative Adversarial Imitation Learning): Gebruikt adversariale training om de verdeling van expert- en beleidstrajectoires te matchen.
   • AIRL (Adversarial Inverse Reinforcement Learning): Leert zowel een reward-functie als een beleid, waarbij de reward dient als een latente rationalisatie van het gedrag.

2. Online One-Shot Inferentie (Testtijd):
   Wanneer een nieuwe, gedeeltelijk waargenomen trajectoorie $\tau_{obs}$ wordt ontvangen, wordt deze zonder planning of interactie met de omgeving geëvalueerd.

   • Voor elk doel $g$ wordt een score $S_g(\tau_{obs})$ berekend door de waarschijnlijkheid of overeenkomst te meten tussen de waargenomen acties en de voorspellingen van het beleid $\pi_g$.
   • De paper gebruikt een simpele, stabiele metriek: Negatieve Gemiddelde MSE (Mean Squared Error) tussen de voorspelde acties van $\pi_g$ en de waargenomen acties.
   • Het doel met de hoogste score wordt als het meest waarschijnlijke doel geselecteerd: $\hat{g} = \arg \max_{g \in G} S_g(\tau_{obs})$.

Dit zorgt voor een planner-vrije inferentie die zeer snel is (slechts een enkele forward pass).

3. Belangrijkste Bijdragen

• Nieuwe Formulerings: Het koppelen van Goal Recognition aan Imitatieleer, waardoor systemen kunnen leren van gedrag dat niet optimaal is, maar wel consistent (systematisch biased).
• Robuustheid: Het vermogen om systematische biases (zoals de voorkeur voor een specifieke route) te modelleren in plaats van ze als ruis te behandelen.
• Efficiëntie: Het elimineren van de noodzaak voor dure planning of RL-rollouts tijdens de inferentie, wat cruciaal is voor interactieve systemen.
• Unificatie: Het verbinden van de velden Goal Recognition, Imitatieleer en Inverse Reinforcement Learning in één raamwerk.

4. Resultaten

De methoden zijn getest in twee domeinen: MiniGrid (discrete navigatie) en PandaReach (continue robotmanipulatie). De resultaten worden vergeleken met state-of-the-art baselines zoals GRAQL (Q-learning gebaseerd) en DRACO (PPO gebaseerd).

• Systematisch Bevooroordeeld Optimaal Gedrag:

  • In scenario's waar agenten een consistente voorkeur hebben voor een suboptimale route (bijv. via een park), behalen GRAIL-varianten een F1-score van bijna 1.0 (perfecte inferentie).
  • De RL-baselines (GRAQL) zakken hier sterk in (F1-score 0.3–0.5) omdat ze aannemen dat beide routes even waarschijnlijk zijn.

• Suboptimaal Gedrag:

  • Bij gedrag met ruis of heuristische afwijkingen behaalt GRAIL consistente verbeteringen van 0.1 tot 0.3 in F1-score ten opzichte van baselines.
  • BC-GRAIL presteert verrassend goed, zelfs beter dan GAIL en AIRL in sommige suboptimale scenario's, omdat het de systematische afwijkingen direct leert kopiëren.

• Optimaal Gedrag (Ruisvrij):

  • In ideale omstandigheden presteert GRAIL vergelijkbaar met of beter dan RL-baselines, vooral bij grotere sets van doelen en hogere observatiepercentages.
  • GRAIL schaalt beter naarmate de complexiteit van het doel en de hoeveelheid data toeneemt.

• Efficiëntie:

  • Training: BC-GRAIL is extreem snel (enkele seconden per doel) vergeleken met RL-methoden die miljoenen interacties nodig hebben.
  • Inferentie: GRAIL is aanzienlijk sneller dan baselines omdat het geen planning vereist. De gebruikte MSE-metriek is sneller dan de gebruikte Wasserstein-afstand in DRACO.

5. Betekenis en Toekomstperspectief

GRAIL biedt een schalbaar en robuust model voor het interpreteren van agentdoelen in onzekere omgevingen. De belangrijkste implicaties zijn:

• Realisme: Het erkent dat echte agenten (zoals mensen) niet altijd rationeel-optimaal handelen, maar wel patronen vertonen die leerbaar zijn.
• Toepasbaarheid: Door de lage latentie is het geschikt voor real-time toepassingen zoals mens-robot interactie en multi-agent systemen.
• Flexibiliteit: Het raamwerk kan verschillende IL-algoritmen gebruiken afhankelijk van de data en het domein.

Beperkingen en Toekomstig Werk:

• Het werkt momenteel alleen met een gesloten set van bekende doelen (closed-set). Het uitbreiden naar open-set GR (waar nieuwe doelen kunnen worden ontdekt) is een volgende stap.
• De huidige experiments zijn gesimuleerd; toepassing op complexe, ruwe perceptie-data (zoals video) is nog niet onderzocht.
• De schaalbaarheid bij zeer grote aantallen doelen vereist nog onderzoek naar zero-shot transfer learning.

Conclusie:
GRAIL markeert een verschuiving van het modelleren van "ideale agenten" naar het leren van "reële agenten", waardoor AI-systemen beter kunnen aligneren met menselijke intenties en gedrag, zelfs wanneer dat gedrag imperfect is.