Learning When to Cooperate Under Heterogeneous Goals

Deze paper introduceert een nieuwe hiërarchische aanpak die imitatie- en versterkingslering combineert om agenten met heterogene doelen te leren bepalen wanneer samenwerking vruchtbaar is en wanneer zelfstandig handelen beter is, waarbij een extra component voor het modelleren van teamgenoten effectiever blijkt naarmate er minder informatie over hun doelen beschikbaar is.

De kern

Stel je voor dat je een dagje uit plant met een vriend. Soms hebben jullie precies hetzelfde doel: allebei naar het strand gaan. Dan is het slim om samen te reizen, de auto te delen en samen te genieten. Maar wat als jouw vriend eigenlijk naar de bergen wil, terwijl jij naar zee wilt? Dan is het slimmer om je eigen weg te gaan. Je verspilt geen tijd, brandstof of energie aan een gezamenlijke reis die voor niemand van jullie werkt.

Dit is precies het probleem dat dit wetenschappelijke artikel aanpakt, maar dan voor robots en kunstmatige intelligentie (AI).

Het Probleem: Niet altijd samenwerken is slim

In de wereld van AI-onderzoek is er een gebied genaamd "Ad Hoc Teamwork". Dit betekent: robots die snel moeten samenwerken met willekeurige partners, zonder dat ze elkaar van tevoren hebben getraind.

Tot nu toe gingen onderzoekers er vaak van uit dat samenwerken altijd het beste is. Alsof elke robot denkt: "Ik moet altijd met de ander meedoen!" Maar in het echte leven is dat niet zo. Soms is het beter om alleen te werken. De auteurs van dit paper zeggen: "Waarom leren we robots niet om te weten wanneer ze moeten samenwerken en wanneer ze beter alleen kunnen?"

De Oplossing: GRILL (De Slimme Chef)

De auteurs hebben een nieuwe methode bedacht, die ze GRILL noemen (een grappige afkorting die klinkt als een barbecue, maar staat voor een slimme hiërarchische structuur).

Je kunt GRILL zien als een slimme chef-kok in een drukke keuken:

1. De Hoofdchef (De Hoog-niveau strategie): Deze chef kijkt naar de situatie en beslist: "Moeten we samen een grote maaltijd maken, of moet ik gewoon mijn eigen broodje beleggen?" Deze chef leert door ervaring (reinforcement learning) om te voelen of samenwerking zinvol is.
2. De Sous-chef (De Laag-niveau uitvoering): Deze chef is de vakman die weet hoe je een taak uitvoert. Of het nu samenwerken is of alleen, de sous-chef weet precies hoe je de ingrediënten (de acties) moet gebruiken. Deze chef is getraind door te kijken naar voorbeelden (imitatie learning).

De magie zit hem in de samenwerking tussen deze twee: De hoofdchef beslist wat we doen (samen of alleen), en de sous-chef zorgt dat het goed gebeurt.

De Test: Fruit plukken en naar hoekjes rennen

Om te testen of hun idee werkt, hebben ze twee spelletjes bedacht:

1. Het Fruit-plukspel: Stel je voor dat er appels, sinaasappels en pruimen in een bos liggen. Jij wilt appels, maar je vriend misschien sinaasappels.

   • Als jullie allebei appels willen, is het slim om samen te werken (want samen zijn jullie sneller klaar).
   • Als jij appels wilt en hij sinaasappels, is het slimmer om elk je eigen pad te volgen.
   • De oude methoden (de "baselines") probeerden vaak nog steeds samen te werken, zelfs als dat dom was. GRILL zag direct: "Ah, we willen verschillende dingen, ik ga mijn eigen weg!"

2. Het Hoekje-rennen: Twee robots moeten naar een hoekje van het veld rennen om punten te scoren. Soms willen ze naar hetzelfde hoekje, soms naar een ander. GRILL leert snel om te kiezen voor het juiste hoekje, afhankelijk van wat de ander doet.

Wat leerden ze?

De resultaten waren indrukwekkend:

• Slimmer kiezen: GRILL koos veel vaker voor de "slimme" optie (samenwerken als het werkt, alleen doen als het niet werkt) dan de andere methoden.
• De "Bijzonderheid" (GRILL-M): Ze hadden ook een variant genaamd GRILL-M. Deze probeerde te raden wat de ander aan het denken was, zelfs als de ander niet duidelijk was.
  • De les hieruit: Als je de ander goed kunt zien (bijvoorbeeld door hun gedrag), is het niet nodig om te gokken. Maar als de ander erg onvoorspelbaar is of als je slecht kunt zien wat ze willen, helpt het om een "binnenkant" te hebben die probeert hun gedrag te voorspellen. Hoe slechter je de ander kunt zien, hoe meer je baat hebt bij deze voorspellende vaardigheid.

Waarom is dit belangrijk?

Vroeger dachten we dat slimme robots altijd moesten samenwerken. Dit paper laat zien dat echte intelligentie ook betekent weten wanneer je niet samenwerkt.

Net als jij en je vriend: soms is het leuk om samen te reizen, maar soms is het beter om je eigen weg te gaan. GRILL is de eerste robot die dit intuïtief begrijpt en leert om die keuze slim te maken. Dit maakt robots veel flexibeler en menselijker in een wereld waar niet iedereen altijd hetzelfde doel heeft.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Learning When to Cooperate Under Heterogeneous Goals" in het Nederlands.

Probleemstelling

Het paper adresseert een beperking in het bestaande onderzoek naar Ad Hoc Teamwork (AHT). Traditionele AHT-systemen gaan er vaak van uit dat alle scenario's inherent cooperatief zijn; het agentenmodel veronderstelt dat het altijd optimaal is om samen te werken met andere agenten, ongeacht hun doelen.

In de realiteit is samenwerking echter niet altijd voordelig. Mensen kunnen onderscheid maken tussen situaties waarin samenwerking vruchtbaar is en situaties waarin het beter is om onafhankelijk te handelen. Het paper introduceert een nieuw AHT-scenario met heterogene doelen:

• Agenten hebben een overkoepelende taak (bijv. "vruchten verzamelen"), maar kunnen verschillende varianten van dit doel nastreven (bijv. "appels" vs. "sinaasappels").
• De doelen van teamgenoten zijn niet van tevoren bekend.
• Er zijn drie mogelijke scenario's gebaseerd op de overlap van doelen:
  1. Volledige overlap: Alle doelen van de 'ego-agent' worden gedeeld door teamgenoten.
  2. Partiële overlap: Sommige doelen worden gedeeld, andere niet.
  3. Geen overlap: Geen enkel doel wordt gedeeld; samenwerking is hier zinloos.

Het centrale probleem is voor de agent om te leren wanneer samen te werken en wanneer onafhankelijk te handelen, gebaseerd op observaties van teamgenoten en hun mogelijke doelen.

Methodologie: GRILL

De auteurs stellen GRILL (Goal selection by RL with Imitation for Low-Level control) voor, een hiërarchische methode die het probleem splitst in twee niveaus:

1. Hoog niveau (Doelselectie): Bepaalt welk doel de agent moet nastreven (samenwerken of alleen).
2. Laag niveau (Actiekeuze): Bepaalt welke acties nodig zijn om het gekozen doel te bereiken.

De methode combineert Imitatie-Leren (IL) en Versterkingsleren (RL) in twee fasen:

• Fase 1: Offline Imitatie-Leren (Laag niveau)

  • Er wordt een dataset verzameld van heuristische agenten die verschillende doelen nastreven.
  • Een encoder-decoder-model wordt getraind om trajecten te reconstrueren. De encoder leert discrete doel-labels te extraheren uit observaties.
  • Een decoder leert acties te voorspellen op basis van een observatie en een doel-label.
  • Het resultaat is een doel-geconditioneerd laag-niveau beleid ($\pi_{action}$) dat universeel is voor alle agenten in de populatie. Dit beleid wordt getraind via Behavioural Cloning (BC).

• Fase 2: Online Versterkingsleren (Hoog niveau)

  • Een hoog-niveau beleid ($\pi_{goal}$) wordt getraind met PPO (Proximal Policy Optimization).
  • Dit beleid mapt de huidige observatie naar een discreet doel.
  • De output van dit beleid conditioneert het laag-niveau beleid uit Fase 1.
  • GRILL-M (Variant): Deze versie voegt een auxiliair teamgenoot-modelleringscomponent toe (gebaseerd op LIAM). De agent probeert de acties van de teamgenoot te voorspellen op basis van eigen observaties en acties. Dit helpt bij het infereren van de doelen van de teamgenoot, vooral wanneer observaties onnauwkeurig zijn.

Experimentele Opzet

De auteurs hebben twee bestaande AHT-omgevingen uitgebreid om heterogene doelen te ondersteunen:

1. Cooperative Reaching: Agenten moeten naar hoektegels navigeren. Verschillende tegels geven verschillende beloningen afhankelijk van de agent. Er is ook een centrale tegel die alleen door één agent bereikt kan worden (laagere beloning).
2. Level-based Foraging (LBF): Agenten moeten fruit verzamelen. Fruit heeft een niveau; het vereist een som van niveaus van agenten om het te verzamelen. Er zijn drie fruitsoorten (appels, sinaasappels, pruimen) met verschillende doelen.

Benchmarks: GRILL en GRILL-M werden vergeleken met:

• PPO: Een standaard RL-algoritme zonder specifieke aanpassing voor samenwerking.
• LIAM & OMG: State-of-the-art methoden die teamgenoot-modellering gebruiken.
• Oracle: Een ideale agent met volledige kennis van alle doelen.

Resultaten

1. Superieure Prestaties: GRILL en GRILL-M presteerden significant beter dan alle baselines in beide omgevingen over alle drie de scenario's (geen, partiële en volledige overlap). Ze bereikten hogere totale beloningen.
2. Betere Doelselectie:
   • Baselines (vooral PPO) faalden vaak door te proberen samenwerking aan te gaan wanneer dit zinloos was (bijv. in het "geen overlap"-scenario) of door doelen na te streven die geen beloning opleverden.
   • GRILL vermijdt deze fouten bijna volledig en kiest in >90% van de gevallen voor "waardige" doelen (doelen die beloning geven en haalbaar zijn).
   • GRILL toont een grotere flexibiliteit: het past zijn strategie aan tussen scenario's met volledige overlap (samenwerken) en geen overlap (onafhankelijk handelen) beter dan de baselines.
3. Effect van Teamgenoot-modellering (GRILL vs. GRILL-M):
   • In omgevingen waar de doelen van teamgenoten duidelijk uit hun gedrag blijken (Cooperative Reaching), was de toevoeging van het modelleringscomponent (GRILL-M) niet significant beter dan GRILL.
   • In complexere omgevingen met meer onzekerheid (LBF), en vooral wanneer de observaties van teamgenoten ruis bevatten, presteerde GRILL-M aanzienlijk beter.
   • De prestatieverbetering van GRILL-M nam monotoon toe naarmate de ruis in de observaties van de teamgenoot toenam. Dit bevestigt dat het modelleren van teamgenoten vooral waardevol is wanneer directe observatie van hun doelen onbetrouwbaar is.

Bijdragen en Significantie

• Formalisatie van Heterogene Doelen: Het paper biedt een nieuwe formalisatie voor AHT waarbij agenten verschillende, mogelijk niet-overlappende doelen kunnen hebben, wat dichter bij de realiteit ligt dan de traditionele aanname van uniforme doelen.
• Nieuwe Hiërarchische Architectuur: GRILL introduceert een effectieve combinatie van imitatie-leren (voor universele vaardigheden) en versterkingsleren (voor strategische doelselectie). Dit lost het probleem op dat het optimale laag-niveau gedrag universeel is, terwijl het optimale hoog-niveau beleid sterk afhangt van de context en teamgenoten.
• Inzicht in Meta-niveau Besluitvorming: Het onderzoek benadrukt dat "weten wanneer te stoppen met samenwerken" net zo belangrijk is als het kunnen samenwerken.
• Toekomstige Richting: De auteurs suggereren dat de kern van GRILL toepasbaar is op andere multi-agent settings, inclusief competitieve domeinen waar agenten moeten kiezen tussen hoogwaardige, omstreden doelen en lagere, minder omstreden doelen.

Kortom, dit paper toont aan dat autonome systemen succesvoller kunnen samenwerken in open omgevingen door te leren onderscheid te maken tussen momenten waarop samenwerking rendabel is en momenten waarop onafhankelijkheid de beste strategie is.