Nested Training for Mutual Adaptation in Human-AI Teaming

Probleemstelling

Het ontwerpen van versterkingsleer (RL) agenten die effectief kunnen samenwerken met diverse menselijke partners blijft een centrale uitdaging in multi-agent RL (MARL). Bestaande benaderingen trainen vaak tegen populaties van gesimuleerde strategieën die als statisch worden behandeld. Hierdoor leren agenten om zich aan te passen aan een vaste partner, maar falen ze wanneer de menselijke partner adaptief is en zijn strategie verandert als reactie op het gedrag van de AI.

De kernproblemen zijn:

1. Eenzijdige adaptatie: Standaard trainingstelsels behandelen adaptatie als eenrichtingsverkeer (AI past zich aan de mens aan), terwijl mens-AI samenwerking inherent interactief is (beide partijen passen zich aan elkaar aan).
2. Britte coördinatie: Simultane multi-agent learning leidt vaak tot "brittle coordination conventions" (kwetsbare afspraken). Agenten convergeren naar één specifieke gedragspatroon dat werkt tijdens training, maar faalt bij het ontmoeten van nieuwe, onvoorspelbare partners.
3. Gebrek aan generalisatie: Agenten worden vaak getraind om te reageren op een stationaire omgeving, zonder rekening te houden met het feit dat de menselijke partner ook leert en zijn strategie aanpast.

Methodologie

De auteurs modelleren mens-robot teaming als een finitely nested Interactive Partially Observable Markov Decision Process (I-POMDP). In dit kader wordt de mens expliciet gemodelleerd als onderdeel van de toestandsruimte van de robot.

De kern van hun oplossing is een geneste trainingsregime (nested training regime) dat level-2 redenering benadert zonder te convergeren naar partner-specifieke conventies:

1. Level-0 (Vaste Robot): Er wordt een set van vaste, niet-adaptieve robotstrategieën ($\pi^k_R$) gedefinieerd.
2. Level-1 (Adaptieve Mens): Menselijke beleidsplannen ($\pi^j_H$) worden getraind tegen deze vaste Level-0 robotstrategieën. Deze Level-1 menselijke modellen zijn adaptief; ze leren reageren op de specifieke robotstrategieën. Dit correspondeert met level-1 redenering (de mens heeft een geloofsovertuiging over het robotgedrag).
3. Level-2 (De Robot): De uiteindelijke robot ($\pi_R$) wordt getraind tegen de set van Level-1 menselijke modellen. Omdat deze menselijke modellen adaptief zijn, moet de robot redeneren over hoe de mens zal reageren op zijn eigen acties. Dit is level-2 redenering (de robot heeft een geloofsovertuiging over de adaptieve strategieën van de mens).

Technische Implementatie:

• Latente Embedding: Om de onzekerheid over het type partner en de interactiegeschiedenis tractabel te houden, leert de agent een latente embedding $z_t = f_\theta(h_t)$. Het beleid wordt dan voorwaardelijk gesteld op deze embedding: $a_t \sim \pi_\theta(a | o_t, z_t)$.
• Voorkomen van Convergentie: Door te trainen tegen vaste lagere niveaus (in plaats van gelijktijdige co-adaptatie), voorkomt het systeem dat de agent vastloopt in één enkele coördinatieconventie. De robot leert een beleid dat werkt met een scala aan adaptieve reacties.

Belangrijkste Bijdragen

1. Formulering als I-POMDP: Het expliciet modelleren van menselijke adaptatie binnen de toestandsruimte van een I-POMDP voor mens-AI teaming.
2. Genest Trainingsregime: Een nieuwe trainingsparadigma dat agenten blootstelt aan adaptieve partners zonder de valkuil van overfitting op specifieke coördinatiepatronen.
3. Theoretisch Bewijs: Een inductief bewijs (zie Appendix A.4) dat aantoont dat dit geneste regime convergeert naar beleidsplannen die compatibel zijn met meerdere gezamenlijke oplossingen, in plaats van te instorten naar één enkele conventie.
4. Empirische Validatie: Demonstratie dat deze methode superieur is aan state-of-the-art baselines in een complexe samenwerkingstest.

Resultaten

De methode werd geëvalueerd in het Overcooked-domein (een keuken-simulatie die samenwerking vereist), specifiek in een variant waarbij samenwerking verplicht is ("required-cooperation"). De prestaties werden vergeleken met baselines zoals LIAM, LILI, PACE en een "Generalist" beleid.

• Korte Evaluatie (5 afleveringen per ronde): De voorgestelde methode behaalde een gemiddelde successrate van 0,90. De beste concurrent (Generalist) haalde slechts 0,575. Andere methoden zoals LIAM faalden volledig (0,00).
• Uitgebreide Evaluatie (25 afleveringen per ronde): De prestaties van de voorgestelde methode bleven hoog (0,935), terwijl baselines slechts marginaal verbeterden.
• Stabiliteit: De voorgestelde agent presteerde consistent sterk over alle 8 verschillende onzichtbare adaptieve partners. Baselines vertoonden hoge variantie en faalden vaak bij specifieke partners, wat wijst op overfitting.
• Gedragsanalyse:
  • Baselines: Toonden persistente oscillaties in receptkeuzes en konden geen stabiele coördinatie vinden.
  • Voorgestelde Methode: Toonde een gestructureerde wederzijdse aanpassing. De agent begon met wachten (om het type partner te observeren) en ging vervolgens proactief committeren, anticiperend op het gedrag van de partner. Dit resulteerde in snelle convergentie naar een gedeelde conventie.

Betekenis en Conclusie

Dit werk is significant omdat het een brug slaat tussen theoretische modellen van interactieve redenering (I-POMDP) en praktische versterkingsleer. Het toont aan dat het expliciet modelleren van de adaptieve aard van de menselijke partner essentieel is voor robuuste samenwerking.

In tegenstelling tot eerdere methoden die menselijk gedrag als statisch behandelen of leiden tot kwetsbare afspraken, stelt deze geneste trainingsaanpak AI-agenten in staat om wederzijdse adaptatie te hanteren. Dit leidt tot stabielere coördinatie met onbekende menselijke partners, wat een cruciale stap is voor de inzet van AI in real-world scenario's waar menselijke flexibiliteit centraal staat. Toekomstig werk richt zich op evaluatie met echte menselijke deelnemers en uitbreiding naar gemengde-motive settings (waar beloningen niet identiek hoeven te zijn).