Technische Samenvatting: Schatting van Partnercapaciteiten voor Taak-Agnostische Adaptatie in Ad-Hoc Teamwerk

1. Probleemformulering

Het artikel behandelt een kritieke beperking in huidig onderzoek naar Ad-Hoc Teamwork (AHT): de aanname dat agenten samenwerken aan een enkele, vaste taak met bekende partnercapaciteiten. In realistische open-wereldscenario's, met name die met menselijke collaborators, beschikken partners over verborgen, taak-invariante beperkingen op hun vermogens (capaciteiten) en kunnen zij suboptimaal handelen of met diverse strategieën werken.

De auteurs formaliseren het probleem als gezamenlijke planning met gedecentraliseerde executie onder verborgen partnercapaciteiten. De kernuitdaging is het leren van een herbruikbaar, taak-agnostisch model van de specifieke capaciteiten van een partner uit geobserveerde gezamenlijke trajecten. In tegen tegenstelling tot eerdere benaderingen die robuuste beleidsregels leren voor een vaste taak of voorkeuren afleiden (wat een partner wil doen), richt dit werk zich op het afleiden van capaciteiten (wat een partner fundamenteel kan doen). Het doel is om een autonome agent ($Ag_1$) in staat te stellen de verborgen capaciteitsvector ($c$) van een oncontroleerbare partner ($Ag_2$) te schatten en deze schatting te gebruiken om toekomstige gezamenlijke taken te plannen zonder vooraf te trainen op een populatie van partners.

2. Methodologie

2.1. Modelleringskader

De auteurs breiden het Contextual Multi-agent Markov Decision Process (CMMDP) kader uit.

• Toestand & Actie: Gedefinieerd over een eindige verzameling gezamenlijke toestanden ($S$) en gezamenlijke acties ($A$).
• Capaciteiten ($C$): Gemodelleerd als $D$-dimensionale binaire vectoren waarbij elke bit een specifieke capaciteit vertegenwoordigt (bijv. het vermogen om een zwaar object te tillen, het vermogen om een specifiek gereedschap te gebruiken).
• Transitiefunctie ($T$): Capaciteiten moduleren de transitiefunctie. Als een vereiste capaciteit voor een transitie ontbreekt ($c_i=0$), resulteert de transitie in een zelflus (de toestand verandert niet), wat de actie effectief onmogelijk maakt in die context.
• Doel: De agent streeft ernaar de capaciteitsvector $c^*$ te vinden die het verschil minimaliseert tussen het gezamenlijke traject gepland onder $c^*$ en het geobserveerde traject $\tau_{obs}$ over meerdere taken.

2.2. CE-CM: Capaciteitschatting via Contextuele Modellen

De primaire methode, CE-CM, is een benaderde Bayesiaanse inferentie-aanpak die werkt via een "simuleer-en-vergelijk" lus:

1. Sampling: De agent samplet kandidaat-capaciteitsvectoren ($\hat{c}$) uit een prior distributie.
2. Simulatie: Voor elke kandidaat gebruikt de agent een gezamenlijke planner om het traject ($\tau_{\hat{c}}$) te simuleren dat zou resulteren als de partner over die capaciteiten zou beschikken.
3. Vergelijking: Het gesimuleerde traject wordt vergeleken met het geobserveerde traject ($\tau_{obs}$) met behulp van een gelijkenismetriek (Jaccard-afstand voor propositionele toestanden, cosinus-gelijkenis voor real-valued vectoren).
4. Belief Update: Kandidaten die binnen een gelijkenisdrempel $\epsilon$ vallen, worden geaccepteerd. De agent houdt een verzameling geaccepteerde samples bij om de posterior distributie te benaderen.
5. Schatting: Een punt-schatting $\hat{c}^*$ wordt afgeleid (bijv. via Maximum A Posteriori schatting) door de empirische gemiddelde van de geaccepteerde samples te drempelen.
6. Planning: De geschatte capaciteiten induceren een specifieke CMMDP-instantie, die de agent gebruikt om een nieuw gezamenlijk plan voor de volgende taak te berekenen.

2.3. CE-CM-Div: Omgaan met Gedragsdiversiteit

De auteurs identificeren dat standaard CE-CM kwetsbaar is wanneer menselijke partners diverse of suboptimale gedragingen vertonen, omdat een enkele capaciteitsvector meerdere geldige trajecten kan induceren. Om dit aan te pakken, stellen zij CE-CM-Div voor:

• In plaats van de observatie te vergelijken met één enkel optimaal traject, genereert CE-CM-Div een diverse verzameling trajecten ($\Delta_{\hat{c}}$) voor elke kandidaat-capaciteitshypothese met behulp van een diversiteitsbewuste planner (gebaseerd op Monte Carlo Tree Search).
• Een hypothese wordt geaccepteerd als ten minste één traject in de diverse verzameling voldoende gelijkaardig is aan de observatie.
• Deze aanpak voorkomt het verwerpen van geldige capaciteitshypothesen door ongemodelleerde gedragsvariaties of suboptimaliteit.

3. Belangrijkste Bijdragen

1. Capaciteitsgebaseerde Formulering: Een formalisering van multi-taak AHT als gezamenlijke planning onder verborgen, taak-invariante capaciteitsbeperkingen, wat een interpreteerbare en herbruikbare partnerrepresentatie biedt.
2. CE-CM Algoritme: Een online, taak-agnostische adaptatiemethode die discrete capaciteitsvectoren afleidt uit enkele interacties zonder dat populatie-pretraining of demonstratiegegevens nodig zijn.
3. CE-CM-Div Extensie: Een robuustheidsmechanisme dat rekening houdt met gedragsdiversiteit door hypothesen te evalueren tegen sets van diverse planner-rollouts in plaats van enkelvoudige optimale trajecten.
4. Empirische Validatie: Uitgebreide evaluatie over twee domeinen (TidyUP en Overcooked) en een menselijke subjectstudie die de effectiviteit en beperkingen van capaciteitsgebaseerde modellering aantoont.

4. Experimentele Resultaten

4.1. TidyUP (PDDL Domein)

In een symbolisch huishoudelijk domein met volledig gespecificeerde beloningen en deterministische transities:

• Inference: CE-CM herstelde snel de grondwaarheid capaciteitsvectoren, waarbij de Hamming-afstand binnen vijf taken tot bijna nul werd gereduceerd.
• Coördinatie: De methode verminderde de ratio van "gecorrigeerde acties" (conflicten tussen de agent en de partnerplannen) aanzienlijk en verhoogde de planoverlap (IoU) vergeleken met optimistische en pessimistische baselines.
• Conclusie: In goed gespecificeerde omgevingen waar haalbaarheid de gedragingen strikt dicteert, is capaciteitsinferentie zeer effectief.

4.2. Overcooked (Gesimuleerde Partners)

In een dynamisch coördinatiedomein met ondergespecificeerde beloningen (meerdere geldige strategieën):

• Inference: CE-CM slaagde erin capaciteitsbeperkingen te herstellen, waardoor het aandeel onhaalbare (onproductieve) acties toegewezen aan de partner afnam.
• Coördinatie Beperking: Ondanks nauwkeurige capaciteitsschattingen loste CE-CM coördinatiefouten niet volledig op (planoverlap bleef laag). Dit komt omdat capaciteiten de haalbaarheid beperken maar niet bepalen welke haalbare strategie een partner kiest wanneer er meerdere bestaan.
• Conclusie: Capaciteiten alleen zijn onvoldoende om gedrag te voorspellen in domeinen met hoge strategische ambiguïteit.

4.3. Overcooked (Menselijke Subjecten)

Een studie met 15 deelnemers (225 trajecten) toonde significante gedragsvariabiliteit aan:

• CE-CM Falen: De standaard CE-CM faalde vaak in het updaten van beliefs omdat menselijke trajecten zelden overeenkwamen met het enkele optimale traject gegenereerd door de planner, wat leidde tot zeer weinig geaccepteerde samples.
• CE-CM-Div Succes: De diversiteitsbewuste extensie verbeterde de inferentie-nauwkeurigheid (lagere Hamming-afstand) en de posterieure grootte aanzienlijk door hypothesen te accepteren die overeenkwamen met elk van de diverse plausibele gedragingen.
• Conclusie: Rekening houden met gedragsdiversiteit is essentieel voor robuuste capaciteitsinferentie in realistische mens-AI teams.

5. Betekenis en Claims

Het artikel claimt dat capaciteitsgebaseerde modellering een veelbelovende, interpreteerbare en taak-agnostische aanpak biedt voor adaptatie in ad-hoc teamwork. Door onderscheid te maken tussen wat een partner kan doen (capaciteiten) en wat ze kiezen te doen (voorkeuren/strategieën), kunnen agenten kennis over een individu over verschillende taken heen opbouwen.

De auteurs zijn echter bescheiden over de reikwijdte van deze oplossing. Zij stellen expliciet dat:

• Capaciteiten noodzakelijk maar niet voldoende zijn: In domeinen met meerdere geldige strategieën (zoals Overcooked) leidt het kennen van de capaciteiten van een partner niet uniek tot het voorspellen van hun gedrag.
• Diversiteit cruciaal is: Robuuste adaptatie in mens-AI teams vereist mechanismen (zoals CE-CM-Div) die rekening houden met gedragsvariabiliteit en suboptimaliteit, in plaats van uit te gaan van optimale planning.
• Schaalbaarheid: De huidige aanpak vertrouwt op gezamenlijke planning, wat exponentieel schaalt met het aantal agenten, wat de directe toepassing in grote teams beperkt zonder verdere benaderingen.

Het werk positioneert capaciteitschatting als een fundamentele stap naar generaliseerbare mens-AI teaming, terwijl het tegelijkert de noodzaak benadrukt om zowel capaciteiten als voorkeuren gezamenlijk te modelleren om gedragsambiguïteit volledig op te lossen.