TeamHOI: Learning a Unified Policy for Cooperative Human-Object Interactions with Any Team Size

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een zware tafel moet verplaatsen. Als je dat alleen doet, is het bijna onmogelijk. Maar als je met een groep vrienden bent, kun je het samen doen. Het probleem is: hoe zorgen we dat die vrienden precies weten waar ze moeten staan, hoe ze moeten tillen en hoe ze samen moeten lopen zonder elkaar te duwen of de tafel te laten vallen?

Dit is precies wat het onderzoek TeamHOI oplost, maar dan voor virtuele robotmensen (humanoids) in computersimulaties.

Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Grote Probleem: De "Vaste Groep"

Vroeger waren slimme computerprogramma's die robots aansturen, als een stuck in een vaste formatie.

Als je een programma trainde om met 3 personen een tafel te dragen, kon dat programma alleen maar met 3 personen werken.
Als je plotseling 5 personen nodig had, moest je het hele programma opnieuw leren.
Of ze werkten zo dat ze elkaar niet echt zagen, maar alleen voelden hoe de tafel bewoog (alsof ze blindelings in het donker lopen en hopen dat de ander ook beweegt).

2. De Oplossing: TeamHOI (De "Chameleont-Coach")

TeamHOI is een nieuw systeem dat een enkele, slimme "coach" (een beleidspolicy) heeft die met elke groepsgrootte kan werken. Of het nu 2, 4 of 8 robots zijn, ze gebruiken allemaal dezelfde "hersenen".

Hoe werkt dat?
Stel je voor dat elke robot een hoofdtelefoon op heeft met een speciale app.

Lokaal kijken: Elke robot kijkt alleen naar wat hij zelf ziet (zijn eigen benen, de tafel, de grond).
De "Team-App": Maar via hun hoofdtelefoon ontvangen ze ook signalen van hun teamgenoten. Dit noemen ze "teammate tokens".
De Transformer: De software gebruikt een slimme technologie (een Transformer-netwerk, hetzelfde type als AI-chatbots) die werkt als een dynamische kring van vrienden. Als er 3 vrienden zijn, praten ze met 3. Als er 8 zijn, praten ze met 8. De "coach" past zich automatisch aan, zonder dat je hem opnieuw hoeft te leren.

3. Het Grote Moeilijkheid: Geen Recept voor Groepsdansen

Een ander probleem is dat er in de echte wereld bijna geen video's zijn van mensen die samen zware dingen dragen. Er zijn wel video's van mensen die alleen lopen.

De oude methode: Als je een robot leert om alleen te lopen en hem dan een tafel laat dragen, probeert hij vaak te doen alsof hij alleen is. Hij botst tegen de tafel of tilt op een onnatuurlijke manier.
De TeamHOI-methode (Het "Masker"): De onderzoekers gebruiken een slim trucje. Ze nemen video's van iemand die alleen loopt, maar ze maskeren (verbergen) de handen en armen die de tafel zouden raken.
- Vergelijking: Stel je voor dat je een dansleraar hebt die alleen dansstappen laat zien, maar de armen zijn bedekt met een deken. De robot moet dan zelf bedenken: "Oké, ik zie dat mijn leraar naar links loopt, maar ik moet mijn handen gebruiken om die zware doos vast te houden."
- Door de handen te maskeren, wordt de robot gedwongen om slim na te denken over hoe hij de tafel vastpakt, in plaats van blindelings de beweging van de leraar te kopiëren. Dit zorgt voor veel meer variatie en natuurlijkere samenwerking.

4. De "Zitplaatsen" (Vorming Beloning)

Om de tafel stabiel te dragen, moeten de robots niet zomaar ergens staan. Ze moeten een mooie cirkel of lijn vormen.

De onderzoekers hebben een virtuele "zitplan" bedacht. Het systeem beloont de robots als ze zich verdelen over de tafel, zodat het gewicht gelijkmatig wordt verdeeld.
Vergelijking: Het is alsof je een grote pizza hebt. Als iedereen aan één kant staat, valt hij om. TeamHOI zorgt ervoor dat de robots zich verdelen als een perfecte cirkel rondom de pizza, zodat niemand omvalt en de pizza (de tafel) veilig wordt vervoerd.

5. Het Resultaat: Een Perfect Orkest

In de tests hebben ze gekeken of dit werkt met 2 tot 8 robots, en zelfs met zware tafels (5 keer zo zwaar als normaal).

Oude methoden: Met 8 robots vielen ze vaak om, botsten ze tegen elkaar of konden ze de zware tafel niet tillen.
TeamHOI: De robots werkten als een perfect orkest. Ze stonden op de juiste plekken, hieven samen, en liepen in een strakke formatie naar het doel, zelfs als ze nooit eerder met precies die groepsgrootte hadden geoefend.

Samenvatting

TeamHOI is als een super-coach die een team van robots leert samenwerken.

Het maakt niet uit hoeveel spelers er zijn (2 tot 8+), ze gebruiken allemaal dezelfde slimme regels.
Ze leren van mensen die alleen lopen, maar ze leren zelf hoe ze hun handen moeten gebruiken om samen te tillen.
Ze vinden vanzelf de beste plek om te staan, zodat de last gelijk verdeeld wordt.

Dit is een enorme stap voorwaarts voor robots die in de toekomst samenwerken in fabrieken, of voor virtuele personages in games die echt natuurlijk met elkaar omgaan.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het paper "TeamHOI: Learning a Unified Policy for Cooperative Human-Object Interactions with Any Team Size", vertaald en samengevat in het Nederlands.

Probleemstelling

Fysiek gebaseerde besturing van humanoïde robots heeft aanzienlijke vooruitgang geboekt in het realiseren van realistisch gedrag voor individuele agents (lopen, grijpen, manipuleren). Het uitbreiden van deze capaciteiten naar coöperatieve Human-Object Interacties (HOI), waarbij meerdere agents samenwerken om zware objecten te tillen of te verplaatsen, blijft echter een grote uitdaging. Bestaande methoden hebben twee fundamentele beperkingen:

Schaalbaarheid en Architectuur: De meeste bestaande frameworks gebruiken MLP-politieken (Multi-Layer Perceptrons) met een vaste inputgrootte. Dit beperkt het beleid tot een specifiek teamgrootte. Om een nieuw teamgrootte te ondersteunen, moet het beleid opnieuw worden getraind. Andere methoden missen expliciete communicatie tussen agents en vertrouwen uitsluitend op gedeelde objectdynamica, wat de adaptieve aard van menselijke samenwerking niet nabootst.
Data-variabiliteit en Motion Priors: Om realistische bewegingen te garanderen, gebruiken fysieke frameworks vaak Adversarial Motion Priors (AMP) die het beleid regulariseren naar referentiedata. Echter, hoogwaardige data voor gecoördineerde multi-menselijke activiteiten is schaars. Systemen zijn vaak gedwongen om te vertrouwen op data van één enkele mens. Dit beperkt de diversiteit van coöperatief gedrag, omdat de coördinatiepatronen slechts aan de beweging van één demonstrator gekoppeld kunnen worden.

Methodologie: TeamHOI Framework

TeamHOI introduceert een unificerend, gedecentraliseerd beleid dat werkt voor willekeurige teamgroottes (van 2 tot 8 agents in de experimenten) en objectconfiguraties. De kerncomponenten zijn:

1. Transformer-gebaseerd Beleid met Teammate Tokens

In plaats van een vaste MLP, gebruikt TeamHOI een Transformer-architectuur (geïnspireerd op TokenHSI).

Lokale Observaties: Elke agent observeert zijn eigen proprioceptieve staat (gewrichtshoeken, snelheden, root-pose) en doelstellingen.
Teammate Tokens: Om coördinatie mogelijk te maken, encodeert de policy de staat van andere teamleden als "teammate tokens" (positie, richting, etc.) in het lokale coördinatenstelsel van de observerende agent.
Zelf- en Cross-Attention: De Transformer gebruikt zelf-attention voor de eigen agent en cross-attention om efficiënt te letten op de teammate tokens. Dit maakt het mogelijk om variabele teamgroottes te verwerken zonder de netwerkarchitectuur te hoeven wijzigen of het beleid opnieuw te hoeven trainen.

2. Masked Adversarial Motion Prior (Masked AMP)

Om het gebrek aan multi-agent referentiebewegingen op te lossen, introduceert het paper een Masked AMP-strategie:

Het Probleem: Als je een beleid regulariseert naar een volledige referentiebeweging van één mens, terwijl de agenten een object vasthouden, ontstaat er een conflict. De handen moeten het object vasthouden (wat afwijkt van de referentie), maar de rest van het lichaam moet realistisch bewegen.
De Oplossing: Er worden twee discriminators getraind:
1. Een Full-body discriminator ( $D_{full}$ ) voor bewegingen zonder objectinteractie.
2. Een Masked discriminator ( $D_{mask}$ ) die de lichaamsdelen die direct met het object interageren (bijv. handen en onderarmen) maskert tijdens de evaluatie.
Blended Reward: Tijdens het trainen wordt de stijlbeloning ( $r_{style}$ ) dynamisch gemengd op basis van een interactie-indicator ( $\alpha_t$ ). Als de agent het object aanraakt, wordt de beloning voornamelijk bepaald door de masker-discriminator (die alleen de niet-interagerende delen evalueert) en de taakbeloning (die de hand-object interactie stuurt). Dit stelt het beleid in staat om diverse, fysiek plausibele coöperatieve bewegingen te leren die niet strikt aan de volledige referentiebeweging van één mens gebonden zijn.

3. Coöperatieve Taak: Het Dragen van een Tafel

Als testbed gebruiken ze een taak waarbij agents een tafel (vierkant, rechthoekig of rond) moeten tillen en naar een doellocatie moeten vervoeren.

Vormingsbeloning (Formation Reward): Om stabiel tillen te garanderen, introduceren ze een beloning die onafhankelijk is van de vorm van de tafel en het aantal agents. Deze bestaat uit twee delen:
- Angular Spread: Moedigt agents aan om zich gelijkmatig rond de tafel te verspreiden.
- Principal-Axes Coverage: Een innovatieve beloning die meet of de ondersteuningspunten van de agents de hoofdassen van de tafel (rotatiestabiliteit) overspannen. Dit voorkomt dat agents zich aan één kant van de tafel verzamelen, wat tot instabiliteit leidt.

Belangrijkste Bijdragen

Unificerend Beleid: Een enkel gedecentraliseerd beleid dat naadloos generaliseert naar teamgroottes van 2 tot 8 agents (en zelfs 16 in zero-shot tests) zonder hertraining.
Scalable Coördinatie: Het gebruik van een Transformer met teammate tokens om coördinatie te leren die adaptief is aan de samenstelling van het team.
Masked AMP: Een strategie die de diversiteit van coöperatief gedrag uitbreidt door gebruik te maken van enkel-persoons referentiedata, waarbij de beperkende factoren van hand-object interacties worden gemaskeerd.
Vormingsbeloning: Een vormingsbeloning die stabiel tillen promoot voor willekeurige objectvormen en teamgroottes.

Resultaten

De auteurs evalueren TeamHOI in simulaties (Isaac Gym) met humanoïde robots en tafels van verschillende gewichten en vormen.

Succespercentages: TeamHOI bereikt consequent hoge succespercentages (>97% voor 2-8 agents bij normaal gewicht) en presteert aanzienlijk beter dan baselines (zoals aangepaste CooHOI*).
Robuustheid: Bij zware lasten (5x het gewicht van de tafel) faalt de baseline (die is getraind op specifieke teamgroottes) volledig bij grote teams. TeamHOI slaagt er echter in om effectief te coöpereren, zelfs met 8 agents die samen een zware last tillen.
Kwaliteit van Beweging: De bewegingen zijn soepel (lage "jerk") en gecoördineerd. In tegenstelling tot baselines die vaak conflicterende krachten genereren of contact verliezen, bewegen de agents van TeamHOI als een eenheid.
Zero-Shot Generalisatie: Het beleid generaliseert succesvol naar ongetrainde scenario's, inclusief grotere tafels en teams van 12 en 16 agents, hoewel de succespercentages bij extreme schaal iets dalen door fysieke beperkingen (ruimtegebrek rond de tafel).

Betekenis en Impact

TeamHOI is een belangrijke stap voorwaarts in embodied AI en multi-agent reinforcement learning. Het lost het probleem op van het trainen van specifieke modellen voor elke teamgrootte, wat rekenkracht en data-efficiëntie drastisch verbetert.

De methodiek heeft brede toepassingsmogelijkheden:

Robotica: Voor zwermen van robots die samenwerken aan logistieke taken of reddingsoperaties.
Animatie en Games: Voor het genereren van realistische, fysiek plausibele interacties tussen meerdere virtuele karakters in interactieve werelden, zonder dat handmatige keyframing nodig is voor elke mogelijke teamconfiguratie.

Kortom, TeamHOI bewijst dat een enkel, goed ontworpen beleid, aangedreven door Transformer-architecturen en slimme regularisatiestrategieën, complexe coöperatieve fysieke taken kan aanpakken die eerder als te moeilijk werden beschouwd voor schaalbare oplossingen.