🤖 machine learning

Moving Out: Physically-grounded Human-AI Collaboration

Dit artikel introduceert "Moving Out", een nieuwe benchmark voor fysiek gefundeerde mens-AI-samenwerking die de beperkingen van bestaande discrete of niet-fysieke datasets aanpakt, en stelt de BASS-methode voor om het vermogen van agenten te verbeteren om zich aan te passen aan diverse menselijke gedragingen en complexe fysieke beperkingen.

Oorspronkelijke auteurs: Xuhui Kang, Sung-Wook Lee, Haolin Liu, Yuyan Wang, Yen-Ling Kuo

Gepubliceerd 2026-06-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuhui Kang, Sung-Wook Lee, Haolin Liu, Yuyan Wang, Yen-Ling Kuo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Waarom het Verplaatsen van een Bank zwaar is voor Robots

Stel je voor dat jij en een vriend proberen een zware, onhandige bank uit een appartement te tillen. Je kunt hem niet zomaar in een rechte lijn duwen. Je moet hem kantelen, om een smalle hoek in een gang draaien, en je kracht coördineren zodat je hem niet laat vallen of vast komt te zitten.

Dit is wat het artikel "physically-grounded collaboration" noemt. Het gaat over robots (AI) die samenwerken met mensen in de echte wereld, waar fysica ertoe doet. Dingen hebben gewicht, vorm en wrijving. Als je tegen een ronde tafel duwt, rolt hij; als je tegen een vierkante doos duwt, schuift hij. Als je een zwaar object duwt, heb je twee mensen nodig.

Het probleem is dat de meeste huidige AI-training plaatsvindt in "grid worlds" (zoals een schaakbord of een simpel computerspel). In die spellen klik je gewoon op een vakje om te bewegen. Er is geen gewicht, geen momentum en geen onhandige hoeken. De auteurs stellen dat om een robot te boude die je echt kan helpen bij het verplaatsen van meubels, we het moeten trainen in een wereld die aanvoelt als de echte wereld.

De Oplossing: "Moving Out" (De Benchmark)

De auteurs hebben een nieuwe testomgeving gecreëerd genaamd Moving Out. Zie dit als een 2D-videogamesimulator die draait op een realistische physics engine.

Het Spel: Twee agenten (één AI, één mens of een andere AI) moeten diverse objecten (sterren, cirkels, polygonen) van een startpunt naar een "doelzone" verplaatsen.
De Twist: De objecten zijn niet alleen icoontjes; ze hebben massa (sommigen zijn zwaar, anderen licht), vormen (sommigen blijven steken in hoeken, anderen rollen) en groottes (sommigen hebben één persoon nodig, anderen twee).
Het Doel: De AI moet leren begrijpen: "Oh, deze doos is zwaar, ik moet mijn partner om hulp vragen," of "Deze gang is smal; we moeten de tafel zijwaarts draaien om erdoor te passen."

De Twee Grote Uitdagingen

Het artikel stelt twee specifieke tests op om te zien of de AI slim genoeg is om met het echte leven om te gaan:

De "Nieuwe Partner" Test (Aanpassen aan Mensen):
Stel je voor dat je een spel speelt met een vriend die altijd aan de linkerkant van de kamer loopt. Daarna speel je met een andere vriend die altijd aan de rechterkant loopt. Een goede teamgenoot past zich aan.

De Test: De AI wordt getraind op data van 36 verschillende menselijke spelers. Daarna wordt het getest tegen een mens die het nog nooit heeft ontmoet. Kan de AI leren hoe het moet samenwerken met de unieke stijl van deze vreemde?
Het Resultaat: De meeste AI's falen hier omdat ze de specifieke bewegingen van hun trainingspartners uit het hoofd leren. Ze raken in de war wanneer de partner iets net even anders doet.

De "Nieuw Object" Test (Aanpassen aan Fysica):
Stel je voor dat je hebt geoefend met het verplaatsen van een kleine houten stoel. Dan moet je plotseling een gigantische, zware stalen kluis verplaatsen.

De Test: De AI is getraind op objecten met specifieke gewichten en vormen. Daarna wordt het getest op objecten met nieuwe gewichten en vormen die het nog nooit heeft gezien.
Het Resultaat: De AI moet het concept van "zwaarte" of "vorm" begrijpen, in plaats van alleen te onthouden hoe hij een specifieke doos moet verplaatsen.

De Nieuwe Methode: BASS (Behavior Augmentation, Simulation, and Selection)

Om deze problemen op te lossen, hebben de auteurs een nieuwe methode uitgevonden genaamd BASS. Zo werkt het, met een kookanalogie:

1. Behavior Augmentation (De "Wat-als" Chef)
Meestal, als je een robot leert door video's te laten zien van mensen die meubels verplaatsen, kopieert de robot precies wat hij ziet. Maar mensen zijn slordig; soms struikelen we, soms duwen we hard, soms wachten we.

BASS Truc: De AI neemt de trainingsvideo's en maakt "nep" nieuwe video's. Het wisselt delen van de beweging van de ene mens uit met delen van de ander, maar alleen als de start- en eindpunten perfect overeenkomen.
Analogie: Stel je voor dat je een dans leert. Je kijkt naar een video van een danser. BASS neemt de voetbewegingen van de ene dans en de armbewegingen van een andere dans, maar alleen als de beat overeenkomt. Dit creëert duizenden nieuwe, geldige dansroutines zodat de AI leert omgaan met veel verschillende stijlen, niet slechts één.

2. Simulation (De "Mentale Repetitie")
Voordat de AI een zet doet, gokt hij niet zomaar. Hij voert een "mentale simulatie" uit.

BASS Truc: De AI vraagt zichzelf af: "Als ik deze doos deze kant op duw, en mijn partner duwt die kant op, wat gebeurt er dan?" Het voorspelt de toekomstige staat van de objecten.
Analogie: Voordat je probeert een koffer in het bagagevak boven je hoofd te proppen, doe je een snelle mentale controle: "Als ik hem links kantel, past hij dan? Als ik hem omlaag duw, raakt hij dan de lamp?" BASS doet deze berekening direct voor elke mogelijke zet.

3. Selection (De "Beste Keuze")
Na het simuleren van de toekomst, kiest de AI de zet die de grootste kans op succes heeft.

BASS Truc: Het kiest de actie die het object het dichtst bij het doel brengt zonder vast te komen zitten.
Analogie: Je hebt drie manieren om een klemmende deur te openen. Je probeert ze mentaal uit, ziet welke het beste werkt in je verbeelding, en doet dan fysiek die actie.

De Resultaten: Werkt het?

De auteurs hebben BASS getest tegen andere standaard AI-methoden (zoals simpel kopiëren of standaard spelalgoritmen).

Tegen Onbekende Mensen: BASS was veel beter in het werken met vreemden. Het raakte niet in de war wanneer de menselijke partner anders handelde dan verwacht.
Tegen Nieuwe Objecten: BASS ging veel beter om met nieuwe vormen en gewichten. Het begreep dat een zwaar object meer kracht vereist, zelfs als het dat specifieke zware object nog nooit had gezien.
Menselijke Feedback: Wanneer echte mensen met de BASS AI speelden, rapporteerden zij dat het meer behulpzaam en "menselijk" aanvoelde. De mensen hadden het gevoel dat de AI begreep wanneer ze hulp nodig hadden en wanneer de AI hen met rust moest laten.

Samenvatting

Het artikel betoogt dat om robots te bouwen die ons echt kunnen helpen in de echte wereld (zoals bij het verplaatsen van meubels), we ze niet alleen kunnen trainen op simpele grid-games. We moeten ze trainen in fysica-gebaseerde omgevingen waar gewicht en vorm ertoe doen.

Ze bouwden een nieuw spel genaamd Moving Out om dit te testen en creëerden een nieuwe AI-methode genaamd BASS. BASS werkt door verschillende scenario's te "verbeelden" en te oefenen met veel verschillende soorten partners. Het resultaat is een AI die veel beter kan samenwerken met mensen, zelfs wanneer de mensen onvoorspelbaar zijn of de objecten vreemd zijn.

Technische Samenvatting: Moving Out: Fysiek gegronde Mens-AI Collaboratie

Probleemdefinitie

Bestaande benchmarks voor mens-AI collaboratie, zoals Overcooked-AI, leunen grotendeels op discrete, symbolische of taak-gebaseerde actieruimtes. Deze omgevingen vereenvoudigen de interactiedynamiek en falen om de complexiteit van de fysieke wereld te vatten, waarin agenten opereren in continue staat-actieruimtes. In fysieke omgevingen wordt samenwerking beperkt door continue variabelen (positie, oriëntatie), objectattributen (massa, vorm, grootte) en contactdynamiek (wrijving, botsingen). Deze factoren creëren een hoogdimensionale configuratieruimte waar kleine variaties in menselijke acties (bijv. rotatiehoeken, toegepaste krachten) de uitkomsten drastisch kunnen veranderen.

Het artikel identificeert een kritiek gat: huidige methoden hebben moeite met het gelijktijdig adapteren aan diverse menselijke gedragingen en ongeziene fysieke beperkingen. Specifiek falen agenten die via self-play zijn getraind vaak bij het generaliseren naar menselijke partners met verschillende gedragspatronen, en modellen die getraind zijn op vaste fysieke attributen kunnen niet generaliseren naar nieuwe objecteigenschappen (bijv. andere massa's of vormen). De auteurs definiëren het probleem als een gedecentraliseerd Markov Beslissingsproces (Dec-MDP) waarbij de AI-agent zijn beleid moet optimaliseren tegen een onbekende distributie van menselijke beleidsregels ( $D$ ) terwijl hij navigeert door fysieke beperkingen ( $\Gamma$ ) die haalbare staatsovergangen beperken.

Methodologie: BASS

Om deze uitdagingen aan te pakken, stellen de auteurs BASS voor (Behavior Augmentation, Simulation, and Selection), een nieuw framework ontworink om de diversiteit van agenten en begrip van acties in continue fysieke omgevingen te verbeteren.

1. Gedragsaugmentatie (Behavior Augmentation)

Standaard trajectaugmentatie (bijv. het toevoegen van ruis) is onvoldoende voor multi-agent collaboratie omdat het de consistentie kan doorbreken die nodig is voor samenwerking. BASS gebruikt twee specifieke strategieën om geldige geaugmenteerde data te genereren:

Pose Perturbatie: Kleine Gaussische ruis wordt toegevoegd aan de pose van de partner ( $\tilde{p}_{partner} = p_{partner} + \epsilon$ ) terwijl andere staatsvariabelen ongewijzigd blijven. Dit bootst natuurlijke variaties in menselijke beweging na en verbetert de robuustheid tegen kleine afwijkingen.
Sub-traject Recombinatie: De methode identificeert segmenten in twee verschillende demonstraties waar Agent A bijna identieke staten start en eindigt (binnen een tolerantie $\epsilon_{pose}$ ). Vervolgens worden de corresponderende sub-trajecten van Agent B tussen de twee demonstraties verwisseld. Dit zorgt ervoor dat de intentie van Agent A consistent blijft, terwijl het model wordt blootgesteld aan diverse partnergedragingen, wat effectief de diversiteit van collaboratieve strategieën vergroot zonder fysiek ongeldige staten te creëren.

2. Simulatie en Actie-selectie

Omdat echte implementatie in de praktijk geen toegang heeft tot een physics engine voor trial-and-error, traint BASS een latente dynamisch model om toekomstige staten te voorspellen.

Architectuur: Het systeem gebruikt twee autoencoders (VAE) om staten te coderen naar een latente ruimte. Een dynamisch model ( $f$ ) neemt de huidige latente staat ( $z_t$ ), de actie van de agent ( $a_t$ ) en een voorspelde partneractie ( $a^{(p)}_t$ ) en voorspelt de volgende latente staat ( $z_{t+1}$ ).
Partner Actie Voorspelling: Een speciale voorspeller (met een gedeelde architectuur met het beleid) anticipeert op de actie van de partner op basis van de huidige staat.
Actie-selectie: Tijdens de inferentie genereert het beleid meerdere kandidaat-acties. Het dynamische model simuleert de uitkomst van elke kandidaat (rekening houdend met de voorspelde partneractie) om de resulterende toekomstige staat te schatten. De agent selecteert vervolgens de actie die een beloningsfunctie maximaliseert op basis van de Normalized Final Distance (NFD) — de reductie in afstand tussen objecten en de doelregio. Dit stelt de agent in staat om de meest effectieve actie voor samenwerking te kiezen zonder dat er een real-time simulator nodig is.

Belangrijkste Bijdragen

Moving Out Benchmark: De introductie van een continue, fysica-gebaseerde omgeving gebouwd op een 2D rigid-body engine. In tegenstelling tot eerdere benchmarks bevat deze realistische fysieke beperkingen (wrijving, massa, vorm) en vereist het dat agenten door nauwe doorgangen navigeren en krachten coördineren.
Twee Nieuwe Uitdagingen:
- Challenge 1 (Adapteren aan Diverse Menselijke Gedragingen): Evalueert generalisatie naar ongeziene menselijke strategieën met behulp van een dataset van meer dan 1.000 mens-mens demonstraties van 36 deelnemers.
- Challenge 2 (Generaliseren naar Ongeziene Fysieke Beperkingen): Evalueert generalisatie naar nieuwe objectattributen (massa, grootte, vorm) met behulp van 720 demonstraties van 4 experts op kaarten met gerandomiseerde fysieke eigenschappen.
BASS Framework: Een methode die de baselines (MLP, GRU, Diffusion Policy, MAPPO) aanzienlijk verslaat door gedragsaugmentatie voor diversiteit te combineren met simulatie-gebaseerde actie-selectie voor fysiek redeneren.

Experimentele Resultaten

De auteurs evalueerden BASS tegen verschillende baselines (MLP, GRU, Diffusion Policy, MAPPO) in zowel AI-AI als Mens-AI settings.

Adaptatie aan Ongeziene Gedragingen (Challenge 1): BASS demonstreerde superieure robuustheid. Bij tests tegen ongeziene menselijke gedragingen (cross-group evaluatie) vertoonde BASS de kleinste daling in Task Completion Rate (TCR) en Normalized Final Distance (NFD) vergeleken met de baselines. Bijvoorbeeld, terwijl de standaard Diffusion Policy (DP) 20,72% daalde in TCR, daalde DP/BASS slechts 14,07%.
Generalisatie naar Ongeziene Fysieke Beperkingen (Challenge 2): BASS presteerde consequent beter dan de baselines in TCR en NFD. De simulatie-gebaseerde selectie stelde de agent in staat om beter aan te passen aan variaties in objectmassa, grootte en vorm, terwijl baselines moeite hadden met de nieuwe fysieke configuraties.
Mens-AI Collaboratie: In gebruikersstudies met 32 menselijke deelnemers verbeterde BASS de taakvoltooiing aanzienlijk (TCR: 0,6512 vs. 0,3855 voor DP) en verminderde de wachttijd. Deelnemers beoordeelden BASS hoger op "Helpfulness" en "Physics understanding", wat wijst op een betere afstemming met menselijke intenties.
Ablatie-studies: Het verwijderen van de multi-agent simulatiecomponent of de gedragsaugmentatie verslechterde de prestaties aanzienlijk, wat bevestigt dat het modelleren van partnerdynamiek en het augmenteren van diverse gedragingen beide cruciaal zijn voor succes.

Betekenis en Claims

Het artikel claimt dat Moving Out de eerste benchmark biedt met door mensen verzamelde datasets die specifiek zijn ontworpen om continue, laag-niveau bewegingscontrole onder fysieke beperkingen te bestuderen. Het voert aan dat bestaande modellen onvoldoende zijn voor fysiek gegronde samenwerking omdat ze er niet in slagen de continue staat-actieruimte en de impact van fysieke attributen op interactiedynamiek mee te nemen.

De auteurs positioneren BESS als een fundamentele stap naar het verbeteren van modeladaptiviteit. Ze claimen dat door de uitkomst van acties expliciet te modelleren via simulatie en gedrag te augmenteren om diverse partnerstrategieën te dekken, agenten effectiever kunnen samenwerken met zowel ongeziene AI-partners als mensen. Het werk suggereert dat toekomstig onderzoek verder moet gaan dan symbolische of discrete omgevingen om de complexiteit van real-world fysieke interactie aan te pakken, inclusief de noodzaak voor een beter theoretisch begrip van mens-AI samenwerking en de integratie van expliciete communicatiekanalen.

Het artikel sluit bescheiden af door te erkennen dat hoewel BASS het aantal foutgevallen vermindert (bijv. van ~0,8 naar ~0,34), het effectief aanpakken van alle foutpatronen in continue fysieke samenwerking een aanzienlijke uitdaging blijft voor toekomstig onderzoek.