💻 computer science

HABIT: Human-Aware Behavior and Interaction Training Dataset for Robot Manipulation

Het artikel introduceert HABIT, een grootschalige dataset van meer dan 10.000 menselijke robotmanipulatie-episoden georganiseerd in de rollen Collaborator, Coworker en Supervisor, wat beleid in staat stelt om essentiële mensbewuste gedragingen zoals synchronisatie, wijken en gebarenverankering te leren die afwezig zijn in traditionele datasets zonder menselijke aanwezigheid.

Oorspronkelijke auteurs: Jaehwi Song, Suchae Jeong, Byeongguk Jeon, Sungdong Kim, Minjoon Seo, Hyungmok Son, Kimin Lee

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jaehwi Song, Suchae Jeong, Byeongguk Jeon, Sungdong Kim, Minjoon Seo, Hyungmok Son, Kimin Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert hoe hij huishoudelijke taken moet uitvoeren. De meeste robots van vandaag worden getraind in een "spookstad"-scenario: ze oefenen met het verplaatsen van dozen, het afnemen van tafels en het sorteren van afval in een lege kamer waar geen mensen aanwezig zijn. Ze worden erg goed in de fysieke bewegingen, maar ze hebben geen idee hoe ze moeten handelen wanneer er een echt persoon vlak naast hen staat. Ze kunnen tegen je aan botsen, je handgebaren negeren of proberen een gereedschap te pakken terwijl je het nog vasthoudt.

Het artikel introduceert HABIT (Human-Aware Behavior and Interaction Training), een nieuwe dataset die ontworpen is om dit op te lossen. Denk aan HABIT niet alleen als een bibliotheek van robotbewegingen, maar als een bibliotheek van danspassen waarbij de robot en een menselijke partner samen leren bewegen.

De Drie "Dansstijlen"

De onderzoekers hebben de taken onderverdeeld in drie verschillende rollen, zoals verschillende genres dans, om de robot te leren hoe hij met verschillende sociale situaties moet omgaan:

De Collaborateur (De Tango):
- Het Scenario: De mens en de robot moeten tegelijkertijd aan hetzelfde object werken op hetzelfde moment.
- De Analogie: Stel je twee mensen voor die samen een zware bank een trap op proberen te tillen. Als één persoon te snel of te langzaam beweegt, struikelen ze. In deze rol leert de robot te wachten tot de mens een hoek optilt voordat de robot beweegt, of om een gereedschap aan te reiken precies op het moment dat de mens ernaar reikt. Het draait allemaal om synchronisatie.
- Voorbeeld: Een mens plaatst een servet op een dienblad, en de robot tilt het dienblad op om te helpen.
De Collega (De Congalijn):
- Het Scenario: De mens en de robot zijn in dezelfde kamer bezig met verschillende taken, maar zij delen dezelfde ruimte.
- De Analogie: Stel je twee mensen voor die in een kleine keuken koken. De één is groenten aan het snijden en de ander is een pan aan het roeren. Ze raken elkaar niet aan, maar ze moeten om elkaar heen manoeuvreren zodat ze niet botsen. De robot leert om wijken (opzij stappen) als de mens in zijn pad loopt, in plaats van gewoon door te ploegen.
- Voorbeeld: Een mens sorteert afval aan de ene kant van een tafel terwijl de robot dozen inpakt aan de andere kant, waarbij ze constant voor elkaar uit de weg gaan.
De Supervisor (De Dirigent):
- Het Scenario: De mens geeft aanwijzingen en de robot volgt deze op.
- De Analogie: Stel je een dirigent voor die met een stokje zwaait om een orkest te vertellen wanneer ze moeten spelen. De robot leert naar de handen en ogen van de mens te kijken. Als de mens naar een specifieke donut wijst, grijpt de robot niet zomaar de eerste de beste die hij ziet; hij kijkt naar de vinger en pakt die specifieke donut. Hij leert gebaar-gronding (gesture grounding).
- Voorbeeld: Een mens wijst naar een specifieke container, en de robot doet brood in die container.

Hoe ze de gegevens verzamelden

Om ervoor te zorgen dat de robot deze sociale vaardigheden daadwerkelijk leerde, lieten de onderzoekers de mens en de robot niet zomaar willekeurig rondspelen. Ze gebruikten een strikt "script" (een workflow) die de mens en de robot dwong om in realtime op elkaar te reageren.

Geen "Cheat Codes": De menselijke operator kon niet simpelweg raden wat de robot de volgende stap zou doen. De mens moest wachten tot de robot bewoog voordat hij zelf reageerde, en vice versa. Dit zorgde ervoor dat de robot leerde te reageren op werkelijke menselijke signalen, en niet alleen op onthouden patronen.
Veiligheid Eerst: Als de robot eruitzag alsof hij tegen de mens aan zou botsen, trok de menselijke operator de robot onmiddellijk terug. Dit leerde de robot dat "stoppen" een geldige en belangrijke beweging is.

Wat gebeurde er toen ze het testten?

De onderzoekers namen twee bestaande robotbreinen (AI-modellen) en trainden deze op deze nieuwe HABIT-data. Ze vergeleken deze "HABIT-getrainde" robots met robots die alleen getraind waren op de oude "spookstad"-data.

De Resultaten: De HABIT-getrainde robots waren aanzienlijk beter.
- In de rol van Collega botsten ze niet meer tegen mensen aan.
- In de rol van Supervisor keken ze daadwerkelijk naar waar de mens naar wees in plaats van te gokken.
- In de rol van Collaborateur timede hun bewegingen perfect met die van de mens.
De "Superkracht": De meest interessante bevinding was de steekproefefficiëntie (sample efficiency). Wanneer ze probeerden de HABIT-getrainde robots een nieuwe taak te leren die ze nog niet hadden gezien, leerden ze deze veel sneller (met minder voorbeelden) dan de robots die getraind waren op de oude data. Het is alsof HABIT de robot het concept van "beleefd en bewust zijn" heeft geleerd, wat het leren van specifieke nieuwe klussen veel gemakkelijker maakte.

De Kernboodschap

Het artikel betoogt dat voor robots om nuttig te zijn in onze huizen en kantoren, ze niet alleen sterk en precies moeten zijn; ze moeten ook sociaal bewust zijn. Door robots te trainen op gegevens waarbij mensen daadwerkelijk aanwezig zijn en interactie hebben, krijgen we robots die niet alleen om ons heen werken, maar met ons samenwerken.

Beperkingen: De auteurs geven toe dat dit in een gecontroleerd laboratorium is gedaan met een specifiek type robot en een beperkt aantal menselijke operators. Hoewel ze de kleding en lichaamsbouw van de mensen varieerden om aanpassingsvermogen te testen, zijn echte omgevingen rommeliger dan hun opstelling. De kernboodschap blijft echter overeind: robots moeten mensen zien om te leren hoe ze goede partners kunnen zijn.

Technische Samenvatting: HABIT – Human-Aware Behavior and Interaction Training Dataset

1. Probleemstelling

Recente vooruitgang in algemene robotmanipulatie is gedreven door grootschalige demonstratie-datasets. Er bestaat echter een kritieke kloof: bestaande datasets worden voornamelijk verzameld in situaties zonder menselijke aanwezigheid, waarbij de robot de enige actor is. Bijgevolg falen beleid (policies) die getraind zijn op dergelijke data, hoewel ze in isolatie competent zijn, in het vertonen van mensbewuste gedragingen die noodzakelijk zijn voor gedeelde omgevingen (bijv. huizen, fabrieken).

Specifiek kunnen robots niet leren om:

Wijken om botsingen te voorkomen wanneer een mens hun pad betreedt.
Synchroniseren in tijd en ruimte bij het gezamenlijk manipuleren van objecten.
Gebaren te gronderen om de menselijke intentie te interpreteren zonder expliciete taalinstructies.

Deze gedragingen ontbreken niet omdat ze moeilijk te leren zijn, maar omdat ze niet gedemonstreerd kunnen worden zonder dat er een mens in de scène aanwezig is. Dit artikel adresseert de behoefte aan een dataset die expliciet de dynamiek van mens-robotinteractie (HRI) vastlegt.

2. Methodologie: De HABIT-dataset

2.1 Taakontwerp en Rollen

De dataset organiseert 60 verschillende taken in drie interactierollen, gedefinieerd door de afhankelijkheid tussen de mens en de robot:

Collaborator (Medewerker): De mens en de robot voltooien gezamenlijk een gedeeld doel door directe fysieke interactie (bijv. gereedschap overhandigen, gezamenlijk objecten vasthouden). Dit vereist nauwe spatiotemporele synchronisatie.
Coworker (Collega): De mens en de robot voeren afzonderlijke taken uit binnen een gedeelde werkruimte zonder direct fysiek contact. De primaire uitdaging is botsingsvermijding en wijken.
Supervisor (Toezichthouder): De mens stuurt de robot aan via expliciete signalen (bijv. gebaren, wijzen), terwijl de robot de intentie afleidt uit visuele input alleen.

2.2 Protocol voor Gegevensverzameling

Om ervoor te zorgen dat de data leerbare mensbewuste gedragingen vastlegt, hebben de auteurs specifieke verzamelprotocollen geïmplementeerd:

Reactieve Interactie: Operators (zowel mens als robot) mogen geen subtaken vooraf uitvoeren op basis van geheugen. Ze moeten pas handelen nadat ze het gedrag van hun partner direct hebben waargenomen. Dit zorgt ervoor dat de signalen die robotacties triggeren, zichtbaar zijn in de opgenomen observaties.
Gedragsstimulatie:
- Veiligheid-eerst Wijken: Robotoperators kregen de instructie om armen beslist terug te trekken als een botsing dreigt, waarbij wijken als de standaardreactie werd opgenomen.
- Temporele Adaptatie: De bewegingssnelheden van de mens werden gevarieerd om te voorkomen dat de robot een vaste cadans leert.
- Gebaren Gronding: Menselijke operators varieerden de wachttijden voor het wijzen, waardoor de policy wordt gedwongen te letten op het gebaar in plaats van voortijdig te handelen op basis van taalinstructies.
Diversificatie: Condities werden gevarieerd over episodes (kledingkleuren, volgorde van objecten) en over operators (verschillende lichaamsbouw) om out-of-distribution (OOD) generalisatie te ondersteunen.

2.3 Hardware en Opstelling

Robots: Twee Franka Research 3-armen met Robotiq-grippers, tele-operated via Meta Quest 3-controllers.
Sensoren: Vijf gesynchroniseerde RGB-camera's:
- Drie aan de robotzijde (pols-views en een egocentrische view die de mens en werkruimte vastlegt).
- Twee aan de menszijde (menselijke egocentrische view en een exocentrische view van de volledige werkruimte).
Schaal: De dataset bestaat uit 10.563 episodes die in totaal 164,19 uur aan bimanuele manipulatie beslaan.

3. Evaluatiekader

De auteurs evalueren policies met een subset van 6 representatieve taken (2 per rol). Succes wordt gedefinieerd door drie binaire criteria voor elke robot-subtaak:

Manipulatie: Correcte fysieke uitvoering en objecttoestand.
Workflow Compliance: Naleving van de taakworkflow, inclus\nclusief ordening, synchronisatie en het volgen van signalen.
Menselijke Veiligheid: Geen botsingen of contact met door mensen vastgehouden objecten.

De primaire metriek is het Succespercentage over onafhankelijke proeven.

4. Belangrijkste Resultaten

4.1 Taaksuccespercentages

De auteurs hebben twee open-source Vision-Language-Action (VLA) modellen, $\pi_0.5$ en GR00T N1.6, gefinetuned op HABIT en deze vergeleken met een Robot-only baseline (verzameld zonder menselijke aanwezigheid).

Collaborator-taken: Robot-only baselines zijn niet van toepassing (N/A) aangezien deze taken inherent een menselijke partner vereisen.
Coworker-taken: HABIT-getrainde modellen vertoonden de grootste winst (bijv. $\pi_0.5$ verbeterde van 40% naar 95% op Waste Sorting). Dit benadrukt de noodzaak om reactief wijken te leren om padconflicten op te lossen.
Supervisor-taken: HABIT leverde significante winst op complexe taken die gebaren-gronding vereisen (bijv. Food Storage), waar taal alleen onvoldoende was om doelen te disambigueren. Op simpelere taken (Donut Serving) was de prestatie vergelijkbaar met de Robot-only baseline.

4.2 Emergent Mensbewust Gedrag

Training op HABIT riep specifieke gedragingen op die afwezig waren in de Robot-only modellen:

Spatiotemporele Synchronisatie: In Collaborator-taken leerden de modellen te wachten op menselijke signalen voordat ze actie ondernamen.
Proactief Wijken: In Coworker-taken vermeden de modellen succesvol botsingen door terug te treken wanneer mensen naderden.
Gebaren Gronding: In Supervisor-taken leerden de modellen wijsgebaren te interpreteren om doelen te identificeren.

4.3 Falanalyse

De studie identificeerde rolspecifieke foutmodi in de Robot-only modellen:

Collaborator: Precondition-schendingen (handelen voordat de mens klaar is).
Coworker: Botsingen door gebrek aan wijken.
Supervisor: Falen in het volgen van gebaren.
HABIT-getrainde modellen verminderden deze specifieke foutpercentages aanzienlijk in beide architecturen.

4.4 Steekproefefficiënte Adaptatie

De auteurs toonden aan dat mid-training van een VLA op HABIT snelle adaptatie naar nieuwe HRI-taken mogelijk maakt.

Wanneer gefinetuned op downstream-taken met beperkte data (50–200 demonstraties), presteerden modellen die vooraf getraind waren op HABIT beter dan modellen die direct op de downstream-data getraind waren.
Bijvoorbeeld, op Waste Sorting evenaarde HABIT mid-training met 50 demonstraties de prestatie van directe fine-tuning met 200 demonstraties.

5. Betekenis en Claims

Het artikel positioneert HABIT als een springplank naar robot-fundamentenmodellen die niet alleen bekwaam zijn, maar ook werkelijk veilig en sociaal compatibel in door mensen bewoonde omgevingen.

Nieuwe Dimensie van Diversiteit: De auteurs claimen dat het introduceren van "menselijke aanwezigheid" als een dimensie van datasetdiversiteit cruciaal is. Ze stellen dat standaard robotleer-pipelines, die vertrouwen op data zonder menselijke aanwezigheid, het signaal missen dat nodig is voor veilig samenleven.
Generalisatie: De resultaten suggereren dat mensbewuste gedragingen (wijken, synchronisatie, gebaren-gronding) leerbaar zijn uit data en overdraagbaar zijn naar verschillende VLA-architecturen.
Bescheidenheid: De auteurs erkennen beperkingen en merken op dat de dataset is verzameld in een enkele omgeving met een één-op-één mens-robot configuratie. Ze claimen niet dat HABIT alle multi-agent of complexe sociale dynamieken oplost, maar stellen dat het een noodzakelijke basis biedt voor het leren van basisgedragingen bij co-presentie.

Concluderend toont HABIT aan dat training op data met menselijke aanwezigheid leidt tot policies die niet alleen succesvoller zijn in gedeelde ruimtes, maar ook emergent sociaal gedrag vertonen dat niet afgeleid kan worden uit enkel robot-demonstraties.