💻 computer science

HRDexDB: A Paired Human-Robot Dataset for Cross-Embodiment Dexterous Grasping

Het artikel introduceert HRDexDB, een uitgebreide dataset met 2.100 gesynchroniseerde menselijke en robotische dextere grijptrials over 100 diverse objecten, die hoogwaardige spatiotemporele grondwaarheid biedt om te dienen als een fundamentele benchmark voor onderzoek naar cross-embodiment manipulatie.

Oorspronkelijke auteurs: Jongbin Lim, Taeyun Ha, Mingi Choi, Jisoo Kim, Byungjun Kim, Subin Jeon, Hanbyul Joo

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jongbin Lim, Taeyun Ha, Mingi Choi, Jisoo Kim, Byungjun Kim, Subin Jeon, Hanbyul Joo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een breekbare theekop moet oppakken. Je zou een video kunnen laten zien van een mens die dit doet, maar er is een probleem: menselijke handen en robotarmen zijn anders gebouwd. Een menselijke hand heeft vijf flexibele vingers die op unieke manieren buigen, terwijl een robothand misschien vier stijve vingers of een andere vorm heeft. Als de robot de bewegingen van de mens precies kopieert, kan hij de kop laten vallen of hem verbrijzelen omdat zijn "vingers" niet op dezelfde manier kunnen buigen.

Dit artikel introduceert HRDexDB, een enorme nieuwe "trainingsbibliotheek" die ontworpen is om exact dit probleem op te lossen. Zie het als een tweetalig woordenboek voor handen.

Zo werkt het, eenvoudig uitgelegd:

1. De "Naast-Elkaar" Opnamestudio

De meeste eerdere datasets waren als het kijken naar een film van een mens die een kop oppakt, of een aparte film van een robot die hetzelfde doet, maar nooit samen. HRDexDB is anders. Het neemt op hoe zowel een mens als een robot hetzelfde object op hetzelfde moment oppakken.

De Opstelling: Stel je een kamer voor omringd door 23 high-definition camera's (zoals een beveiligingssysteem op steroïden) plus camera's die gedragen worden op de "kop" van de robot en de "kop" van de mens.
De Actie: Een mens pakt een van de 100 verschillende objecten op (van een koffiemok tot een schroevendraaier). Direct daarna pakt een robot, die door een mens wordt bestuurd via teleoperatie (met behulp van een speciale handschoenpak), datzelfde object op, waarbij hij probeert de intentie van de mens te evenaren maar met zijn eigen mechanische handen.
Het Resultaat: Het systeem creëert een perfecte, gesynchroniseerde 3D-film van beide acties die in dezelfde ruimte plaatsvinden, waarbij elke vingerbeweging, de rotatie van het object en zelfs de "knijpkracht" die de robot voelt, wordt vastgelegd.

2. Waarom dit een Big Deal is (Het "Vertaler"-probleem)

Het artikel stelt dat robots meer nodig hebben dan alleen een video van een mens; ze hebben een vertalingsgids nodig.

De Analogie: Stel je voor dat een mens probeert een brief te schrijven met een enorme, onhandige handschoen aan. Ze kunnen niet op dezelfde manier schrijven als met blote handen. Ze moeten hun grip aanpassen.
De Rol van de Dataset: HRDexDB biedt de data die nodig is om robots te leren hoe ze moeten aanpassen. Het laat de robot zien: "Wanneer de mens de kop hier met de duim aanraakt, moet jij hem daar met jouw specifieje vinger aanraken om hetzelfde resultaat te krijgen."

3. Wat ze hebben getest (Het "Examen")

De auteurs hebben de data niet alleen verzameld; ze hebben het ook gebruikt om te testen of robots er daadwerkelijk van kunnen leren. Ze voerden twee hoofdexperimenten uit:

Experiment A: De Contactkaart-overdracht
Ze namen de "touch map" (aanraakkaart) van waar de vingers van een mens een object aanraakten en probeerden dit te vertalen naar een "touch map" voor een robot.
- Het Resultaat: Wanneer de robot de vertaalde kaart gebruikte (geleerd van HRDexDB) in plaats van simpelweg de kaart van de mens direct te kopiëren, was hij veel succesvoller in het oppakken van het object zonder het te laten vallen. De robot leerde "robottaal te spreken" terwijl hij de menselijke "intentie" behield.
Experiment B: Het "Vind de Match"-spel
Ze vroegen aan het systeem: "Hier is een mens die een vreemd gevormd gereedschap oppakt. Kun je een robot in onze database vinden die weet hoe hij datzelfde gereedschap moet oppakken?"
- Het Resultaat: Het systeem vond succesvol robot-grepen die pasten bij de stijl van de mens, zelfs voor objecten die de robot tijdens de training nog niet had gezien.

4. De "Hard Mode" Uitdaging

Het artikel gebruikte deze dataset ook om te testen hoe goed huidige computer vision-software is in het zien van handen en objecten wanneer deze in elkaar verstrengeld zijn.

De Uitdaging: Wanneer een hand een object vastpakt, blokkeert dit het zicht. Dit is "occlusie" (verstopping/afdekking).
De Bevinding: De auteurs testten top-tier AI-programma's op hun dataset en ontdekten dat deze programma's veel meer moeite hadden met HRDexDB dan met simpelere datasets. Dit bewijst dat HRDexDB een "hard mode" benchmark is die AI dwingt om beter te worden in het zien door de chaos van vingers en objecten heen.

Samenvatting

HRDexDB is een enorme, hoogwaardige bibliotheek van gekoppelde video's die laten zien hoe mensen en robots dezelfde behendige taken uitvoeren. Het fungeert als een brug, waardoor robots kunnen leren van menselijke behendigheid, niet door blindelings te kopiëren, maar door te begrijpen hoe ze menselijke strategieën naar hun eigen mechanische realiteit kunnen vertalen. Het artikel beweert dat dit de eerste dataset van zijn soort is die dit niveau van detail (3D-beweging, tactiele sensoren en meerdere robotarmen) biedt voor 100 verschillende objecten.

Technische Samenvatting: HRDexDB

Probleemstelling

Het in staat stellen van robots om menselijke behendigheid te bereiken is een centraal doel in de robotica. Hoewel menselijke manipulatie een natuurlijke bron van demonstraties biedt, wordt het overdragen van deze vaardigheden naar robots bemoeilijkt door de "embodiment gap" (belichaming-kloof). Menselijke handen en robotische handen verschillen aanzienlijk in morfologie, kinematica en actuatie, wat leidt tot uiteenlopende haalbare contactpatronen en grijpstrategieën. Deze kloof wordt verder gecompliceerd bij het overdragen van vaardigheden tussen verschillende robotische hand-belichamingen, aangezien elke belichaming unieke fysieke beperkingen oplegt.

Bestaande datasets schieten tekort in het adresseren van deze uitdaging. De meeste datasets voor mens-object interactie (HOI) richten zich uitsluitend op menselijke handen en missen vaak 3D-informatie of objecttracking. Daarentegen richten robotische datasets zich meestal op robotische uitvoering, waarbij de beweging van objecten vaak gedeeltelijk ongetrackt blijft of een gebrek is aan gekoppelde menselijke demonstraties. Hoewel enkele recente werken proberen gekoppelde mens-robot data te verzamelen, missen zij over het algemeen multi-embodiment dekking, markerloze RGB-observaties of tactiele signalen. Bijgevolg is er een gebrek aan uitgebreide, gekoppelde datasets die vergelijkbare grijpbewegingen vastleggen over menselijke handen en meerdere diverse robotische belichamingen over gedeelde objecten.

Methodologie: Constructie van HRDexDB

Om deze beperkingen aan te pakken, introduceren de auteurs HRDexDB, een gekoppelde cross-embodiment dexterous manipulation dataset.

Dataverzameling Systeem

De dataset werd vastgelegd met behulp van een gesynchroniseerd multi-modaal systeem bestaande uit:

23 Camera's: Een rig van 21 gesynchroniseerde exocentrische RGB-camera's rondom de werkruimte en 2 egocentrische stereocamera's (één voor robotische trials, één aangepaste helm voor menselijke demonstraties).
Robotische Belichamingen: Vier behendige robotische handen werden gebruikt: Allegro Hand V4, Allegro Hand V5 Plus, Inspire Hand RH56DFTP en Inspire Hand RH56F1.
Menselijke Onderwerpen: Menselijke demonstraties werden opgenomen naast robotische executies.
Teleoperatie: Robotische grijpbewegingen werden uitgevoerd via teleoperatie met behulp van een Xsens inertieel bewegingsvastleggingspak en MANUS handschoenen, waarbij de bewegingen van de menselijke pols en vingers werden gemapt naar de robot.
Protocol: Er werd een tweefasig protocol gehanteerd. Een menselijk subject voerde eerst een natuurlijke greep uit op een doelobject. Een teleoperator observeerde vervolgens deze demonstratie en voerde een semantisch overeenkomende greep uit met de robotische belichaming, waarbij de intentie behouden bleef terwijl ruimte werd gemaakt voor belichaming-specifieke verschillen in morfologie en timing.

Reconstructie Pipeline

De ruwe multi-view opnames werden verwerkt om hoogwaardige 3D-ground truth te genereren:

Menselijke Hand Reconstructie: Met behulp van het MANU parametrische model werden 2D-keypoints gedetecteerd via HaMeR, getrianguleerd en geoptimaliseerd voor pose-parameters. De subject-specifieke vorm werd gekalibreerd via silhouet-uitlijning met SAM3-gegenereerde maskers.
Object 6D Tracking: Een model-gebaseerde pipeline schatte de objectposes ($SE(3)$). Dichte dieptekaarten werden geschat met FoundationStereo, objectmaskers via SAM3, en 6D-poses via FoundationPose. Cross-view geometrische consistentie werd afgedwongen door objectmeshes in alle cameraviews te renderen om silhouet-misuitlijning te minimaliseren en drift te verminderen.
Tactiele Signalen: Contactkrachtsignalen werden opgenomen van tactiele, gevoelige robotvingertoppen.

Dataset Statistieken

Objecten: 100 diverse objecten (met hoogwaardige meshes), uitbreidend naar 1.000.
Sequenties: 2,1K grijptrials.
Frames: 24 miljoen frames.
Modaliteiten: Gesynchroniseerde RGB (23 views), 3D handbeweging (MANO-parameters), robotstatus, object 6D-poses, tactiele signalen en succes/falen annotaties.

Belangrijkste Bijdragen

Eerste Gekoppelde Human-Robot Dexterous Dataset: HRDexDB is de eerste dataset die markerloze, gekoppelde menselijke en multi-robot behendige manipulatie-opnames biedt over gedeelde objecten, voorzien van gesynchroniseerde multi-view RGB, 3D-annotaties en tactiele signalen.
Nieuw Capture en Reconstructie Systeem: De auteurs presenteren een specifieke hardware- en softwareoplossing om de uitdagingen van gesynchroniseerde 3D hand-robot-object tracking onder ernstige occlusie te overwinnen, inclus\nslief een 21-camera rig en een uniforme reconstructie pipeline.
Vestiging van Downstream Benchmarks: Het artikel stelt vier specifieke benchmarks vast om de bruikbaarheid van de dataset te valideren:
- Human-to-robot contact map transfer.
- Cross-embodiment grasp retrieval.
- 3D hand pose estimation onder dexterous grasping.
- Object 6D pose estimation onder menselijke en robotische grasping.

Experimentele Resultaten

1. Human-to-Robot Contact Map Transfer

De auteurs trainden een model om robot-specifieke contactkaarten te voorspellen vanuit menselijke contactpatronen.

Resultaat: Het gebruik van de overgedragen contactkaarten ("Transferred-Contact") verbeterde de succespercentages van de grijpbewegingen aanzienlijk vergeleken met directe optimalisatie tegen menselijke contactkaarten ("Human-Contact").
Metrieken: In real-world experimenten namen de succespercentages toe van 66,7% naar 73,3% voor de Inspire hand en van 63,3% naar 80,0% voor de Allegro hand. Dit demonstreert dat het leren van robot-specifieke contactstrategieën vanuit gekoppelde data effectiever is dan directe imitatie.

2. Cross-Embodiment Grasp Retrieval

Een CLIP-stijl retrieval model werd getraind om een gedeelde latente ruimte te leren voor menselijke en robotische grijpbewegingen.

Resultaat: Het model slaagde erin om gekoppelde robotische grijpbewegingen op te halen uit menselijke queries, ruim boven de kans op toeval.
Metrieken: Voor Human $\to$ Inspire retrieval was de Recall@1 36,36% en de Recall@5 100%. Voor Human $\to$ Allegro was de Recall@1 24,24% en de Recall@5 72,73%.
Downstream Nut: Het initialiseren van grasp optimalisatie (BODex) met opgehaalde grijpbewegingen presteerde beter dan zowel de standaard initialisatie als de kinematische retargeting baselines, met name in episode-level succespercentages (tot 93,94% voor Allegro).

3. 3D Hand Pose Estimation Benchmark

State-of-the-art hand reconstructiemodellen (bijv. HaMeR, WiLoR) werden geëvalueerd op HRDexDB.

Resultaat: Alle modellen vertoonden hogere fouten op HRDexDB vergeleken met de FreiHAND dataset, wat bevestigt dat HRDexDB een uitdagender benchmark vormt vanwege ernstige hand-object occlusies.
Nut: Het fine-tunen van modellen met HRDexDB-data verbeterde hun prestaties op de FreiHAND benchmark, wat aangeeft dat HRDexDB complementaire, niet-redundante trainingssignalen biedt.

4. Object 6D Pose Estimation Benchmark

Object 6D pose estimatiemethoden werden geëvalueerd onder zowel menselijke als robotische grijpomstandigheden.

Resultaat: Alle methoden presteerden slechter onder robotische grasping dan onder menselijke grasping, wat suggereert dat rigide robotische verbindingen extra visuele ambiguïteit introduceren voor objectlokalisatie.
Adaptatie: Het fine-tunen van de MegaPose refiner met HRDexDB robot-grasp data verbeterde de gemiddelde ADD-S met 10,2% in een held-out robot-grasp omgeving, wat het nut van de dataset aantoont voor het aanpassen van perceptie aan interactie-gecentreerde settings.

Betekenis en Claims

Het artikel claimt dat HRDexDB dient als een fundamentele benchmark voor cross-embodiment dexterous manipulation. Door nauw aansluitende opnames te bieden van menselijke behendigheid en robotische uitvoering op dezelfde doelobjecten, maakt het de studie mogelijk van hoe grijpstrategieën over verschillende morfologieën worden overgedragen.

De auteurs benadrukken dat HRDexDB niet louter een verzameling trajecten is, maar een bron die ondersteunt bij:

Data-driven transfer: Verder gaan dan vooraf gedefinieerde correspondenties om robot-specifieke contactstrategieën te leren.
Perceptie evaluatie: Het bieden van een rigoureuze testomgeving voor 3D hand en object pose estimatie in sterk geoccludeerde, interactierijke scenario's.
Toekomstige expansie: De dataset wordt momenteel uitgebreid naar 1.000 objecten en complexere functionele taken, met als doel toekomstig onderzoek in dexterous manipulation en robot learning te faciliteren.

De auteurs erkennen bescheiden de beperkingen, specifiek de heterogeniteit van tactiele sensoren over verschillende platforms en de voortdurende uitdaging om functioneel equivalente traject-correspondenties te definiëren over verschillende hand-morfologieën.