HaDR: Applying Domain Randomization for Generating Synthetic Multimodal Dataset for Hand Instance Segmentation in Cluttered Industrial Environments

Dit onderzoek introduceert HaDR, een methode die domeinrandomisatie toepast om een synthetisch RGB-D dataset te genereren voor het trainen van robuuste multimodale handsegmentatiemodellen in industriële omgevingen, die zelfs zonder reële trainingsdata presteren beter dan bestaande state-of-the-art modellen.

De kern

HaDR: Hoe we robots leren handen te zien in een rommelige fabriek (zonder dure foto's)

Stel je voor dat je een robot wilt trainen om handen te herkennen in een drukke, rommelige fabriek. De robot moet kunnen zien waar een werknemer zijn hand houdt, zelfs als de werknemer gekleurde handschoenen draagt, het licht flitst, of als er gereedschappen en rommel op de achtergrond staan.

Dit klinkt simpel, maar voor een computer is dit een nachtmerrie. Normaal gesproken leer je een computer door duizenden echte foto's te tonen en handmatig te vertellen: "Hier is een hand, hier is een gereedschap." Dit is echter extreem duur, tijdrovend en vaak onmogelijk als de situatie in de fabriek te complex is.

De auteurs van dit paper hebben een slimme oplossing bedacht, genaamd HaDR (Hand Domain Randomization). Hier is hoe het werkt, vertaald in begrijpelijke taal:

1. Het probleem: De "Kloof tussen Wereld en Wereld"

Stel je voor dat je een kind leert een hond herkennen. Als je het kind alleen foto's van een witte hond op een witte achtergrond laat zien, zal het kind waarschijnlijk denken dat alle honden wit zijn. Als het kind dan een zwarte hond ziet, herkent het die niet.

Dit is precies wat er gebeurt met robots. Als je ze traint op "perfecte" foto's, falen ze zodra de realiteit een beetje rommelig wordt (anders licht, andere kleuren handschoenen, rommel op de achtergrond). Dit noemen de auteurs de "Reality Gap" (de kloof tussen de perfecte simulatie en de ruwe realiteit).

2. De oplossing: "Domain Randomization" (Het Chaos-principe)

In plaats van te proberen een perfecte, fotorealistische simulatie te maken (wat duur is en vaak toch niet werkt), doen de auteurs het tegenovergestelde. Ze maken de simulatie opzettelijk raar en chaotisch.

Dit is Domain Randomization. Het werkt als volgt:

• De Set: Ze bouwen een virtuele fabriek in een computerspelletje.
• De Chaos: Ze gooien alles door elkaar. De achtergronden zijn gekke patronen. Het licht flitst willekeurig. De handen hebben vreemde texturen. Er staan vreemde gereedschappen en geometrische vormen (zoals blokjes en bollen) in de weg die niets met handen te maken hebben.
• Het Doel: Door de computer te bombarderen met zoveel mogelijk rare en onrealistische situaties, wordt de computer gedwongen om te stoppen met kijken naar de "kleur van de huid" of de "perfecte achtergrond". In plaats daarvan leert hij het essentiële: de vorm van een hand.

Het is alsof je iemand traint om een auto te herkennen door hem duizenden foto's te tonen van auto's in regen, sneeuw, onder een paarse lamp, en op een tapijt. Uiteindelijk leert de persoon: "Ah, het gaat om de vorm en de wielen, niet om de kleur of de achtergrond."

3. De Magie van "Twee Ogen" (Kleur + Diepte)

De robot krijgt twee soorten informatie:

1. Kleur (RGB): Net als onze ogen.
2. Diepte (Depth): Een kaart die aangeeft hoe ver objecten weg zijn (alsof de robot een sonar heeft).

De auteurs ontdekten dat het combineren van beide (RGB-D) het beste werkt.

• Analogie: Stel je voor dat je in een donkere kamer staat met een witte hand en een witte muur. Met alleen je ogen (kleur) zie je niets, want alles is wit. Maar met je "diepte-zin" (sonar) voel je dat je hand dichterbij is dan de muur. De robot doet hetzelfde. Zelfs als de handschoen dezelfde kleur heeft als de achtergrond, ziet de robot het verschil in afstand.

4. De Resultaten: De Robot is Beter dan de Beste

De auteurs hebben hun robot getraind alleen met deze gekke, virtuele foto's. Geen enkele echte foto is gebruikt tijdens het leren.

Toen ze de robot in de echte, rommelige fabriek testten, gebeurde er iets verrassends:

• Beter dan bestaande systemen: De robot deed het veel beter dan systemen die getraind zijn op echte foto's (zoals MediaPipe, een bekende technologie).
• Ongevoelig voor handschoenen: Andere systemen faalden als iemand rode of gele handschoenen droeg (want ze waren getraind op blote huid). De HaDR-robot zag gewoon een hand, ongeacht de kleur.
• Winnen in de chaos: In een rommelige omgeving met veel afleiding, bleef de HaDR-robot stabiel.

Waarom is dit belangrijk?

Vroeger dachten mensen: "Om een robot slim te maken, moeten we duizenden echte foto's maken en handmatig labelen."
Dit paper zegt: "Nee, we kunnen een virtuele wereld creëren die opzettelijk onrealistisch is, zodat de robot leert wat echt belangrijk is."

De grote les:
Het gaat er niet om hoe realistisch je simulatie is, maar om hoe goed je de robot traint om de essentie te zien, ongeacht de chaos om hem heen. Door de robot te laten oefenen in een "chaos-simulatie", wordt hij in de echte wereld een kampioen.

Samenvatting in één zin

De auteurs hebben een robot getraind in een virtuele wereld vol gekke kleuren en rommel, zodat de robot in de echte, rommelige fabriek perfect handen kan zien, zelfs als de werknemers gekleurde handschoenen dragen, zonder dat ze ooit een enkele echte foto hebben gezien.

Technische samenvatting

Probleemstelling

De automatisering van industriële processen vereist vaak flexibele robotbesturing die interactie met mensen mogelijk maakt, bijvoorbeeld via gebaren. Een grote uitdaging bij het trainen van deep learning-modellen voor handdetectie en -segmentatie is de afhankelijkheid van grote, handmatig geannoteerde datasets. Het handmatig labelen van pixel-niveau segmentatiemaskers is tijdrovend, duur en vatbaar voor fouten.

Daarnaast lijden bestaande oplossingen (zoals MediaPipe) vaak aan een "reality gap": ze zijn getraind op realistische data en vertonen een bias naar specifieke huidskleuren en texturen. In ongestructureerde industriële omgevingen, waar werknemers handschoenen dragen (vaak in verschillende kleuren) en de achtergrond complex is, falen deze modellen vaak omdat ze niet kleur-agnostisch zijn. Bestaande synthetische datasets missen vaak de nodige variatie, zoals afleidende objecten (distractors), variatie in positie (vaak gecentreerd) en realistische obstakels.

Methodologie

De auteurs stellen een methode voor genaamd HADR (Hand Instance Segmentation via Domain Randomization). Het doel is het genereren van een volledig synthetisch, multimodaal (RGB-D) dataset om modellen te trainen die robuust zijn tegen variaties in kleur en omgeving.

1. Simulatieomgeving:

   • Het dataset-generatieproces is gebaseerd op CoppeliaSim.
   • De scène bevat willekeurig gepositioneerde 3D-modellen van handen (maximaal twee per beeld, gebaseerd op één gebruiker) en diverse "distractors" zoals gereedschappen en geometrische vormen.
   • Domain Randomization (DR): In plaats van fotorealisme na te streven, worden onrealistische variaties geïntroduceerd om het netwerk te dwingen essentiële kenmerken (zoals de vorm van de hand) te leren. Dit omvat:
     • Willekeurige texturen, kleuren en schalen voor objecten en achtergronden.
     • Willekeurige lichtbronnen (aantal, positie, type).
     • Variatie in handgebaren en oriëntatie (beperkt tot het gezichtsveld van de camera).
     • Een variabele hoeveelheid ruis en obstakels.
   • De camera (gebaseerd op een Intel RealSense L515) genereert zowel RGB- als dieptebestanden. De dieptewaarden worden geschaald naar een 8-bit grijsbeeld.
   • Er worden automatisch grondwahrheid-maskers (masks) gegenereerd.

2. Dataset Specifics:

   • Totaal gegenereerd: 117.000 beelden.
   • Formaat: Lossless PNG, opgelost tot 320x256.
   • De dataset bevat geen menselijke huidskleur-bias; de focus ligt op vorm en diepte.
   • Tijdens het trainen wordt horizontale en verticale flip-augmentatie toegepast om zowel linker- als rechterhanden te leren (hoewel de simulatie alleen rechtshandige modellen gebruikte).

3. Trainingsproces:

   • Twee state-of-the-art instance segmentation netwerken werden gebruikt: Mask R-CNN en SOLOv2.
   • Backbone-architecturen: ResNet-50 en ResNet-101.
   • Trainingsframework: MMDetection.
   • De modellen werden uitsluitend getraind op de synthetische DR-dataset, zonder fine-tuning op echte data.

4. Evaluatie:

   • Getest op een real-world testset (706 beelden) met variabele verlichting, achtergronden en verschillende kleuren werkhandschoenen (rood, groen, wit, geel).
   • Gebruikte metrieken: Average Precision (AP) en Probability-based Detection Quality (PDQ). PDQ is cruciaal omdat het zowel false positives als false negatives bestraft, wat relevanter is voor robotica dan alleen AP.

Belangrijkste Bijdragen

• Nieuwe Synthetische Dataset: Een openbaar beschikbaar, kleur-agnostisch RGB-D dataset specifiek voor hand-instance segmentatie in industriële omgevingen, gegenereerd met Domain Randomization.
• Pre-trained Modellen: Ready-to-use modellen die getraind zijn op deze synthetische data.
• Multimodale Analyse: Een gedetailleerde analyse van de synergie tussen kleur (RGB) en diepte (Depth) informatie.
• Benchmarking: Een uitgebreide vergelijking met bestaande datasets (EgoHands, HandSeg, DenseHands, RHD, ObMan) en de state-of-the-art oplossing MediaPipe Hands.

Resultaten

• Superieure Prestaties t.o.v. Bestaande Datasets: Modellen getraind op de HADR-dataset presteerden aanzienlijk beter dan modellen getraind op bestaande synthetische of real-world datasets.
  • De beste HADR-modellen bereikten een AP van 52,5 (Mask R-CNN ResNet50 RGB-D).
  • Modellen getraind op bestaande datasets (zelfs die met echte data zoals EgoHands) scoorden veel lager (maximaal ~25 AP) en faalden vaak in de testomgeving vanwege gebrek aan variatie in de trainingsdata.
• Impact van Modaliteiten:
  • RGB-D (Kleur + Diepte): Presteerde het meest robuust, vooral in moeilijke situaties waar hand en achtergrond qua kleur samenvloeiden (bijv. witte handschoenen op lichte achtergrond).
  • RGB alleen: Leverde goede resultaten op, maar faalde vaker bij kleur-ambiguïteit.
  • Depth alleen: Presteerde slechter dan RGB, waarschijnlijk door verschillen tussen gesimuleerde en echte dieptekaarten.
• Vergelijking met MediaPipe:
  • De getrainde Mask R-CNN ResNet50 (RGB-D) versloeg MediaPipe aanzienlijk op zowel PDQ (0,1576 vs 0,0836) als AP (45,5 vs 18,1).
  • MediaPipe faalde vaak bij het gebruik van werkhandschoenen (vooral groene), terwijl het HADR-model kleur-agnostisch bleef werken.
• Optimale Vertrouwensdrempel: De analyse met PDQ toonde aan dat Mask R-CNN-modellen het beste presteren bij hoge vertrouwensdrempels (>0,8), terwijl SOLOv2-modellen lagere drempels (~0,5-0,6) nodig hebben.

Betekenis en Conclusie

Het paper demonstreert dat het gebruik van Domain Randomization in combinatie met synthetische data een effectieve strategie is om de "reality gap" te overbruggen zonder de noodzaak van dure, handmatige annotatie van real-world data.

• Kleur-agnostische Robuustheid: De methode lost het probleem op van het herkennen van handen in verschillende werkomgevingen en met verschillende beschermende kleding (handschoenen), wat essentieel is voor mens-robot interactie in de industrie.
• Efficiëntie: Het elimineert de noodzaak van het verzamelen van grote datasets voor specifieke objecten; in plaats daarvan kunnen CAD-modellen worden gebruikt om onbeperkt gevarieerde data te genereren.
• Toekomstperspectief: Hoewel de huidige generator beperkt is in de variatie van handmeshes en interacties met gereedschap, biedt deze aanpak een veelbelovende richting voor toekomstig onderzoek in logistiek, bin-picking en geavanceerde robotbesturing.

Kortom, de studie bewijst dat deep learning-modellen, getraind uitsluitend op goed ontworpen synthetische data met hoge variabiliteit, superieure resultaten kunnen behalen in complexe, ongestructureerde real-world omgevingen vergeleken met modellen die op traditionele datasets zijn getraind.