Leveraging Synthetic Data for Enhancing Egocentric Hand-Object Interaction Detection

Titel: Het benutten van synthetische data voor het verbeteren van de detectie van hand-object interacties in egocentrische beelden

1. Het Probleem

Het begrijpen van mens-object interacties (HOI) in egocentrische beelden (het perspectief van de drager van een camera, zoals een bril) is cruciaal voor toepassingen zoals collaboratieve robotica, industriële analyse en gezondheidszorg. Een specifieke uitdaging is het detecteren van contact tussen handen en objecten, inclusief het segmenteren van handen en objecten en het bepalen van de contacttoestand.

De huidige staat van de kunst (State-of-the-Art) is sterk afhankelijk van grote hoeveelheden gelabelde real-world data. Het verzamelen en handmatig labelen van deze data is echter extreem tijdrovend, duur en complex, vooral vanwege de noodzaak om contactpunten en interacties nauwkeurig te annoteren. Hoewel synthetische data vaak wordt gebruikt om dit probleem op te lossen in andere domeinen (zoals autonoom rijden), blijft de toepassing in egocentrische HOI-onderzoek onderbelicht vanwege de moeilijkheid om realistische beelden te genereren die de complexiteit van handen, objecten en fysieke interacties correct weergeven.

2. Methodologie

De auteurs introduceren een systematisch onderzoek naar het gebruik van synthetische data voor HOI-detectie, ondersteund door een nieuwe data-generatiepijplijn en een nieuw benchmark.

A. De HOI-Synth Benchmark en Generatiepijplijn
De kern van het werk is de ontwikkeling van een nieuwe pijplijn voor het genereren van realistische egocentrische beelden:

• Interactiegeneratie: Er worden willekeurige hand-object grijpen geselecteerd uit het DexGraspNet-dataset (met meer dan 1,3 miljoen grijpen). Deze worden toegepast op willekeurig gegenereerde menselijke modellen (via SyntheticHumans) met variabele eigenschappen (etniciteit, kleding, etc.).
• Omgeving: De modellen worden geplaatst in omgevingen afkomstig uit het Habitat-Matterport 3D-dataset. Een navigatiemesh (NavMesh) zorgt voor realistische plaatsing zonder botsingen.
• Rendering: Een virtuele camera is bevestigd aan het hoofd van het menselijke model om een egocentrisch perspectief te simuleren (FOV van 94,4 graden). De beelden worden gerenderd met de High Definition Render Pipeline (HDRP) in Unity, inclusief dynamische verlichting en achtergrondrommel (clutter).
• Automatische Annotatie: De pijplijn genereert automatisch pixel-perfect ground truth, inclusief 2D-bounding boxes, segmentatiemasks voor handen en objecten, contacttoestanden en relaties.
• Datasets: De pijplijn is gebruikt om drie bestaande benchmarks te verrijken: VISOR, EgoHOS en ENIGMA-51. Voor ENIGMA-51 werden zowel "in-domain" (specifiek voor de industriële setting) als "out-domain" (generieke) synthetische data gegenereerd.

B. Domeinadaptatie Strategieën (Domain Adaptation - DA)
De auteurs testen drie scenario's om de "domain gap" (het verschil tussen synthetische en real-world data) te overbruggen:

1. Unsupervised Domain Adaptation (UDA): Modellen worden getraind op gelabelde synthetische data en ongelabelde real-world data. Er wordt gebruik gemaakt van een Adaptive Teacher framework met een leerkracht-leerling architectuur (Teacher-Student) en een domeindiscriminator (Gradient Reversal Layer) om de feature-distributies te aligneren.
2. Semi-Supervised Domain Adaptation (SSDA): Een combinatie van gelabelde synthetische data, ongelabelde real-world data en een klein percentage gelabelde real-world data (10%, 25%, 50%).
3. Fully-Supervised Domain Adaptation (FSDA): Training op zowel gelabelde synthetische als alle beschikbare gelabelde real-world data.

C. Alignement Strategieën
Om de effectiviteit te vergroten, worden specifieke strategieën onderzocht om synthetische data beter af te stemmen op de real-world doel-domeinen:

• Objecten: Selectie van synthetische objecten die visueel het meest lijken op real-world objecten (gebruikmakend van DINOv2 features en DBSCAN clustering).
• Grijpen (Grasps): Selectie van hand-pose configuraties die overeenkomen met real-world hand-punten (gebruikmakend van MMPose).
• Omgevingen: Selectie van achtergronden die lijken op de real-world scènes.

3. Belangrijkste Resultaten

De experimenten zijn uitgevoerd op de drie genoemde datasets met verschillende hoeveelheden real-world labels.

• Prestatieverbetering:

  • UDA: Zelfs zonder enige real-world labels, verbetert UDA de prestaties aanzienlijk ten opzichte van alleen synthetische training. Op VISOR stijgt de Overall AP van 9,88% (Synthetic-Only) naar 33,33% (+23,45% verbetering).
  • SSDA: Met slechts 10% gelabelde real-world data gecombineerd met synthetische data, overtreffen de modellen modellen die uitsluitend op 100% real-world data zijn getraind.
    • VISOR: +5,67% Overall AP.
    • EgoHOS: +8,24% Overall AP.
    • ENIGMA-51: +11,69% Overall AP.
  • FSDA: Zelfs met 100% real-world data levert het toevoegen van synthetische data nog steeds een kleine maar significante verbetering op (+1,15% tot +3,54% afhankelijk van de dataset).

• Schaal en Alignement:

  • De prestaties nemen toe tot ongeveer 30.000 synthetische afbeeldingen, waarna het plateau bereikt wordt.
  • In-domain data is cruciaal voor UDA: Op ENIGMA-51 (waar de overlap in objecten minimaal is), presteert in-domain synthetische data aanzienlijk beter dan generieke data (+27,91% AP verschil in UDA).
  • SSDA vermindert de afhankelijkheid van alignement: Zodra er een klein beetje real-world labels beschikbaar zijn (bijv. 10-25%), wordt het strikt aligneren van synthetische data minder kritiek; generieke synthetische data werkt dan bijna even goed als in-domain data.

• Robuustheid:

  • De methoden tonen betere prestaties bij kleine objecten, slechte verlichting en complexe achtergronden vergeleken met baselines die alleen op real-world data zijn getraind.
  • De resultaten generaliseren goed naar moderne backbone-architecturen (ConvNeXt-S).

4. Bijdragen

1. HOI-Synth Benchmark: Een nieuw benchmark dat drie bestaande datasets (VISOR, EgoHOS, ENIGMA-51) uitbreidt met automatisch gelabelde synthetische data, specifiek ontworpen voor het evalueren van domeinadaptatie in egocentrische HOI.
2. Nieuwe Generatiepijplijn: Een open-source simulator en pijplijn die realistische egocentrische beelden van hand-object interacties genereert met pixel-perfect annotaties.
3. Systematische Analyse: Een uitgebreid onderzoek dat inzicht geeft in de omvang van de synthetisch-real gap, de oorzaken ervan, en hoe deze het beste kan worden overbrugd via domeinadaptatie en alignementstrategieën.
4. Openbare Beschikbaarheid: Alle data, code en tools zijn beschikbaar gesteld voor de gemeenschap.

5. Betekenis en Conclusie

Dit werk demonstreert dat synthetische data een krachtig hulpmiddel is om de afhankelijkheid van dure, handmatig gelabelde real-world data te verminderen. De belangrijkste bevinding is dat synthetische data, wanneer gecombineerd met domeinadaptatie-technieken, niet alleen de prestaties verbetert wanneer real-world data schaars is, maar zelfs de staat van de kunst kan verbeteren wanneer volledige datasets beschikbaar zijn.

De studie concludeert dat hoewel synthetische data real-world data niet volledig kan vervangen (vanwege de persistente domain gap), het een essentiële aanvulling is. Vooral in scenario's met weinig labels (semi-supervised) of geen labels (unsupervised) kan synthetische data de prestaties drastisch verhogen. De beschikbaarheid van HOI-Synth en de bijbehorende tools biedt een solide basis voor toekomstig onderzoek in egocentrisch computerzicht en robotica.