Train, Test, Re-evaluate: Schedule-Sensitive Evaluation of Generative Data for Hand Detection

Technische Samenvatting: Schema-gevoelige Evaluatie van Generatieve Data voor Handdetectie

Probleemstelling
In de monitoring van arbeidsveiligheid is robuuste handdetectie cruciaal voor het waarborgen van de naleving van veiligheidsprotocollen. De huidige publieke datasets voor handdetectie bestaan echter voornamelijk uit blote handen, waardoor de visuele variatie die wordt geïntroduceerd door persoonlijke beschermingsmiddelen (PBM), zoals handschoenen, verbandmiddelen, tatoeages en sieraden, niet wordt vertegenwoordigd. Dit creëert een significante distributieverschuiving tussen de trainingsdata en real-world scenario's tijdens de inzet, met name in veiligheidskritische contexten waar het detecteren van geaccessoriseerde handen essentieel is. Hoewel het genereren van synthetische data om dit gat te vullen een veelbelovende oplossing is, worstelen bestaande methoden vaak met de "simulatie-naar-realiteit"-kloof, en blijft de bruikbaarheid van synthetische data voor object-gecentreerde taken een open wetenschappelijke vraag.

Methodologie
De auteurs stellen een framework voor om te evalueren of generatieve inpainting — het bewerken van het handgebied van echte foto's om accessoires toe te voegen terwijl de achtergrond behouden blijft — effectief de distributieverschuiving kan verkleinen.

1. Dataset Constructie:

   • Real Data: Een dataset van 6.507 trainings-, 2.085 validatie- en 3.591 test RGB-beelden met YOLO-formaat annotaties.
   • Synthetische Data: Met behulp van de open-source tool SemProbe hebben de auteurs gepaarde synthetische beelden gegenereerd. De pipeline segmenteert het handgebied (via GroundingDINO en SAM2) en gebruikt een rectified-flow transformer (FLUX.2) om accessoires (handschoenen, sieraden, tatoeages) in te vullen op basis van tekstprompts. De achtergrond blijft pixelidentiek aan het origineel.
   • Kwaliteitsbeoordeling: Vijf gepaarde beeldmetrieken werden berekend om de synthetische data te valideren:
     • Pixel/Structureel: PSNR, SSIM en LPIPS (berekend op volledige beelden en handcrops).
     • Anatomisch: MediaPipe Hands detectiegraad, betrouwbaarheid en landmark afwijking.
     • Grenzen: Boundary gradient ratio om zichtbare naden tussen de ingepainte hand en de originele achtergrond te detecteren.

2. Experimenteel Ontwerp:
   De studie trainde YOLOv8n detectoren onder zes regimes (Experimenten A–F), elk herhaald met drie willekeurige seeds voor statistische analyse:

   • Exp A (Baseline): Trainen op real data, testen op real data.
   • Exp B (Robustness Probe): Evalueren van Exp A modellen op synthetische-handschoenen en real-handschoenen testsets (zonder hertraining).
   • Exp C (Two-Stage Augmentation): Trainen op Real $\cup$ Synthetisch, gevolgd door fine-tuning op Real-only met een lagere learning rate.
   • Exp D (Synthetic-Only): Uitsluitend trainen op synthetische data.
   • Exp E (Three-Stage Curriculum): Trainen met de volgorde Real $\to$ Real $\cup$ Synthetisch $\to$ Real-Gloves, met progressief afnemende learning rates.
   • Exp F (Meta-Analyse): Aggregeert resultaten om gesigneerde gap-metrieken te berekenen.

Belangrijkste Resultaten

• Beeldkwaliteit: Full-image metrieken (PSNR/SSIM) suggereerden een hoge gelijkenis, maar hand-regio metrieken toonden significante verschillen aan, wat bevestigt dat de inpainting het doelgebied succesvol heeft gewijzigd. De boundary gradient analyse toonde een gemiddelde ratio van 1,088, wat duidt op grotendeels onzichtbare naden met een minderheid aan zichtbare artefacten.
• Detectieprestaties (mAP@0.5):
  • Exp C (Two-Stage) behaalde de hoogste mAP@0.5 op zowel de standaard real testset (0,954) als de real-gloves out-of-distribution (OOD) set (0,921), waarmee het de real-only baseline (0,867) overtrof met +8,7 punten op de real set en de OOD-kloof met +18,1 punten verkleinde.
  • Exp E (Three-Stage) behaalde de hoogste mAP@0.5:0.95 (0,628 op real, 0,374 op gloves), wat een superieure box-tightness demonstreert, hoewel er een lichte trade-off is in mAP@0.5 vergeleken met Exp C.
  • Exp D (Synthetic-Only) bereikte 71,5% van de baseline mAP@0.5, wat bewijst dat synthetische data alleen onvoldoende is maar wel levensvatbaar als aanvulling.
• Statistische Significantie: Gepaarde t-testen (n=3) en Cohen's d analyse gaven aan dat de verbetering van Exp C ten opzien van de baseline op mAP@0.5 een groot effect was (d=2,06), hoewel de p-waarde (0,071) niet strikt voldeed aan de 0,05 drempelwaarde vanwege de kleine steekproefomvang. Exp E presteerde significant beter dan Exp C op mAP@0.5:0.95 (p=0,012, d=5,29).

Significantie en Claims
Het artikel claimt dat de bruikbaarheid van synthetische data voor veiligheidskritische handdetectie wordt bepaald door de trainingsprocedure in plaats van enkel door de data zelf.

• Schema-gevoeligheid: Eenvoudige multi-stage trainingsschema's (specifiek "augment-then-fine-tune" en "curriculum learning") halen substantiële voordelen voor real-world inzet uit ingepainte accessoire-data.
• Gap-sluiting: Deze methoden verkleinen de distributieverschuiving tussen training met blote handen en inzet met geaccessoriseerde handen aanzienlijk.
• Beperkingen: Ondanks de verbeteringen blijft er een "hardnekkige" kloof bestaan in de strikte IoU-prestaties (mAP@0.5:0.95) voor echte handschoenen. De auteurs schrijven dit toe aan de moeilijkheid om box-tightness te behouden op geaccessoriseerde handen, en suggereren dat toekomstige verbeteringen mogelijk een verfijning van de synthetische generatie-pipeline vereisen in plaats van enkel het aanpassen van de trainingsschema's.

De studie concludeert dat hoewel generatieve inpainting machine-detecteerbare signatures introduceert, het een levensvatbare strategie is voor data-augmentatie in de arbeidsveiligheid, mits het wordt geïntegreerd via zorgvuldig ontworpen, multi-stage trainingsregimes.