Train, Test, Re-evaluate: Schedule-Sensitive Evaluation of Generative Data for Hand Detection

Sintesi Tecnica: Valutazione della Sensibilità alla Programmazione dei Dati Generativi per il Rilevamento delle Mani

Definizione del Problema
Nel monitoraggio della sicurezza sul lavoro, un rilevamento robusto delle mani è fondamentale per garantire la conformità ai protocolli di sicurezza. Tuttavia, i dataset pubblici per il rilevamento delle mani sono composti prevalentemente da mani nude, fallendo nel rappresentare la variazione visiva introdotta dai dispositivi di protezione individuale (DPI), come guanti, bende, tatuaggi e gioielli. Ciò crea uno scostamento di distribuzione significativo tra i dati di addestramento e gli scenari di implementazione nel mondo reale, particolarmente in contesti critici per la sicurezza dove il rilevamento di mani accessorizzate è essenziale. Sebbene la generazione di dati sintetici per colmare questo divario sia una soluzione promettente, i metodi esistenti spesso faticano con il gap "simulazione-realtà" (simulation-to-real), e l'utilità dei dati sintetici per compiti focalizzati sugli oggetti rimane una questione scientifica aperta.

Metodologia
Gli autori propongono un framework per valutare se l'inpainting generativo — ovvero l'editing della regione della mano in fotografie reali per aggiungere accessori preservando lo sfondo — possa colmare efficacementmente questo scostamento di distribuzione.

1. Costruzione del Dataset:

   • Dati Reali: Un dataset di 6.507 immagini di addestramento, 2.085 di validazione e 3.591 di test in formato RGB con annotazioni in formato YOLO.
   • Dati Sintetici: Utilizzando lo strumento open-source SemProbe, gli autori hanno generato immagini accoppiate sintetiche. La pipeline segmenta la regione della mano (tramite GroundingDINO e SAM2) e utilizza un transformer a flusso rettificato (FLUX.2) per l'inpainting di accessori (guanti, gioielli, tatuaggi) basandosi su prompt testuali. Lo sfondo rimane pixel-identico all'originale.
   • Valutazione della Qualità: Sono stati calcolati cinque metriche per le immagini accoppiate per validare i dati sintetici:
     • Pixel/Strutturali: PSNR, SSIM e LPIPS (calcolati su immagini complete e ritagli delle mani).
     • Anatomiche: Tasso di rilevamento di MediaPipe Hands, confidenza e deviazione dei landmark.
     • Bordi: Rapporto del gradiente del bordo per rilevare cuciture visibili tra la mano inpainted e lo sfondo originale.

2. Design Sperimentale:
   Lo studio ha addestrato rilevatori YOLOv8n sotto sei regimi (Esperimenti A–F), ciascuno ripetuto con tre seed casuali per l'analisi statistica:

   • Exp A (Baseline): Addestramento su dati reali, test su dati reali.
   • Exp B (Sonda di Robustezza): Valutazione dei modelli dell'Exp A su set di test con guanti sintetici e guanti reali (senza riaddestramento).
   • Exp C (Augmentation a Due Stadi): Addestramento su Real $\cup$ Synthetic, seguito da fine-tuning su Real-only con un tasso di apprendimento inferiore.
   • Exp D (Solo Sintetici): Addestramento esclusivamente su dati sintetici.
   • Exp E (Curriculum Learning a Tre Stadi): Addestramento su Real $\to$ Real $\cup$ Synthetic $\to$ Real-Gloves, con tassi di apprendimento progressivamente decrescenti.
   • Exp F (Meta-Analisi): Aggrega i risultati per calcolare le metriche del gap con segno.

Risultati Chiave

• Qualità dell'Immagine: Le metriche sull'immagine completa (PSite/SSIM) hanno suggerito un'alta somiglianza, ma le metriche sulla regione della mano hanno rivelato differenze significative, confermando che l'inpainting ha alterato con successo la regione target. L'analisi del gradiente del bordo ha mostrato un rapporto medio di 1,088, indicando cuciture per lo più invisibili con una minoranza di artefatti visibili.
• Performance di Rilevamento (mAP@0.5):
  • L'Exp C (Due Stadi) ha raggiunto il mAP@0.5 più elevato sia sul set di test reale standard (0,954) che sul set out-of-distribution (OOD) con guanti reali (0,921), superando la baseline reale (0,867) di +8,7 punti sul set reale e chiudendo il gap OOD di +18,1 punti.
  • L'Exp E (Tre Stadi) ha raggiunto il mAP@0.5 più alto: 0,628 (0,95 sul real, 0,374 sui guanti), dimostrando una superiore precisione del bounding box (box-tightness), sebbene con un leggero compromesso nel mAP@0.5 rispetto all'Exp C.
  • L'Exp D (Solo Sintetici) ha raggiunto il 71,5% del mAP@0.5 della baseline, provando che i dati sintetici da soli non sono sufficienti ma sono un supplemento valido.
• Significatività Statistica: I t-test accoppiati (n=3) e l'analisi del Cohen's d hanno indicato che il miglioramento dell'Exp C rispetto alla baseline sul mAP@0.5 è stato un effetto di grandi dimensioni (d=2,06), sebbene il p-value (0,071) non abbia soddisfatto strettamente la soglia di 0,05 a causa della piccola dimensione del campione. L'Exp E ha superato significativamente l'Exp C sul mAP@0.5:0.95 (p=0,012, d=5,29).

Significatività e Rivendicazioni
Il paper sostiene che l'utilità dei dati sintetici per il rilevamento delle mani in contesti critici per la sicurezza è determinata dalla procedura di addestramento piuttosto che dai dati stessi.

• Sensibilità alla Programmazione (Schedule Sensitivity): Semplici programmi di addestramento multi-stadio (specificamente "augment-then-fine-tune" e "curriculum learning") estraggono benefici sostanziali per l'implementazione reale dai dati di accessori inpainted.
• Chiusura del Gap: Questi metodi riducono significativamente lo scostamento di distribuzione tra l'addestramento con mani nude e l'implementazione con mani accessorizzate.
• Limitazioni: Nonostante i miglioramenti, rimane un gap "ostinato" nelle prestazioni di IoU rigorosa (mAP@0.5:0.95) per le mani con guanti reali. Gli autori attribuiscono ciò alla difficoltà di mantenere la precisione del bounding box sulle mani accessorizzate, suggerendo che i futuri miglioramenti potrebbero richiedere il raffinamento della pipeline di generazione dei dati piuttosto che solo l'aggiustamento dei programmi di addestramento.

Lo studio conclude che, sebbene l'inpainting generativo introduca firme rilevabili dalle macchine, esso rappresenta una strategia valida per l'augmentation dei dati nella sicurezza sul lavoro, a condizione che venga integrata tramite regimi di addestramento multi-stadio accuratamente progettati.