Train, Test, Re-evaluate: Schedule-Sensitive Evaluation of Generative Data for Hand Detection

Resumen Técnico: Evaluación de la Sensibilidad de Programación de Datos Generativos para la Detección de Manos

**Planteamiento del Proble

En el monitoreo de la seguridad ocupacional, la detección robusta de manos es crítica para garantizar el cumplimiento de los protocolos de seguridad. Sin embargo, los conjuntos de datos públicos para la detección de manos están compuestos predominantemente por manos desnudas, lo que no representa la variación visual introducida por el equipo de protección individual (EPI) como guantes, vendajes, tatuajes y joyería. Esto crea un cambio de distribución significativo entre los datos de entrenamiento y los escenarios de despliegue en el mundo real, particularmente en contextos críticos de seguridad donde la detección de manos con accesorios es esencial. Si bien la generación de datos sintéticos para llenar este vacío es una solución prometedora, los métodos existentes a menudo luchan con la brecha de "simulación-a-realidad", y la utilidad de los datos sintéticos para tareas centradas en objetos sigue siendo una cuestión científica abierta.

Metodología

Los autores proponen un marco para evaluar si el inpintado generativo (generative inpainting) —editar la región de la mano en fotografías reales para añadir accesorios preservando el fondo— puede cerrar eficazmente este cambio de distribución.

1. Construcción del Conjunto de Datos:

   • Datos Reales: Un conjunto de datos de 6,507 imágenes de entrenamiento, 2,085 de validación y 3,591 de prueba en formato RGB con anotaciones en formato YOLO.
   • Datos Sintéticos: Utilizando la herramienta de código abierto SemProbe, los autores generaron imágenes emparejadas sintéticas. El flujo de trabajo segmenta la región de la mano (mediante GroundingDINO y SAM2) y utiliza un transformador de flujo rectificado (FLTUX.2) para inpintar accesorios (guantes, joyería, tatuajes) basados en prompts de texto. El fondo permanece píxel a píxel idéntico al original.
   • Evaluación de Calidad: Se computaron cinco métricas de imágenes emparejadas para validar los datos sintéticos:
     • Píxel/Estructural: PSNR, SSIM y LPIPS (computados en imágenes completas y recortes de la mano).
     • Anatómica: Tasa de detección, confianza y desviación de puntos de referencia (landmarks) de MediaPipe Hands.
     • Límite (Boundary): Relación de gradiente de frontera para detectar costuras visibles entre la mano inpintada y el fondo original.

2. Diseño Experimental:
   El estudio entrenó detectores YOLOv8n bajo seis regímenes (Experimentos A–F), cada uno repetido con tres semillas aleatorias para el análisis estadístico:

   • Exp A (Línea Base): Entrenar con datos reales, probar con datos reales.
   • Exp B (Sonda de Robustez): Evaluar modelos de Exp A en conjuntos de prueba de guantes sintéticos y guantes reales (sin reentrenamiento).
   • Exp C (Aumentación de Dos Etapas): Entrenar con Real $\cup$ Sintético, luego realizar un ajuste fino (fine-tuning) en Solo-Real con una tasa de aprendizaje más baja.
   • Exp D (Solo Sintético): Entrenar exclusivamente con datos sintéticos.
   • Exp E (Curriculum de Tres Etapas): Entrenar con Real $\to$ Real $\cup$ Sintético $\to$ Real-Guantes, con tasas de aprendizaje decrecientes progresivamente.
   • Exp F (Meta-Análisis): Agrega resultados para calcular métricas de brecha con signo.

Resultados Clave

• Calidad de Imagen: Las métricas de imagen completa (PSPS/SSIM) sugirieron una alta similitud, pero las métricas de la región de la mano revelaron diferencias significativas, confirmando que el inpintado alteró con éxito la región objetivo. El análisis de gradiente de frontera mostró una relación media de 1.088, indicando costuras mayormente invisibles con una minoría de artefactos visibles.
• Rendimiento de Detección (mAP@0.5):
  • Exp C (Dos Etapas) logró el mAP@0.5 más alto tanto en el conjunto de prueba real estándar (0.954) como en el conjunto fuera de la distribución (OOD) de guantes reales (0.921), superando a la línea base de solo real (0.867) por +8.7 puntos en el conjunto real y cerrando la brecha OOD por +18.1 puntos.
  • Exp E (Tres Etapas) logró el mAP@0.5 más alto: 0.628 (en real) y 0.374 (en guantes) para mAP@0.5:0.95, demostrando una superior precisión en la caja (box-tightness), aunque con un ligero compromiso en mAP@0.5 comparado con Exp C.
  • Exp D (Solo Sintético) alcanzó el 71.5% del mAP@0.5 de la línea base, demostrando que los datos sintéticos por sí solos son insuficientes pero viables como suplemento.
• Significancia Estadística: Las pruebas t de muestras pareadas (n=3) y el análisis de d de Cohen indicaron que la mejora de Exp C sobre la línea base en mAP@0.5 fue un efecto grande (d=2.06), aunque el valor p (0.071) no cumplió estrictamente con el umbral de 0.05 debido al pequeño tamaño de la muestra. Exp E superó significativamente a Exp C en mAP@0.5:0.95 (p=0.012, d=5.29).

Significancia y Reivindicaciones
El artículo sostiene que la utilidad de los datos sintéticos para la detección de manos en entornos de seguridad crítica está determinada por el procedimiento de entrenamiento y no solo por los datos en sí.

• Sensibilidad de Programación: Los programas de entrenamiento de múltiples etapas simples (específicamente "aumentar-luego-ajustar fino" y "aprendizaje de currículo") extraen beneficios sustanciales de despliegue real a partir de los datos de accesorios inpintados.
• Cierre de Brecha: Estos métodos reducen significativamente el cambio de distribución entre el entrenamiento de manos desnudas y los escenarios de despliegue de manos con accesorios.
• Limitaciones: A pesar de las mejoras, persiste una brecha "obstinada" en el rendimiento de IoU estricto (mAP@0.5:0.95) para manos con guantes reales. Los autores atribuyen esto a la dificultad de mantener la precisión de la caja en manos con accesorios, sugiriendo que las mejoras futuras pueden requerir refinar el propio flujo de generación de datos sintéticos en lugar de solo ajustar los programas de entrenamiento.

El estudio concluye que, si bien el inpintado generativo introduce firmas detectables por máquinas, es una estrategia viable para la aumentación de datos en la seguridad ocupacional, siempre que se integre mediante regímenes de entrenamiento de múltiples etapas cuidadosamente diseñados.