Privacy-Aware Synthetic Video Benchmarking and Relational Evaluation for Worker-Under-Suspended-Load Detection

Resumen Técnico: Benchmarking de Vídeo Sintético Consciente de la Privacidad para la Detección de Trabajadores Bajo Carga Suspendida

Planteamiento del Problema
Los sitios de construcción presentan riesgos de seguridad significativos, particularmente en lo que respecta a los peligros de "trabajador bajo carga suspendida". A diferencia de las tareas estándar de detección de objetos, este peligro es inherentemente relacional y espaciotemporal: el riesgo surge solo cuando la geometría de un trabajador intersecta con la zona de caída de una carga suspendida a lo largo del tiempo. Los enfoques actuales de visión computacional enfrentan dos barreras principales para abordar esto:

1. Escasez de Datos: Los benchmarks de vídeo públicos para este peligro específico son escasos. El metraje de construcción del mundo real suele carecer de eventos positivos suficientes (trabajadores bajo cargas) y es operativamente sensible, lo que dificulta su publicación debido a las preocupaciones de privacidad relacionadas con los trabajadores, la disposición del sitio y las configuraciones del equipo.
2. Compromiso entre Privacidad y Utilidad: Si bien las técnicas de preservación de la privacidad (por ejemplo, desenfoque, pixelación) son necesarias para compartir datos, corren el riesgo de degradar las pistas geométricas y estructurales requeridas para el razonamiento de peligros relacionales. No está claro cuánto se puede suprimir la apariencia del trabajador antes de que la analítica de seguridad downstream falle.

Metodología
Los autores proponen SynthSite, un benchmark de vídeo sintético enfocado, y un flujo de trabajo de generación híbrido consciente de la privacidad para abordar estos desafíos.

• Dataset SynthSite: El dataset consiste en 55 clips de vídeo sintéticos (de 5 a 10 segundos cada uno, 15 FPS, resolución de 1280×720) que representan variadas configuraciones de carga, puntos de vista, desorden, oclusiones y condiciones de iluminación. Los clips están equilibrados entre escenarios seguros e inseguros, con anotaciones basadas en una rúbrica que requiere que un trabajador permanezca dentro de la zona de caída de una carga suspendida durante al menos 1 segundo (15 fotogramas) para ser etiquetado como "inseguro".
• Flujo de Trabajo Híbrido Consciente de la Privacidad: Para generar datos compartibles sin exponer metraje real sensible, los autores diseñaron un flujo de trabajo que separa el proceso en entornos confiables (sensibles) y no confiables (no sensibles):
  1. Entorno Sensible: El metraje de construcción original permanece localmente. Un modelo de lenguaje visual (Qwen2.5-VL) genera intermediarios textuales aprobados (descripciones de escena estructuradas) a partir de los fotogramas originales. Ningún vídeo bruto sale de este entorno.
  2. Entorno No Sensible: Estos intermediarios textuales se utilizan para generar imágenes semilla sintéticas (Nano Banana 2) y vídeos candidatos (Veo 3.1 Fast).
  3. Generación Interna: Un subconjunto de los vídeos públicos generados se utiliza para entrenar un adaptador LoRA, que luego se importa de nuevo al entorno sensible para generar vídeos sintéticos internos con restricciones de privacidad utilizando un modelo local (Wan2.2-I2V-A14B).
• Evaluación de Privacidad Relacional: El estudio evalúa cinco condiciones: vídeo original, Canny-edge, cartooned (estilo caricatura), y representaciones de cuerpo completo del trabajador pixeladas o desenfocadas. La evaluación mide:
  • Estabilidad de referencia con el original: Consistencia en la retención del trabajador/carga y el jitter de localización en comparación con el pipeline del vídeo original.
  • Acuerdo Humano: Precisión del reconocimiento de peligros a nivel de clip frente a las anotaciones humanas.
  • Pipeline de Detección: Un proxy 2D impulsado por la geometría usando YOLO-World para detección de vocabulario abierto y ByteTrack para seguimiento. Este infiere la suspensión mediante ratios de despeje relativos a los trabajadores cercanos y define una zona de caída trapezoidal para determinar el estado de peligro.

Contribuciones Clave

1. Benchmark SynthSite: Un dataset de vídeo sintético enfocado para el peligro de trabajador bajo carga suspendida, abordando la falta de benchmarks públicos para este evento relacional poco común y de seguridad crítica.
2. Flujo de Trabajo Híbrido Consciente de la Privacidad: Un mecanismo listo para despliegue que permite la creación de benchmarks compartibles públicamente y datos sintéticos internos manteniendo el metraje sensible original dentro de un límite confiable, utilizando únicamente intermediarios textuales aprobados como única transferencia entre fronteras.
3. Evaluación de Privacidad Relacional: Un marco de evaluación que demuestra que, para peligros relacionales, preservar la estructura geométrica es más crítico que preservar la apariencia fotorealista. El estudio muestra que el acuerdo con los outputs del pipeline original no necesariamente equivale al acuerdo con las etiquetas de peligro humanas.

Resultos

• Estructura vs. Apariencia: Las ofuscaciones que preservan la estructura (específicamente cartooning y Canny-edge) retuvieron sustancialmente más utilidad downstream que las líneas base de suavizado de apariencia (blur y pixelación).
• Métricas de Desempeño:
  • El Cartooning logró el mayor acuerdo con las anotaciones humanas ($F_2 = 0.767$), superando ligeramente la referencia original ($F_2 = 0.757$).
  • Canny-edge mostró la mayor estabilidad de referencia con el original ($F_2 = 0.964$) pero no logró el mayor alineamiento humano.
  • El Blur (desenfoque) tuvo el peor desempeño tanto en acuerdo humano ($F_2 = 0.671$) como en la retención del trabajador (41.4%), principalmente debido a la supresión del contraste local y los detalles de la silueta.
• Modos de Fallo: La principal degradación causada por la ofuscación fue la reducción de la retención del trabajador (detectabilidad), no el drift geométrico. Una vez detectado un trabajador, su localización permanecía estable. Sin embargo, la ofuscación del trabajador también perturbó la detección de la carga (la retención de la carga cayó de ~86% en cartooning a ~77% en blur), indicando que la detección relacional es sensible al contexto de la escena más allá de la región directamente ofuscada.

Significancia y Reivindicaciones
El artículo afirma que, para peligros relacionales críticos para la seguridad como el de trabajador bajo carga suspendida, la evaluación de la privacidad debe extenderse más allá de la simple supresión de la apariencia. Los autores argumentan que preservar las pistas geométricas (estructura, silueta y relaciones espaciales) es primordial para el razonamiento de peligros. Demuestran que las "ofuscaciones que preservan la estructura" pueden mantener o incluso mejorar el alineamiento con los juicios de seguridad humanos en comparación con el vídeo original, mientras que las técnicas de suavizado estándar degradan la utilidad.

Los autores posicionan a SynthSite no como un detector terminado y listo para producción, sino como un punto de partida enfocado y un benchmark sintético controlado. Reconocen explícitamente las limitaciones, incluyendo la falta de validación con CCTV del mundo real, el uso de un proxy 2D ligero en lugar de una estimación de riesgo físico calibrada, y la dependencia de la detección de vocabulario abierto. El trabajo sirve como una base práctica para establecer el benchmarking consciente de la privacidad para la analítica de vídeo de construcción con fines de seguridad, enfatizando que los sistemas futuros deben equilibrar la privacidad con la preservación de la información geométrica relacional.