Resumen Técnico: Monitoreo Pasivo de Seguridad en Obras mediante Verificación de VLM con Cadenas de Pensamiento Adversariales Scaffoldeadas por Personajes

Declaración del Problema

La industria de la construcción sigue siendo el sector más mortal en los Estados Unidos, con 1.055 lesiones mortales a trabajadores registradas en 2023. La mayoría de estos incidentes son prevenibles, sin embargo, las soluciones de monitoreo actuales enfrentan brechas operativas significativas: a menudo son prohibitivamente costosas, requieren operadores humanos dedicados en tiempo real, o abordan solo subconjuntos estrechos de violaciones de seguridad (por ejemplo, solo la detección de cascos). Existe una falta de sistemas de monitoreo continuo, pasivo y asequible capaces de rastrear a múltiples trabajadores, resolver sus identidades a lo largo del tiempo y generar informes de cumplimiento accionables sin revisión humana en tiempo real.

Metodología

Los autores proponen una tubería de procesamiento al final del turno que analiza video de dos modalidades de cámara independientes: cámaras corporales POV y cámaras fijas montadas en la pared. El sistema utiliza una arquitectura unificada de tres etapas:

Etapa 1: Detección Primaria

• Componente: Un detector de objetos YOLO11 ajustado finamente.
• Entrenamiento: Entrenado sobre un conjunto de datos compuesto de cinco fuentes específicas de EPP para construcción (Ultralytics, Roboflow, SH17 y corpora de Kaggle).
• Función: Detecta 12 clases semánticas que incluyen trabajadores, EPP (cascos, chalecos, guantes) y equipos cercanos (excavadoras, grúas).
• Estrategia: La confianza de detección se establece intencionalmente baja ($\tau_{conf} = 0.15$) para maximizar la recuperación. El sistema prioriza capturar todas las violaciones potenciales, posponiendo la supresión de falsos positivos a la etapa de verificación aguas abajo.
• Rastreo: Para cámaras montadas en la pared, se utiliza BoT-SORT para el rastreo de múltiples objetos y mantener IDs de pista persistentes. Para cámaras POV, un modelo de estimación de pose extrae 17 puntos clave esqueléticos en formato COCO.

Etapa 2: Refinamiento Espacial y Duplicación de Trabajadores

• Componente: SAM 3 (Segment Anything Model 3).
• Función:
  1. Refinamiento: Genera máscaras de segmentación precisas a nivel de píxel para ajustar las cajas delimitadoras de YOLO, corrigiendo la sobreexpansión en escenas concurridas.
  2. Aislamiento: Produce recortes de trabajadores aislados con anotaciones superpuestas para reducir la ambigüedad contextual para el Modelo de Visión-Lenguaje (VLM).
  3. Asociación: Resuelve la asignación EPP-trabajador mediante la contención del punto central (determinando qué caja delimitadora del trabajador contiene el centroide de la máscara del EPP).
• Lógica Temporal: El cumplimiento del EPP se evalúa sobre una ventana temporal deslizante en lugar de cuadros individuales para mitigar oclusiones transitorias.

Etapa 3: Verificación de Cumplimiento mediante VLM Adversarial

• Componente: Qwen3-VL-8B-Instruct (con adaptador LoRA opcional).
• Innovación Central: Un novedoso protocolo de cadena de pensamiento adversarial de tres pasos diseñado para mitigar las alucinaciones del VLM.
  • Paso 1 (Generación): Un personaje de "inspector de seguridad de campo" revisa el video crudo sin datos de detección automática, produciendo notas de observación independientes.
  • Paso 2 (Discriminación): Un personaje de "oficial de seguridad senior" revisa el video con anotaciones de YOLO/SAM (cajas delimitadoras, máscaras, puntuaciones de confianza) pero sin las notas del Paso 1. Este paso valida o rechaza las detecciones automáticas.
  • Paso 3 (Reconciliación): El personaje senior reconcilia la evidencia del Paso 1, Paso 2 y los datos automáticos crudos en una VLMAssessment estructurada.
• Mecanismos Adversariales:
  • Independencia Estructural: Los pasos están estructuralmente aislados; el Paso 2 no ve la salida del Paso 1, evitando la contaminación del contexto.
  • Reglas de Reconciliación Asimétricas: El sistema codifica priores explícitos sobre la fiabilidad de la modalidad. Las violaciones conductuales (por ejemplo, uso del teléfono) se tratan como "observador-fuerte/máquina-débil", mientras que las violaciones espaciales/de EPP son "máquina-fuerte/observador-débil".
  • Calibración de Confianza: Las puntuaciones de confianza de YOLO se mapean a pesos epistémicos (por ejemplo, $\ge 0.70$ es un "prior fuerte" que requiere evidencia de refutación para ser anulado).
• Salida: Un informe estructurado que mapea violaciones a normas específicas de OSHA, realiza una puntuación de riesgo ergonómico inspirada en REBA (basada en ángulos articulares) y genera informes de seguridad por trabajador con evidencia a nivel de cuadro con marca de tiempo.

Contribuciones Clave

1. Tubería Unificada: Una arquitectura de tres etapas (YOLO $\to$ SAM 3 $\to$ VLM) que integra la detección de EPP, el análisis de postura/ergonomía y la persistencia de la identidad del trabajador a través de modalidades de cámara duales.
2. Protocolo VLM Adversarial: Un protocolo de tres pasos guiado por prompts y apoyado por personajes, siguiendo un encuadre de "actor-método". Este diseño impone independencia estructural entre los pasos y utiliza reglas de reconciliación asimétricas para reducir las alucinaciones.
3. Puntuación Ergonómica: Integración de puntuación de riesgo inspirada en REBA derivada de los puntos clave de pose de YOLO con puertas de confianza ajustadas.
4. Backend al Final del Turno: Un sistema que mapea eventos a normas de OSHA y produce informes por trabajador, desacoplando la calidad del monitoreo de las restricciones de computación en tiempo real.

Resultados

El sistema fue evaluado cualitativamente en un corpus de desarrollo de Ironsite de 12 videos (aproximadamente 30 minutos por video) que abarca escenarios de albañilería, preparación y tránsito.

• Mejora en Precisión: Una revisión informal por parte de los tres autores (actuando como árbitros) indicó que el protocolo adversarial de tres pasos logró una mejora del 12% en la precisión en comparación con una línea base de VLM de un solo paso que utiliza el mismo presupuesto de tokens.
• Reducción de Alucinaciones: Las ganancias más significativas se observaron en categorías propensas a alucinaciones (por ejemplo, detección de guantes y protección ocular), donde la estructura adversarial redujo la emisión de violaciones plausibles pero visualmente no respaldadas.
• Capacidades de Detección: El sistema identificó con éxito el cumplimiento del EPP (chalecos, cascos) y los riesgos ergonómicos (alcanzar en exceso, posturas incómodas) tanto en imágenes montadas en la pared como en POV.
• Limitaciones: Los autores señalan que la mejora del 12% se basa en la arbitraje de los autores y no en un estudio ciego y controlado. El rendimiento se degrada en condiciones de baja iluminación, y la reidentificación de trabajadores en escenas densamente pobladas no ha sido probada a escala.

Significado y Afirmaciones

El artículo afirma que el monitoreo pasivo al final del turno es una alternativa viable a la vigilancia en tiempo real para la seguridad en la construcción, ofreciendo una ruta de implementación práctica utilizando hardware de consumo y modelos grandes (incluidos VLMs de 8 mil millones de parámetros) que serían inviables bajo restricciones de latencia en tiempo real.

La contribución metodológica central es el diseño de prompts para el VLM. Los autores argumentan que la construcción específica de historias de fondo de personajes profesionales, combinada con el aislamiento estructural de mensajes y reglas de reconciliación asimétricas, impulsa una mejora medible en la precisión. Este enfoque aborda el problema crítico de las alucinaciones del VLM en contextos críticos para la seguridad, obligando al modelo a contrastar su razonamiento contra señales de observación independientes y derivadas de máquinas antes de emitir un veredicto final de cumplimiento.

Los autores enfatizan que, aunque las observaciones cualitativas respaldan la viabilidad del enfoque, la evaluación cuantitativa frente a un conjunto de prueba retenido con anotadores independientes es la máxima prioridad para el trabajo futuro. El mecanismo de evaluación requerido para esto se libera junto con el código.