Resumen Técnico: SafeBuild-Bench

Planteamiento del Problema

El monitoreo de la seguridad en la construcción depende de Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) para interpretar archivos de inspección. Sin embargo, los modelos actuales enfrentan desafíos significativos de fiabilidad en el despliegue en el mundo real debido a tres factores principales:

1. Redundancia de Datos y Distribución de Cola Larga: Los archivos de inspección industrial son vastos pero "pobres en información", dominados por imágenes repetitivas de bajo riesgo, mientras que los peligros de alto impacto pero poco frecuentes forman una cola larga y dispersa.
2. Desplazamiento Temporal y de Sitio: Los sitios de construcción evolucionan debido al clima, el progreso, la iluminación y el mantenimiento de las cámaras, lo que crea desplazamientos de distribución temporal que los protocolos de evaluación estáticos suelen ignorar.
3. Limitaciones de Evaluación: Los benchmarks existentes suelen depender de puntuaciones agregadas bajo supuestos i.i.d. (independientes e idénticamente distribuidas), fallando al no someter a los modelos a pruebas de estrés sobre la robustez específica de un tiempo o sitio, lo que conduce a una sobreestimación del rendimiento en el despliegue.

El artículo aborda la pregunta práctica de cómo construir un benchmark de seguridad en la construcción que permita una evaluación estratificada por tiempo y sitio, se centre en peligros de cola larga en lugar de datos redundantes y sea factible de construir a partir de flujos de datos masivos y redundantes.

Metodología

1. Adquisición y Preprocesamiento de Datos

Los autores curaron un conjunto de datos brutos de más de 100,000 pares imagen-texto recolectados en más de 50 ubicaciones de construcción durante cinco meses (julio–noviembre de 2025). Los datos cubren diversos escenarios (andamios, fosas de cimentación, grúas torre) y condiciones ambientales (noche, lluvia, niebla). Se implementó un estricto pipeline de privacidad para anonimizar rostros y matrículas utilizando detección automatizada y verificación manual.

2. GEMS: Selección Multimodal Mejorada por Grafos

Para destilar un "núcleo informativo" del flujo redundante de datos brutos sin requerir la verificación inmediata de un experto para cada muestra, los autores desarrollaron GEMS (Graph-Enhanced Multimodal Selection). Este pipeline automatizado consta de tres etapas:

• Aprendizaje de Representación Multimodal: Los pares imagen-texto se mapean en un espacio de vectores densos unificado utilizando el codificador Qwen3-VL-Embedding para obtener representaciones conjuntas ($z_i$).
• Cuantificación de la Incertidumbre Epistémica: Un modelo proxy (Qwen2.5-VL-3B-Instruct) genera respuestas a prompts de análisis de peligros. La puntuación de incertidumbre ($u_i$) se calcula como la log-verosimilitud negativa (NLL) normalizada por longitud de la respuesta generada. Una NLL alta indica muestras candidatas donde el modelo tiene dudas, lo que potencialmente señala casos informativos o difíciles.
• Selección Submodular Basada en Teoría de Grafos: Se construye un grafo de $k$-vecinos más cercanos ($k$-NN) disperso basado en la similitud de coseno de los embeddings. El objetivo de selección maximiza la influencia total de un subconjunto $S$, definido como la suma de la influencia mínima (limitada por un umbral de saturación $\tau$) recibida por todos los nodos. Esto equilibra la informatividad (alta incertidumbre) con la diversidad (reducción de duplicados cercanos).
• Optimización: Se emplea el algoritmo Cost-Effective Lazy Forward (CELF) para resolver eficientemente el problema de maximización submodular, reduciendo la complejidad computacional en comparación con la selección codiciosa (greedy) estándar.

3. Construcción de SafeBuild-Bench

Utilizando GEMS, los autores seleccionaron más de 3,000 imágenes para formar el benchmark final, resultando en 3,314 instancias de tarea.

• Metadatos: Cada instancia retiene los timestamps originales de recolección e identificadores de sitio, permitiendo un análisis estratificado por mes y ubicación.
• Verificación de Expertos: Las muestras seleccionadas fueron revisadas por expertos en seguridad de la construcción para asignar categorías de peligro primarias y descripciones de referencia basadas en estándares establecidos. Los casos ambiguos se resolvieron mediante consenso de expertos.
• Diseño de Tareas:
  • Identificación de Peligros (MCQ - Opción Múltiple): 2,200 instancias donde los modelos seleccionan el peligro correcto entre tres distractores muestreados de "grupos de confusión" definidos por expertos (peligros visual o procedimentalmente similares).
  • Descripción de Peligros (Forma Libre): 1,114 instancias que requieren descripciones precisas de peligros o la confirmación de seguridad. La evaluación utiliza un esquema estandarizado de LLM-como-juez (GPT-4o) con una rúbrica fija, validada mediante auditorías humanas.

Contribuciones Clave

1. SafeBuild-Bench: Un benchmark verificado por expertos extraído de más de 100k registros brutos, que contiene 3,314 instancias de tarea con peligros de cola larga, metadatos temporales/de sitio y anotaciones tanto para la identificación como para la descripción de peligros.
2. Diseño de Evaluación Basado en Metadatos: Un protocolo que permite el análisis de robustez estratificado por tiempo y sitio, acompañado de scripts de evaluación ejecutables y un esquema escalable de LLM-como-juez.
3. Pipeline GEMS: Un marco de selección automatizado que combina la incertidumbre epistémica con la diversidad basada en grafos para identificar candidatos informativos para la verificación de expertos. Los autores validan GEMS en conjuntos de datos públicos de ajuste de instrucciones, demostrando que puede preservar el rendimiento orientado a la robustez con presupuestos de datos significativamente reducidos.

Resultados Experimentales

Validación de GEMS (Estudio Proxy)

Los autores validaron GEMS en conjuntos de datos públicos de ajuste de instrucciones (LLaVA-Instruct-150K y LLaVA-Mixed-665K) utilizando LLaVA-v1.5-7B como modelo base.

• Eficiencia de Datos: El ajuste fino utilizando solo el 1% de los datos seleccionados por GEMS (aprox. 1.5k–6.6k muestras) igualó o superó el rendimiento del entrenamiento con datos completos (158k–665k muestras) en benchmarks orientados a la robustez (VizWiz, MMMU, POPE).
• Reducción de Redundancia: Los subconjuntos seleccionados por GEMS demostraron una menor redundancia dentro del subconjunto y un mejor equilibrio de categorías en comparación con el muestreo aleatorio, confirmando su capacidad para filtrar ruido mientras retiene casos difíciles.

Evaluación de SafeBuild-Bench

El benchmark fue evaluado en un conjunto diverso de MLLMs propietarios y de código abierto (ej., Gemini-3, Qwen3-VL, Kimi-K2.5, GPT-4o) en un entorno zero-shot.

• Rendimiento General: Los MLLMs actuales siguen estando lejos de ser fiables, con la mejor puntuación general (Kimi-K2.5) alcanzando solo 60.7.
• Disparidad de Tareas: Los modelos generalmente funcionaron mejor en la Detección de Peligros (identificar presencia/ausencia) que en la Calidad de la Descripción. Por ejemplo, Qwen3-VL-Plus logró una tasa de detección del 79.9% pero quedó rezagado en la precisión de la identificación.
• Varianidad Temporal: El rendimiento varió significativamente entre los cortes mensuales (julio–noviembre). Por ejemplo, la precisión de Claude-Sonnet-4.5 osciló entre 46.4% y 54.6% a través de los meses, demostrando que las puntuaciones agregadas enmascaran la inestabilidad temporal.
• Análisis de Errores:
  • Identificación: Los modelos tuvieron dificultades con categorías que requieren discriminación fina (ej., tipos específicos de andamios) o normas de seguridad implícitas. Se observó un sesgo hacia la sobre-predicción de peligros en los casos de "Sin Peligro".
  • Descripción: Los fallos principales fueron impulsados primordialmente por la detección fallida de peligros (HDR=0) más que por deficiencias lingüísticas. Los modelos más pequeños exhibieron tasas de fallo más altas (44.4% para Qwen3-VL-4B) en comparación con los modelos más grandes (27.3% para Kimi-K2.5).

Significado y Reivindicaciones

El artículo sostiene que SafeBuild-Bench proporciona un cambio necesario de la evaluación estática y agregada hacia un análisis estratificado y temporalmente robusto que refleja mejor los riesgos de despliegue en el mundo real en la seguridad de la construcción.

• Viabilidad de la Minería Centrada en Datos: El estudio demuestra que la minería de datos mejorada por grafos (GEMS) puede destilar eficazmente subconjuntos de alto valor y no redundantes a partir de flujos industriales masivos, haciendo factible la construcción de benchmarks verificados por expertos.
• Líneas Base Realistas: Los resultados indican que incluso los MLLMs de última generación aún no son fiables para la comprensión de la seguridad en la construcción, resaltando una brecha entre las capacidades visuales generales y el razonamiento de seguridad específico del dominio.
• Relevancia Operativa: Al retener metadatos temporales y de sitio, el benchmark permite a las partes interesadas diagnosticar riesgos de despliegue específicos (ej., caídas de rendimiento en meses o sitios específicos) en lugar de depender de una única puntuación de tabla de clasificación.

Los autores mantienen la modestia respecto a las limitaciones, señalando que el benchmark está basado en las regulaciones de construcción chinas, requiere un esfuerzo experto sostenido para su escalabilidad y depende de modelos proxy para la selección inicial. Posicionan este trabajo como un paso fundacional hacia una evaluación multimodal más robusta y crítica para la seguridad.