Resumen Técnico: PaSBench-Video

Declaración del Problema

Los actuales Modelos de Lenguaje de Gran Escala Multimodales (MLLM) poseen capacidades de comprensión de video, pero carecen de la capacidad de funcionar como monitores de seguridad proactivos. Si bien los accidentes suelen estar precedidos por señales de advertencia visualmente reconocibles, los benchmarks existentes no logran evaluar la ventana crítica entre la primera señal visible de peligro y el momento en que ocurre el daño. Los benchmarks de seguridad actuales sufren tres limitaciones primarias:

1. Entradas Estáticas: Dependen de imágenes estáticas o secuencias de imágenes en lugar de video de transmisión continua (streaming).
2. Falta de Calibración Temporal: No distinguen entre advertencias prematuras (emitidas antes de que el riesgo sea visible) y advertencias tardías (emitidas después de que ocurre el daño).
3. Ausencia de Medición de Falsos Positivos: Omiten la evaluación en escenas benignas, ignorando el problema crítico de que las alarmas frecuentes degradan la confianza del usuario y causan fatiga por alarma.

Consecuentemente, no existe un banco de pruebas controlado para determinar si los MLLM pueden observar causalmente un flujo de video, identificar el momento preciso en que un riesgo se vuelve accionable, emitir una advertencia oportuna y permanecer en silencio en escenas seguras.

Metodología

Construcción del Conjunto de Datos: PaSBench-Video

Los autores introducen PaSBench-Video, un benchmark que comprende 740 videos en cuatro dominios: conducción, atención médica, vida diaria (hogar inteligente) y producción industrial.

• División de Riesgo (481 videos): Clips verificados manualmente que contienen riesgos de seguridad en evolución. Cada video está anotado con límites a nivel de fotograma:
  • Inicio del riesgo ($r$): El fotograma más temprano donde la evidencia visual respalda una advertencia accionable.
  • Accidente ($a$): El fotograma donde comienza el evento adverso.
  • Fuente de Riesgo y Acción de Evitación: Agentes de peligro específicos e intervenciones recomendadas.
• División Sin Riesgo (259 videos): Clips benignos de conducción normal, vigilancia y monitoreo del hogar, utilizados exclusivamente para medir las tasas de falsos positivos.
• Fuentes de Datos: Incluye conjuntos de datos del mundo real (p. ej., DADA-2000, Nexar, OOPS) y datos sintéticos generados mediante Kling v3 Omni para escenarios de atención médica e industriales donde no se disponía de datos del mundo real con la granularidad de anotación específica.
• Filtrado: Un riguroso filtro de dos etapas (basado en modelos usando Qwen3.5 y Gemini-3.1-Pro, seguido de adjudicación humana) asegura que los clips sean predictibles (riesgo inferible a partir de fotogramas pasados/actuales), evitables (intervención posible), no intencionales (no son acrobacias preparadas) y visualmente fundamentados.

Protocolo de Evaluación

El benchmark emplea un protocolo de evaluación de streaming:

• Observación Causal: Los modelos reciben solo fotogramas pasados y actuales dentro de una ventana deslizante (ventanas de 3 segundos, paso de 0.3s).
• Tarea: El modelo debe decidir si emite una advertencia estructurada (identificando la fuente del riesgo y la acción) o permanece en silencio.
• Métricas: Una jerarquía de métricas progresivamente más estrictas parametrizadas por el tiempo de intervención líder $\tau$ (por defecto 1.0s):
  1. Any-Det@$\tau$: Detección de cualquier advertencia antes del accidente.
  2. Any-Hit@$\tau$: Detección de una advertencia dentro de la ventana de riesgo válida $[r, a-\tau]$.
  3. First-Hit@$\tau$: La primera advertencia del video cae dentro de $[r, a-\tau]$.
  4. First-Act@$\tau$: La primera advertencia está correctamente cronometrada y identifica correctamente la fuente y el contenido del riesgo.
• Tasa de Falsos Positivos: Medida como la fracción de videos sin riesgo que activan $\ge K$ advertencias.

Configuración Experimental

Los autores evaluaron 13 MLLM, incluyendo modelos de pesos abiertos (Qwen3.5, Gemma) y modelos propietarios (Gemini, Claude, GPT). Todos los modelos fueron evaluados con prompts idénticos, temperatura 0 y muestreo de fotogramas.

Resultados Clave

1. Bajo Rendimiento y Fallo Cualitativo

Ningún modelo superó el 20.0% en la métrica más estricta (First-Act@1). Esto indica que menos de uno de cada cinco videos recibe una advertencia correctamente cronometrada que también identifica correctamente la fuente del riesgo. La brecha entre la detección (Any-Det) y la advertencia accionable (First-Act) es masiva; por ejemplo, Gemini 3.1 Pro detecta el riesgo en el 93.6% de los videos pero logra una puntuación de First-Act de solo el 20.0%.

2. Acoplamiento Estrecho entre Recall y Falsos Positivos

Existe una fuerte correlación positiva (Pearson $\rho=0.64$) entre el recall y las tasas de falsos positivos. Los modelos no pueden mejorar la detección sin inflar proporcionalmente las falsas alarmas. Esto sugiere que los modelos actuales funcionan como detectores de umbral de sensibilidad en lugar de sistemas que realizan un razonamiento de riesgo genuino. Aumentar la sensibilidad desplaza las advertencias de "omitidas" a "demasiado tempranas", pero no aumenta la proporción de advertencias "válidas".

3. Rendimiento Dependiente del Dominio

El rendimiento varía drásticamente según la discriminabilidad visual del dominio:

• Vida Diaria: Los modelos logran un recall moderado con bajas tasas de falsos positivos porque los riesgos suelen ser inherentemente anómalos (p. ej., una persona cayendo, llamas abiertas).
• Conducción: Los modelos funcionan mal, disparándose indiscriminadamente. Las escenas rutinarias (incorporación, cruce) y las escenas previas a una colisión se ven visualmente similares, lo que causa que los modelos activen advertencias antes de que el riesgo sea realmente visible (el 90% de los fallos para modelos de alta sensibilidad fueron "demasiado tempranos").

4. Modos de Fallo

Incluso cuando el tiempo es correcto, los modelos fallan frecuentemente al identificar la fuente del riesgo:

• Objeto de Riesgo Incorrecto (36.9%): Identifica la clase de entidad correcta pero la instancia específica errónea (p. ej., prediciendo un autobús en lugar de un sedán).
• Intercambio de Tipo de Entidad (33.9%): Alucina una categoría diferente de agente (p. ej., prediciendo un peatón cuando el peligro es un vehículo).
• Estos errores indican una dependencia en las claves de actividad a nivel de escena en lugar de un razonamiento causal sobre si una actividad escalará hacia un daño.

5. Restricciones de Despliegue

Más allá de las brechas de capacidad, las restricciones de ingeniería impiden el despliegue inmediato:

• Latencia: Incluso los modelos más rápidos (GPT-5.4 mini) tienen latencias medianas (~3.5s) que exceden el paso de la ventana de 0.3s por un orden de magnitud.
• Costo: Los costos de monitoreo continuo para modelos propietarios de primer nivel superan los $2,000/día por cámara, mientras que los modelos de pesos abiertos sufren de una latencia prohibitiva.

Significancia y Reivindicaciones

El artículo afirma que PaSBench-Video proporciona el primer banco de pruebas controlado para evaluar advertencias de seguridad de video proactivas que aísla el progreso algorítmico de las mejoras de infraestructura. Al eliminar la presión de velocidad y restringir a los modelos a la observación causal, el benchmark revela que los MLLM actuales dependen de claves de actividad superficiales en lugar de razonar sobre el daño emergente.

Los autores enfatizan que la tarea de advertencia proactiva aún no está lista para el despliegue debido tanto a las restricciones de ingeniería (latencia, costo) como a la insuficiencia de capacidad (bajo recall, altos falsos positivos). Sin embargo, argumentan que evaluar esta capacidad ahora es "oportuno y necesario" para guiar el progreso algorítmico hacia un verdadero razonamiento temporal de riesgo, pasando de la simple detección de actividad hacia la anticipación del riesgo. El conjunto de datos se publica para facilitar esta investigación, con el objetivo explícito de desarrollar modelos que puedan distinguir entre la actividad rutinaria y el peligro inminente.