Resumen Técnico: SENSE-VAD

Planteamiento del Problema

Los vehículos autónomos (AV) han logrado avances significativos en la detección de peligros cinemáticos (p. ej., salidas de carril, obstáculos estáticos), pero siguen siendo estructuralmente ciegos ante una clase crítica de escenarios de seguridad: las anomalías socialmente complejas. Estos son situaciones donde el peligro no está codificado únicamente en las estadísticas de movimiento o la apariencia, sino en las relaciones entre agentes y el contexto social. Ejemplos incluyen un niño corriendo lejos de su tutor, una persona siendo cargada por otra, o un perseguidor tras un peatón. En estos escenarios, los agentes individuales pueden exhibir trayectorias de movimiento normales, pero la configuración relacional constituye una anomalía que requiere la intervención inmediata del AV.

Los conjuntos de datos actuales de Detección de Anomalías en Video (VAD) para la conducción autónoma (p. ej., DADA, DoTA, CADP) se centran principalmente en accidentes centrados en el vehículo, valores atípicos cinemáticos o anomalías de objetos únicos. Carecen de la perspectiva egocéntrica, las anotaciones sociales-relacionales detalladas y la diversidad de señales conductuales sutiles necesarias para abordar este "long tail" (cola larga) de eventos críticos para la seguridad. Además, los métodos existentes suelen depender de la reconstrucción de movimiento o señales basadas en la apariencia, las cuales fallan cuando el movimiento en sí es estadísticamente plausible pero socialmente aberrante.

Metodología

Construcción del Conjunto de Datos: SENSE-VAD

Los autores presentan SENSE-VAD, el primer benchmark sintético de detección de anomalías en video para la conducción autónoma diseñado explícitamente en torno a anomalías socialmente complejas.

• Plataforma de Generación: El conjunto de datos se genera utilizando el simulador CARLA a través de tres versiones (0.9.12, 0.9.15 y 0.10.0) ejecutándose en Unreal Engine 4 y 5. La selección de la versión es específica para cada escenario para acomodar diferentes requisitos de control de agentes (p. ej., control esquelético para escenas de carga en 0.9.15, locomoción animal en 0.10.0).
• Taxonomía de Anomalías: El conjunto de datos define 15 clases de anomalías a través de seis categorías conceptuales:
  1. Seguridad Infantil: (p. ej., Niño corriendo de su tutor, Secuestro, Oclusión de niño).
  2. Comportamiento de Grupo: (p. ej., Persecución policial, Caos de multitud).
  3. Comportamiento Individual: (p. ej., Comportamiento anormal de la persona, Persona siendo cargada).
  4. Interacción Persona-Objeto: (p. ej., Robo de bolso, Bolso desatendido, Caída de objeto).
  5. Interacción con Ciclistas: (p. ej., Peligro de ciclista, Ciclista–abandono de bolso, Colisión ciclista–vehículo).
  6. Vehículo y Agente: (p. ej., Colisión Vehículo–Peatón, Perro alejándose de su dueño).
• Principio de Diseño: Un principio central es la separación de la anomalía social de la anomalía de estadísticas de movimiento. Muchos escenarios involucran movimientos que parecen normales de forma aislada (p. ej., un niño corriendo) pero que son anómalos debido al contexto relacional (p. ej., corriendo lejos de un tutor hacia una carretera).
• Composición de Datos:
  • Clips Sintéticos: 65 clips de anomalías (21 de entrenamiento, 44 de prueba) con etiquetas binarias por fotograma. Cada clase de anomalía se empareja con un clip normal "conductualmente emparejado" (p. ej., un niño caminando tranquilamente junto a un tutor) para evitar que los modelos aprendan artefactos visuales específicos del simulador.
  • Sondas del Mundo Real: El conjunto de prueba incluye clips reales de situaciones normales y anómalas (p. ej., personas actuando erráticamente en público) para evaluar la transferencia sim-to-real (del simulador a la realidad).
  • Escala Total: 540,888 fotogramas en 108 clips, grabados a una resolución de 800×600 con una perspectiva de cámara de tablero egocéntrica.

Protocolo de Evaluación

Los autores evalúan 11 métodos de estado del arte en VAD que representan cuatro regímenes de supervisión:

1. Semi-supervisado: Entrenado solo con datos normales (p. ej., Predicción de Fotogramas Futuros).
2. Débilmente supervisado: Entrenado con etiquetas de anomalía a nivel de video (p. ej., VadCLIP, VERA, REWARD).
3. No supervisado: Sin uso de etiquetas (p. ej., NP-VAD, CLAP).
4. Sin entrenamiento (Training-free): Razonamiento de modelos fundacionales utilizando LLMs/VLMs (p. ej., LAVAD, AnomalyRuler, VADTree).

Además, se realizó un Estudio de Sondeo VLM utilizando Qwen3-VL-4B-Instruct con preguntas estructuradas (Percepción, Predicción, Planificación, Seguridad) para determinar si los fallos provienen de limitaciones en la detección de objetos o de una falta de razonamiento social.

Resultados Clave

Rendimiento del Benchmark

• Fracaso General: Ningún método superó el 57.2% de AUC en el conjunto de prueba. El método con mejor desempeño fue el no supervisado NP-VAD (57.15%), seguido de CLAP (56.12%).
• Métodos Cinemáticos Invertidos: Los métodos que dependen de la predicción de movimiento o la distancia de distribuciones nominales (p. ej., FFP, REWARD, BN-WVAD) se desempeñaron por debajo del azar (37–44% de AUC). Esto confirma que las anomalías socialmente complejas son cinemáticamente ordinarias y, por lo tanto, indistinguibles del movimiento normal mediante características estadísticas estándar.
• Modelos Fundacionales: Los métodos sin entrenamiento que utilizan VLMs/LLMs (p. ej., LAVAD, AnomalyRuler) se agruparon cerca del rendimiento por azar (39–49% de AUC).
• Inversión de la Jerarquía de Supervisión: Contrario a los benchmarks típicos de VAD, los métodos no supervisados superaron a los supervisados, lo que sugiere que el sesgo inducido por las etiquetas en los modelos supervisados los engaña activamente en las anomalías sociales.

Hallazgos del Sondeo VLM

El estudio de sondeo reveló que el fallo de los VLMs es representacional, no perceptual:

• Detección de Objetos vs. Contexto Social: El modelo detectó con éxito a los agentes (alta recuperación en preguntas de Percepción) pero falló al registrar el contexto relacional que hacía que la escena fuera anómala.
• Fallo en la Pregunta de Seguridad: El modelo respondió "peligroso" para el 100% de los fotogramas (tanto normales como anómalos), lo que indica un predominio de los sesgos lingüísticos sobre la fundamentación visual.
• Ruptura del Razonamiento: Cuando se le pidió planificar o predecir, el modelo fue en realidad menos propenso a señalar la anomalía en fotogramas anómalos que a generar falsas alarmas en fotogramas normales. La anomalía no se propagó en el proceso de toma de decisiones del modelo.

Significancia y Reivindicaciones

El artículo sostiene que las anomalías socialmente complejas constituyen un desafío distinto y actualmente no resuelto para la percepción de la conducción autónoma.

1. Identificación de la Brecha: Los sistemas de percepción de AV actuales están optimizados para señales de apariencia y trayectoria, lo que los deja ciegos ante anomalías definidas por las relaciones entre agentes.
2. Contribución del Conjunto de Datos: SENSE-VAD llena este vacío al proporcionar el primer benchmark de anomalías sociales con etiquetas por fotograma y perspectiva egocéntrica, distinguiéndolas de los valores atípicos basados en el movimiento.
3. Perspectiva Metodológica: Los resultados demuestran que los refinamientos de los modelos cinemáticos o de apariencia existentes son insuficientes. Una detección fiable requiere un razonamiento explícito sobre las relaciones sociales entre agentes.
4. Dirección Futura: Los autores argumentan que los futuros sistemas de percepción de AV deben ir más allá de las consultas de modelos fundacionales de cero disparos (zero-shot) y, en su lugar, utilizar protocolos de entrenamiento que proporcionen supervisión directa del contexto social, aprovechando potencialmente modelos de grafos de escena o centrados en objetos para representar estructuras relacionales.

El artículo concluye que, aunque SENSE-VAD es sintético, sus principios de diseño y la inclusión de sondas del mundo real proporcionan una base necesaria para desarrollar AV que puedan anticipar anomalías sociales en lugar de simplemente reaccionar a peligros cinemáticos.