Resumen Técnico: Estimación de la Distribución de Responsabilidad en Vídeos de Accidentes desde la Perspectiva del Conductor con Modelos de Lenguaje de Gran Escala Multimodales

Definición del Problema

El análisis actual de accidentes de tráfico multimodales depende en gran medida de imágenes de cámaras de infraestructura, imágenes satelitales o registros de accidentes estructurados. Estas fuentes de datos presentan dos limitaciones críticas: son costosas de desplegar a escala y, lo que es más importante, no logran capturar objetivamente la perspectiva visual disponible para el conductor antes de un accidente. En consecuencia, no son adecuadas para razonar sobre la evitabilidad del accidente y la responsabilidad del conductor desde el punto de vista del vehículo involucrado.

Este artículo introduce la Estimación de la Distribución de Responsabilidad como una nueva tarea para vídeos de accidentes desde la perspectiva del conductor (ego-view). A diferencia de las tareas convencionales que predicen una etiqueta de accidente única, la severidad o una explicación causal, esta tarea requiere que un modelo prediga una distribución proporcional de responsabilidad (porcentajes que suman 100%) entre todos los agentes involucrados (por ejemplo, el vehículo propio, otros vehículos, peatones). El modelo debe razonar sobre qué información estaba disponible para el conductor, identificar a la parte principal responsable y asignar porcentajes de responsabilidad que reflejen la responsabilidad compartida, emulando el razonamiento de tráfico del mundo real.

Metodología

Construcción del Conjunto de Datos

Los autores construyeron un conjunto de datos basado en MM-AU, una colección de vídeos de accidentes de cámaras de tablero (dashcam) con anotaciones de texto existentes (descripción de la escena, causas, medidas preventivas). Dado que MM-AU carece de etiquetas de responsabilidad, los autores desarrollaron un flujo de trabajo de anotación asistido por LLM:

• Entrada: Para cada vídeo, se presentan a un LLM 8 fotogramas muestreados uniformemente que abarcan la ventana del evento anormal (asegurando que se incluya el fotograma del accidente) junto con metadatos de la escena y anotaciones de texto.
• Generación de Salida: Se le pide al LLM que genere porcentajes enteros para el vehículo propio y otras partes (que sumen 100%), identifique a la parte principal responsable, categorice a la otra parte y proporcione una justificación basada en evidencia visual/textual.
• Restricciones: La temperatura se estableció en cero para maximizar la consistencia. El conjunto de datos resultante está aproximadamente equilibrado entre casos de prioridad del vehículo propio (52%) y de otras partes (48%).

Modelo y Entrenamiento

El estudio realiza el ajuste fino (fine-tuning) de Qwen3-VL-4B, un modelo de lenguaje de gran escala multimodal, utilizando LoRA (Low-Rank Adaptation) en todas las capas de proyección lineal (rango $r=16$, factor de escala $\alpha=32$).

• Entrada: El modelo recibe $k=10$ fotogramas muestreados, metadatos de la escena y anotaciones de texto.
• Salida: El modelo genera de forma autorregresiva una salida en formato JSON que contiene la distribución de responsabilidad predicha, la parte principal, la etiqueta de la otra parte y el razonamiento.
• Aprendizaje de Restricciones: El requisito de que los porcentajes sumen 100 se impone implícitamente a través de las instrucciones del prompt y la distribución de los datos de entrenamiento, en lugar de mediante restricciones explícitas de post-procesamiento.

Configuración Experimental

Los autores evalúan el modelo ajustado frente a una línea base zero-shot de GPT-5 bajo tres condiciones de entrada:

1. RGB: Fotogramas brutos + anotaciones de texto.
2. RGB+Seg: Superposiciones de segmentación semántica + anotaciones de texto.
3. Texto: Solo anotaciones de texto (sin imágenes).

Métricas de Evaluación:

• Coincidencia Exacta (EM): Porcentaje de casos donde la responsabilidad del vehículo propio predicha coincide exactamente con la verdad de terreno.
• Dentro de ±10%/20% (W-10/W-20): Proporción de casos con un error absoluto $\le$ 10 o 20 puntos porcentuales.
• MAE/RMSE: Error Absoluto Medio y Raíz del Error Cuadrático Medio sobre el porcentaje del vehículo propio.
• Precisión de la Parte Principal (PP): Precisión en la identificación del agente principal responsable.

Resultados Clave

El modelo Qwen3-VL-4B ajustado demuestra mejoras significativas sobre la línea base zero-shot de GPT-5, particularmente bajo la entrada RGB:

• Coincidencia Exacta: El modelo ajustado alcanza un 79.1%, comparado con el 38.5% de GPT-5 zero-shot.
• Precisión de la Parte Principal: El modelo ajustado alcanza un 96.7%, superando el 89.0% de GPT-5.
• Reducción de Error: El Error Absoluto Medio (MAE) para el porcentaje del vehículo propio cae de 12.1 (GPT-5) a 4.9 (ajustado), una reducción de más de la mitad.

Ablación y Análisis de Entrada:

• Necesidad Visual: Eliminar la entrada visual (condición de solo Texto) provoca una degradación severa del rendimiento para ambos modelos. El MAE de GPT-5 más que se duplica (12.1 $\to$ 24.9), y el MAE del modelo ajustado aumenta drásticamente (4.9 $\to$ 35.1). Esto confirma que los fotogramas de la perspectiva del conductor contienen información crítica de responsabilidad que no es recuperable únicamente del texto.
• Impacto de la Segmentación: Reemplazar los fotogramas RGB brutos con superposiciones de segmentación semántica (RGB+Seg) produce resultados comparables o ligeramente peores, lo que sugiere que la apariencia visual bruta proporciona información suficiente o superior para esta tarea en comparación con las superposiciones de segmentación estructuradas.
• Fine-tuning vs. Zero-shot: Aunque el zero-shot de GPT-5 muestra un rendimiento razonable en cuanto a "Dentro de ±10%" (79.1%), lo que indica que puede razonar aproximadamente sobre la dirección de la responsabilidad, el alto puntaje de Coincidencia Exacta del modelo ajustado demuestra que el entrenamiento con etiquetas anotadas por LLM logra anclar al modelo a valores porcentuales específicos en lugar de solo clasificar correctamente a las partes.

Significancia y Contribuciones

El artículo reclama tres contribuciones principales:

1. Nueva Formulación de Tarea: Introduce la "Estimación de la Distribución de Responsabilidad" como una nueva tarea para la comprensión de accidentes multimodales, yendo más allá de la clasificación binaria o la explicación causal hacia la asignación proporcional.
2. Fundamento Egocéntrico: Destaca el valor único de los vídeos desde la perspectiva del conductor para el razonamiento centrado en el conductor, estableciendo el primer benchmark para esta tarea específica.
3. Demostración de Viabilidad: Los resultados establecen un sólido benchmark inicial, demostrando que los LLM multimodales pueden realizar eficazmente un razonamiento matizado y basado en restricciones (asignando porcentajes que suman 100) cuando se ajustan con los datos apropiados.

Los autores posicionan este trabajo como una base para un "razonamiento multimodal con significado social y legal", sugiriendo que los vídeos desde la perspectiva del conductor ofrecen una base prometedora para comprender la evitabilidad de los accidentes y la distribución de la responsabilidad que los puntos de vista externos no pueden proporcionar.

Limitaciones y Consideraciones Éticas

El artículo mantiene una postura modesta respecto a sus afirmaciones:

• Validez de las Etiquetas: Las etiquetas de responsabilidad son generadas por un LLM y sirven como un sustituto (proxy) para la evaluación; no son anotaciones de expertos humanos ni la verdad de terreno legal. El proceso actual no tiene en cuenta las leyes específicas de cada jurisdicción.
• Alcance de los Datos: El modelo depende de fotogramas muestreados y texto, careciendo de evidencia física explícita (por ejemplo, velocidad exacta, fuerza de frenado, trayectorias), lo que puede limitar el razonamiento temporal detallado.
• Complejidad: La formulación actual se centra en interacciones de dos partes; los accidentes que involucran a tres o más agentes requieren una descomposición más compleja que aún no ha sido abordada.
• Advertencia Ética: El sistema se define explícitamente como un prototipo de investigación exploratoria. No debe utilizarse para la toma de decisiones legales, judiciales o de seguros automatizadas. Los autores enfatizan el riesgo de sesgo de automatización y la necesidad de una arquitectura con intervención humana para cualquier aplicación futura en el mundo real. Además, se señalan las preocupaciones de privacidad relacionadas con la información de identificación personal en los vídeos de cámaras de tablero.