Resumen Técnico: Decodificación de la Intención de Cruce de Peatones desde la Visión Egocéntrica mediante Modelos de Lenguaje y Visión

Definición del Problema

Este trabajo aborda el desafío de predecir las intenciones de cruce de los peatones (específicamente, si un peatón va a "cruzar" o "ceder el paso") utilizando visión egocéntrica (perspectiva en primera persona). A diferencia de los enfoques exocéntricos tradicionales que dependen de cámaras montadas en vehículos o de vigilancia, este estudio se centra en decodificar la intención a partir de clips de video monoculares cortos (2 segundos) capturados desde el punto de vista del peatón. El objetivo es predecir la acción del peatón dentro de un horizonte futuro de 1 segundo.

Los autores reformulan esta tarea de predicción como un problema de Preguntas y Respuestas Visuales (VQA) de respuesta cerrada. El modelo recibe un clip de video egocéntrico ($V$), información contextual opcional ($C$) y una consulta específica ($Q$), y debe seleccionar la intención correcta de un conjunto predefinido $\{cross, yield\}$ (cruzar, ceder el paso).

Metodología

1. Selección de Modelos y Baselines

El estudio evalúa dos familias de Modelos de Lenguaje y Visión (VLMs):

• Modelos de Lenguaje Grande Multimodales (MLLMs): Específicamente, la familia Qwen3-VL (variantes de 2B y 8B) y Q2.5-VL-7B, así como modelos InternVL3. Estos han sido elegidos por su amplio conocimiento del mundo y sus capacidades de razonamiento general.
• Modelos de Preentrenamiento de Lenguaje y Video (VLP): Específicamente, GroundVQA, que ha sido preentrenado con datos de video-texto egocéntricos, aunque a menudo dominados por actividades de interior.
• Baselines: Un baseline especializado de CLIP+Transformer (aprendizaje profundo de solo video) sirve como el principal referente de rendimiento, junto con el azar (random guessing) y la predicción de la clase mayoritaria.

2. Estrategias de Prompting (Evaluación Zero-Shot)

Antes del ajuste fino, los autores evalúan tres estrategias de prompting para evaluar las capacidades de razonamiento inherentes de los modelos:

• Prompting Estándar: Una consulta directa que solicita la acción más probable.
• Cadena de Pensamiento de Texto (Text CoT): Incentivar al modelo a generar pasos de razonamiento intermedios (por ejemplo, analizar elementos visuales, riesgos y lógica) antes de responder.
• Prompting Visual: Aumentar las entradas de video con superposiciones de "conjunto de marcas" (set-of-marks) generadas por un detector (GroundingDINO) para resaltar objetos relevantes como vehículos y objetivos de cruce.

3. Integración de Información Contextual

Más allá del video, el estudio incorpora modalidades adicionales para mejorar el razonamiento:

• Movimiento Ego: La posición y velocidad del peatón.
• Movimiento del Vehículo: La posición y velocidad del vehículo automatizado.
• Mirada (Eye Gaze): Representada ya sea como descripciones textuales (dirección en grados) o superposiciones visuales (puntos rojos en los puntos de fijación).
• Atributos Personales: Datos demográficos (por ejemplo, edad, género, lateralidad) incluidos en el prompt.

Los autores investigan dos estrategias de integración para el contexto variable en el tiempo: Preface (añadir el contexto al inicio del prompt) e Interleaved (insertar el contexto junto con fotogramas de video específicos).

4. Estrategia de Ajuste Fino (Fine-Tuning)

Para adaptar los modelos preentrenados al dominio del tráfico, los autores emplean Ajuste Fino Supervisado (SFT) utilizando Adaptación de Bajo Rango (LoRA). Este enfoque congela los parámetros originales del modelo y entrena solo actualizaciones de bajo rango en capas seleccionadas. Experimentan ajustando:

• Solo los codificadores de lenguaje.
• Solo los módulos de fusión cross-modal.
• Tanto los componentes de lenguaje como los cross-modales de forma conjunta.
  El codificador de visión permanece congelado para preservar su función como extractor de características.

Resultados Clave

Rendimiento Zero-Shot

• Razonamiento Limitado: Los VLMs de última generación en un entorno zero-shot logran ganancias moderadas sobre el azar (por ejemplo, Qwen2.5-VL-7B alcanza un ~63% de precisión) pero no logran superar al baseline especializado de CLIP+Transformer (72.7% de precisión).
• Limitaciones del Prompting: El prompting de CoT de texto no mejoró el rendimiento y aumentó significamente la latencia de inferencia. En algunos casos, degradó el rendimiento al hacer que los modelos optaran por defecto por "yield". El prompting visual (set-of-marks) tampoco logró mejoras medibles, probablemente debido a inconsistencias en la detección y a la naturaleza específica del entorno de VR.
• Sensibilidad a la Entrada: Los modelos más grandes (por ejemplo, Qwen3-VL-8B) funcionaron peor con un aumento en el muestreo de fotogramas (de 4 a 32 fotogramas), lo que sugiere sensibilidad a entradas redundantes, mientras que los modelos más pequeños (Qwen3-VL-2B) se beneficiaron de más fotogramas.

Rendimiento con Ajuste Fino (Fine-Tuned)

• Ganancias Significativas: El ajuste fino eficiente en parámetros mejoró sustancialmente el rendimiento. El Qwen3-VL-2B ajustado alcanzó un 77.7% de precisión, y el VLP (GroundVQA) ajustado alcanzó un 78.9% de precisión.
• Estado del Arte: Estos resultados representan una mejora de precisión del 9% sobre el baseline especializado de CLIP+Transformer.
• Adaptación de la Arquitectura: Para los modelos Qwen, ajustar solo los módulos cross-modales fue suficiente. Para los modelos VLP, ajustar tanto los componentes de lenguaje como los cross-modales produjo los mejores resultados.

Impacto de las Señales Contextuales

• Zero-Shot: Añadir contexto (por ejemplo, movimiento ego, mirada) generalmente mejoró el rendimiento zero-shot, siendo el movimiento ego la señal informativa más relevante por sí sola. Sin embargo, combinar señales sin ajuste fino a veces condujo a alucinaciones o degradación del rendimiento.
• Ajuste Fino: Cuando se sometieron a ajuste fino, los modelos aprendieron eficazmente a explotar el contexto. La combinación de movimiento ego y mirada (específicamente la mirada en pantalla) proporcionó la mejor generalización, logrando una mejora de precisión del 14.5% sobre el baseline de transformer.
• Formato de Contexto: La estrategia Preface (añadir el contexto al principio) superó consistentemente a la estrategia Interleaved, lo que sugiere que el condicionamiento global sobre el contexto es más efectivo que el entrelazado fotograma a fotograma para esta tarea.

Significado y Reivindicaciones

El artículo afirma establecer un nuevo estado del arte para la decodificación de la intención peatonal egocéntrica. Sus principales contribuciones son:

1. Viabilidad de los VLMs: Demostrar que, si bien los VLMs estándar poseen capacidades zero-shot no triviales para el razonamiento de tráfico, requieren adaptación de dominio (ajuste fino) para igualar o superar a los baselines de aprendizaje profundo especializados.
2. Efectividad del Ajuste Fino: Mostrar que el ajuste fino eficiente en parámetros (LoRA) es una estrategia altamente efectiva para adaptar VLMs de propósito general a tareas de tráfico críticas para la seguridad, superando a los modelos entrenados desde cero únicamente con video.
3. Valor del Contexto Multimodal: Establecer que la incorporación de la mirada (eye gaze) y el movimiento ego mejora significativamente la precisión predictiva y la generalización, particularmente cuando el modelo está entrenado para interpretar estas señales.
4. Perspectivas Metodológicas: Proporcionar evidencia de que el prompting de CoT basado en texto y las superposiciones visuales pueden no ser beneficiosos para esta tarea específica, mientras que la integración de contexto estructurado (vía preface) y el ajuste fino son críticos.

Los autores señalan limitaciones, incluyendo el uso de un conjunto de datos basado en VR que puede no capturar todas las complejidades del mundo real, y la dependencia de fotogramas muestreados uniformemente. Sugieren que el trabajo futuro debería centrarse en el preentrenamiento específico para el tráfico, el muestreo temporal adaptativo y la evaluación en datos del mundo real con eventos raros.