Resumen Técnico: Los LVM Rastrean sin Seguir: Diagnóstico de Fallos en el Seguimiento de Trayectorias Visuales

Declaración del Problema

Aunque los Modelos Visuales-Lingüísticos (LVM) demuestran un rendimiento sólido en amplias pruebas multimodales, a menudo carecen de un control robusto sobre operaciones visuales básicas. Específicamente, este artículo investiga el seguimiento de líneas: la capacidad de un modelo para seguir una trayectoria visual seleccionada mediante continuaciones locales sucesivas. Los autores argumentan que los LVM actuales luchan por mantener la identidad de una trayectoria seleccionada cuando existen alternativas competitivas cercanas, incluso en entornos desprovistos de características topológicas complejas como cruces o ambigüedades semánticas. Este fallo es distinto de las deficiencias generales en el razonamiento espacial; es una incapacidad específica para mantener la atención sobre una estructura continua frente a distractores visuales locales.

Metodología

El estudio emplea un enfoque diagnóstico controlado para aislar el mecanismo de seguimiento de factores de confusión como atajos semánticos, dependencias de largo alcance y topología compleja.

1. Tareas de Seguimiento Controlado

Los autores diseñaron dos tareas principales para eliminar dificultades externas:

• Tarea de Conexión de Circuitos Modificada: Basada en trabajos previos de búsqueda visual suave, esta tarea elimina los cruces y superposiciones de cables. Los modelos deben seguir un cable específico desde un puerto de inicio hasta un componente, informando una secuencia de puntos de colores colocados a lo largo del cable. Esto aísla la capacidad de seguir una sola trayectoria en un entorno multicable.
• Tarea de Remolino: Un conjunto de datos abstracto que consiste en una única trayectoria en espiral con ocho puntos de colores únicos. La tarea varía la densidad de rotación (Baja, Moderada, Alta) para controlar la proximidad de las vueltas adyacentes. Esto elimina los conocimientos previos específicos del dominio (como puertos de circuitos) y se centra puramente en la dificultad de distinguir la continuación local correcta de una vuelta adyacente visualmente similar.

2. Intervenciones Diagnósticas

Para determinar el mecanismo del fallo, los autores realizaron varios análisis:

• Pruebas de Estrés de Similitud Local: En la tarea de Remolino, construyeron condiciones donde los distractores cercanos variaban en similitud estructural con la trayectoria objetivo (por ejemplo, "Segmento compartido" frente a "Totalmente diferente").
• Enmascaramiento Causal: Aplicaron máscaras de oclusión a regiones específicas (el distractor, la trayectoria objetivo o parches aleatorios) para probar si eliminar la señal competitiva restauraba el rendimiento.
• Análisis de Representaciones Internas: Utilizando modelos de código abierto (Qwen3-VL e InternVL3.5), midieron:
  • Preferencia de Atención: Si la atención del modelo desde la posición actual favorece el siguiente punto verdadero sobre un distractor.
  • Preferencia Representacional: Si el estado oculto de la posición actual está geométricamente más cerca de la continuación verdadera o del distractor en el espacio de incrustaciones.
• Evaluación de Remedios: El artículo probó estrategias de mitigación estándar:
  • Escalado de Modelos: Evaluación de modelos de tamaños variables (de 2B a 235B parámetros) dentro de la familia Qwen3-VL.
  • Razonamiento: Prueba de modelos habilitados para el razonamiento para ver si la deliberación paso a paso mejora el seguimiento.
  • Instrucciones Explícitas: Proporcionar indicaciones que prohíban explícitamente la selección basada en la proximidad y manden el seguimiento de líneas.

3. Pruebas de Generalización

Para verificar que los fallos no son artefactos de datos sintéticos, los autores evaluaron los modelos en:

• Conjunto de Datos HANDLOOM: Seguimiento de cables enredados con superposiciones propias y cruces.
• Mapas de Metro: Seguimiento de rutas en mapas de tránsito con etiquetas densas y líneas que se intersectan.

Resultados Clave

1. Fallos Sistemáticos de Cambio de Trayectoria

Incluso los LVM más avanzados (incluidos Claude Sonnet 4.5, GPT-5.4 y Gemini3-Flash) fallan significativamente en estas tareas.

• Tarea de Circuitos: Claude Sonnet 4.5 logró solo un 6.2% de precisión. El modo de error dominante (90–98% de los errores) fue un salto a cable adyacente, donde el modelo comienza correctamente pero cambia a un cable cercano.
• Tarea de Remolino: El rendimiento se degrada bruscamente con la densidad de rotación. Con alta densidad, GPT-5.4 cae a ~20%, y Claude Sonnet 4.5 y Qwen3-VL-235B alcanzan 0%. El error dominante es un salto a vuelta adyacente.

2. Mecanismo: Competencia Local

Los fallos son impulsados por la competencia visual local, no por ruido aleatorio o límites del razonamiento global.

• Sensibilidad a la Similitud: La precisión cae significativamente solo cuando el distractor comparte estructura local (por ejemplo, un segmento paralelo) con la trayectoria objetivo. Cuando se elimina la similitud, el rendimiento se recupera.
• Evidencia Causal: Enmascarar la región del distractor aumenta la precisión en ~13.5 puntos, mientras que enmascarar la trayectoria objetivo destruye el rendimiento. Esto confirma que el distractor atrae activamente al modelo fuera de curso.
• Deriva del Estado Interno: Los análisis internos revelan que, a medida que aumenta la similitud local, la atención del modelo y las representaciones ocultas se desvían de la continuación verdadera hacia el distractor. En condiciones de "Segmento compartido", el estado interno a menudo está más cerca del distractor que de la trayectoria verdadera.

3. Ineficacia de los Remedios Estándar

• Escalado: Aumentar el tamaño del modelo (hasta 235B parámetros) produce solo ganancias marginales, que disminuyen bajo mayor dificultad.
• Razonamiento: Los modelos habilitados para el razonamiento no realizan un seguimiento visual genuino. En su lugar, dependen de sustitutos heurísticos (por ejemplo, "descomposición en anillos" o "coincidencia angular") para adivinar la secuencia. Aunque esto a veces mejora la precisión, conlleva un costo masivo de tokens (miles de tokens para un seguimiento simple) y no elimina los errores de salto adyacente (que permanecen entre el 71–84% de los fallos).
• Instrucciones: Instruir explícitamente a los modelos para que sigan la línea e ignoren la proximidad disminuye la precisión en todos los modelos, lo que sugiere que las arquitecturas actuales no pueden simplemente ser indicadas para lograr un seguimiento fiable.

4. Persistencia en el Mundo Real

El mismo fallo de cambio de trayectoria persiste en entornos complejos y del mundo real, como cables enredados y mapas de metro. Los modelos cambian frecuentemente a cables o estaciones cercanos, y los rastros de razonamiento a menudo muestran que los modelos reconstruyen rutas basándose en señales globales en lugar de una verificación local.

Significado y Afirmaciones

El artículo afirma que el seguimiento visual robusto bajo competencia local es un cuello de botella fundamental y sin resolver en las arquitecturas actuales de LVM.

• Valor Diagnóstico: Los autores proponen que el seguimiento de líneas sirve como un diagnóstico concreto y medible para la capacidad de mantener una estructura visual conectada.
• Limitación Arquitectónica: El fallo no se debe a una falta de capacidad de razonamiento o tamaño de datos de entrenamiento, sino a una falta de mecanismos dedicados para preservar la identidad de la trayectoria frente a distractores locales. Los modelos actuales parecen depender de conocimientos previos lingüísticos o estadísticas gruesas en lugar de una continuación visual genuina paso a paso.
• Necesidad Práctica: A medida que los LVM se despliegan en aplicaciones que requieren un seguimiento de rutas fiable (por ejemplo, lectura de mapas de tránsito, seguimiento de objetos deformables, análisis de diagramas de flujo), abordar este modo de fallo específico es una necesidad práctica, no solo una preocupación teórica.

Los autores concluyen que la investigación futura debe centrarse en desarrollar mecanismos que puedan mantener la trayectoria seleccionada a través de continuaciones sucesivas, ya que las arquitecturas actuales fallan en hacerlo de manera fiable incluso cuando la tarea se despoja de todas las demás complejidades.