Resumen Técnico: GazeVLM: Visión Activa mediante Control de Atención Interno para el Razonamiento Multimodal

Declaración del Problema

Los Modelos Visuales-Lingüísticos (VLM) modernos sufren de un desequilibrio fundamental entre la generación textual y la percepción visual. Si bien la instrucción de Cadena de Pensamiento (CoT) ha mejorado el razonamiento en los modelos de lenguaje, los VLM procesan la información visual de manera pasiva. Dependen de la acumulación estática de contextos masivos de tokens, lo que provoca que las características visuales originales se vean progresivamente subponderadas a medida que se extiende el razonamiento autoregresivo. Esto conduce a una sobredependencia de los priores lingüísticos, resultando en alucinaciones de objetos y una deriva lógica alejada del contenido espacial de la imagen.

Las soluciones existentes intentan abordar esto pero heredan las limitaciones del procesamiento pasivo:

1. Razonamiento Fundamentado: Obliga a los modelos a generar cajas delimitadoras, pero no altera los pesos de atención internos del codificador visual durante la generación.
2. Herramientas Externas de "Acercamiento": Marcos como V*, Pixel Reasoner y Ground-R1 recortan y re-codifican explícitamente parches de imagen. Aunque son efectivos para la extracción de detalles, este enfoque incurre en una penalización computacional sustancial al inflar la ventana de contexto con miles de tokens visuales adicionales y fragmenta el contexto espacial global del modelo.

El razonamiento visual humano, por el contrario, depende de la visión activa: un proceso metacognitivo donde el control de arriba hacia abajo enruta dinámicamente el enfoque foveal hacia detalles relevantes para la tarea, manteniendo al mismo tiempo la conciencia periférica de la escena global. Los VLM actuales carecen de esta capacidad para transitar fluidamente entre la conciencia global y el razonamiento focal localizado sin agentes externos.

Metodología

Los autores proponen GazeVLM, una arquitectura multimodal que internaliza la visión activa directamente en el bucle de razonamiento del VLM. En lugar de re-codificar parches de imagen, GazeVLM aplica un control de arriba hacia abajo directamente a la máscara de atención causal de las características visuales pre-codificadas.

Arquitectura y Mecanismo Central

• Tokens de Mirada Internos: El modelo genera autónomamente tokens especiales <LOOK> anotados con coordenadas de caja delimitadora (bbox=[x1, y1, x2, y2]) y un token de cierre </LOOK>.
• Dirigido de Atención: Al generar un token <LOOK>, el modelo activa un sesgo de supresión continua ($\beta$) aplicado a los logits de atención de los tokens visuales.
  • Supresión de Meseta: Los tokens estrictamente dentro de la caja delimitadora reciben cero penalización. Los tokens fuera de la caja reciben un sesgo de supresión que decae siguiendo un perfil Gaussiano basado en la distancia euclidiana al borde de la caja.
  • Modulación de Logits: Este sesgo se inyecta aditivamente en las puntuaciones de atención ($s$) solo cuando el token de consulta se origina en el texto ($1_{text}(q_t) = 1$), asegurando que el enfoque del modelo de lenguaje se dirija hacia la región foveal mientras se preservan las representaciones internas de la escena global.
• Acumulación Temporal: Para el razonamiento de múltiples pasos, el modelo acumula campos receptivos no suprimidos a través de una secuencia de miradas. El sesgo efectivo para cualquier token es el máximo elemento a elemento a través de todos los estados históricos de mirada, permitiendo al modelo integrar evidencia de múltiples regiones discretas sin añadir nuevos tokens a la ventana de contexto.
• Flujo de Razonamiento: El modelo intercala el razonamiento lógico (<THINK>) con la navegación visual activa (<LOOK>), generando finalmente la respuesta (<ANSWER>).

Paradigma de Entrenamiento

GazeVLM emplea una tubería de entrenamiento de dos etapas:

1. Ajuste Fino Supervisado de Arranque Cálido (SFT): Se sintetiza un conjunto de datos altamente curado de trazas de razonamiento utilizando un modelo experto (Qwen3-VL-235B). Estas trazas demuestran patrones de escaneo iterativos y similares a los humanos. El modelo se entrena para seguir la estructura <LOOK>/</LOOK> y aprender las consecuencias visuales de sus coordenadas de mirada.
2. Aprendizaje por Refuerzo (GRPO): El modelo se refina utilizando Optimización de Política Relativa de Grupo (GRPO). Una función de recompensa personalizada incentiva:
   • Correctitud: Precisión de la respuesta.
   • Navegación Visual: Fundamentación geométrica válida de las cajas <LOOK>.
   • Eficiencia: Penalizaciones por miradas redundantes, superposición excesiva entre cajas y salidas verbosas.

Contribuciones Clave

1. Conjunto de Datos de Razonamiento con Mirada Curado: Un conjunto de datos especializado diseñado para transicionar los modelos de la observación pasiva a la navegación visual activa y multi-región, sintetizado para imponer una fundamentación estructural y espacial estricta.
2. Arquitectura de Dirigido de Atención: Un mecanismo interno que sesga dinámicamente la máscara de atención causal del VLM. Esto permite que el modelo cambie autónomamente el enfoque de vistas globales a detalles locales y viceversa, simulando la fijación foveal sin la sobrecarga computacional de re-codificar o añadir tokens visuales.
3. Rendimiento con Costo Reducido: GazeVLM (4B parámetros) logra un rendimiento de vanguardia en su clase de parámetros, particularmente en benchmarks de alta resolución, generando significativamente menos tokens de salida en comparación con los enfoques basados en agentes.

Resultados Experimentales

Evaluado en una suite de benchmarks que incluyen MathVista, MMBench, ChartQA y conjuntos de datos de alta resolución (HRBench-4k, HRBench-8k), GazeVLM demuestra mejoras significativas:

• Razonamiento de Alta Resolución: En HRBench-4k, GazeVLM obtiene una puntuación de 83.4 (+3.9 sobre la base Qwen3-VL-4B) y 78.0 en HRBench-8k (+4.4). Supera a tuberías agénticas como DeepEyes y Ground-R1 en más de un 5% en estos conjuntos de datos.
• Razonamiento General: Logra resultados sólidos en MathVista (73.3) y MMBench (89.2), superando a otros VLM entrenados con RL y modelos de razonamiento basados en SFT.
• Eficiencia Computacional: A diferencia de los agentes externos de "acercamiento" (por ejemplo, DeepEyes) que promedian más de 1.300 tokens de salida por traza debido a la re-codificación, GazeVLM promedia ~266 tokens en HRBench-4k. Logra una precisión superior (+8.3% sobre DeepEyes) con aproximadamente 5 veces menos tokens de salida.
• Insights de Ablación:
  • Sesgo de Entrenamiento vs. Inferencia: Sorprendentemente, el modelo funciona mejor en la inferencia cuando el sesgo matemático explícito de supresión está desactivado. Esto indica que el mecanismo de enrutamiento de arriba hacia abajo se ha internalizado con éxito en los pesos del modelo durante el entrenamiento, actuando como un regularizador que moldea el comportamiento de la política sin necesidad de la máscara codificada manualmente en el momento de la prueba.
  • Fuerza de Supresión: Una fuerza de supresión moderada ($\alpha_s = 4$) es suficiente para filtrar el ruido periférico; una supresión extrema produce rendimientos decrecientes.

Significado y Afirmaciones

El artículo afirma que GazeVLM representa un cambio de paradigma al internalizar la supervisión metacognitiva directamente en el bucle de razonamiento. Al empoderar al VLM para que genere autónomamente tokens de mirada y controle su propia máscara de atención, el modelo logra una transición fluida entre la conciencia espacial global y el razonamiento focal localizado.

El significado radica en demostrar que un modelo de lenguaje puede ser enseñado control autodirigido sobre su procesamiento visual, haciendo eco del enrutamiento de arriba hacia abajo de la mirada humana. Este enfoque elimina la necesidad de artefactos agénticos externos (como herramientas de recorte) y evita la inflación de la ventana de contexto asociada con el procesamiento de nuevos parches visuales. Los autores posicionan esto como un paso hacia un control metacognitivo más amplio de los propios cálculos de un modelo, habilitando un razonamiento multimodal eficiente y de alta resolución que es tanto más preciso como computacionalmente más ligero que las tuberías agénticas actuales de vanguardia.