More Thought, Less Accuracy? On the Dual Nature of Reasoning in Vision-Language Models

Título: ¿Más pensamiento, menos precisión? Sobre la naturaleza dual del razonamiento en modelos de visión y lenguaje

1. El Problema: La Naturaleza Dual del Razonamiento Multimodal

El artículo identifica una paradoja crítica en los Modelos de Lenguaje y Visión (VLMs) que han sido entrenados con capacidades de razonamiento (mediante técnicas como el Aprendizaje por Refuerzo o RL). Aunque el razonamiento mejora la capacidad de inferencia lógica y la resolución de problemas complejos, los autores descubren que aumentar la longitud del proceso de razonamiento puede degradar la precisión en tareas visuales básicas.

Este fenómeno se denomina "Olvido Visual" (Visual Forgetting). A medida que el modelo genera cadenas de pensamiento más largas, su atención hacia los tokens visuales (la imagen de entrada) disminuye drásticamente. El modelo comienza a depender excesivamente de su propio historial de texto y patrones estadísticos, ignorando la evidencia visual. Esto conduce a errores de percepción (como malinterpretar gráficos, contar objetos incorrectamente o alucinar detalles) que no ocurrirían si el modelo respondiera directamente o con un razonamiento más breve.

2. Metodología: Optimización de Políticas Anclada a la Visión (VAPO)

Para abordar el olvido visual, los autores proponen VAPO (Vision-Anchored Policy Optimization), un algoritmo de gradiente de políticas diseñado para guiar el proceso de razonamiento hacia trayectorias ancladas en evidencia visual.

• Generación de Afirmaciones Visuales: Utilizando un modelo LLM externo (GPT-5), se generan afirmaciones factuales sobre la imagen de entrada. Estas afirmaciones son equilibradas (mitad correctas, mitad incorrectas) y son independientes de la pregunta original para evitar sesgos.
• Anclajes Visuales (Visual Anchors): Durante el proceso de razonamiento del modelo, se insertan "anclajes" en puntos estratégicos. En cada anclaje, el modelo debe evaluar la veracidad de una afirmación visual aleatoria (respuesta binaria: sí/no).
• Recompensa de Percepción: Se introduce una nueva métrica de recompensa, la Recompensa de Percepción, que cuantifica la capacidad del modelo para mantener la precisión visual a lo largo de todo el proceso de razonamiento.
  • Esta recompensa se pondera de manera que se da más énfasis a los anclajes en las etapas tardías del razonamiento (donde el olvido visual es más pronunciado).
  • La recompensa final combina la precisión de la tarea, el formato y la recompensa de percepción, asegurando que el modelo no sacrifique la precisión de la tarea por mejorar la percepción.

El método se entrena utilizando una variante de GRPO (Group Relative Policy Optimization), eliminando la necesidad de un modelo crítico y optimizando directamente la política para maximizar estas recompensas compuestas.

3. Contribuciones Clave

1. Identificación de la Naturaleza Dual: Demostración empírica de que el razonamiento en VLMs tiene un efecto de doble filo: mejora la lógica pero, si es demasiado largo, deteriora la percepción visual, actuando como un cuello de botella para el rendimiento general.
2. Diagnóstico del Olvido Visual: Análisis que revela que la disminución de la atención a los tokens visuales a medida que avanza el razonamiento es la causa principal de los errores. Se valida mediante experimentos de "reproducción visual" (reinsertar la imagen) y "prompts de enfoque", que mejoran temporalmente el rendimiento pero no solucionan el problema de raíz.
3. Propuesta de VAPO: Desarrollo de un algoritmo de entrenamiento simple pero efectivo que fuerza al modelo a mantener un contacto constante con la información visual mediante anclajes y recompensas específicas, sin incurrir en una sobrecarga computacional significativa durante la inferencia.

4. Resultados

El modelo resultante, VAPO-Thinker-7B (basado en Qwen2.5-VL), logró resultados de vanguardia (SOTA) en múltiples benchmarks:

• Rendimiento General: Superó a los modelos de razonamiento existentes (como R1-OneVision, VLAA-Thinker y Vision-R1) en tareas matemáticas y de propósito general.
• Mejoras Específicas:
  • En benchmarks de matemáticas (MathVerse, LogicVista, etc.), mostró una mejora promedio del 2% sobre los baselines fuertes.
  • En tareas intensivas en visión (MMStar, HallusionBench), la mejora fue aún más notable (~3.2%), alcanzando un 63.1% en MMStar y 57.4% en HallusionBench, superando a modelos propietarios como GPT-5-Thinking en ciertas métricas de propósito general.
• Análisis de Atención: Los experimentos mostraron que, a diferencia de los modelos base cuya atención visual cae a niveles insignificantes, VAPO mantiene una atención visual estable y alta a lo largo de todo el proceso de generación.
• Eficiencia: El método añade una sobrecarga computacional mínima durante el entrenamiento (aprox. 30 minutos extra comparado con GRPO estándar) y no requiere cambios en la inferencia.

5. Significado e Impacto

Este trabajo es fundamental porque desafía la noción de que "más pensamiento siempre es mejor" en el contexto multimodal.

• Cambio de Paradigma: Sugiere que para los VLMs, la calidad del razonamiento no se mide solo por su longitud, sino por su anclaje visual.
• Solución Práctica: Ofrece una solución de entrenamiento (VAPO) que corrige un defecto estructural (el olvido visual) sin depender de métodos costosos de inferencia en tiempo de prueba (como reinsertar imágenes constantemente).
• Futuro: Establece una nueva dirección para el desarrollo de VLMs, donde la integración de mecanismos de verificación visual durante el proceso de razonamiento es esencial para lograr una inteligencia artificial multimodal robusta y confiable, capaz de evitar alucinaciones y errores de percepción en tareas complejas.