Improving Visual Reasoning with Iterative Evidence Refinement

1. Problema Identificado

Los Modelos de Lenguaje y Visión (VLM) han demostrado capacidades notables en el razonamiento multimodal, a menudo apoyados por cadenas de pensamiento (Chain-of-Thought, CoT). Sin embargo, el artículo identifica dos limitaciones críticas en el estado del arte actual:

• Dependencia de Herramientas Externas: Los enfoques recientes para mejorar el razonamiento visual suelen depender de herramientas externas (como zoom, recorte o navegación) que generan nuevas vistas de la imagen. Esto requiere re-codificación de la imagen, introduce latencia y, lo más importante, rompe la continuidad de la cadena de razonamiento. Las nuevas vistas se adjuntan como entradas adicionales en lugar de integrarse fluidamente en el proceso de generación de texto.
• Subutilización de la Evidencia Visual Interna: En la inferencia estándar, la imagen se codifica una vez en tokens visuales fijos. A medida que el modelo genera texto, la atención se desplaza hacia el historial de tokens generados, reduciendo la influencia de la evidencia visual original. El modelo rara vez "revisa" la imagen de manera dirigida y dependiente del paso de razonamiento.

2. Metodología: El Marco SIEVE

Los autores proponen SIEVE (Self-revisit framework for Iterative Evidence Refinement), un marco de extremo a extremo que permite a los VLMs reutilizar la evidencia visual mediante representaciones internas, sin necesidad de herramientas externas ni re-codificación.

Hipótesis Central

La hipótesis es que las incrustaciones (embeddings) visuales originales ya contienen suficiente información para el razonamiento fundamentado. El cuello de botella no es la falta de datos visuales, sino la incapacidad del modelo para seleccionar y reutilizar dinámicamente las evidencias visuales relevantes a medida que avanza la generación.

Componentes Clave del Método

1. Descubrimiento de Evidencia Visual Autoguiada (Self-Guided Evidence Discovery):

   • Anclajes Textuales: El modelo analiza su propio proceso predictivo para identificar tokens críticos (anclajes) utilizando saliencia basada en gradientes. Si un token es crucial para la predicción siguiente, su gradiente será alto.
   • Localización Visual: Estos anclajes textuales se comparan con las representaciones de los parches de imagen (tokens visuales) en el espacio de representación interno del modelo (capas intermedias). Se calcula la similitud coseno para encontrar los parches de imagen más relevantes semánticamente.
   • Extracción de Embeddings: Se extraen y almacenan los embeddings de estas regiones salientes como "evidencia visual" lista para su reutilización.

2. Inyección Iterativa en la Cadena de Razonamiento:

   • Durante la inferencia, el modelo decide si necesita más información visual en un paso dado.
   • Si es necesario, SIEVE inyecta directamente los embeddings de las regiones relevantes en la cadena de razonamiento actual.
   • Esto permite que los pasos posteriores del razonamiento se condicionen sobre la evidencia visual específica sin salir del flujo de texto ni recodificar la imagen.

3. Entrenamiento con Aprendizaje por Refuerzo (RL) Basado en Visión:

   • Se utiliza un pipeline de RL (específicamente GRPO) para enseñar al modelo cuándo activar la revisión visual y qué embeddings recuperar.
   • Función de Recompensa: Se diseña una recompensa compuesta por cuatro componentes:
     • Recompensa de Resultado: Precisión de la respuesta final.
     • Recompensa de Formato: Estructura correcta de la cadena de pensamiento.
     • Recompensa de Embedding: Incentiva al modelo a usar la evidencia visual cuando es beneficioso (bonus si usa la inyección y acierta).
     • Recompensa de Acción: Penaliza razonamientos demasiado cortos o evasivos y fomenta la toma de decisiones claras.

3. Contribuciones Principales

1. Marco SIEVE: Un enfoque novedoso que permite a los VLMs revisar evidencia visual fina recuperando e insertando embeddings de regiones desde la codificación original, eliminando la necesidad de herramientas de recorte/zoom externas.
2. Mecanismo de Saliencia: Un procedimiento automático para identificar y extraer embeddings de regiones visuales críticas basándose en la dinámica interna del modelo (gradientes y similitud cruzada), sin anotaciones manuales.
3. Eficiencia de Datos: Demostración de que el entrenamiento requiere un conjunto de datos muy pequeño (aprox. 1,500 muestras) para adquirir la capacidad de razonamiento fundamentado iterativo.
4. Validación Empírica: Resultados consistentes en múltiples escalas de modelos (4B y 8B) y benchmarks, mostrando que la reutilización de embeddings internos es tan efectiva o más que los métodos basados en herramientas.

4. Resultados Experimentales

El método se evaluó en varios benchmarks de razonamiento visual de alta resolución y percepción:

• Benchmarks de Razonamiento (V Bench y HR-Bench):* SIEVE superó consistentemente a los modelos base (Vanilla) y a los métodos basados en herramientas (como DyFo, ZoomEye, Zoom-Refine).
  • En la variante de 4B parámetros, SIEVE logró una mejora del 10.06% sobre el modelo base en V* Bench.
  • El rendimiento promedio mejoró un 8% a través de varios benchmarks.
• Generalización: Se observaron mejoras en tareas de percepción (MME-Real-Lite), razonamiento matemático (MathVista, WeMath) y reducción de alucinaciones (HallusionBench).
  • Por ejemplo, en WeMath, la versión de 8B parámetros mejoró un 11.3%.
• Análisis de Ablación:
  • Se demostró que la inyección de embeddings aleatorios degrada el rendimiento, confirmando que la selección semántica es crucial.
  • Se validó que las capas intermedias del transformador son las óptimas para extraer estos embeddings, ya que equilibran mejor la abstracción semántica y la fidelidad espacial.
  • Las recompensas de acción (signal y thought richness) fueron esenciales para estabilizar el entrenamiento y evitar comportamientos degenerados.

5. Significado e Impacto

El trabajo de SIEVE desafía el paradigma predominante de que el "revisado" visual requiere herramientas externas y re-codificación costosa.

• Eficiencia: Al evitar la generación de nuevas vistas de imagen y la re-codificación, SIEVE reduce la sobrecarga computacional en tiempo de inferencia.
• Escalabilidad: Al utilizar representaciones latentes internas, el método es más escalable y se integra nativamente en el flujo de generación de texto.
• Paradigma de Razonamiento: Sugiere que los VLMs ya poseen la capacidad de razonamiento fundamentado, pero necesitan mecanismos para acceder selectivamente a la evidencia visual almacenada en sus estados ocultos, en lugar de depender de agentes externos.

En conclusión, SIEVE demuestra que un enfoque "auto-contenido" que aprovecha las señales internas del modelo puede lograr un razonamiento visual robusto y fundamentado, superando a las soluciones basadas en herramientas complejas con una fracción de los datos de entrenamiento necesarios.