VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration

Resumen Técnico: VisTIRA

1. El Problema: La Brecha de Modalidad en el Razonamiento Matemático

El artículo identifica y caracteriza una deficiencia crítica en los Modelos de Lenguaje y Visión (VLMs): la brecha de modalidad imagen-texto.

• Fenómeno: Cuando los problemas matemáticos se presentan como texto plano, los modelos obtienen una precisión significativamente mayor que cuando se presentan como imágenes (fórmulas densas, diagramas, ecuaciones multilineales).
• Causa: Esta brecha se debe a fallos compuestos en la lectura de fórmulas densas, la comprensión del diseño (layout) y el contexto mixto de símbolos y diagramas. Un error pequeño en la transcripción visual (por ejemplo, un exponente incorrecto o un límite mal interpretado) provoca un efecto cascada de errores algebraicos que lleva a una respuesta final incorrecta.
• Limitación Actual: Los conjuntos de datos existentes (VQA, OCR) carecen de trayectorias de razonamiento paso a paso ejecutables paired con imágenes, limitando la capacidad de los modelos para aprender a usar herramientas computacionales en entornos visuales.

2. Metodología Propuesta

Los autores proponen un enfoque integral que combina un nuevo agente de razonamiento, la generación de datos sintéticos y un pipeline de evaluación controlada.

A. VisTIRA (Agente de Razonamiento Integrado con Visión y Herramientas)
VisTIRA es un marco que permite a un VLM resolver problemas matemáticos visuales mediante un ciclo iterativo que entrelaza:

1. Racionalización (Rationale): El modelo genera pasos de razonamiento en lenguaje natural.
2. Acción de Herramienta (Tool Action): El modelo genera código ejecutable (Python/SymPy) basado en el razonamiento anterior.
3. Ejecución y Retroalimentación: El código se ejecuta externamente, y su salida ($O_i$) se devuelve al modelo como contexto para el siguiente paso.
4. Cierre: El proceso continúa hasta que el modelo genera una respuesta final encerrada en \boxed{}.

• Ventaja: Al delegar el cálculo exacto a un motor simbólico, se reduce la alucinación aritmética y se corrigen errores de razonamiento mediante señales verificables.

B. Construcción de Datos y Entrenamiento

• Fuente de Datos (SnapAsk): Se utiliza un conjunto de datos propietario de problemas matemáticos reales (estilo tarea escolar) llamado SnapAsk.
• Generación de Trayectorias: Se emplean modelos "maestros" potentes (como GPT-5 o GPT-4o) para generar trayectorias de razonamiento integradas con herramientas (razón + código + ejecución) a partir de las imágenes de SnapAsk.
• Filtrado de Consistencia: Solo se retienen las trayectorias donde la respuesta del razonamiento en cadena (CoT) coincide exactamente con el resultado de la ejecución del código. Esto garantiza la calidad de los datos para el Fine-Tuning Supervisado (SFT).
• Pipeline de Conversión Texto-Imagen (NuminaMath): Para evaluar la brecha de manera controlada, convierten el corpus de texto puro NuminaMath en imágenes tipográficas usando LaTeX. Esto permite comparar el rendimiento del mismo problema en formato texto vs. imagen.

C. Análisis de Grounding con OCR
Se investiga el uso de sistemas OCR avanzados (como DeepSeek-OCR) para extraer el texto de las imágenes matemáticas y proporcionar esta información textual al modelo junto con la imagen, o incluso como entrada única, para compensar las debilidades del codificador visual.

3. Contribuciones Clave

1. Marco VisTIRA: Un nuevo enfoque de razonamiento iterativo que descompone problemas visuales en racionales, código y bucles de ejecución.
2. Corpus de Trayectorias Verificadas: La creación de un conjunto de datos masivo (147k muestras de entrenamiento) de trayectorias "razón-código-salida" derivadas de imágenes reales de tareas escolares (SnapAsk).
3. Pipeline de Evaluación y Liberación de Datos:
   • Un pipeline basado en LaTeX para convertir problemas de texto a imágenes, permitiendo una evaluación controlada de la brecha de modalidad.
   • Liberación pública de 360k imágenes limpias y 360k imágenes ruidosas (con degradación estocástica) derivadas de NuminaMath.
   • Un conjunto de prueba estandarizado de 5k imágenes con transcripciones OCR.
4. Análisis Diagnóstico de la Escala: Demostración de que la gravedad de la brecha de modalidad es inversamente proporcional al tamaño del modelo (los modelos más pequeños sufren más) y que el OCR actúa como una señal compensatoria efectiva solo para modelos de menor escala.

4. Resultados Experimentales

Los experimentos se realizaron principalmente con Qwen2.5-VL-7B y se compararon con GPT-5.

• Efectividad de VisTIRA:
  • El ajuste fino (SFT) con trayectorias VisTIRA mejoró significativamente el rendimiento en problemas visuales reales (SnapAsk) y sintéticos (NuminaMath).
  • En SnapAsk, el modelo VisTIRA superó al modelo base en +5.43 puntos porcentuales, mientras que el ajuste solo con CoT (sin herramientas) solo mejoró en +1.65. Esto confirma que la integración de herramientas es el factor clave, no solo la adaptación al dominio.
• La Brecha de Modalidad:
  • Se confirma que los modelos obtienen peores resultados en imágenes que en texto puro.
  • La brecha es más pronunciada en modelos más pequeños (Qwen2.5: ~5.4% de diferencia) que en modelos grandes (GPT-5: ~6.0% de diferencia, aunque en términos absolutos GPT-5 es superior).
• Impacto del OCR:
  • Modelos Pequeños: La adición de texto extraído por OCR mejora drásticamente la precisión (ej. Qwen2.5 sube de 58.77% a 63.89% en imágenes), compensando la debilidad en la percepción visual.
  • Modelos Grandes: El OCR puede introducir redundancia o ruido, mostrando mejoras marginales o incluso ligeros descensos si se combina mal con la imagen.
  • Hallazgo: Los problemas donde el OCR ayuda significativamente tienden a tener textos más largos y densos, lo que sugiere que los modelos pequeños luchan por interpretar notación compleja solo con visión.
• Pruebas de Estrés (Ruido):
  • Las imágenes renderizadas con ruido (desenfoque, ruido gaussiano, etc.) afectan más a los modelos grandes (GPT-5), ampliando su brecha de modalidad, mientras que los modelos pequeños permanecen estables (ya que su rendimiento está limitado por la percepción estructural, no por el ruido de píxeles).

5. Significado e Implicaciones

• Validación de Estrategias Complementarias: El trabajo demuestra que el razonamiento estructurado con herramientas (VisTIRA) y el grounding basado en OCR son estrategias complementarias. El primero es esencial para la escalabilidad y la precisión lógica, mientras que el segundo es una solución efectiva para modelos de recursos limitados o con encoders visuales débiles.
• Nueva Línea Base para Investigación: La liberación de 360k imágenes renderizadas (limpias y ruidosas) y el conjunto de datos SnapAsk proporciona un estándar de oro para evaluar y mejorar el razonamiento matemático visual en la comunidad de IA.
• Dirección Futura: Se sugiere que el futuro del campo reside en mecanismos de fusión adaptativa (filtrado de confianza del OCR) y en la integración continua de herramientas de ejecución para mitigar los errores de percepción visual antes de que se propaguen al razonamiento lógico.

En conclusión, VisTIRA cierra la brecha de modalidad no solo mejorando la percepción visual, sino cambiando fundamentalmente el proceso de inferencia hacia un ciclo de razonamiento-verificación-ejecución, logrando que los modelos de visión-language sean tan competentes en matemáticas visuales como lo son en texto.