Resumen Técnico: VeriEvol

Declaración del Problema

Escalar el aprendizaje por refuerzo (RL) para el razonamiento matemático visual enfrenta un cuello de botella crítico: a medida que aumenta el volumen de datos, la fiabilidad de las etiquetas de recompensa suele degradarse. Los enfoques existentes típicamente escalan la supervisión confiando en etiquetadores automáticos o asumiendo que las respuestas subyacentes son correctas, fallando al no abordar el efecto acumulativo del ruido de etiqueta en el RL. En el razonamiento visual, donde los modelos deben fundamentar variables en diagramas y ejecutar inferencias de múltiples pasos, las etiquetas no verificadas pueden reforzar sistemáticamente políticas incorrectas. Además, el simple hecho de generar preguntas más difíciles resulta en prompts que son meramente más largos o resolubles mediante prioridades de texto, careciendo de una dificultad genuina basada en la imagen. El desafío central es construir un pipeline de datos que escale simultáneamente la dificultad del prompt y asegure la fiabilidad de la respuesta sin acoplar estos procesos al optimizador de la política.

Metodología: Marco de Trabajo VeriEvol

VeriEvol es un marco iterativo que desacopla la dificultad del prompt y la fiabilidad de la respuesta antes de cualquier actualización de la política. Transforma semillas de baja dificultad (imagen-pregunta) en muestras de alta calidad y verificadas a través de dos componentes extensibles:

1. Evolución de Prompts Consciente del Tipo (Type-Aware Prompt Evolution)

En lugar de aplicar una plantilla de evolución uniforme, VeriEvol dirige las semillas hacia una tupla de etiquetas estructurada $z = (t, y, u, c)$ que representa la familia del problema, el tipo de respuesta, las herramientas recomendadas y los bocetos de evidencia visual.

• Operadores Específicos de Ruta: Para cada ruta, operadores de evolución específicos reescriben la pregunta semilla $q$ en un prompt más difícil y fundamentado en la imagen $q'$. Estos operadores están restringidos para amplificar habilidades de razonamiento específicas, mantener la evidencia visual necesaria y evitar la resolubilidad basada solo en texto.
• Puerta a Nivel de Pregunta: Los prompts generados pasan por una puerta independiente $\phi_q$ que verifica la fundamentación en la imagen, la consistencia visual, el aumento de dificultad no trivial y la deduplicación. Esto asegura que la imagen sea necesaria para la solución.

2. HTV-Agent (Agente de Hipótesis–Prueba de Verificación)

Este componente trata las respuestas candidatas como hipótesis falsables en lugar de verdades fundamentales. Emplea una estrategia de "búsqueda de refutación" a través de cuatro etapas:

• Generación de Hipótesis: Tres ramas de resolución independientes (con variaciones de temperatura) generan respuestas candidatas y trazas de razonamiento.
• Verificación de Búsqueda de Refutación: Los verificadores buscan activamente contraevidencia utilizando:
  • Canales Programáticos: Traducción de restricciones en aserciones de Python ejecutadas en un intérprete restringido.
  • Canales Visuales: Uso de OCR, recortes locales y sondas a nivel de píxel para verificar que las cantidades y símbolos citados están fundamentados en la imagen.
• Resolución de Conflictos: Un decisor evalúa las hipótesis del solver frente a los reportes del verificador. Evalúa la solidez lógica de las objeciones en lugar de confiar ciegamente en el verificador. Si un verificador refuta a un solver con evidencia suficiente, la respuesta es revisada; si la evidencia es inconsistente, la muestra es rechazada.
• Puerta de Aceptación Determinista: Una puerta final $g(\hat{a}, m)$ acepta una respuesta solo si pasa todas las comprobaciones conjuntas: cumplimiento de esquema, soporte visual, aprobación del verificador, aserciones ejecutables y consenso del clúster de solvers.

3. Materialización de Datos

• VeriEvol-SFT: Almacena la traza completa de razonamiento y la evidencia para el ajuste fino supervisado (SFT).
• VeriEvol-RL: Almacena el prompt, la respuesta verificada y los metadatos de verificación. La traza de razonamiento se elimina para forzar a la política a generar su propia traza durante los rollouts. Los metadatos incluyen un comprobador de recompensa determinista (por ejemplo, coincidencia exacta, equivalencia simbólica) compatible con las recetas de RL de estilo GRPO existentes.

Contribuciones Clave

1. Marco de Evolución de Instrucciones Multimodal Escalable (Multimodal Evol-Instruct): Un pipeline que transforma semillas de baja dificultad en prompts más difíciles y fundamentados en la imagen. Los experimentos muestran que escalar los datos de SFT de 10K a 250K muestras aumenta la precisión media en +19.31. En la etapa de RL, escalar datos verificados de 10K a 130K añade una ganancia suave de +4.60, siendo el diseño mismo el que contribuye con +3.88 sobre una línea base no evolucionada (descompuesto en +1.82 por prompts evolucionados y +2.06 por el verificador).
2. HTV-Agent: Un agente de juicio basado en hipótesis-prueba modular que filtra respuestas a través de solvers independientes, contraevidencia de múltiples fuentes (programática y visual) y un decisor. Permite la adición de nuevos canales de verificación sin reingenierizar el optimizador de la política.
3. Lanzamiento Abierto y Trazable: Los autores lanzan los prompts, datos, modelos y la traza completa del verificador para cada muestra (incluyendo hipótesis de solvers, reportes de contraevidencia, salidas de herramientas y resultados de puertas). Esto permite que el trabajo derivado pueda auditar y reescalar las decisiones de construcción en lugar de simplemente inspeccionar los resultados finales.

Resultados Experimentales

Evaluado en un conjunto de cinco benchmarks de matemáticas visuales (MathVista, MathVision, MathVerse-VO, DynaMath, We-Math) utilizando un backbone Qwen2.5-VL-7B:

• Rendimiento: VeriEvol logra una precisión media de 59.12, liderando tres de los cinco benchmarks y el promedio general frente a fuertes baselines externos de 7B. Específicamente, lidera en MathVerse-VO (70.46 frente a 63.80 del siguiente mejor) y We-Math-Strict (63.05 frente a 53.81).
• Comportamiento de Escalamiento:
  • Escalamiento de SFT: La precisión media aumenta monótonamente de 35.42 (10K) a 54.73 (250K).
  • Escalamiento de RL: Los datos de RL verificados escalan monótonamente de 54.52 (10K) a 59.12 (130K), sin que ningún benchmark muestre degradación de rendimiento a medida que aumenta el volumen.
• Análisis de Componentes:
  • Evolución: Los prompts evolucionados por sí solos añaden +1.82 a la línea base de RL. La dinámica de entrenamiento muestra que los prompts evolucionados mantienen una mayor entropía de la política y logran mayores recompensas terminales, evitando la convergencia temprana a modos de baja entropía.
  • Verificación: El HTV-Agent añade +2.06. Los estudios de ablación sobre el verificador como juez en tiempo de inferencia muestran que la auticonsistencia de múltiples solvers beneficia a las tareas ricas en lo visual, mientras que la ejecución programática beneficia a las tareas con mucha carga computacional, confirmando la complementariedad de los canales de evidencia.
• Análisis de Errores: Una auditoría piloto en 60 muestras indica un cambio en la distribución de errores. Los errores de fundamentación visual (VG) y de atajo de solo texto (TS) disminuyeron significativamente (de 57% a 38% de los errores residuales), mientras que los errores restantes del sistema se desplazaron hacia limitaciones de la cadena de razonamiento y de carácter simbólico/aritmético inherentes a la capacidad del backbone de 7B.

Significancia y Reivindicaciones

El artículo postula que escalar el razonamiento visual requiere tratar la construcción de datos como un problema verificable en lugar de un problema de optimización del lado de la política. Al desacoplar la evolución del prompt de la verificación de la respuesta, VeriEvol asegura que las señales de recompensa sigan siendo fiables a medida que el volumen de datos crece.

• Ortogonalidad: El marco es ortogonal a las innovaciones del lado de la política (por ejemplo, variantes de GRPO, modelado de recompensas), permitiendo que futuros optimizadores construyan directamente sobre los datos de VeriEvol-RL.
• Componibilidad: La naturaleza modular del verificador permite la adición de canales de refutación dirigidos (por ejemplo, nuevas herramientas o tipos de evidencia) para abordar modos de fallo específicos sin rediseñar el bucle de entrenamiento.
• Transparencia: Al liberar las trazas completas del verificador, los autores pretenden desplazar el enfoque de la investigación derivada de la inspección de salidas hacia la auditoría del propio proceso de construcción, permitiendo un escalado y una verificación más robustos de los sistemas de razonamiento multimodal.

Los autores reconocen limitaciones, incluyendo la dependencia de la cobertura del pool de semillas, el potencial de puntos ciegos compartidos entre solvers y verificadores, y el hecho de que el subconjunto listo para RL es más estrecho que el subconjunto listo para SFT debido a los requisitos de verificación más estrictos. Enfatizan que las ganancias observadas son sugestivas de tendencias más que diferencias estadísticamente significativas a nivel de un solo benchmark para márgenes pequeños.