Resumen Técnico: AIR: Razonamiento Intercalado Adaptativo con Código en Modelos de Lenguaje Grandes Multimodales

Declaración del Problema

Si bien los avances recientes en los Modelos de Lenguaje Grandes Multimodales (MLLM) han integrado el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) para mejorar las capacidades de razonamiento, los paradigmas existentes se centran principalmente en el uso de herramientas para tareas de percepción visual (por ejemplo, rotación, zoom). Estos enfoques dependen de heurísticas predefinidas para la manipulación visual y no logran abordar problemas de computación numérica complejos. Los MLLM actuales suelen carecer de la capacidad de activar autónomamente scripts de Python durante el razonamiento textual para manejar tareas matemáticas intrincadas, una capacidad esencial para cerrar la brecha entre la deliberación multimodal y la ejecución agéntica. Además, el entrenamiento de modelos para tal invocación adaptativa de herramientas suele derivar en inestabilidad, incluyendo el colapso del modelo, cuando el uso de herramientas se vuelve excesivo o no regulado.

Metodología

El artículo propone AIR (Razonamiento Intercalado Adaptativo con Código), un marco diseñado para dotar a los MLLM de capacidades de razonamiento intercalado adaptativo a través de un paradigma de entrenamiento de dos etapas: el ajuste fino supervisado (SFT) de arranque en frío y la mejora mediante aprendizaje por refuerzo (RL).

1. Construcción de Datos de Arranque en Frío de Dos Etapas

Para superar la dificultad de activar el razonamiento intercalado en modelos de código abierto más pequeños, los autores introducen una canalización de síntesis de datos desacoplada de dos pasos:

• Generación de CoT Textual: Un MLLM genera rutas iniciales de razonamiento de Cadena de Pensamiento (CoT) textual para problemas complejos.
• Reescritura Intercalada: Un LLM reescribe estas rutas, reemplazando los componentes de cálculo numérico con fragmentos de código Python ejecutables.
• Verificación: Los datos resultantes se someten a una verificación rigurosa en un entorno de pruebas (sandbox) para asegurar la integridad de la ejecución del código y la exactitud de los resultados antes de ser utilizados como datos de arranque en frío.

2. Estrategias de Filtrado de Datos de RL

Para asegurar datos de entrenamiento de alta fidelidad para la fase de RL, se emplean dos estrategias de filtrado distintas:

• Estrategia de Autosampleo: Utiliza un mecanismo de consenso de múltiples turnos donde los propios roll-outs del modelo candidato determinan la elegibilidad basada en la métrica Pass@k. Esto permite un re-filtrado iterativo a medida que el modelo mejora.
• Estrategia de Filtrado Previo: Aprovecha modelos "maestros" de alta capacidad (por ejemplo, GPT, Gemini) para actuar como una compuerta de calidad extrínseca, etiquetando muestras de datos basándose en si requieren la invocación de herramientas para una resolución efectiva.

3. Invocación de Herramientas Adaptativa mediante Recompensa Restringida por Grupo

La innovación central reside en la fase de entrenamiento de RL, que utiliza el algoritmo de Optimización de Política Relativa de Grupo (GRPO) mejorado con una función de recompensa restringida por grupo.

• Estructura de Recompensa Híbrida: La recompensa total ($R$) combina una Recompensa de Formato ($R_f$), una Recompensa de Exactitud ($R_{acc}$) y una Recompensa Integrada con Código ($R_{code}$).
• Restricciones de Grupo: A diferencia del GRPO estándar, este método introduce restricciones intra-grupo sobre la proporción de secuencias de razonamiento intercalado. La recompensa por el uso de código ($R_{code}$) se ajusta según la proporción de secuencias de llamada a herramientas dentro de un grupo, diferenciando si el resultado final es correcto ($P_r$) o incorrecto ($P_w$).
• Mecanismo de Estabilidad: Esta restricción evita que el modelo invoque herramientas en exceso (lo que conduce a picos de entropía y al colapso del entrenamiento) mientras fomenta la invocación adaptativa. Desacopla la recompensa de código de la recompensa de exactitud, reconociendo que el uso de herramientas es un componente de la cadena de razonamiento y no el único determinante del éxito.

Contribuciones Clave

1. Metodología de Construcción de Datos de Dos Etapas: Una canalización para sintetizar datos de arranque en frío que soporta el razonamiento intercalado aumentado con código, reduciendo efectivamente la barrera para generar trayectorias de entrenamiento de alta calidad.
2. Estrategias de Filtrado de Datos: La propuesta de estrategias de Autosampleo y Filtrado Previo para curar datos de razonamiento intercalado, mitigando el ruido y asegurando una optimización de política estable.
3. Estrategia de Invocación de Herramientas Adaptativa: El desarrollo de una variante de GRPO con restricciones de grupo que permite a los modelos determinar autónomamente la necesidad y el momento de las llamadas a herramientas, asegurando al mismo tiempo la estabilidad del entrenamiento a largo plazo.

Resultados Experimentales

Los experimentos se realizaron utilizando el modelo Qwen2.5-VL-7B en seis evaluaciones de razonamiento matemático (MathVista, MathVision, MathVerse, DynaMath, WeMath, LogicVista).

• Ganancias de Rendimiento: Tras el entrenamiento de RL con la recompensa restringida por grupo, el modelo AIR logró una mejora promedio de 6.1 puntos porcentuales (pp) en las evaluaciones en comparación con el modelo base.
• Mejoras Específicas: Ganancias notables incluyen +8.1 pp en MathVista, +7.7 pp en MathVerse y +9.9 pp en WeMath.
• Exactitud del Razonamiento Intercalado: La exactitud específicamente para las muestras de razonamiento intercalado aumentó en 9.9 pp.
• Éxito en el Uso de Herramientas: La tasa de éxito general en el uso de herramientas superó el 95% a través de varias proporciones de llamadas a herramientas.
• Estabilidad: El mecanismo de restricción por grupo evitó con éxito el colapso del entrenamiento, un problema común en el RL agéntico donde el uso excesivo de herramientas provoca inestabilidad.

Significado y Reivindicaciones

El artículo afirma que AIR representa un paso significativo hacia la capacidad de los MLLM para realizar razonamiento de Sistema 2 (pensamiento lento) mediante la orquestación autónoma de herramientas especializadas para tareas con alta carga de computación. A diferencia de trabajos previos centrados en la percepción visual (Sistema 1), AIR aborda la brecha crítica en la computación numérica compleja.

Los autores aseguran que su enfoque proporciona una solución robusta para el razonamiento multimodal complejo mediante:

1. El desacoplamiento de la generación de trazas de razonamiento de la ejecución de código, permitiendo una producción de datos más confiable.
2. La estabilización del entrenamiento de RL agéntico de largo horizonte a través de recompensas restringidas por grupo, evitando el colapso del modelo asociado con la invocación de herramientas no regulada.
3. La demostración de que la invocación de herramientas adaptativa, en lugar del uso fijo o excesivo, es la clave para mejorar el rendimiento en las evaluaciones matemáticas.

El artículo concluye modestamente, señalando que aunque AIR logra resultados sólidos, su rendimiento permanece limitado por las capacidades inherentes de codificación y percepción del modelo base, y que el trabajo futuro debería expandir la evaluación más allá del razonamiento matemático hacia dominios como la física y las finanzas.