Resumen Técnico: Aprendizaje por Refuerzo Multimodal con Verificador Adaptativo para Agentes de IA

Planteamiento del Problema

Los modelos de razonamiento agéntico entrenados con Aprendizaje por Refuerzo Multimodal (MMRL) han demostrado capacidades crecientes, pero están optimizados predominantemente mediante recompensas dispersas basadas en resultados, derivadas únicamente de las respuestas finales. Este enfoque proporciona una guía limitada sobre la calidad del proceso de razonamiento intermedio y a menudo conduce a alucinaciones visuales, donde los modelos generan respuestas fluidas pero carentes de fundamento que carecen de consistencia con la evidencia visual.

Aunque los métodos existentes han intentado abordar esto mediante la curación de anotaciones de Ajuste Fino Supervisado (SFT) fundamentadas, las observaciones empíricas indican que el SFT por sí solo es insuficiente. Durante el MMRL, los modelos tienden a colapsar en soluciones sin fundamento cuando las señales de fundamentación no se verifican explícitamente, particularmente bajo regímenes de recompensa dispersa. Además, computar recompensas más ricas y detalladas en MMRL es un desafío porque las diferentes muestras pueden requerir funciones de puntuación distintas, y los modelos profesor suelen proporcionar señales de recompensa ruidosas.

Metodología: El Marco Argos

Los autores presentan Argos (Adaptive Reward for Grounded & Objective Scoring), un marco de verificación basado en principios diseñado para entrenar modelos de razonamiento multimodal para tareas agénticas. Argos replantea el MMRL como un problema de optimización multiobjetivo, seleccionando dinámicamente de un conjunto de modelos profesor y funciones de puntuación basadas en reglas para evaluar cada muestra de entrenamiento.

1. Arquitectura del Verificador Adaptativo

Argos opera como un agente LMM que analiza la respuesta de un modelo (entrada visual $v$, pregunta $q$, traza de razonamiento $r$ y respuesta predicha $\hat{y}$) y compone de forma adaptativa un proceso de recompensa multiobjetivo. Evalúa tres dimensiones clave:

• Precisión de la Respuesta Final: Computada mediante coincidencia exacta de cadenas, precisión numérica relativa (con una tolerancia del 5%) o equivalencia semántica mediante un modelo de lenguaje.
• Fundamentación Espaciotemporal:
  • Espacial: Para imágenes, el sistema extrae los puntos 2D mencionados en la traza de razonamiento. Utiliza un modelo de detección de objetos de vocabulario abierto (por ejemplo, DINO) para generar cajas delimitadoras de pseudo-verdad de campo y un modelo de segmentación (por ejemplo, SAM-2) para refinar las máscaras. La puntuación es binaria, verificando si el punto predicho se encuentra dentro del objeto segmentado. Para contenido sintético (gráficos, mapas), se utiliza un modelo de punteo.
  • Temporal: Para videos, el sistema extrae observaciones a nivel de fotograma y eventos a nivel de segmento. Las puntuaciones a nivel de fotograma se computan de manera similar a la fundamentación espacial. Los eventos a nivel de segmento son evaluados por un modelo de razonamiento profesor potente para verificar la precisión visual-semántica contra el segmento de video correspondiente.
• Calidad del Razonamiento: Un modelo profesor más grande computa la probabilidad condicional de la respuesta predicha dado la pregunta, la traza de razonamiento y la entrada visual, midiendo la consistencia lógica entre el razonamiento y la respuesta final.

2. Agregación con Compuerta (Gated Aggregation)

Para evitar que las recompensas intermedias ruidosas sesguen al modelo lejos del resultado correcto, Argos emplea una función de agregación con compuerta. Si la precisión del resultado ($R_{acc}$) cae por debajo de un umbral $\tau$, la recompensa final es simplemente $R_{acc}$. Si $R_{acc} \ge \tau$, la recompensa final es un promedio ponderado de las recompensas de resultado, fundamentación y calidad de razonamiento:
$$R_{final} = \frac{w_A R_{acc} + w_G R_{spatial} + w_R R_{reasoning}}{w_A + w_G + w_R}$$

3. Pipeline de Curación de Datos

Los autores proponen un pipeline para generar trazas de razonamiento visualmente fundamentadas para el arranque en frío (cold-start) de SFT:

1. Generación de Propuestas: Utilizando un modelo profesor (GLM-4.1V) y detección de objetos (Molmo-7B), el sistema extrae puntos 2D y segmentos temporales de las entradas visuales.
2. Generación de la Traza: El modelo profesor es instado con imágenes superpuestas (que muestran coordenadas) y marcas de tiempo para generar trazas de razonamiento que referencien explícitamente estos puntos y segmentos temporales.
3. Verificación y Filtrado: Argos puntúa las ejecuciones generadas. Las muestras con generaciones de baja calidad (por ejemplo, respuestas correctas pero con mala fundamentación) son filtradas, asegurando que el conjunto de datos de SFT consista en ejemplos de alta calidad y fundamentados.

4. Entrenamiento

El modelo (basado en Qwen2.5-VL 7B) se somete a SFT en el conjunto de datos curado, seguido de MMRL utilizando el algoritmo GRPO. La ventaja se computa basada en las recompensas agregadas de Argos.

Contribuciones Clave

1. Marco Argos: El primer marco de verificación basado en principios con selección de herramientas adaptativa para MMRL, capaz de enrutar dinámicamente diferentes funciones de puntuación (modelos profesor y basadas en reglas) por muestra para evaluar simultáneamente la precisión, la fundamentación y la calidad del razonamiento.
2. Curación de Datos Fundamentados: Un pipeline novedoso para generar trazas de razonamiento visualmente fundamentadas en el espacio (puntos 2D) y el tiempo (segmentos temporales), junto con un mecanismo de filtrado para eliminar ejecuciones de baja calidad.
3. Superioridad Empírica: Demostración de que confiar únicamente en SFT con anotaciones fundamentadas es insuficiente; la verificación adaptativa en línea durante el RL es crítica para prevenir el hackeo de recompensas y el colapso hacia soluciones sin fundamento.
4. Desempeño de Vanguardia (SOTA): El enfoque logra resultados SOTA en diversos benchmarks agénticos, incluyendo razonamiento espacial, reducción de alucinaciones visuales, planificación de tareas corporizadas y control robótico.

Resultados Experimentales

El modelo fue evaluado en múltiples benchmarks bajo configuraciones de cero disparos (zero-shot):

• Razonamiento Espacial: En BLINK, Argos alcanzó un 56.0% de precisión, superando al baseline Qwen2.5-VL (54.4%) y al más grande Video-R1 (49.0%). En MindCube-t y CV-Bench, también mostró mejoras significativas, particularmente en la comprensión 3D.
• Alucinación Visual: Argos redujo significativamente las alucinaciones, logrando un 85.3% en CounterCurate (frente al 61.4% del baseline) y un 49.7% en HallusionBench. Notablemente, superó a Video-R1, que tuvo un desempeño inferior al modelo base en HallusionBench.
• IA Corporizada (Embodied AI): En el benchmark EB-Alfred, Argos mejoró las tasas de éxito de tareas en más de un 25% en tareas "complejas" comparado con el modelo base. En EB-Habitat, superó a los baselines con prompting de CoT por aproximadamente un 7% en tareas visuales complejas.
• Robótica: En el benchmark LIBERO para control continuo, Argos alcanzó un promedio de éxito del 84.2%, superando a los baselines incluyendo Video-R1 (83.5%) a pesar de utilizar significativamente menos muestras de entrenamiento (85k vs 270k).

Significancia y Reivindicaciones

El artículo afirma que Argos proporciona una solución robusta a los problemas de "hackeo de recompensa" y "razonamiento sin fundamento" prevalentes en el RL multimodal actual. Al tratar el MMRL como un problema de optimización multiobjetivo y utilizar un verificador adaptativo para agregar señales ruidosas, el marco guía la política hacia soluciones $\delta$-Pareto-óptimas, equilibrando la precisión final con la calidad del razonamiento intermedio y la fundamentación visual.

Los autores enfatizan que su trabajo demuestra una visión crucial: curar datos de SFT fundamentados es necesario pero insuficiente. Sin un mecanismo de verificación en línea como Argos durante la etapa de RL, los agentes inevitablemente revierten a soluciones sin fundamento. Se demuestra que la composición adaptativa de funciones de puntuación es efectiva para reducir la alucinación y mejorar la generalización a tareas agénticas complejas de largo horizonte, incluyendo la robótica y la navegación corporizada. La naturaleza modular de Argos sugiere que puede escalar con las mejoras en los modelos profesor específicos de la tarea para mejorar aún más los agentes multimodales.