Resumen Técnico: GROW – Alineación de GRPO con Modelado Estado-Acción para Agentes VLM de Mundo Abierto

1. Declaración del Problema

Los agentes de Modelos Visuales-Lingüísticos (VLM) han demostrado potencial en tareas de mundo abierto (por ejemplo, Minecraft), las cuales requieren percepción visual y ejecución de acciones en múltiples turnos. Aunque el Ajuste Fino Supervisado (SFT) sobre demostraciones de expertos es el paradigma de entrenamiento dominante, adolece de altos costos de recopilación de datos y escalabilidad limitada. Además, el SFT a menudo se queda atrás de los métodos de Aprendizaje por Refuerzo (RL) en cuanto a rendimiento.

Aunque la Optimización de Políticas Relativas por Grupos (GRPO) ha surgido como un algoritmo de RL efectivo para modelos fundacionales, eliminando la necesidad de un modelo de valor separado al calcular ventajas a través de grupos de salidas muestreadas, la aplicación directa de GRPO estándar a tareas de mundo abierto presenta desafíos significativos:

• Longitud de Contexto: GRPO estándar trata una trayectoria completa de interacción como una única muestra de entrenamiento. En entornos de mundo abierto, estas trayectorias acumulan longitudes de contexto excesivas, a menudo excediendo los límites de tokens.
• Ruido: Las trayectorias completas contienen información y ruido sustancialmente irrelevantes, degradando la calidad de la estimación del gradiente de la política.
• Incompatibilidad Teórica: GRPO estándar asume que las muestras agrupadas son diferentes respuestas a la misma instrucción. En tareas de mundo abierto, descomponer las trayectorias significa que las muestras agrupadas están condicionadas a diferentes estados locales, violando esta suposición.

2. Metodología: El Marco GROW

Los autores proponen GROW (GRPO para agentes VLM de mundo abierto), un marco que adapta GRPO a entornos de mundo abierto mediante la descomposición de trayectorias en muestras de estado-acción de granularidad fina.

2.1 Descomposición de Trayectorias

En lugar de optimizar trayectorias completas, GROW descompone las trayectorias de despliegue recolectadas $\tau = \{(s_1, a_1), \dots, (s_H, a_H)\}$ en pares individuales de estado-acción.

• Propagación de Recompensas: Dado que las recompensas en estos entornos son escasas y verificables solo al completar la tarea ($R(\tau)=1$ para éxito, $0$ en caso contrario), la recompensa se propaga hacia atrás a lo largo de la trayectoria utilizando un factor de descuento $\gamma$:
  $$r_{i,t} = \gamma^{H_i - t} R(\tau_i)$$
  Esto asegura que las muestras de estado-acción más cercanas al resultado exitoso reciban señales de aprendizaje más fuertes.

2.2 Cálculo de la Ventaja Estado-Acción

Dentro de un grupo de despliegue de $G$ entornos paralelos, GROW calcula ventajas relativas sobre las muestras de estado-acción descompuestas en lugar de trayectorias completas.

• La ventaja $A_{i,t}$ se calcula normalizando las recompensas descontadas $r_{i,t}$ a través del grupo:
  $$A_{i,t} = \frac{r_{i,t} - \mu}{\sigma}$$
  donde $\mu$ y $\sigma$ son la media y la desviación estándar del conjunto de recompensas dentro del grupo.
• El objetivo de entrenamiento sigue el objetivo recortado estilo PPO estándar, pero opera sobre estas unidades de estado-acción:
  $$J = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{H_i} \sum_{t=1}^{H_i} \min(\rho_{i,t}(\theta) A_{i,t}, \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon) A_{i,t}) \right]$$

2.3 Análisis de Sustitutos

Los autores abordan la preocupación teórica de que las muestras agrupadas en GROW están condicionadas a diferentes estados locales ($s_{i,t}$) en lugar de una instrucción idéntica. Bajo suposiciones simplificadas (longitud de trayectoria uniforme $H$ y pasos de interacción consistentes), derivan un análisis de sustitutos que muestra que el objetivo se descompone en dos términos:

1. $J_{traj}$: Preserva la preferencia relativa a nivel de trayectoria comparando las recompensas de trayectoria $R(\tau_i)$ contra el promedio del grupo $S$.
2. $J_{step}$: Captura los efectos de descuento temporal, refinando la asignación de crédito dentro de las trayectorias exitosas para enfatizar las decisiones directamente relacionadas con el éxito final.
   El análisis concluye que, a pesar de la desviación de la suposición de instrucción idéntica, el objetivo conserva una señal válida y efectiva de optimización de políticas relativas.

3. Contribuciones Clave

1. Propuesta de Marco: Introducción de GROW, un marco de RL que combina entrenamiento de arranque en frío sobre muestras de estado-acción con refinamiento de políticas basado en GRPO mediante descomposición de trayectorias.
2. Justificación Teórica: Provisión de un análisis de sustitutos que demuestra que la optimización de políticas relativas sigue siendo efectiva incluso cuando las muestras agrupadas están condicionadas a diferentes estados locales, siempre que se mantengan aproximaciones de tratabilidad razonables.
3. Validación Empírica: Pruebas extensas en más de 800 tareas de Minecraft, demostrando que el marco logra un rendimiento de vanguardia (SOTA) tanto en tasa de éxito como en eficiencia de ejecución.

4. Resultados Experimentales

Los experimentos se realizaron en Minecraft (Edición Java) utilizando el benchmark MCU, cubriendo tres categorías: tareas encarnadas (navegación/minería), tareas de GUI (elaboración/fusión) y tareas de combate. El modelo base fue Qwen2-VL-7B-Instruct.

• Mejoras de Rendimiento: GROW logró resultados SOTA en todas las categorías:
  • Encarnadas: La ASR mejoró de 50.4% (anterior mejor) a 59.6%.
  • GUI: La ASR mejoró de 39.1% a 68.4%.
  • Combate: La ASR mejoró de 39.2% a 49.0%.
• Eficiencia: El número promedio de pasos requeridos para completar tareas se redujo significativamente (por ejemplo, de 263 a 128 pasos en tareas encarnadas).
• Generalización: GROW mostró una fuerte generalización a tareas no vistas (RL-no vistas), mejorando las tasas de éxito significativamente sobre la política inicializada sin sobreajustarse al conjunto de entrenamiento.
• Estudios de Ablación:
  • vs. PPO: GROW superó a PPO tanto en tasas de éxito como en velocidad de convergencia.
  • Factor de Descuento ($\gamma$): Un valor de $\gamma=0.995$ produjo el mejor equilibrio entre asignación de crédito a largo plazo y eficiencia local.
• Análisis Conductual: Tareas de diagnóstico revelaron que GROW mejoró habilidades específicas como la fijación estable de objetivos, la reacquisición activa de objetivos (búsqueda de objetivos perdidos) y la operación de GUI robusta frente a distractores.

5. Significado y Afirmaciones

El artículo afirma que GROW establece un nuevo SOTA para agentes VLM de mundo abierto al cerrar efectivamente la brecha entre algoritmos de RL avanzados (GRPO) y las restricciones específicas de los entornos de mundo abierto (trayectorias largas y ruidosas).

• Logro Central: El marco mitiga con éxito los problemas de acumulación excesiva de contexto y ruido inherentes al RL de trayectoria completa, preservando al mismo tiempo la señal central de optimización relativa de GRPO.
• Adquisición de Habilidades: Los resultados sugieren que GROW fomenta estrategias de interacción reutilizables (por ejemplo, búsqueda activa, manejo robusto de GUI) en lugar de mera memorización de trayectorias.
• Escalabilidad: Al descomponer trayectorias, el método ofrece un camino escalable para entrenar agentes VLM en entornos complejos y de múltiples turnos donde la estimación de valor es costosa e inestable.

Los autores señalan limitaciones, incluida la falta actual de un módulo de memoria para tareas de horizonte muy largo y la dependencia de simuladores específicos (Minecraft), sugiriendo que trabajos futuros podrían explorar la resumen de historiales y la expansión a diversos entornos de mundo abierto.