Resumo Técnico: GROW – Alinhando GRPO com Modelagem de Estado-Ação para Agentes VLM de Mundo Aberto

1. Declaração do Problema

Agentes de Modelo de Visão e Linguagem (VLM) demonstraram potencial em tarefas de mundo aberto (por exemplo, Minecraft), que exigem percepção visual e execução de ações em múltiplas interações. Embora o Ajuste Fino Supervisionado (SFT) em demonstrações de especialistas seja o paradigma de treinamento dominante, ele sofre com altos custos de coleta de dados e escalabilidade limitada. Além disso, o SFT frequentemente fica atrás dos métodos de Aprendizado por Reforço (RL) em desempenho.

Embora a Otimização de Política Relativa em Grupo (GRPO) tenha surgido como um algoritmo de RL eficaz para modelos fundamentais — eliminando a necessidade de um modelo de valor separado ao calcular vantagens através de grupos de saídas amostradas —, aplicar diretamente o GRPO padrão a tarefas de mundo aberto apresenta desafios significativos:

• Comprimento de Contexto: O GRPO padrão trata uma trajetória completa de interação como uma única amostra de treinamento. Em ambientes de mundo aberto, essas trajetórias acumulam comprimentos de contexto excessivos, frequentemente excedendo os limites de tokens.
• Ruído: Trajetórias completas contêm informações e ruídos substancialmente irrelevantes, degradando a qualidade da estimativa do gradiente de política.
• Incompatibilidade Teórica: O GRPO padrão assume que amostras agrupadas são respostas diferentes ao mesmo prompt. Em tarefas de mundo aberto, decompor trajetórias significa que as amostras agrupadas são condicionadas a diferentes estados locais, violando essa suposição.

2. Metodologia: O Framework GROW

Os autores propõem o GROW (GRPO para Agentes VLM de Mundo Aberto), um framework que adapta o GRPO para configurações de mundo aberto, decompondo trajetórias em amostras de estado-ação de granularidade fina.

2.1 Decomposição de Trajetória

Em vez de otimizar trajetórias completas, o GROW decompõe as trajetórias de rolagem coletadas $\tau = \{(s_1, a_1), \dots, (s_H, a_H)\}$ em pares individuais de estado-ação.

• Propagação de Recompensa: Como as recompensas nesses ambientes são esparsas e verificáveis apenas na conclusão da tarefa ($R(\tau)=1$ para sucesso, $0$ caso contrário), a recompensa é propagada para trás ao longo da trajetória usando um fator de desconto $\gamma$:
  $$r_{i,t} = \gamma^{H_i - t} R(\tau_i)$$
  Isso garante que amostras de estado-ação mais próximas do resultado bem-sucedido recebam sinais de aprendizado mais fortes.

2.2 Cálculo de Vantagem Estado-Ação

Dentro de um grupo de rolagem de $G$ ambientes paralelos, o GROW calcula vantagens relativas sobre as amostras de estado-ação decompostas, em vez de trajetórias completas.

• A vantagem $A_{i,t}$ é calculada normalizando as recompensas descontadas $r_{i,t}$ através do grupo:
  $$A_{i,t} = \frac{r_{i,t} - \mu}{\sigma}$$
  onde $\mu$ e $\sigma$ são a média e o desvio padrão do conjunto de recompensas dentro do grupo.
• O objetivo de treinamento segue o objetivo truncado padrão estilo PPO, mas opera nessas unidades de estado-ação:
  $$J = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{H_i} \sum_{t=1}^{H_i} \min(\rho_{i,t}(\theta) A_{i,t}, \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon) A_{i,t}) \right]$$

2.3 Análise de Surrogado

Os autores abordam a preocupação teórica de que as amostras agrupadas no GROW são condicionadas a diferentes estados locais ($s_{i,t}$) em vez de um prompt idêntico. Sob suposições simplificadoras (comprimento de trajetória uniforme $H$ e etapas de interação consistentes), eles derivam uma análise de surrogado mostrando que o objetivo se decompõe em dois termos:

1. $J_{traj}$: Preserva a preferência relativa ao nível de trajetória, comparando as recompensas da trajetória $R(\tau_i)$ contra a média do grupo $S$.
2. $J_{step}$: Captura os efeitos de desconto temporal, refinando a atribuição de crédito dentro de trajetórias bem-sucedidas para enfatizar decisões diretamente relacionadas ao sucesso final.
   A análise conclui que, apesar do afastamento da suposição de prompt idêntico, o objetivo mantém um sinal de otimização de política relativa válido e eficaz.

3. Contribuições Principais

1. Proposta de Framework: Introdução do GROW, um framework de RL que combina treinamento inicial (cold-start) em amostras de estado-ação com refinamento de política baseado em GRPO via decomposição de trajetória.
2. Justificativa Teórica: Fornecimento de uma análise de surrogado demonstrando que a otimização de política relativa permanece eficaz mesmo quando as amostras agrupadas são condicionadas a diferentes estados locais, desde que aproximações de tratabilidade razoáveis sejam mantidas.
3. Validação Empírica: Testes extensivos em mais de 800 tarefas de Minecraft, demonstrando que o framework alcança desempenho State-of-the-Art (SOTA) tanto na taxa de sucesso quanto na eficiência de execução.

4. Resultados Experimentais

Os experimentos foram conduzidos em Minecraft (Edição Java) usando o benchmark MCU, cobrindo três categorias: tarefas corporificadas (navegação/mineração), tarefas de GUI (criação/fusão) e tarefas de Combate. O modelo base foi o Qwen2-VL-7B-Instruct.

• Ganhos de Desempenho: O GROW alcançou resultados SOTA em todas as categorias:
  • Corporificado: A ASR melhorou de 50,4% (melhor anterior) para 59,6%.
  • GUI: A ASR melhorou de 39,1% para 68,4%.
  • Combate: A ASR melhorou de 39,2% para 49,0%.
• Eficiência: O número médio de etapas necessárias para completar tarefas foi significativamente reduzido (por exemplo, de 263 para 128 etapas em tarefas corporificadas).
• Generalização: O GROW mostrou forte generalização para tarefas não vistas (RL-não-visto), melhorando significativamente as taxas de sucesso sobre a política inicial sem sobreajuste ao conjunto de treinamento.
• Estudos de Ablação:
  • vs. PPO: O GROW superou o PPO tanto nas taxas de sucesso quanto na velocidade de convergência.
  • Fator de Desconto ($\gamma$): Um valor de $\gamma=0,995$ produziu o melhor equilíbrio entre atribuição de crédito de longo horizonte e eficiência local.
• Análise Comportamental: Tarefas diagnósticas revelaram que o GROW melhorou habilidades específicas, como fixação estável do alvo, reaquisição ativa do alvo (busca por alvos perdidos) e operação de GUI robusta a distrações.

5. Significado e Alegações

O artigo afirma que o GROW estabelece um novo SOTA para agentes VLM de mundo aberto, conectando efetivamente a lacuna entre algoritmos avançados de RL (GRPO) e as restrições específicas de ambientes de mundo aberto (trajetórias longas e ruidosas).

• Conquista Central: O framework mitiga com sucesso os problemas de acúmulo excessivo de contexto e ruído inerentes ao RL de trajetória completa, preservando o sinal central de otimização relativa do GRPO.
• Aquisição de Habilidades: Os resultados sugerem que o GROW fomenta estratégias de interação reutilizáveis (por exemplo, busca ativa, manuseio robusto de GUI) em vez de mera memorização de trajetórias.
• Escalabilidade: Ao decompor trajetórias, o método oferece um caminho escalável para treinar agentes VLM em ambientes complexos e de múltiplas interações, onde a estimativa de valor é custosa e instável.

Os autores notam limitações, incluindo a falta atual de um módulo de memória para tarefas de horizonte muito longo e a dependência de simuladores específicos (Minecraft), sugerindo que trabalhos futuros poderiam explorar a sumarização do histórico e a expansão para diversos ambientes de mundo aberto.