Resumo Técnico: Gated-BEPO

Declaração do Problema

O treinamento de agentes de Grandes Modelos de Linguagem (LLMs) em ambientes de longo horizonte requer uma atribuição de crédito eficaz: mapear recompensas terminais esparsas (sucesso/falha) de volta às ações individuais tomadas durante a trajetória. Métodos existentes sem crítico, como o GRPO, tipicamente atribuem a mesma vantagem de resultado ao nível da trajetória para cada passo. Essa atribuição grosseira reforça ações ineficazes em trajetórias bem-sucedidas e penaliza ações úteis em trajetórias falhas, retardando o aprendizado e limitando o desempenho final.

Métodos recentes de nível de passo tentam refinar isso construindo grupos de passos via correspondência de estado ou histórico (ex: GiGPO, HGPO) ou usando métricas de distância baseadas em grafos (ex: GraphGPO). No entanto, essas abordagens enfrentam limitações específicas:

1. Elas frequentemente dependem de uma fusão de pesos fixos entre créditos de passo e de episódio sem mecanismos adaptativos.
2. Métodos baseados em grafos podem sofrer de aliasing perceptual, onde observações idênticas correspondem a diferentes estados ocultos subjacentes, levando a estimativas de valor frágeis.
3. Eles carecem de um mecanismo baseado em evidências para determinar quando as comparações locais de nível de passo são confiáveis o suficiente para sobrepor ou suplementar os resultados grosseiros da trajetória.

Metodologia: Gated-BEPO

Gated-BEPO (Atribuição de Crédito Bellman com Portão de Confiança) é um método sem crítico que deriva o crédito de nível de passo a partir de grafos de rollouts empíricos e o funde adaptativamente com o crédito de nível de trajetória com base na confiança local.

1. Construção de Grafo Empírico

Para cada grupo de rollout (um conjunto de trajetórias geradas a partir da mesma tarefa inicial), o método mescla estados observados idênticos em um grafo de estado compartilhado. Este grafo retém as multiplicidades das transições observadas (arestas). Estados terminais (sucesso, falha, truncamento) são tratados como estados absorventes com valor zero.

2. Estimativa de Valor de Ponto Fixo de Bellman

Em vez de treinar uma rede de crítico, o Gated-BEPO estima valores de estado diretamente do grafo empírico usando um ponto fixo de Bellman de backup de média.

• Inicialização: Os valores são inicializados com retornos de Monte Carlo.
• Atualização: O valor de um estado não terminal $s$ é atualizado pela média dos retornos de suas transições de saída observadas:
  $$V^{(k+1)}(s) = \frac{1}{|E(s)|} \sum_{(r, s') \in E(s)} [r + \gamma V^{(k)}(s')]$$
  onde $E(s)$ é o multiconjunto de transições de saída. Este operador é uma contração, garantindo um ponto fixo único que reflete a distribuição de ações empírica da política atual.
• Resíduos de Diferença Temporal (TD): Uma vez alcançado o ponto fixo, o método calcula os resíduos TD para cada transição: $\delta_i = r_i + \gamma V(s'_i) - V(s_i)$. Esses resíduos medem se uma transição específica é melhor ou pior do que a média empírica das arestas de saída daquele estado.

3. Estimativa de Vantagem Generalizada (GAE)

Os resíduos TD são propagados para trás ao longo de cada trajetória original usando GAE para capturar efeitos imediatos e subsequentes:
$$\hat{A}^{FP}_i = \delta_i + \gamma \lambda \hat{A}^{FP}_{next(i)}$$
Isso gera uma vantagem de ponto fixo ($\hat{A}^{FP}$) que é padronizada através do grupo de rollout.

4. Mistura de Crédito com Portão de Confiança

A inovação central é um mecanismo de portão adaptativo que determina o quanto confiar no sinal Bellman local versus o resultado da trajetória global.

• Definição do Portão: Um portão binário $\rho(s)$ é ativado apenas se o estado $s$ possuir evidência local suficiente:
  1. Visitas repetidas ($n(s) \ge n_{min}$).
  2. Ramificação observada ($|Succ(s)| \ge b_{min}$, ou seja, múltiplos sucessores distintos).
• Regra de Mistura: A vantagem final $\hat{A}_i$ é uma soma ponderada da vantagem de resultado ($\hat{A}^{out}$) e da vantagem de ponto fixo ($\hat{A}^{FP}$):
  $$\hat{A}_i = \eta_i \hat{A}^{out}_i + w \rho(s_i) \hat{A}^{FP}_i$$
  • Estados Não Confiáveis ($\rho=0$): O método depende inteiramente da vantagem de resultado ($\eta_i = 1$).
  • Estados Confiáveis ($\rho=1$): A vantagem de ponto fixo é ativada, e a vantagem de resultado é reduzida ($\eta_i = \eta_{min}$) para evitar que ela sobrecarregue o sinal de passo mais informativo.

Principais Contribuições

1. Estimador de Ponto Fixo de Bellman Sem Crítico: Um método para derivar valores de estado e vantagens de nível de passo diretamente de grafos de rollout empíricos sem treinar uma rede de valor separada, reduzindo o ruído e a sensibilidade ao aliasing perceptual em comparação com métodos de distância de grafo.
2. Mistura com Portão de Confiança: Um mecanismo que utiliza evidência de grafo local (ramificação e repetição) para controlar a aplicação do crédito de nível de passo. Isso evita que estimativas locais não suportadas corrompam as atualizações da política, enquanto garante que sinais de passo confiáveis não sejam sufocados pelos resultados grosseiros da trajetória.
3. Validação Empírica: Demonstração de melhorias consistentes em ambientes de texto (WebShop, ALFWorld) e visão-linguagem (Sokoban) usando vários backbones de LLM (Qwen2.5, Qwen3).

Resultados Experimentais

Experimentos foram conduzidos no WebShop, ALFWorld e Visual Sokoban usando modelos Qwen2.5 (1.5B, 7B) e Qwen3 (1.7B).

• Ganhos de Desempenho: O Gated-BEPO superou consistentemente bases fortes, incluindo GRPO, GiGPO, HGPO e GAGPO.
  • No ALFWorld (1.5B), melhorou as taxas de sucesso em 2,78% sobre o HGPO.
  • No WebShop (1.5B), melhorou o sucesso em 3,51% sobre o HGPO e as pontuações de tarefa em 6,9% sobre o GRPO.
  • No Visual Sokoban, alcançou 80,03% de sucesso, superando o GRPO e o GiGPO por margens significativas.
• Velocidade de Aprendizado: As curvas de treinamento indicam convergência mais rápida e taxas de sucesso final mais altas em comparação com métodos de nível de trajetória.
• Robustez ao Aliasing: Em um experimento controlado no ALFWorld usando observações brutas (sem informação de estado aumentada), o GraphGPO falhou em aprender devido ao aliasing perceptual, enquanto o Gated-BEPO permaneceu eficaz. Isso é atribuído ao seu uso de resíduos TD específicos de transição em vez de distâncias de caminho mais curto em grafos mesclados.
• Estudos de Ablação:
  • Todos os três componentes (Crédito de Ponto Fixo de Bellman, Portão de Confiança, Redução de Peso de Resultado) contribuíram positivamente para o desempenho.
  • O backup de Bellman "Média" mostrou-se superior aos backups "Max" ou "Softmax", que amplificavam transições raras.
  • O portão binário exigindo sucessores distintos foi mais eficaz do que pontuações de confiança contínuas ou portões baseados apenas em repetição.

Significância

O artigo postula que o Gated-BEPO aborda o compromisso fundamental do RL sem crítico para agentes: equilibrar a estabilidade dos resultados de nível de trajetória com a granularidade do aprendizado de nível de passo. Ao derivar valores de grafos empíricos e controlar sua aplicação com base na evidência local, o método fornece um sinal mais confiável para a otimização de política em tarefas de longo horizonte. Ele demonstra que a atribuição de crédito refinada pode ser alcançada sem o custo computacional ou a instabilidade de críticos aprendidos, desde que o sistema possa distinguir entre estados onde a comparação local é empiricamente suportada e aqueles em que não é.