Resumo Técnico: Estimativa de Vantagem Híbrida com Crítico Unificado para Aprendizado por Reforço Agêntico em VLM

Declaração do Problema

Modelos de Linguagem e Visão de Grande Escala (VLMs) estão sendo cada vez mais implantados como agentes em ambientes interativos de múltiplos turnos onde o sucesso depende de um raciocínio coerente e da tomada de decisão sequencial. No entanto, os atuais VLMs sofrem de "miopia", muitas o razinhando baseando-se apenas na observação mais recente enquanto negligenciam o contexto das ações e feedbacks passados. Isso leva a comportamentos repetitivos e não adaptativos, onde a tomada de decisão de múltiplos turnos degenera em gerações descontínuas de turno único.

As abordagens existentes de aprendizado por reforço (RL) para VLMs geralmente adotam dois paradigmas de modelagem, ambos com limitações:

1. RL baseado em Tokens: Trata cada token gerado como uma ação individual. Embora isso forneça orientação detalhada para a geração de linguagem, frequentemente falha em aproveitar efetivamente o feedback intermediário ao nível do turno.
2. RL baseado em Turnos: Trata toda a sequência de tokens gerada em um turno como uma única macro-ação. Isso utiliza melhor o feedback intermediário para diferenciação intra-turno, mas carece do controle fino necessário para uma geração autorregressiva estável.

Trabalhos anteriores que tentam combinar esses níveis geralmente dependem de modelos hierárquicos complexos ou atribuição de crédito heurística sem uma fundação teórica unificada, levando a compromissos subótimos entre viés e variância.

Metodologia: HyGAE

Os autores propõem o HyGAE (Hybrid Advantage Estimation with Unified Critic - Estimativa de Vantagem Híbrida com Crítico Unificado), um framework ator-crítico que otimiza conjuntamente objetivos de nível de token e de nível de turno. O método é fundamentado em uma unificação teórica das duas formulações de RL.

Formulação Teórica

O artigo estabelece que o RL baseado em tokens e o baseado em turnos podem ser vistos sob um framework unificado de Processo de Decisão de Markov Parcialmente Observável (POMDP).

• Equivalência de Gradientes: Os autores provam que, sob restrições específicas de fator de desconto ($\gamma_t = \gamma^{I_t}$, onde $I_t$ é o comprimento do turno), os gradientes de política para os objetivos de token e de turno são idênticos.
• Crítico Unificado: Eles demonstram que uma única função de valor (crítico) pode estimar valores para ambos os níveis. Especificamente, o valor do turno no início de um turno é equivalente ao valor do token no último token desse mesmo turno, desde que os fatores de desconto estejam alinhados. Isso elimina a necessidade de modelos de valor separados, reduzindo o custo computacional.

Estimativa de Vantagem Híbrida

Em vez de escolher entre vantagens de nível de token ou de nível de turno, o HyGAE emprega uma função de vantagem híbrida:
$$\hat{A}^i_t = \alpha \hat{A}_t + (1 - \alpha) \hat{A}^i_t$$
Onde $\hat{A}_t$ é a vantagem de turno e $\hat{A}^i_t$ é a vantagem de token.

• Vantagem de Turno: Computada usando a Estimativa de Vantagem Generalizada (GAE) sobre turnos, preservando o sinal de recompensa do nível do turno e evitando o desconto excessivo através de tokens de raciocínio intermediários.
• Vantagem de Token: Computada usando GAE sobre tokens, proporcionando diferenciação fina dentro de um turno.
• Retorno Híbrido: Para atualizar o crítico unificado, os autores propõem uma formulação específica para o retorno híbrido. Eles transmitem o retorno de turno de volta às posições dos tokens intermediários ao somar recompensas descontadas do token atual até o fim do turno, combinando então isso com o retorno de token. Esta forma analítica precisa mostrou-se crítica para estabilizar o treinamento da função de valor.

Algoritmo

O HyGAE opera dentro de um loop padrão de PPO (Proximal Policy Optimization):

1. Coleta trajetórias envolvendo múltiplos turnos de interação.
2. Computa vantagens e retornos de turno e de token separadamente.
3. Combina-os usando o coeficiente de mistura $\alpha$ para formar a vantagem híbrida e o retorno híbrido.
4. Atualiza a política (ator) e o modelo de valor unificado (crítico) usando os sinais híbridos.

Principais Contribuições

1. Unificação Teórica: O artigo fornece uma formulação formal revelando a similaridade intrínseca entre o RL de nível de token e de nível de turno, provando que seus substitutos compartilham o mesmo gradiente sob condições específicas.
2. Estimativa de Vantagem Híbrida: Um novo método que combina linearmente as vantagens de token e de turno. Os autores provam que esta abordagem equilibra o compromisso entre viés e variância: estimadores de nível de turno possuem menor viés, porém maior variância, enquanto estimadores de nível de token possuem maior viés, porém menor variância. A abordagem híbrida mitiga as fraquezas de ambos.
3. Treinamento de Crítico Unificado: Uma prova de que um único modelo de valor pode estimar eficazmente valores para ambas as granularidades, melhorando significativamente a eficiência computacional em comparação com abordagens hierárquicas.
4. Desempenho Empírico: O método alcança resultados de Estado da Arte (SOTA) em cinco diversos benchmarks de tomada de decisão de múltiplos turnos.

Resultados Experimentais

Os autores avaliaram o HyGAE em cinco benchmarks: Sokoban, FrozenLake, Navigation, Primitive Skill (manipulação robótica) e VIRL (navegação no mundo real).

• Desempenho: O HyGAE alcançou uma taxa média de sucesso de 91% em todas as tarefas, superando significativamente as linhas de base.
  • Superou modelos proprietários (ex: GPT-5, Gemini 2.5 Pro, Claude Sonnet 4.5) que tiveram média de aproximadamente 0,5–0,6.
  • Superou significativamente os VLMs abertos congelados (média < 0,1).
  • Entre métodos de RL, superou o Token-PPO (0,81), o Turn-PPO (0,47) e o VAGEN-Base (0,74).
• Estudos de Ablação:
  • O coeficiente de mistura $\alpha = 0,5$ (peso igual) produziu o melhor desempenho, confirmando o valor de combinar ambos os sinais.
  • Identificou-se que a formulação específica do retorno híbrido (transmissão de recompensas de turno com desconto) foi crucial; formulações alternativas levaram ao colapso do treinamento.
  • O HyGAE demonstrou uma variância significativamente menor nas taxas de sucesso comparado ao PPO padrão, indicando uma otimização mais estável.
• Análise Qualitativa: As visualizações mostraram que, enquanto modelos congelados costumam repetir ações falhas ou planos estáticos, o HyGAE consegue adaptar sua estratégia com base nos feedbacks ambientais, demonstrando um raciocínio multiturno coerente.

Significância

O artigo afirma que o principal gargalo no treinamento agêntico de VLMs é o descompasso entre os paradigmas de treinamento de turno único e os requisitos de interação de múltiplos turnos. Ao unificar teoricamente a otimização de nível de token e de nível de turno e introduzir uma estimativa de vantagem híbrida computacionalmente eficiente, o HyGAE preenche a lacça entre o planejamento estratégico de alto nível e a geração de linguagem de baixo nível. O trabalho sugere que formas analíticas precisas para estimativas de vantagem e retorno são críticas para uma otimização estável, oferecendo um framework robusto para treinar VLMs para agir como agentes eficazes em ambientes complexos e interativos.