Resumo Técnico: Aprendizado por Reforço Agêntico com Modelagem de Recompensa por Autodestilação (ADRS)

Definição do Problema

O Aprendizado por Reforço (RL) agêntico permite que agentes de Grandes Modelos de Linguagem (LLMs) aprendam através da interação com ambientes. No entanto, o RL agêntico padrão geralmente depende de recompensas terminais esparsas ao nível da trajetória. Embora essas recompensas indiquem se uma trajetória teve sucesso, elas falham em identificar quais decisões intermediárias (consultas ou ações) merecem crédito. Essa esparsidade torna difícil a atribuição de crédito temporal ao nível de token, mesmo para métodos de grupo-relativo sem crítico, como GRPO e GiGPO.

Embora habilidades em linguagem natural (ex: submetas, regras de ação) possam fornecer orientação mais densa, os métodos existentes lutam para integrar essa informação de forma eficaz. Especificamente, as abordagens atuais enfrentam três desafios técnicos ao utilizar informações "privilegiadas" (habilidades disponíveis apenas durante o treinamento):

1. Calibração de Pontuação: As probabilidades logarítmicas brutas do professor variam em deslocamento (offset) e escala entre os passos de interação devido ao comprimento do contexto e à composição da resposta, tornando-as incomparáveis.
2. Estimativa de Confiabilidade: Uma alta confiança do professor não correlaciona necessariamente com retornos realizados mais altos; um professor pode preferir decisões linguisticamente canônicas que falham em alcançar o resultado da tarefa.
3. Integração de Crédito: Os métodos existentes frequentemente tratam a supervisão privilegiada como um objetivo auxiliar separado, o que pode desalinhá-la com a construção nativa de recompensa-para-vantagem (reward-to-advantage) do backbone de RL ao nível de token.

Metodologia: Estrutura ADRS

Os autores propõem o Aprendizado por Reforço Agêntico com Modelagem de Recompensa por Autodestilação (ADRS), uma estrutura que converte habilidades procedimentais correspondentes à tarefa em recompensas de nível de token associadas ao retorno, sem exigir as habilidades durante o rollout ou inferência. O ADRS opera como uma camada de construção de crédito entre a coleta de trajetórias e a otimização do ator, abordando os três desafios por meio de três módulos acoplados:

1. Pontuação Privilegiada Relativa Dentro do Passo (Calibração de Pontuação)

Para resolver a incomparabilidade das pontuações brutas entre os passos, o ADRS reescala os tokens gerados pelo estudante usando um snapshot de política congelada sob um contexto privilegiado (habilidades correspondentes à tarefa). Em seguida, aplica centralização dentro do passo e normalização de escala:

• Ele calcula a probabilidade logarítmica média ($b_s$) das pontuações privilegiadas dentro de um passo de interação específico.
• Ele computa o desvio assinado ($q_{s,j}$) de cada token em relação a essa média.
• Ele normaliza pelo desvio padrão ($\sigma_q$) dos desvios dentro do passo.
  Isso gera uma pontuação centralizada e com escala controlada ($\hat{q}_{s,j}$) que representa a preferência relativa do token dentro de um passo de decisão, suprimindo o desvio dependente do passo enquanto retém as pontuações brutas para a subsequente estimativa de confiabilidade.

2. Portão de Confiabilidade TVA de Retorno Associado (Estimativa de Confiabilidade)

Para garantir que o sinal privilegiado se alinhe ao sucesso real da tarefa, o ADRS introduz um portão de Vantagem de Valor do Professor (TVA). Este portão modula o sinal normalizado com base na associação entre a confiança privilegiada e os retornos realizados dentro de um grupo de comparação (ex: trajetórias para o mesmo prompt em GRPO, ou estados âncora em GiGPO).

• O método computa um peso de alta confiança suave ($\alpha_u$) para cada unidade (trajetória ou passo) com base em sua probabilidade logarítmica privilegiada média.
• Ele contrasta os retornos de unidades de alta confiança ($\mu^+_g$) contra unidades de baixa confiança ($\mu^-_g$).
• A diferença ($d_g$) serve como um portão escalar ($m_u$). Se uma maior confiança correlaciona-se com maiores retornos, o portão amplifica o sinal; se não, ele o suprime.
  A Proposição 1 estabelece que o sinal do portão TVA corresponde à covariância empírica entre a confiança privilegiada e o retorno dentro do grupo.

3. Modulação de Vantagem por Token Guiada pelo Professor (Integração de Crédito)

Em vez de usar uma perda auxiliar separada, o ADRS integra o sinal portado no caminho nativo de recompensa-para-vantagem antes da construção da vantagem.

• Recompensa do Professor: A pontuação normalizada e portada é convertida em uma recompensa de nível de token ($r^T_{s,j} = \eta m_{s,j} \hat{q}_{s,j}$).
• Recompensa Modelada (Shaped Reward): Esta é adicionada à recompensa base do ambiente ($\tilde{r}_{s,j} = r^{base}_{s,j} + r^T_{s,j}$).
• Construção da Vantagem: A recompensa modelada é passada pelo operador de vantagem padrão (ex: GRPO ou GiGPO).
• Caminho Duplo: Como a recompensa do professor centralizada por passo soma zero (Proposição 2), a soma ao nível da trajetória permanece inalterada, preservando a direção do resultado definido pelo ambiente. No entanto, a vantagem ao nível de token é redistribuída ($A^{ADRS} = A^{traj} + \eta Z^T$), permitindo que a política aprenda quais tokens específicos dentro de uma trajetória bem-sucedida foram mais críticos.

Principais Contribuições

1. Estrutura ADRS: Um método de modelagem de recompensa por autodestilação que transforma habilidades procedimentais exclusivas de treinamento em recompensas de token associadas ao retorno. Ele combina unicamente a calibração de pontuação dentro do passo e o portão TVA, mantendo os rollouts e a inferência livres de habilidades.
2. Integração Nativa: Os autores formulam o sinal portado como modelagem de recompensa pré-vantagem, integrando a orientação privilegiada diretamente na construção nativa de crédito de RL, em vez de como um objetivo auxiliar separado. Eles caracterizam sua compatibilidade com GRPO/GiGPO e sua equivalência de primeira ordem local com atualizações auxiliares de tokens amostrados.
3. Validação Empírica: Experimentos extensos em três benchmarks interativos (ALFWorld, Search-based QA, WebShop) demonstram melhorias consistentes de desempenho.

Resultados Experimentais

O artigo avalia o ADRS nos modelos Qwen2.5 (3B, 7B) e Qwen3 (1.7B) em três benchmarks:

• Desempenho de Estado da Arte: O ADRS alcança novos resultados de estado da arte em todos os três benchmarks. Por exemplo, com o Qwen2.5-3B, atinge 94,5% de sucesso no ALFWorld (um aumento de 10,1 pontos percentuais sobre o baseline mais forte) e 45,0% de média macro no Search-based QA.
• Tarefas de Longo Horizonte: O ADRS mostra particular força em tarefas procedimentais de longo horizonte (ALFWorld), sustentando ganhos de desempenho ao longo de um treinamento estendido (300 passos) e através de diferentes backbones de RL (GRPO e GiGPO).
• Eficiência de Dados: O ADRS supera os baselines de GRPO de dados completos usando apenas 60% dos dados de treinamento disponíveis.
• Generalização: O método transfere-se efetivamente para divisões de tarefas não vistas no ALFWorld, melhorando as taxas de sucesso na maioria das categorias.
• Análise de Mecanismo: A análise diagnóstica revela que o ADRS concentra o contraste de atualização em tokens de ação e objeto que carregam a tarefa, separando-os de tokens de estilo genéricos, o que explica sua eficácia em interações de longo horizonte.

Significância e Alegações

O artigo afirma que o ADRS aborda com sucesso o desafio fundamental de atribuir crédito a decisões intermediárias no RL agêntico. Ao converter o conhecimento privilegiado exclusivo de treinamento em um sinal que é calibrado (comparável entre passos), confiável (associado aos retornos) e integrado (nativo ao objetivo de RL), o ADRS permite que os agentes aprendam de forma mais eficaz a partir de feedbacks esparsos.

Os autores enfatizam que o ADRS não requer informações privilegiadas durante a inferência, tornando-o uma estrutura prática para implantar agentes livres de habilidades que aprenderam a partir de treinamentos guiados por habilidades. Os resultados sugerem que o conhecimento procedimental exclusivo de treinamento pode ser efetivamente convertido em crédito ao nível de token e incorporado diretamente na construção nativa de recompensa-para-vantagem, ofereando um caminho robusto para melhorar agentes de linguagem de múltiplos turnos.