Resumo Técnico: PCSD – Consistência Persistente para Autodestilação em Aprendizado por Reforço Agêntico

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) enfrentam desafios significativos em tarefas interativas complexas de múltiplos turnos devido à escassez de recompensa. Em ambientes como ALFWorld ou WebShop, uma trajetória pode abranger dezenas de turnos e centenas de tokens, mas receber apenas um sinal escalar único de resultado (sucesso ou falha) ao final. Esse feedback atrasado torna o crédito de atribuição — determinar quais ações ou tokens intermediários específicos contribuíram para o resultado final — extremamente difícil.

Embora a Autodestilação On-Policy (OPSD) ofereça uma solução ao utilizar um professor privilegiado (uma cópia do aluno com habilidades aumentadas e congelada) para fornecer supervisão densa ao nível do token, ela introduz um novo problema de confiabilidade. A orientação do professor não é uniformemente confiável; fatores como recuperação imperfeita, contexto ruidoso ou ambiguidade da tarefa podem fazer com que o professor favoreça tokens subótimos em posições específicas. Métodos de destilação de credibilidade existentes lutam para equilibrar dois extremos:

1. Métodos ao nível do token: Baseiam-se em discrepâncias isoladas em uma única posição, tornando-se sensíveis ao ruído de amostragem e flutuações transitórias.
2. Métodos ao nível do passo (step-level): Agregam sinais ao longo de um passo de raciocínio inteiro, atribuindo um peso compartilhado a todos os tokens. Isso melhora a robustez, mas obscurece variações posicionais críticas na confiabilidade do professor.

Metodologia: PCSD

Os autores propõem a Autodestilação por Consistência Persistente (PCSD), um framework que estima a credibilidade do professor com base na persistência local dos sinais que favorecem o professor. A ideia central é que vantagens informativas do professor devem persistir através de uma vizinhança local, enquanto picos isolados provavelmente refletem ruído. O PCSD opera através de três mecanismos complementares para gerar pesos de destilação contínuos ao nível do token ($w_{k,i}$):

1. Avaliação de Consistência Persistente

Em vez de depender de uma única lacuna de log-probabilidade pontual ($\delta_{k,i}$) entre o professor e o aluno, o PCSD agrega essas lacunas sobre uma janela de visão futura usando decaimento exponencial. Isso atribui maior importância às posições mais próximas do token atual enquanto incorpora evidências da região local imediata, criando uma "estimativa de consistência persistente" ($\bar{\delta}^{(N)}_{k,i}$).

2. Mecanismo de Agregação Adaptativa

Reconhecendo que os padrões de lacuna variam ao longo de uma resposta, o PCSD emprega uma estratégia de janelamento adaptativo suave. Ele calcula a variância local da sequência de lacunas dentro de uma janela de análise máxima ($N_{max}$).

• Baixa Variância: Se a lacuna local for estável, o mecanismo favorece uma estimativa de janela curta para preservar a resolução posicional fina.
• Alta Variância: Se a lacuna local for ruidosa, ele desloca o peso para uma estimativa de janela longa para fornecer um suavizamento mais forte.
  Isso resulta em uma estimativa adaptativa ($\bar{\delta}^{adaptive}_{k,i}$) que equilibra dinamicamente precisão e robustez sem a troca discreta de janelas.

3. Modulação de Tendência e Portão Contínuo (Gating)

Para evitar que sinais transitórios dominem, o PCSD aplica uma modulação de tendência unilateral. Ele calcula a inclinação local da sequência de lacunas; se o suporte do professor estiver diminuindo (inclinação negativa), o peso é atenuado. Isso é combinado com uma função de portão sigmoide que mapeia a estimativa adaptativa para um peso limitado ($w_{k,i}$).

• Fator de Tendência ($\eta_{k,i}$): Reduz a dependência de sinais onde o suporte está diminuindo.
• Portão Sigmoide: Transforma a estimativa de credibilidade em um peso suave e contínuo.

Objetivo de Treinamento

O objetivo final combina a perda padrão GRPO (Otimização de Política Relativa de Grupo), que utiliza recompensas esparsas de nível de trajetória, com a perda de destilação PCSD:
$$\mathcal{L}_{total} = \mathcal{L}_{GRPO} + \lambda_{PCSD} \mathcal{L}_{PCSD}$$
onde $\mathcal{L}_{PCSD}$ é uma log-verossimilhança negativa ponderada que incentiva o aluno a alinhar-se com o professor apenas nas posições onde um suporte persistente e estável é detectado.

Principais Contribuições

1. Framework PCSD: Um método de autodestilação on-policy ao nível do token que estima a credibilidade do professor a partir da persistência local dos sinais, combinando efetivamente discriminação de grão fino com robustez ao ruído.
2. Agregação Adaptativa: Um mecanismo que ajusta seu tamanho de janela efetivo com base nas estatísticas de lacuna local e usa decaimento exponencial para preservar a localidade posicional.
3. Modulação Consciente de Tendência: A introdução de modulação de tendência unilateral e portão sigmoide contínuo para filtrar o suporte do professor que é instável ou declinante.
4. Validação Empírica: Experimentos extensos demonstrando que o PCSD supera o GRPO baseado apenas em resultados (outcome-only) e esquemas de ponderação existentes (como RLSD e SDAR) através de diferentes escalas de modelos e tarefas.

Resultados Experimentais

Os autores avaliaram o PCSD no ALFWorld (IA incorporada baseada em texto) e WebShop (navegação de e-commerce) usando backbones Qwen2.5-3B-Instruct e Qwen3-1.7B-Instruct.

• Desempenho no ALFWorld: O PCSD alcançou as maiores taxas de sucesso geral entre todos os baselines.
  • Com Qwen2.5-3B: 90,6% (excedendo o GRPO em 15,6 pontos e o SDAR em 6,2 pontos).
  • Com Qwen3-1.7B: 59,4% (excedendo o GRPO em 13,3 pontos e o SDAR em 5,5 pontos).
  • Melhorias notáveis foram observadas em subtarefas como Heat, Cool e Pick2.
• Desempenho no WebShop: O PCSD alcançou a maior Pontuação (85,0) com Qwen2.5-3B e empatou pela maior Acurácia (67,2%) com SDAR em ambos os backbones.
• Generalização: Em um split não visto do ALFWorld, o PCSD manteve um desempenho robusto (86,7% de taxa de sucesso), superando significativamente o GRPO (70,9%) e o SDAR (72,7%).
• Estudos de Ablação: Remover a agregação adaptativa, a modulação de tendência ou o decaimento exponencial degradou consistentemente o desempenho, validando a necessidade de cada componente. O coeficiente de destilação $\lambda_{PCSD}$ mostrou-se não monotônico, sendo 0,01 o valor ideal.

Significância e Alegações

O artigo afirma que a Consistência Persistente é um fator crítico para uma autodestilação eficaz em RL agêntico. Ao ir além das discrepâncias isoladas de tokens ou médias grosseiras de nível de passo, o PCSD identifica com sucesso quais sinais do professor são confiáveis. Os autores enfatem que seu método alcança esses resultados sem exigir recuperação de habilidades em tempo de inferência, baseando-se apenas na capacidade da política do aluno treinada de alavancar a orientação persistente do professor.

O trabalho aborda o compromisso fundamental entre a precisão ao nível do token e a robustez baseada em agregação, oferecendo uma solução que permite que a orientação densa do professor complemente o feedback esparso do ambiente de forma eficaz. Os autores observam que, embora sua abordagem atual utilize hiperparâmetros fixos para isolar o efeito do mecanismo de ponderação, trabalhos futuros poderiam explorar o aprendizado desses parâmetros dinamicamente a partir de estatísticas de trajetória e incerteza do professor.