Resumo Técnico: Auto-Destilação Comparativa com Verificação de Resultado para Agentes LLM

Declaração do Problema

Avanços recentes em agentes de Grandes Modelos de Linguagem (LLM) deslocaram o foco da elicitação de capacidades externas (dependência de recuperação ou ferramentas externas na inferência) para a internalização de capacidades (incorporação de habilidades diretamente nos parâmetros do modelo). Embora a Auto-Destilação On-Policy (OPSD) ofereça um caminho promissor para a internalização ao usar um professor privilegiado (equipado com habilidades) para supervisionar um aluno livre de habilidades, os métodos existentes sofrem de duas limitações críticas:

1. Preferências do Professor Não Validadas: Os métodos atuais tipicamente pontuam as ações do aluno com base nas preferências locais do professor. No entanto, uma ação de alta pontuação não garante o sucesso eventual da tarefa em tarefas de longo horizonte, e uma pontuação baixa não indica a alternativa correta. As preferências do professor não são verificadas por resultados reais do ambiente.
2. Informação Subutilizada: As abordagens existentes falham em explorar totalmente a relação entre as trajetórias do aluno e do professor. Elas frequentemente descartam execuções (rollouts) falhas do aluno ou tratam as trajetórias do professor uniformemente, ignorando o estado específico onde o aluno falhou e o professor teve sucesso. Elas carecem de um mecanismo para alinhar as trajetórias no ponto de divergência comportamental para isolar a decisão corretiva.

Metodologia: Auto-Destilação Comparativa com Verificação de Resultado (OVCSD)

O OVCSD é um framework de aprendizado on-policy projetado para internalizar a orientação privilegiada através de interações bem-sucedidas com o ambiente, em vez de depender apenas de pontuações do professor. O método é construído sobre três observações principais derivadas da análise de execuções falhas do aluno:

1. Estrutura de Estado Compartilhado: Trajetórias falhas frequentemente compartilham prefixos intermediários válidos, apesar de receberem recompensas de falha terminais idênticas.
2. Dependência de Estado e de Resultado: A utilidade da intervenção depende do estado específico alcançado, e as ações do professor devem ser verificadas pelos resultados do ambiente para serem confiáveis.
3. Comparabilidade Consciente de Alinhamento: A relação entre um ramo falho do aluno e um ramo bem-sucedido do professor muda em sua primeira divergência alinhada ao estado. Antes desse ponto, os comportamentos são idênticos; no ponto de divergência, eles diferem; depois disso, os históricos se separam.

Componentes Principais

1. Intervenção Adaptativa com Verificação de Resultado

• Construção de Árvore de Prefixo: O OVCSD organiza as trajetórias falhas do aluno em uma árvore de prefixo para identificar estados intermediários compartilhados.
• Backtracking Adaptativo: Em vez de um ponto de intervenção fixo, o sistema prioriza nós mais profundos na árvore para preservar o progresso válido do aluno. Se um professor não consegue recuperar de um estado profundo, ele realiza o backtracking para ancestrais mais rasos.
• Verificação de Resultado: Um professor privilegiado (política congelada com contexto de habilidade) atua a partir do estado restaurado do aluno. Crucialmente, a continuação do professor é apenas aceita se ela completar a tarefa com sucesso de acordo com a recompensa do ambiente. Isso garante que a supervisão seja fundamentada em sucesso executável, não apenas em probabilidade.

2. Aprendizado Comparativo Consciente de Alinhamento
O OVCSD emprega dois objetivos complementares baseados no ponto de divergência ($d$) entre a continuação verificada do professor e os ramos falhos do aluno:

• Correção de Divergência Localizada: No primeiro ponto de divergência alinhado ao estado, o OVCSD aplica um objetivo comparativo localizado. Ele aumenta a probabilidade da ação verificada do professor enquanto diminui as probabilidades das alternativas falhas do aluno. Isso é alcançado computando um sinal de vantagem normalizado onde a ação do professor recebe vantagem positiva e as alternativas falhas do aluno recebem vantagem negativa.
• Destilação de Sufixo Pós-Divergência: Após o ponto de divergência, a trajetória restante do professor (o sufixo) é destilada para a política livre de habilidades do aluno usando um objetivo de divergência de Kullback-Leibler (KL). Isso ensina o aluno como completar a tarefa uma vez que a decisão correta foi tomada.

3. Treinamento e Inferência
O objetivo total de treinamento combina a atualização de vantagem localizada e a perda de destilação de sufixo. Durante a inferência, o OVCSD implanta a política resultante livre de habilidades sem qualquer recuperação de habilidade, construção de árvore de prefixo ou interação com o professor.

Principais Contribuições

1. Auto-Destilação com Verificação de Resultado: A introdução do OVCSD, um framework que internaliza a orientação privilegiada através da interação bem-sucedida com o ambiente, em vez de depender de pontuações não verificadas do professor.
2. Aprendizado Consciente de Alinhamento: A identificação da comparação alinhada ao estado como o mecanismo crítico para aprender com o comportamento bem-sucedido do professor e a exploração falha do aluno em tarefas de múltiplos turnos, especificamente separando a decisão corretiva do comportamento de conclusão.
3. Desempenho de Estado da Arte Sem Habilidades: Demonstrando que o OVCSD alcança as melhores taxas de sucesso livre de habilidades em múltiplas escalas de modelos e benchmarks, superando significativamente as linhas de base de RL e auto-destilação existentes.

Resultados Experimentais

Experimentos foram conduzidos no ALFWorld (tarefas domésticas) e WebShop (busca de e-commerce) usando três escalas de modelos (Qwen3-1.7B, Qwen2.5-3B e Qwen2.5-7B).

• Ganhos de Desempenho: O OVCSD superou consistentemente as linhas de base mais fortes.
  • No ALFWorld, alcançou ganhos absolutos de taxa de sucesso de até 29,7 pontos sobre a linha de base mais forte (SDAR).
  • No WebShop, alcançou ganhos de até 5,4 pontos.
  • As melhorias foram particularmente pronunciadas em tarefas composicionais (ex: Heat, Cool, Pick2) que exigem múltiplas decisões dependentes.
• Eficiência: O método adicionou menos de 3% de interação privilegiada (passos do ambiente) durante o treinamento. Quando comparado ao número cumulativo de ações do ambiente, o OVCSD atingiu a taxa de sucesso final do GRPO com 2,1× menos ações, indicando que os ganhos não são meramente um resultado do aumento do orçamento de amostragem.
• Estudos de Ablação:
  • Remover a atualização de vantagem localizada ou a destilação de sufixo reduziu significamente o desempenho, confirmando a necessidade de ambos os sinais.
  • Remover a verificação de resultado ou usar âncoras de intervenção aleatórias reduziu a eficiência do processo de aprendizado e o número de ramos verificados.
  • A análise da política mostrou que o OVCSD induz uma preferência localizada pelas ações do professor especificamente nos pontos de divergência, enquanto o GRPO padrão não mostra tal concentração.

Significância

O artigo afirma que o OVCSD fornece uma abordagem eficaz para a internalização de capacidades ao abordar a fragilidade das preferências do professor em tarefas de longo horizonte. Ao organizar falhas em uma árvore de prefixo e impor a verificação de resultado, o método garante que o aluno aprenda com comportamentos executáveis e bem-sucedidos, em vez de preferências hipotéticas. A separação da decisão corretiva (divergência) do comportamento de conclusão (sufixo) permite um aprendizado mais preciso e eficiente, permitendo que agentes livres de habilidades realizem tarefas complexas de múltiplos passos com altas taxas de sucesso sem depender de recuperação externa no momento da inferência.