Resumo Técnico: Destilação Própria Latente (Latent On-Policy Self-Distillation - LOPD)

1. Declaração do Problema

O artigo aborda o desafio de permitir que agentes de IA aprendam com a experiência e a internalizem em sua política para autoevolução. Embora a Destilação Própria On-Policy (OPSD) ofereça um caminho promissor ao utilizar um auto-professor "privilegiado" para fornecer supervisão densa nas trajetórias do próprio aluno, os métodos existentes sofrem de uma limitação fundamental: eles dependem fortemente de artefatos privilegiados projetados por designers (ex: respostas fixas, traços de raciocínio, habilidades ou trajetórias recuperadas).

Esses contextos criados manualmente restringem o sistema a um formato de informação específico escolhido pelo designer. Eles não permitem que o professor aprenda quais aspectos da experiência anterior são realmente úteis para supervisionar a trajetória atual do aluno, nem adaptam a representação dessa experiência ao caso ou estado de aprendizado específico. O artigo postula que, para a IA de autoevolução escalar, nem o conteúdo útil da experiência, nem sua representação devem ser fixados por heurísticas humanas.

Pergunta de Pesquisa: O próprio contexto privilegiado pode ser aprendido de ponta a ponta a partir da experiência, permitindo que o auto-professor determine qual conhecimento experiencial reter e como codificá-lo para uma supervisão on-policy densa?

2. Metodologia: Destilação Própria Latente (LOPD)

A LOPD reformula o contexto privilegiado não como um artefato textual pré-definido, mas como um substrato latente aprendível. O framework opera através dos seguintes componentes:

A. Contexto Privilegio Latente Aprendível

Em vez de alimentar o professor com um artefato de texto fixo, a LOPD constrói um contexto contínuo e diferenciável a partir de experiências recuperadas:

1. Recuperação de Experiência: Um banco de experiências offline armazena execuções (rollouts) bem-sucedidas (descrição da tarefa + traço compacto de ação-resultado). Para uma tarefa atual, um recuperador denso busca as top-$J$ trajetórias relevantes.
2. Compositor Latente: Um módulo aprendível ($\Phi_\phi$) transforma essas trajetórias recuperadas em um conjunto compacto de tokens latentes contínuos.
   • Encoder: Um backbone congelado aumentado com parâmetros LoRA treináveis codifica o par tarefa-experiência em estados ocultos.
   • Compressor: Um módulo do tipo QFormer com queries aprendidas comprime esses estados de comprimento variável em um número fixo ($K$) de tokens latentes contínuos por experiência.
   • Formação de Contexto: Esses tokens são concatenados para formar o contexto privilegiado $c_\phi$, que é injetado na janela de entrada do professor como tokens especiais.

B. Processo de Destilação Própria On-Policy

O ciclo de treinamento segue o padrão OPSD, mas com o contexto aprendível:

1. Rollout do Aluno: A política do aluno ($\pi_S$) gera uma trajetória baseada apenas na tarefa e no histórico de interação (sem contexto privilegiado).
2. Avaliação do Professor: Um modelo professor congelado ($\pi_T$), inicializado a partir do mesmo backbone, reavalia os mesmos prefixos visitados da trajetória do aluno. Crucialmente, o professor é condicionado ao contexto latente aprendido $c_\phi$ derivado das experiências recuperadas.
3. Objetivo de Destilação: O aluno é otimizado para corresponder às distribuições de tokens do professor usando divergência KL reversa nos top-$M$ logits mais um balde de cauda (tail bucket). Isso incentiva o aluno a se concentrar em comportamentos suportados pelo contexto enriquecido do professor.

C. Restrição de Margem Privilegiada

Para evitar o "colapso", onde o professor simplesmente imita o aluno (tornando o contexto latente não informativo), a LOPD introduz um objetivo de margem privilegiada:

• Alinhamento de Resultado: O sistema vincula a vantagem de token do professor ao resultado verificado da trajetória.
• Restrição: Uma variável dual $\beta$ impõe uma margem $m$ tal que a vantagem de log-probabilidade do professor sobre o aluno em trajetórias bem-sucedidas deve exceder um limite.
• Efeito: Isso garante que o contexto aprendido permaneça informativo e forneça uma vantagem verificável, direcionando o compositor para evidências que suportam o comportamento bem-sucedido em vez de soluções triviais.

D. Inferência

Após o treinamento, apenas a política do aluno é retida. O banco de experiências, o recuperador, o compositor e o contexto latente são descartados. O aluno internalizou a orientação, não exigindo banco de dados externo ou entrada privilegiada durante a implantação.

3. Principais Contribuições

1. Reformulação do Contexto: O artigo muda o paradigma do contexto privilegiado de artefatos textuais pré-definidos e desenhados à mão para um substrato latente aprendível de ponta a ponta. Isso permite que o professor extraia automaticamente sinais de supervisão relevantes para a tarefa a partir de trajetórias brutas.
2. Solução Proposta (LOPD): Um framework que otimiza conjuntamente o contexto privilegiado (via compositor) e a política do aluno. Inclui uma restrição de margem privilegiada para garantir que o contexto aprendido permaneça informativo e evite que o professor colapse em direção ao aluno.
3. Validação Experimental: A LOPD demonstra desempenho e eficiência superiores em comparação com métodos existentes.

4. Resultados Experimentais

Os autores avaliaram a LOPD em três backbones de modelos (Qwen3-4B, Qwen3-8B, Olmo3-7B) e sete benchmarks cobrindo uso de ferramentas agênticas (EnvScaler, BFCL-v3, ACEBench) e geração de código (LiveCodeBench, EvalPlus).

• Desempenho: A LOPD alcançou os melhores resultados agregados em todas as dez comparações backbone-benchmark.
  • No EnvScaler com Qwen3-8B, a LOPD atingiu 66.4, superando a linha de base mais forte (Skill-SD com 60.2).
  • No ACEBench, a LOPD atingiu 62.7, superando significativamente OPSD (52.7) e SDPO (52.0).
  • Na geração de código, a LOPD melhorou as pontuações pass@1 no LiveCodeBench e EvalPlus, superando consistentemente baselines como GRPO e Skill-SD.
• Eficiência de Amostragem: A LOPD superou o GRPO e o Skill-SD com menos de 30% do orçamento de rollout deles, atingindo um desempenho forte precocemente no treinamento (ex: excedendo 0.61 de recompensa média após 320 gerações vs. a melhoria gradual nos baselines).
• Estudos de Ablação:
  • Otimização Conjunta: Aprender o contexto conjuntamente é necessário; usar um compositor congelado ou remover a restrição de margem resultou em quedas de desempenho, confirmando que os ganhos vêm do aprendizado da representação, não apenas da adição de parâmetros.
  • Aprendível vs. Fixo: Métodos de contexto fixo (como SDPO ou OPSD) às vezes degradaram o desempenho em relação aos modelos vanilla, enquanto a LOPD consistentemente melhorou em relação ao baseline vanilla, demonstrando que representações aprendíveis se adaptam melhor a diferentes tarefas e estados de aprendizado.
  • Internalização Comportamental: A análise mostrou que os alunos da LOPD adotaram comportamentos de planejamento sequencial mais robustos (menos chamadas de ferramenta por passo, respostas iniciais mais curtas) mesmo sem acesso ao contexto latente, provando que a orientação foi internalizada.

5. Significância e Alegações

O artigo afirma que a LOPD representa um passo em direção a um paradigma mais escalável e autodirecionado para a evolução de agentes.

• Princípio de Design: A alegação central é que as representações de experiência devem ser otimizadas de ponta a ponta para as políticas que pretendem melhorar, em vez de depender de uma sucessão de formatos de experiência cada vez mais elaborados e escritos por humanos.
• Escalabilidade: Ao tornar o "contexto privilegiado" aprendível, o sistema evita o gargalo de criar artesanalmente artefatos para cada novo domínio ou tipo de tarefa.
• Internalização: O método transforma com sucesso trajetórias brutas em um substrato de supervisão aprendível, permitindo que o agente descubra o que preservar como evidência e como codificá-la, tornando o aprendizado de experiência verdadeiramente de ponta a ponta.

Os autores enfatizam que, embora a recuperação sozinha seja insuficiente e a otimização sem restrições possa levar ao colapso, a combinação de composição latente e a restrição de margem privilegiada permite uma supervisão produtiva que persiste após a remoção do contexto.