Resumo Técnico: Auto-destilação Reflexiva de Grupo para Aprendizado por Reforço Agêntico

Declaração do Problema

O aprendizado por reforço com recompensas verificáveis (RLVR) emergiu como um paradigma natural para o treinamento de agentes de Grandes Modelos de Linguagem (LLMs), particularmente através de métodos baseados em resultados como o Group Relative Policy Optimization (GRPO). Esses métodos otimizam políticas diretamente a partir de sinais de sucesso ou falha da tarefa sem a necessidade de um crítico aprendido. No entanto, uma limitação fundamental persiste: as recompensas terminais fornecem apenas uma supervisão grosseira ao nível da trajetória. Esse sinal emaranha comportamentos bem-sucedidos, erros recorrentes e escolhas incidentais de trajetória em um único rótulo de resultado. Consequentemente, os agentes têm dificuldade em identificar quais decisões intermediárias específicas devem ser reforçadas ou corrigidas.

Abordagens existentes para enriquecer essa supervisão esparsa via auto-destilação on-policy dependem frequentemente de habilidades em linguagem natural. Contudo, esses métodos enfrentam problemas significativos de alinhamento:

1. Recuperação Externa: Habilidades recuperadas de repositórios externos podem não ser compatíveis com o prompt atual, o histórico de interação ou o estado do ambiente.
2. Extração Externa: Habilidades extraídas de trajetórias por modelos externos mais fortes podem exceder o limite de capacidade da política atual, falhando em refletir a própria capacidade do agente de abstrair padrões reutilizáveis.
3. Viés de Trajetória Única: Habilidades extraídas de trajetórias individuais frequentemente capturam detalhes específicos do caminho, em vez de padrões comportamentais que verdadeiramente distinguem o sucesso da falha, uma vez que uma trajetória bem-sucedida pode conter desvios desnecessários e uma falha pode ainda incluir comportamentos úteis.

Metodologia: Auto-destilação Reflexiva de Grupo (GRSD)

Os autores propõem o Group-Reflective Self-Distillation (GRSD), um framework que deriva orientação alinhada à capacidade e discriminativa quanto ao resultado a partir das próprias execuções (rollouts) verificadas da política. O método opera em duas etapas distintas para construir uma "orientação privilegiada" sem modelos externos para a geração de habilidades.

Estágio A: Autorreflexão Nativa da Política

Para cada trajetória verificada $\tau_i$ em um grupo de execução, a política (atuando como um refletor) gera uma reflexão estruturada $s_i$ condicionada ao prompt da tarefa, à trajetória e ao rótulo binário de resultado (sucesso/falha).

• Mecanismo: A política identifica turnos críticos para o resultado, explica sua contribuição para o resultado final e resume comportamentos concretos para reforçar ou evitar.
• Treinamento: Um juiz externo fixo atribui uma pontuação escalar a cada reflexão baseada na correção causal, consistência do resultado e capacidade de ação. Essa pontuação é normalizada para formar uma vantagem de reflexão, otimizando a capacidade da política de extrair habilidades acionáveis de sua própria experiência.

Estágio B: Construção de Orientação ao Nível do Grupo

Para abordar a especificidade do caminho, o método contrasta reflexões de execuções bem-sucedidas e falhas dentro do mesmo grupo de prompts.

• Síntese Contrastiva: Um snapshot da política com gradiente interrompido ($\pi_{\bar{\theta}}$) recebe o conjunto de reflexões bem-sucedidas ($S^+_x$) e falhas ($S^-_x$) como entrada. Ele sintetiza uma orientação compacta e específica do prompt $z_x$ na forma de uma lista "FAÇA/EVITE".
• Contexto Privilegiado: Esta orientação $z_x$ serve como informação privilegiada. Como é gerada por um snapshot destacado, ela atua como um contexto fixo para a etapa de otimização subsequente, garantindo que a orientação seja tratada como um sinal, e não como um alvo de geração.
• Ativação: Este estágio está ativo apenas para grupos de prompts contendo tanto execuções bem-sucedidas quanto falhas, garantindo que a orientação seja derivada de contrastes discriminativos de resultado.

Atribuição de Crédito ao Nível de Turno

A inovação central reside em como esta orientação refina o sinal de aprendizado. Em vez de atribuir a mesma vantagem ao nível da trajetória (como no GRPO vanilla), o GRSD usa a orientação privilegiada para modular as vantagens ao nível do turno.

• Avaliação do Auto-Professor: A política destacada avalia os tokens de ação amostrados sob dois contextos: um contexto de aluno simples (sem orientação) e um contexto de professor aumentado por orientação (com $z_x$).
• Modulação: A diferença nas log-verossimilhanças entre esses contextos quantifica como a orientação altera o suporte da política para um turno específico. Essa diferença é alinhada com a direção de atualização derivada do resultado (positiva para sucessos, negativa para falhas) para produzir uma pontuação de modulação.
• Ajuste Limitado: A vantagem ao nível da trajetória é escalonada por esta pontuação para produzir uma vantagem específica do turno. Crucialmente, a modulação é limitada para garantir que ela nunca inverta o sinal da vantagem original determinada pelo verificador. Isso preserva a direção fundamental do aprendizado enquanto refina a granularidade da atribuição de crédito.

Objetivo de Otimização

O objetivo total combina o objetivo de execução da tarefa (usando as vantagens moduladas ao nível do turno) e um objetivo de aprendizado de reflexão (otimizando a qualidade das reflexões geradas no Estágio A).

Principais Contribuições

1. Reflexão Nativa da Política: O GRSD aprende a derivar reflexões diretamente das próprias trajetórias verificadas da política, eliminando a necessidade de modelos externos ou repositórios de habilidades que possam não ser compatíveis com as capacidades atuais do agente.
2. Orientação Reflexiva de Grupo: Ao contrastar reflexões de execuções bem-sucedidas e falhas dentro de um grupo, o método sintetiza uma orientação que é simultaneamente alinhada à capacidade e discriminativa quanto ao resultado, filtrando o ruído específico do caminho.
3. Refinamento de Crédito ao Nível de Turno: O framework introduz um mecanismo de auto-destilação que refina as vantagens ao nível da trajetória em créditos específicos do turno sem alterar a direção de aprendizado determinada pelo verificador, permitindo atualizações de política mais precisas.

Resultados Experimentais

Os autores avaliaram o GRSD em três ambientes agênticos diversos: ALFWorld (raciocínio incorporado), Search-based QA (QA baseado em busca) e WebShop (navegação web). Os experimentos foram conduzidos em três escalas de modelo (Qwen3-1.7B, Qwen2.5-3B e Qwen2.5-7B).

• Desempenho Agregado: O GRSD superou consistentemente baselines competitivos, incluindo o OPSD (on-policy distillation) e métodos de auto-destilação baseados em habilidades (Skill-SD, SDAR). Por exemplo, no ALFWorld, o GRSD melhorou a taxa média de sucesso em 5,5% sobre o GRPO em todos os backbones.
• Generalização: O GRSD demonstrou generalização superior para tarefas não vistas, particularmente no split "Unseen" do ALFWorld, onde alcançou uma taxa de sucesso de 83,6%, superando o GRPO em 8,2%.
• Dinâmica de Treinamento: As curvas de treinamento indicaram que o GRSD continuou a melhorar após os baselines estabilizarem, sugerindo que o loop impulsionado pela experiência facilita um aprendizado tardio sustentado.
• Estudos de Ablação: Remover a orientação reflexiva de grupo ou falhar ao contrastar reflexões de falhas resultou em quedas significativas de desempenho, confirmando a necessidade tanto da síntese de nível de grupo quanto da inclusão de modos de falha.

Significância e Alegações

O artigo afirma que o GRSD estabelece um loop de auto-evolução impulsionado pela experiência para agentes. Ao permitir que a política derive orientações reutilizáveis e alinhadas à capacidade a partir de sua própria experiência verificada e as internalize durante a otimização, o GRSD aborda o problema da supervisão grosseira inerente ao RLVR.

Os autores enfatizam que sua abordagem:

• Evita Dependências Externas: Não depende de bibliotecas de habilidades externas ou modelos mais fortes para a geração de habilidades, garantindo que a orientação permaneça dentro do limite de capacidade da política.
• Preserva a Direção de Aprendizado: A modulação limitada garante que a determinação do verificador sobre sucesso ou falha permaneça como o principal motor do aprendizado, com o componente de auto-destilação apenas refinando a magnitude da atualização ao nível do turno.
• Oferece Trocas Favoráveis: Embora o GRSD introduza um overhead modesto no tempo de treinamento (aproximadamente 17% de aumento sobre o GRPO devido à construção de orientação online), ele incorre em zero overhead de inferência, pois a orientação privilegiada é usada apenas durante o treinamento.

O trabalho sugere que o contraste de reflexões nativas da política (tanto de sucesso quanto de falha) fornece um mecanismo robusto para que os agentes identifiquem comportamentos críticos para o sucesso e modos de falha recorrentes, levando a princípios de decisão mais transferíveis e um desempenho mais forte em tarefas não vistas.