Resumo Técnico: Agon – RL Trans-Modelo Competitivo com Graduação Implícita de Rivais

1. Definição do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) atual, particularmente métodos como o Group Relative Policy Optimization (GRPO), depende exclusivamente de recompensas baseadas em resultados (ou seja, a correção da resposta final). Embora eficaz para tarefas com uma verdade fundamental clara, essa abordagem falha ao graduar o processo de raciocínio (o "trace" ou rastro) em si. Em problemas difíceis, isso cria um forte incentivo para que os modelos aumentem a quantidade de raciocínio (comprimento) em vez da qualidade. Os modelos aprendem a "escrever mais" ao adicionar hesitações, retrocessos e tentativas redundantes para aumentar a probabilidade de encontrar a resposta correta por acaso, levando a uma "patologia de comprimento", onde a contagem de tokens cresce significativamente enquanto a precisão melhora apenas marginalmente.

Graduar o raciocínio diretamente é intratável porque não existe uma verdade fundamental para um "bom pensamento" (não há rótulos para passos específicos de insight) e modelos de recompensa de processo aprendidos são caros, frágeis e não verificáveis. O artigo propõe que um segundo modelo pode fornecer o sinal ausente: se um modelo concorrente tenta o mesmo problema e é recompensado por superar o raciocínio do primeiro, o rastro de raciocínio é graduado implicitamente sem a necessidade de rótulos de processo explícitos.

2. Metodologia: Agon

Agon (do grego "contenda") é um framework de treinamento que otimiza conjuntamente duas políticas distintas, $A$ e $B$, em um cenário de confronto direto.

Mecanismo Central

O processo de treinamento opera em papéis alternados (rascunho-e-desafio) com rotação por etapa:

1. Rascunho (Drafting): Um modelo (o rascunhador) gera $N$ rollouts a partir de um prompt de problema simples. Ele recebe uma atualização GRPO padrão baseada apenas na correção de sua resposta final.
2. Desafio (Challenging): O outro modelo (o desafiador) lê um resumo da solução do rascunhador (o recapitulativo pós-raciocínio, excluindo o rastro bruto e a resposta final). O desafiador então gera um novo rollout tentando resolver o problema, potencialmente corrigindo ou melhorando o trabalho do rascunhador.
3. Recompensa: O desafiador recebe uma recompensa competitiva que depende tanto de sua própria correção quanto do resultado do rascunhador.
   • Correção: Recompensa binária padrão para uma resposta correta.
   • Bônus de Conversão: Um bônus adicional é concedido se o desafiador resolver o problema corretamente e o rascunhador tiver falhado ($c(b_i) \cdot (1 - c(a_i)$). Isso incentiva o desafiador a identificar e corrigir os erros do rascunhador.
   • Desempate de Comprimento Opcional: Um bônus pode ser aplicado se o desafiador estiver correto e utilizar menos tokens do que um rascunhador correto, incentivando a brevidade sem penalizar a correção.

Arquitetura e Eficiência

• Instanciação de Dual-Adapter: Para manter a eficiência, ambas as políticas são instanciadas como adaptadores de Baixa Classificação (LoRA) sobre um único modelo base congelado. Isso mantém o overhead de memória baixo (~2% do modelo base) e garante que as políticas operem em espaços de representação compatíveis.
• Divergência: Os dois adaptadores são inicializados de forma diferente (um com inicialização zero padrão, o outro com ruído Gaussiano pequeno) e recebem fluxos de gradiente diferentes devido à rotação de papéis. Essa divergência estrutural garante que eles desenvolvam diferentes "pontos cegos", evitando que o sistema colapse em auto-jogo (self-play) ou destilação simples.
• Inferência: Na implantação, o par opera como um cascata de dois estágios: um modelo rascunha uma solução, e o segundo lê o resumo para produzir a resposta final.

Justificativa Teórica

O artigo argumenta que o auto-aperfeiçoamento de modelo único (self-play) frequentemente estagna porque o próprio modelo re-audita seu trabalho usando os mesmos vieses que causaram os erros. Ao introduzir um segundo modelo com diferentes modos de falha, o Agon quebra esse ciclo fechado. O "graduador" é um agente distinto e, como ambos os modelos são otimizados, a dificuldade do "rival" aumenta com o tempo, empurrando ambas as políticas além do teto do RL de modelo único.

3. Principais Contribuições

1. Reenquadramento da Qualidade do Raciocínio: O artigo reenquadra a qualidade do raciocínio como uma recompensa implícita fornecida por um par concorrente, transformando o problema do "bom pensamento" não rotulado em um jogo de confronto direto.
2. A Receita Agon: Uma nova receita de treinamento usando GRPO competitivo com rollouts de rascunho-e-desafio, rotação de papéis por etapa e uma estrutura de recompensa competitiva (correção + bônus de conversão). Ela roda em treinadores GRPO padrão sem mudanças no núcleo de otimização.
3. Implementação Eficiente: Uma instanciação de base compartilhada e dual-adapter que torna o treinamento de duas políticas concorrentes quase tão barato quanto o treinamento de um único modelo.
4. Validação Empírica: Um design experimental 2x2 (cruzando competição vs. cooperação e troca de informação vs. não troca) que isola o valor da pressão adversarial e da troca de informação entre modelos.

4. Resultados Experimentais

Os experimentos foram conduzidos no split DeepMath-hard (usando modelos Qwen3) e em um subconjunto de programação competitiva do CodeContests.

• Ganhos de Desempenho: No split DeepMath-hard com Qwen3-0.6B:
  • Vanilla GRPO: 30% pass@1.
  • Troca Cooperativa (sem competição): 46% pass@1.
  • Agon (Competição + Troca): 61% pass@1.
  • Isso representa o dobro do desempenho do GRPO e um ganho de ~8x sobre a linha de base de Mixture-of-Agents (MoA) não treinado.
• Escalabilidade: Os ganhos persistem através de famílias de modelos (Qwen3.5, Gemma 4) e tamanhos. Notavelmente, a cascata Agon em uma base de 0.6B (61%) superou um base de 4B treinado com vanilla GRPO (59%).
• Comprimento do Trace: O Agon reduz significativamente o comprimento do raciocínio. O rastro da fase final teve média de 3.5k tokens comparado a 8.1k tokens para o vanilla GRPO, enquanto alcançou maior precisão. Esse encurtamento é uma propriedade emergente da competição, não uma penalidade explícita.
• Ablações:
  • Competição: Remover o bônus competitivo (apenas cooperativo) reduz o desempenho para 46%.
  • Troca (Exchange): Remover a troca de informação visível (oponente oculto do contexto) reduz o desempenho para 32% (próximo ao vanilla GRPO), confirmando que o gradiente competitivo requer variância de contexto visível para funcionar.
  • Rotação de Papéis: Fixar os papéis (sem rotação) reduz o desempenho para 52%, destacando a importância de ambos os modelos aprenderem tanto o rascunho quanto o desafio.

5. Significância e Alegações

O artigo afirma que o Agon demonstra que a troca de informação entre modelos e a pressão adversarial podem melhorar significativamente as capacidades de raciocínio sem exigir rótulos de processo ou um modelo de recompensa separado.

• Graduação Implícita: Prova que um modelo rival pode efetivamente graduar rastros de raciocínio implicitamente, resolvendo o problema do "pensamento não rotulado".
• Além do Self-Play: Estabelece que um par de políticas divergentes pode co-melhorar além do platô de refinamento de modelo único.
• Eficiência: Mostra que um alto desempenho de raciocínio pode ser alcançado com uma cascata de dois estágios que é computacionalmente eficiente (usando adaptadores) e produz rastros de raciocínio mais curtos e densos.
• Modéstia: Os autores observam que a implementação atual depende de troca de texto, o que limita a largura de banda. Eles sugerem que trabalhos futuros poderiam migrar para troca no espaço latente (ex: injeção de KV-cache) para remover gargalos de serialização. Eles também reconhecem que o método requer um verificador limpo e que a divergência entre os modelos é mantida heuristicamente, não garantida.

Em resumo, o Agon desloca o paradigma de "gravar a resposta" para "gravar o raciocínio via competição", permitindo que os modelos aprendam a pensar melhor, não apenas a escrever mais.