Resumo Técnico: INFUSER – A Evolução Própria Guiada por Influência Melhora o Raciocínio

1. Declaração do Problema

O progresso recente no raciocínio de grandes modelos de linguagem (LLMs) depende fortemente do Aprendizado por Reforço com Recompensas Verificáveis (RLVR). No entanto, a escalabilidade do RLVR é limitada pela escassez de dados de treinamento de alta qualidade e verificáveis, que são caros de curar. A autoevolução oferece um caminho a seguir ao permitir que um modelo gere seus próprios dados de treinamento a partir de documentos não estruturados ou de seus próprios outputs, eliminando a necessidade de modelos professores externos ou corpora curados.

Os métodos de autoevolução existentes enfrentam duas limitações primárias:

1. Fundamentação (Grounding): Métodos de puro auto-jogo (ex: R-Zero) dependem apenas do conhecimento prévio do modelo, correndo o risco de gerar respostas de referência alucinadas. Métodos baseados em executores (ex: AZR) restauram a verificabilidade, mas são restritos a domínios com executores formais (código, matemática), falhando em aproveitar textos não estruturados abundantes.
2. Objetivos do Gerador: Abordagens fundamentadas em documentos (ex: SPICE) frequentemente recompensam o gerador com base em heurísticas de dificuldade (ex: maximizar a taxa de falha do solver para ~50%). A dificuldade é um proxy grosseiro para utilidade; uma questão pode ser "difícil" devido à ambiguidade ou desalinhamento com a fonte, não oferecendo garantia de melhoria do solver na distribuição alvo.

A questão central abordada é: Podemos treinar um gerador para produzir dados de treinamento fundamentados em documentos que genuinamente melhorem o solver atual em uma distribuição alvo, enquanto coevoluem com ele?

2. Metodologia: INFUSER

Os autores propõem o INFUSER (INFluence-gUided Self-Evolution Improves Reasoning), um framework de co-treinamento iterativo que trata a autoevolução como um jogo bilevel entre um Gerador ($\pi_\phi$) e um Solver ($\pi_\theta$). Ambos são inicializados a partir do mesmo modelo pré-treinado.

2.1 Formulação de Jogo Bilevel

• Nível Inferior (Solver): O solver treina em um currículo de pares pergunta-resposta (QA) ($Q_\phi$) gerados pelo gerador a partir de um pool de documentos não estruturados ($D_{doc}$). O solver otimiza para maximizar a acurácia neste currículo usando RLVR padrão (ex: Dr.GRPO).
• Nível Superior (Gerador): O gerador visa produzir um currículo $Q_\phi$ tal que, após a atualização do solver, o desempenho do solver melhore em uma distribuição alvo ($P$).
• Natureza Cooperativa: Ao contrário do auto-jogo adversarial, o gerador é recompensado por ajudar o solver a melhorar na distribuição alvo, não por derrotá-lo.

2.2 Pontuação de Influência Consciente do Otimizador

Para evitar o custo proibitivo da diferenciação bilevel exata (retropropagação através do loop completo de treinamento do solver), o INFUSER emprega uma aproximação de primeira ordem inspirada em funções de influência.

• Âncora do Dev-Set: Um pequeno conjunto de desenvolvimento retido ($D_{dev}$), amostrado da distribuição alvo $P$, é usado para definir a "direção de melhoria". O gradiente do desempenho do solver no $D_{dev}$ ($\hat{g}_{dev}$) serve como o vetor alvo.
• Cálculo de Influência: Para cada par QA gerado $(q, a_\phi)$, o sistema estima a direção de atualização de parâmetros do solver ($\hat{\Gamma}(q, a_\phi)$) induzida pelo treinamento naquele par específico. Esta direção é pré-condicionada pelo estado do otimizador AdamW para refletir o passo de atualização real.
• Sinal de Recompensa: A recompensa do gerador é a similaridade de cosseno entre o gradiente alvo ($\hat{g}_{dev}$) e a direção de atualização induzida ($\hat{\Gamma}$):
  $$s(q, a_\phi) = \text{cossim}(\hat{g}_{dev}, \hat{\Gamma}(q, a_\phi))$$
  Um score positivo indica que o treinamento em $(q, a_\phi)$ se alinha com a melhoria do desempenho na distribuição alvo. Este score substitui a métrica tradicional de "dificuldade".

2.3 DuGRPO: Dual-Normalized GRPO

A pontuação de influência é um sinal contínuo e ruidoso, o que apresenta desafios para a otimização de política relativa de grupo (GRPO) padrão.

• Desafio: Normalizar recompensas apenas dentro de um grupo de documentos (estilo GRPO) amplifica o ruído em grupos de baixa variância. Normalizar apenas através do batch (estilo BatchNorm) permite que grupos de alta variância dominem.
• Solução: Os autores propõem o DuGRPO, um estimador de vantagem de normalização dupla que combina normalização intra-grupo e inter-grupo:
  $$\hat{A}_{gen} = \frac{s(q, a_\phi) - \mu_d}{\sigma_d + \sigma_B + \epsilon}$$
  onde $\sigma_d$ é o desvio padrão dentro do grupo de documentos e $\sigma_B$ é o desvio padrão médio através do batch. Isso estabiliza o treinamento ao amortecer o ruído de baixa variância enquanto evita a dominância de alta variância.

2.4 Loop de Treinamento

O algoritmo procede em fases por iteração:

1. Referência do Dev: Calcula o gradiente alvo $\hat{g}_{dev}$ a partir dos rollouts do solver no $D_{dev}$.
2. Geração: O gerador amostra documentos e produz pares QA.
3. Avaliação do Solver: O solver tenta as questões geradas; os gradientes por questão são estimados.
4. Pontuação de Influência: Calcula as pontuações de influência usando a similaridade de cosseno com $\hat{g}_{dev}$.
5. Atualizações: Atualiza o gerador usando DuGRPO com pontuações de influência como recompensas; atualiza o solver usando Dr.GRPO com recompensas de correção binária.

3. Principais Contribuições

1. Autoevolução Guiada por Influência: Um novo framework que substitui as recompensas de dificuldade do gerador por uma pontuação de influência consciente do otimizador, otimizando diretamente para a utilidade em uma distribuição alvo em vez de apenas dificuldade.
2. DuGRPO: Uma nova variante de gradiente de política projetada especificamente para a natureza contínua e ruidosa das recompensas baseadas em influência, permitindo o treinamento estável do gerador.
3. Coevolução Fundamentada em Documentos: Um método que aproveita documentos não estruturados para gerar dados de treinamento, evitando a necessidade de professores externos ou executores, mantendo a verificabilidade através do próprio raciocínio do solver.
4. Escalabilidade: Demonstra que um gerador de 8B em coevolução pode superar um gerador de "pensamento" congelado de 32B em tarefas de matemática e codificação, sugerindo que a adaptação é mais crítica do que a escala bruta do modelo para a geração de currículo.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando âncoras Qwen3-4B-Base e Qwen3-8B-Base, comparando o INFUSER contra baselines fortes (R-Zero, AZR, R-Few, SPICE) e um baseline de General-Reasoner.

• Ganhos de Desempenho: O INFUSER alcançou as pontuações mais altas em 8 de 14 benchmarks. No Qwen3-8B-Base, mostrou melhorias relativas de mais de 20% no OlympiadBench (Matemática), SuperGPQA e GPQA-Diamond em comparação com o modelo base.
• Escalabilidade: Os ganhos de desempenho do INFUSER foram consistentes entre os tamanhos de modelo (4B a 8B), enquanto baselines como R-Zero e SPICE mostraram uma queda de desempenho significativa ao escalar.
• Qualidade do Gerador: A análise mostrou que o gerador em coevolução produz questões cada vez mais bem formuladas e desafiadoras ao longo do tempo. O gap "Forte-vs-Fraco" (diferença de acurácia entre um modelo forte e o modelo base nas questões geradas) aumentou, indicando que o gerador está criando questões que são difíceis para o modelo base, mas solucionáveis por modelos mais fortes (ou seja, desafios de raciocínio de alta qualidade).
• Estudos de Ablação:
  • Necessidade do Gerador: Remover o gerador (treinar diretamente no $D_{dev}$) levou ao overfitting no dev set e baixa generalização.
  • Coevolução: Um gerador de 8B congelado teve desempenho inferior ao gerador de 8B em coevolução, especialmente em matemática. Um gerador de 32B congelado superou o gerador de 8B em coevolução em tarefas densas em conhecimento (raciocínio geral, medicina), mas foi superado em matemática e codificação, destacando que a adaptação vence a escala para o raciocínio.
  • Componentes: Tanto a pontuação de influência consciente do otimizador quanto a normalização DuGRPO foram consideradas essenciais; removê-las causou regressão ao nível de um gerador congelado.
• Extensões:
  • Âncoras com Fine-tuning de Instrução: O INFUSER melhorou com sucesso uma âncora com fine-tuning de instrução (OLMo-3-7B-Instruct-SFT), liderando em 10 de 13 benchmarks.
  • RLVR Híbrido: Combinar a autoevolução fundamentada em documentos com RLVR de matemática verificável por regras estabilizou o "colapso de comprimento de resposta" observado no treinamento apenas de ciências, reduzindo a variância da semente no desempenho matemático.

5. Significância e Alegações

O artigo afirma que o INFUSER oferece um caminho escalável para um raciocínio mais forte ao converter corpora não estruturados abundantes em sinais de treinamento estruturados e alinhados com a utilidade, sem depender de datasets curados ou modelos professores.

• Mudança de Paradigma: Ele move o objetivo do gerador de "tornar as coisas difíceis" para "tornar as coisas úteis", usando funções de influência para alinhar a geração de currículo com a trajetória de aprendizado do solver.
• Eficiência: Demonstra que um gerador menor em coevolução pode superar um gerador muito maior e congelado em tarefas de raciocínio, sugerindo que o processo de adaptação de currículo é mais valioso do que o conhecimento estático de um modelo maior.
• Generalizabilidade: O framework mostra-se flexível, funcionando tanto com modelos base quanto com modelos de instrução, e capaz de integrar outros sinais de RLVR (como verificadores matemáticos) para estabilizar a dinâmica de treinamento.

Os autores concluem que, embora o framework atualmente dependa de um pequeno dev set para ancorar a direção alvo, ele representa uma direção promissora para escalar as capacidades de raciocínio ao acoplar a geração de currículo baseada em utilidade com pools de documentos maiores e horizontes de treinamento mais longos.