Resumo Técnico: Sobre o Gap de Generalização na Evolução Própria de Raciocínio de Modelos de Linguagem

Declaração do Problema

Avanços recentes em Grandes Modelos de Linguagem (LLMs) têm demonstrado progresso significativo em tarefas de raciocínio complexo, frequentemente impulsionados por técnicas de pós-treinamento como o Ajuste Fino Supervisionado (SFT) e o Aprendizado por Reforço com Feedback Humano (RLHF). No entanto, esses métodos dependem tipicamente de dados rotulados por humanos ou recompensas externas verificáveis. Uma área de interesse crescente é a Evolução Própria (Self-Evolution - SE), onde os modelos melhoram usando sinais de supervisão gerados exclusivamente por si mesmos.

A questão central abordada neste trabalho é: Sob uma configuração de loop fechado estrita, onde o algoritmo de SE tem acesso apenas a um conjunto de prompts não rotulados e a um modelo base, quão próximo a supervisão gerada internamente pode chegar da supervisão de um oráculo?

Embora trabalhos anteriores sugiram que a SE pode melhorar o desempenho, eles também destacam riscos como o colapso do modelo e retornos decrescentes. Este artigo busca quantificar empiricamente o "gap de generalização" entre modelos autoevoluídos e aqueles treinados com supervisão de verdade absoluta (oracle), isolando os efeitos dos sinais internos sem ferramentas externas, ambientes simbólicos ou intervenção humana.

Metodologia

Estrutura e Configuração

Os autores propõem um framework unificado de evolução própria offline onde um único modelo base $M$ é instanciado em dois papéis:

1. Gerador ($G$): Propõe soluções candidatas.
2. Verificador ($V$): Avalia a qualidade dessas soluções.

O framework opera sobre um conjunto de prompts não rotulados $D$. Todos os rastros de raciocínio, soluções, recompensas e rótulos de preferência devem ser derivados do próprio $M$. O estudo avalia quatro estratégias representativas dentro deste framework:

1. Verificação de Turno Único (SimpleSE): O verificador julga respostas candidatas estáticas. Para mitigar o ruído, utiliza-se um mecanismo de votação majoritária com limiar: uma resposta é rotulada como positiva se a taxa de correção do verificador exceder um limiar $\tau$, negativa se estiver abaixo de $1-\tau$, e descartada caso contrário.
2. Revisão de Múltiplos Turnos com Feedback (RevisionSE): O verificador fornece feedback textual sobre soluções incorretas, e o gerador revisa sua saída. Pares de preferência são extraídos quando uma revisão transforma uma solução incorreta em uma correta.
3. Treinamento Iterativo: O jogo gerador-verificador é aplicado repetidamente. O modelo é ajustado finamente nos dados de preferência gerados, e o modelo atualizado é usado para a próxima rodada de geração e verificação.
4. Aprendizado por Currículo: O treinamento procede de instâncias mais fáceis para as mais difíceis (ex: problemas de Knights and Knaves com menos pessoas para aqueles com mais), em vez de uma mistura aleatória.

Datasets e Modelos

• Benchmark Primário: Tarefas de raciocínio lógico Knights and Knaves (KK). Este dataset foi escolhido por suas soluções determinísticas, dificuldade controlada (parametrizada pelo número de pessoas) e por ser um ambiente de teste limpo para generalização de fácil-para-difícil.
• Benchmarks Secundários: OpenThoughts3 (raciocínio matemático), GSM8K, MATH500, MATHHard e TabMWP para avaliar a robustez além da lógica determinística.
• Modelos: O estudo utiliza primordialmente a família Gemma-3-it (1B, 4B, 12B e 27B como limite superior) e Qwen-2.5-Instruct. Variantes ajustadas por instrução são usadas para garantir que o modelo possa seguir prompts de sistema para geração e verificação.
• Objetivo de Treinamento: Os pares de preferência gerados $(y_w, y_l)$ são usados para ajustar a política via Otimização de Preferência Direta (DPO).
• Baseline de Oráculo: Uma configuração onde soluções de verdade absoluta são usadas para rotular exemplos como corretos/incorretos, servindo como o limite superior de desempenho.

Principais Contribuições

1. Análise Sistemática de SE de Loop Fechado: O artigo fornece uma comparação unificada de métodos de SE sob uma restrição de loop fechado estrita, isolando seus efeitos em relação à otimização de preferência supervisionada por oráculo. Avalia múltiplas estratégias (verificação, revisão, iteração, currículo) no benchmark KK.
2. Efeito da Qualidade da Supervisão Interna: O estudo demonstra que a qualidade do sinal do verificador é crítica. O feedback de múltiplos turnos (RevisionSE) produz o melhor desempenho, particularmente para modelos maiores (12B), onde quase iguala o treinamento supervisionado por oráculo. No entanto, isso ocorre a um alto custo computacional.
3. Bootstrapping e Generalização: Os autores investigam a transferência "fácil-para-difícil". Embora o treinamento iterativo e o aprendizado por currículo melhorem a capacidade de resolver exemplos mais difíceis (ex: instâncias de KK com 6–8 pessoas), a capacidade de melhorar a generalização fora da distribuição (OOD) permanece limitada em comparação com a supervisão de oráculo.
4. Quantificação do Gap Persistente: Mesmo com estratégias de SE cada vez mais estruturadas e computacionalmente intensivas, um gap de desempenho de aproximadamente 8–13% em relação à supervisão de oráculo persiste na maioria das configurações. Esse gap é observado tanto nos dados controlados de KK quanto nos cenários do mundo real do OpenThoughts3.

Resultados

Desempenho em Knights and Knaves (KK)

• Modelo Base: Gemma 3 4B alcança 31.0% de acurácia.
• Supervisão de Oráculo: O treinamento com sinais de verdade absoluta eleva a acurácia para 53.3%.
• Estratégias de Evolução Própria:
  • Verificação de turno único (SimpleSE): 40.7%.
  • Feedback de múltiplos turnos (RevisionSE): 42.2%.
  • Treinamento iterativo: 44.1%.
  • Aprendizado por currículo: 44.8%.
• Efeitos de Escala:
  • Modelo 1B: Mostra melhora negligenciável (0.6%) ou até mesmo degradação com RevisionSE, destacando um limiar de capacidade onde modelos pequenos introduzem ruído que corrompe o aprendizado.
  • Modelo 4B: Alcança ganhos significativos, mas permanece ~8–13% abaixo do oráculo.
  • Modelo 12B: O RevisionSE alcança 52.8% de acurácia, quase igualando o baseline de oráculo de 53.6%. Isso sugere que modelos maiores possuem capacidades intrínsecas de verificação e revisão suficientes para fechar o gap.

Desempenho em Benchmarks do Mundo Real

No OpenThoughts3 e outros benchmarks de raciocínio (GSM8K, MATH500), os ganhos de autoevolução são modestos. Por exemplo, no MATH500, o SimpleSE melhora o Gemma 4B em apenas 1.6%. O artigo observa que, para problemas de código aberto, verificadores internos lutam para distinguir caminhos de raciocínio plausíveis, porém falhos, de caminhos corretos, levando a ganhos menores comparados às tarefas determinísticas de KK.

Trade-offs Computacionais

O estudo descobre que escalar o número de passagens do verificador ($n_2$) é geralmente mais custo-efetivo do que escalar o número de gerações de candidatos ($n_1$). Limiares de confiança moderados (ex: $\tau = 0.7$) oferecem um bom equilíbrio entre precisão e recall.

Significância e Alegações

O artigo afirma caracterizar quando a SE de loop fechado pode ajudar e como a supervisão gerada internamente permanece insuficiente sob uma formulação mínima.

• Limitações dos Sinais Internos: O achado principal é que, sob uma restrição de loop fechado estrita, o feedback interno sozinho não é um substituto geral para recompensas verificáveis ou soluções curadas de verdade absoluta. Embora a SE possa "afiar" a confiança de um modelo em seus modos de solução existentes (melhorando o Pass@1), ela não ensina de forma confiável o modelo a resolver problemas muito mais difíceis sem sinais externos.
• Limiar de Capacidade: A autoevolução é altamente dependente da escala do modelo. Modelos menores (ex: 1B) frequentemente falham em evoluir de forma eficaz devido ao ruído do verificador, enquanto modelos maiores (12B+) podem aproveitar o feedback de múltiplos turnos para se aproximar do desempenho de oráculo.
• Gap de Generalização: Um gap persistente existe entre modelos autoevoluídos e modelos treinados por oráculo, particularmente para generalização OOD e tarefas de raciocínio de código aberto. O artigo sugere que, embora a SE seja útil para destilar capacidades de verificação latentes, ela não pode substituir totalmente a necessidade de supervisão externa de alta qualidade em domínios de raciocínio complexos.

Em resumo, o trabalho fornece uma linha de base empírica rigorosa mostrando que, embora a evolução própria ofereça melhorias mensuráveis, ela atualmente estagna abaixo do teto de desempenho alcançável com supervisão de oráculo, a menos que o modelo seja suficientemente grande para atuar como seu próprio verificador e revisor confiável.