💻 computer science

Teacher-Free Self-Training Amplifies but Does Not Compound: A Pass@ $K$ Crossover on a Free-Verifier Domain

Este artigo demonstra que o autotreinamento sem professor em um domínio de DSL verificado amplifica a capacidade de um modelo de expressar capacidades existentes ao concentrar a massa de probabilidade, mas não acumula seu alcance subjacente, conforme evidenciado pelo fato de o modelo base eventualmente superar o modelo treinado em orçamentos de amostragem mais elevados.

Autores originais: Igor Lima Strozzi

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Igor Lima Strozzi

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Questão: A Prática Leva à Perfeição ou Apenas a Mostrar-se Melhor?

Imagine que você tem um aluno (um modelo de IA) que está tentando aprender uma nova habilidade, como resolver quebra-cabeças de lógica. O aluno tem permissão para praticar resolvendo quebra-cabeças, conferindo suas próprias respostas com um gabarito perfeito e, em seguida, estudando as que acertou para melhorar.

A grande questão que este artigo faz é: Quando o aluno pratica desta forma, ele está realmente aprendendo coisas novas que não conseguia fazer antes (composição/compounding), ou está apenas ficando melhor em mostrar habilidades que já possuía, mas que raramente encontrava (amplificação/amplification)?

Muitas pessoas esperam pela primeira opção (aprender novos superpoderes). Este artigo argumenta que, nesta configuração específica, o aluno está fazendo apenas a segunda opção (tornar-se melhor em exibir habilidades existentes).

A Configuração: O Jogo da "Porta de Alçapão" (Trapdoor)

Para testar isso de forma justa, os pesquisadores construíram um jogo especial chamado "Domínio Trapdoor". Pense nisso como uma caixa mágica com três regras:

O Gerador (O Aluno): Uma IA pequena que tenta escrever um programa para resolver um quebra-cabeça.
O Verificador (O Gabarito Perfeito): Um programa de computador simples que verifica se a resposta está 100% correta. Não é uma IA; é apenas um verificador de regras estritas. Não custa nada para executar e nunca comete erros.
O Crítico (O Treinador): Uma IA pequena que adivinha qual das respostas do aluno tem mais probabilidade de funcionar em novos quebra-cabeças, não apenas naqueles que ela acabou de ver.

Por que isso é especial? Normalmente, quando uma IA ensina a si mesma, ela depende de um "professor" (uma IA maior e mais inteligente) para corrigir seu trabalho. Aqui, não há professor. O "Gabarito" é apenas uma regra matemática. Isso significa que, se o aluno aprende algo novo, deve ser porque o próprio aluno melhorou, e não porque o professor o ensinou.

O Experimento: Três Rodadas de Prática

Os pesquisadores deixaram o aluno praticar em rodadas:

Rodada 1: O aluno tenta resolver os quebra-cabeças. O Gabarito os verifica. O aluno estuda os acertos.
Rodada 2: O aluno tenta novamente, usando o que aprendeu.
Rodada 3: Mais uma vez.

Eles mediram duas coisas:

Com que frequência o aluno acertou na primeira tentativa (Pass@1).
Com que frequência o aluno acertou se tivesse permissão para tentar 64 vezes (Pass@64).

As Descobertas: Amplificação, Não Composição

Aqui está o que eles descobriram, usando algumas metáforas:

1. O "Treinador" Ajuda Mais do que o "Gabarito"

Quando o aluno gerava 8 respostas possíveis, o "Gabarito" só conseguia dizer "Sim, isso funciona para os exemplos que vejo" ou "Não". Ele não conseguia dizer qual resposta funcionaria em novos quebra-cabeças.
O "Treinador" (o Crítico) era muito melhor em escolher a resposta certa. Ele melhorou a taxa de sucesso do aluno em cerca de 9% em comparação com a escolha aleatória.

O Detalhe: Essa melhoria só aconteceu em quebra-cabezas onde o aluno estava confuso (onde diferentes respostas pareciam estar corretas). O Treinador não criou novas habilidades; ele apenas ajudou o aluno a escolher a melhor opção existente.

2. O Teto Fica Mais Alto, Mas Mais Devagar

À medida que o aluno praticava, seu desempenho melhorava.

Rodada 1 para 2: Grande salto de desempenho.
Rodada 2 para 3: Salto menor.
O Padrão: Os ganhos diminuíam a cada vez. Isso é chamado de Amplificação. O aluno estava cavando mais fundo em uma mina que já sabia que existia, encontrando o ouro que já estava lá, mas era difícil de alcançar. Eles não estavam descobrindo uma nova mina.

3. O Teste de "Ultrapassagem" (A Prova Cabal)

Esta é a parte mais importante. Os pesquisadores compararam o "Aluno Treinado" contra o "Aluno Original" (antes de qualquer prática).

Em baixo esforço (tentando 8 vezes): O Aluno Treinado vence. Eles são mais afiados e consistentes.
Em alto esforço (tentando 64 vezes): O Aluno Original vence.

A Metáfora: Imagine que o Aluno Original tem uma rede larga e rasa. Ele pode perder um peixe na primeira tentativa, mas se lançar a rede 64 vezes, ele pega quase tudo porque sua rede é larga.
O Aluno Treinado tem uma rede estreita e profunda. Eles são muito bons em pegar os peixes que são fáceis de encontrar, por isso vencem quando têm apenas uma ou duas tentativas. Mas, como focaram tanto nesses peixes fáceis, esqueceram como lançar a rede de forma ampla. Quando tentam 64 vezes, eles na verdade capturam menos peixes no total do que o Aluno Original, porque sua "rede" encolheu.

A Conclusão: Afiando, Não Crescendo

O artigo conclui que este método de autotreinamento amplifica a capacidade, mas não compõe (não gera composição de) novas capacidades.

Amplificação: O modelo torna-se melhor em encontrar as soluções que ele já era capaz de encontrar se tentasse o suficiente. Ele concentra sua energia nas vitórias "fáceis".
Sem Composição: O modelo não rompeu uma barreira para resolver problemas que era fundamentalmente incapaz de resolver antes. Ele não expandiu seu alcance; ele apenas estreitou seu foco.

Um Aviso Sobre Pontuações "Zero"

O artigo também aponta um erro comum na pesquisa de IA. Às vezes, um modelo obtém 0% em um teste difícil e, após o treinamento, obtém 10%. As pessoas dizem: "Olha! Ele aprendeu algo novo!"
Os pesquisadores dizem: Espere. Neste tipo específico de quebra-cabeça, obter 0% muitas vezes significa apenas que você não tentou vezes suficientes (subamostragem). Se você tentasse 64 vezes, o modelo "não treinado" também poderia resolver esses quebra-cabeças "impossíveis". Portanto, sair do zero nem sempre é um sinal de um novo superpoder; às vezes é apenas um sinal de melhor sorte ou de mais tentativas.

Resumo

A IA não aprendeu a voar; ela apenas aprendeu a saltar mais alto do que antes. Ela tornou-se especialista em encontrar as soluções que já estavam ao seu alcance, mas não ganhou a habilidade de alcançar lugares onde não conseguia chegar antes.

Resumo Técnico: O Autotreinamento Sem Professor Amplifica, mas Não Compõe

1. Definição do Problema

A questão central abordada é se os loops de autoaperfeiçoamento para modelos de linguagem (LLMs) que treinam em seus próprios outputs verificados compõem capacidade (adquirindo nova alcançabilidade genuína além da distribuição do modelo base) ou apenas amplificam a capacidade (trazendo à tona soluções raras e alcançáveis que o modelo base já poderia gerar com amostragem suficiente).

A literatura existente está dividida:

Visão de elicitação: Treinar em outputs verificados apenas refina a habilidade do modelo de acessar capacidades latentes, muitas vezes resultando no modelo base superando o modelo treinado em grandes orçamentos de amostragem (pass@K) [11].
Visão de composição: O reforço prolongado (RL) pode elevar os modelos além de sua distribuição base, resolvendo instâncias que o modelo base não consegue alcançar em nenhum orçamento [8].

Existe uma lacuna metodológica crítica: a maioria dos estudos depende de "professores" (modelos maiores, modelos de recompensa ou humanos) que, por construção, limitam o teto de novidade, ou declaram "emergência" com base em métricas que se movem para fora de zeros aparentes, o que pode ser um artefato de amostragem, e não uma verdadeira fronteira de capacidade.

2. Metodologia: A Constelação "Trapdoor"

Para tornar a distinção entre amplificação e composição decidível, os autores constroem uma "constelação" sem professor em um domínio específico:

Domínio: Um DSL (Linguagem de Domínio Específico) do tipo "trapdoor" estilo FlashFill para transformações de string.
- Geração direta (forward): Barata para sintetizar pares (problema, solução) verificados.
- Resolução reversa (backward): Difícil para o modelo inverter.
- Verificação: Um intérprete exato, total e gratuito (sem parâmetros aprendidos) que verifica a correção de forma exata.
Papéis do Sistema:
1. Verificador: O intérprete exato. Ele filtra candidatos consistentes com exemplos visíveis, mas não pode adjudicar a generalização em inputs não vistos (held-out).
2. Gerador: Um modelo Qwen3-4B de 4 bits com um adaptador LoRA, mapeando exemplos visíveis para programas candidatos.
3. Crítico: Um adaptador LoRA separado, treinado como um classificador generativo de sim/não, para ranquear candidatos com base na probabilidade de generalizarem para inputs não vistos.
4. Condutor: Orquestra o loop sem um modelo.
Loop de Treinamento (STaR):
- O gerador propõe $K$ candidatos.
- O verificador filtra aqueles que falham nos exemplos visíveis.
- O crítico ranqueia os sobreviventes; o melhor candidato é selecionado.
- O verificador adjudica o candidato selecionado em exemplos não vistos (held-out).
- Apenas programas que generalizam, gerados pelo modelo e confirmados pelo verificador, são usados como alvos de ajuste fino supervisionado (SFT) para a próxima rodada.
- Restrição Crucial: Nenhum modelo maior ou professor externo está envolvido; o teto não é limitado pela competência de um professor.

Configuração Experimental:

Hardware: GPU única de 24 GB (RTX 3090).
Modelo: Qwen3-4B-Instruct (quantização de 4 bits).
Banks: Dois bancos de avaliação congelados (Easy: máx. 3 átomos; Hard: máx. 4 átomos, contagem de átomos fora do treinamento).
Trajetória: Três rodadas (v0 $\to$ v1 $\to$ v2) de autotreinamento.

3. Principais Contribuições

Uma Constelação Totalmente Sem Professor: Um sistema gerador/crítico/verificador executável em uma única GPU, onde o verificador é um intérprete exato, garantindo que não haja "brecha de escape por destilação" que limite a novidade.
Superioridade da Seleção Guiada pelo Crítico: Demonstrou que um crítico aprendido supera um baseline "best-of-k" (ingênuo) filtrado pelo verificador em +9,1 pontos percentuais (em 6/6 sementes). O ganho é localizado inteiramente em tarefas onde os candidatos divergem nos inputs não vistos (o subconjunto divergente), confirmando que o crítico recupera a capacidade existente em vez de criar novas capacidades.
Amplificação Pautada pelo Headroom: O autotreinamento eleva o teto de desempenho, mas nunca acelera. O ganho por rodada desacelera à medida que o modelo se aproxima da fronteira alcançável da distribuição base.
O Crossover do Pass@K: Um crossover medido onde o modelo treinado vence no orçamento operacional (pass@8), mas o modelo base ultrapassa o modelo treinado em grandes orçamentos (pass@64) em todas as trajetórias. Isso confirma que o modelo concentra a massa de probabilidade em menos soluções, em vez de expandir seu alcance.
Correção Metodológica sobre "Emergência": Neste DSL composicional, células de "capacidade zero" aparente em contagens de amostras pequenas são artefatos de subamostragem, não fronteiras genuínas. Declarar emergência baseada na subida a partir do zero é inválido sem verificação em escala populacional.

4. Resultados

Desempenho de Seleção

Crítico vs. Ingênuo: O crítico melhora significativamente a precisão da seleção, particularmente no subconjunto divergente (onde os candidatos divergem nos dados não vistos).
- Semente 1234: Ingênuo 53,3% $\to$ Crítico 93,3%.
- Semente 7: Ingênuo 61,9% $\to$ Crítico 92,9%.
Consistência: O ganho total é exatamente igual ao ganho no subconjunto divergente, provando que o crítico atua apenas onde existe ambiguidade estrutural.

Trajetória de Autotreinamento (STaR)

Elevação do Teto: O teto do verificador (pass@8) aumenta da rodada 0 para a rodada 2 em ambos os bancos.
- Easy Bank: 46,7% $\to$ 53,1% $\to$ 55,4%.
- Hard Bank: 37,9% $\to$ 41,1% $\to$ 45,0%.
Desaceleração: O ganho por rodada não é acelerador.
- Easy: +6,4% (v0 $\to$ v1) $\to$ +2,3% (v1 $\to$ v2).
- Hard: +3,2% (v0 $\to$ v1) $\to$ +3,9% (v1 $\to$ v2) em uma única semente, mas em 4 trajetórias de treinamento independentes, a tendência é consistentemente desaceleradora (+5,1% $\to$ +2,8%).
Sem Colapso: A diversidade (cardinalidade de programas que generalizam por tarefa) aumentou (2,79 $\to$ 4,05), e nenhuma classe regrediu para capacidade zero.

Diagnóstico do Crossover (Amplificação vs. Composição)

Orçamento Operacional (pass@8): O modelo treinado (v2) supera o base (v0).
- Easy: v2 (53,0%) > Base (46,0%).
- Hard: v2 (46,0%) > Base (38,0%).
Grande Orçamento (pass@64): O modelo base ultrapassa o modelo treinado.
- Easy: Base (68,0%) > v2 (61,5%).
- Hard: Base (57,5%) > v2 (52,5%).
Interpretação: O modelo treinado concentra a massa de probabilidade em soluções "raras, mas alcançáveis", tornando-as comuns (vencendo em baixo $K$ ), mas reduz a capacidade do modelo de explorar toda a cauda da distribuição (perdendo em alto $K$ ). O teto do modelo treinado permanece estritamente abaixo do envelope de grande- $K$ do modelo base.

Fronteiras de Capacidade Zero

Classes que pareciam ter 0% de sucesso em baixas contagens de amostras (ex: estruturas específicas de 4 átomos) mostraram ter taxas de sucesso não nulas (25–50%) quando medidas em escala populacional.
A "parede real" não está no zero, mas no gap entre a habilidade do modelo base de encontrar um programa ajustado, mas errado (alto pass@64) e um programa que generaliza. Esse gap (~11 pp) é o verdadeiro limite de capacidade.

5. Significância e Alegações

O artigo alega fornecer um resultado negativo em relação à composição em um regime específico e rigoroso:

Amplificação, Não Composição: Em um cenário sem professor, com um verificador exato e gratuito, o autotreinamento (STaR) amplifica a alcançabilidade existente do modelo base, mas não compõe para criar uma nova alcançabilidade. O "teto" é pautado pelo headroom restante da distribuição do modelo base.
Validade Metodológica: O estudo desafia a validade de testes de "0% $\to$ subida = emergência", argumentando que esses zeros são frequentemente artefatos de subamostragem.
Dissociação de Diversidade e Cobertura: O estudo observa que, embora a diversidade de soluções colhidas aumente durante a geração de dados, a cobertura pass@K de avaliação do modelo treinado estreita. Isso se alinha com teorias de colapso de diversidade em SFT, onde a otimização de acurácia concentra a massa de probabilidade em soluções modais.

Limitações e Escopo:

O resultado é interno ao domínio do específico DSL estilo FlashFill e do regime de verificador exato e sem professor.
O achado de "não composição" pode ser específico à falta de um bônus de exploração ou de um verificador ruidoso; o RL prolongado com exploração ou modelos de recompensa aprendidos pode se comportar de forma diferente.
O poder estatístico é modesto (K=4 trajetórias de treinamento), embora suficiente para rejeitar a aceleração.
O estudo não pretende resolver o debate para todos os regimes de RL/SFT, mas isola especificamente o caso "sem professor e com verificador exato" para mostrar que, sem orientação externa ou mecanismo de exploração, o loop não consegue quebrar o envelope distributivo do modelo base.

Em resumo, o artigo argumenta que, sem um professor para importar novos padrões de raciocínio ou um mecanismo de exploração para empurrar além da fronteira alcançável, o autotreinamento é um processo de refinamento e exposição das capacidades existentes, não de composição delas em novas capacidades.