On-Policy Self-Distillation without Any Supervision

Imagine um mundo onde cérebros digitais gigantes — chamados de Grandes Modelos de Linguagem (LLMs) — estão aprendendo a resolver quebra-cabeças complexos, como problemas matemáticos. Por muito tempo, esses cérebros precisaram de um professor humano parado ao lado de seus ombros, apontando cada erro e entregando as respostas corretas. Isso é como um aluno fazendo uma prova onde o professor sussurra as respostas certas antes mesmo de ele terminar a questão. Mas e se o professor não estivesse lá? E se o cérebro tivesse que ensinar a si mesmo? Esta é a grande pergunta que os pesquisadores estão fazendo: Pode um modelo aprender a ficar mais inteligente apenas olhando para o próprio trabalho, sem qualquer ajuda externa?

Para entender a nova ideia deste artigo, você precisa saber duas coisas. Primeiro, existe uma técnica chamada "destilação", que é como um aluno tentando copiar o processo de pensamento de um mestre. Geralmente, o "mestre" é uma IA separada, maior ou mais inteligente. Segundo, existe o aprendizado "on-policy", o que significa que o aluno pratica com as exatas respostas que ele mesmo gera, em vez de estudar exemplos antigos e pré-escritos. O grande obstáculo sempre foi que, mesmo quando o modelo tenta ensinar a si mesmo, ele ainda precisa de uma resposta de "padrão ouro" para saber se está certo ou errado. Sem essa verdade externa, o modelo pode acabar apenas praticando seus erros, errando com confiança repetidamente.

Este artigo apresenta um truque inteligente chamado U-OPSD (Self-Distillation On-policy Não Supervisionada). Os pesquisadores descobriram que um modelo não precisa de fato de um professor humano ou de um gabarito "ouro" para aprender. Em vez disso, ele pode agir como uma sala cheia de gêmeos idênticos fazendo a mesma prova. Se um gêmeo obtém uma resposta estranha, mas outros nove concordam com uma resposta diferente, o grupo encontrou um "consenso". O artigo sugere que esse acordo é um sinal forte o suficiente para dizer: "Ok, este é provavelmente o caminho certo".

É assim que a mágica acontece: o modelo gera muitas tentativas diferentes (chamadas de "rollouts") para resolver um problema matemático. Ele então realiza uma votação. Se a maioria das tentativas concordar com uma resposta, essa resposta torna-se a "pseudo-solução" — um gabarito falso, mas confiável, criado inteiramente pelo próprio modelo. O modelo então observa as tentativas que discordaram da maioria. Estes são os caminhos "errados". O modelo atua como um professor para si mesmo, mostrando aos caminhos "errados" como se transformar no caminho "certo", passo a passo. É como um aluno que escreveu uma redação longa e confusa, percebendo que a maioria de seus amigos escreveu uma redação clara e correta, e então reescrevendo sua própria redação para corresponder à lógica do grupo, mas corrigindo apenas as partes onde ele saiu do trilho.

Os resultados são bastante surpreendentes. Os pesquisadores testaram isso em várias competições matemáticas difíceis (como AIME e MATH500) usando diferentes tamanhos de modelos (4 bilhões e 8 bilhões de parâmetros). Eles descobriram que este método de "autoensino", que utiliza nenhuma supervisão externa, na verdade funcionou melhor do que métodos que dependiam de respostas verificadas por humanos no modo "não pensante" (onde o modelo responde rapidamente). Neste modo, os modelos autoensinados melhoraram suas pontuações em 8,5% e 10,7% em relação ao seu ponto de partida, superando até mesmo os métodos que usavam as respostas "ouro". No entanto, no modo "pensante" (onde o modelo leva seu tempo para raciocinar), os resultados foram diferentes: os modelos autoensinados tiveram um desempenho equivalente a ou ligeiramente à frente dos métodos supervisionados, aproximando-se deles de perto, em vez de dominá-los.

O artigo argumenta que isso funciona porque o próprio acordo do modelo é um sinal poderoso. Quando o modelo está confiante o suficiente para ter uma votação majoritária, ele sabe que está no caminho certo. Quando ele discorda de si mesmo, é aí que o aprendizado acontece. Os pesquisadores sugerem que o gargalo para tornar esses modelos mais inteligentes não é a falta de gabaritos, mas sim a capacidade de detectar e corrigir suas próprias inconsistências. Ao usar esta estratégia de "votação da maioria", o modelo pode evoluir e melhorar por conta própria, transformando uma sala de gêmeos confusos em um único gênio mais inteligente.