💬 NLP

SkillFactory: Self-Distillation For Learning Cognitive Behaviors

O artigo apresenta o SkillFactory, um método de ajuste fino supervisionado que utiliza amostras rearranjadas do próprio modelo para induzir habilidades cognitivas como verificação e retrocesso, permitindo que modelos aprendam a aproveitar essas competências de forma mais robusta durante o treinamento por reforço subsequente.

Autores originais: Zayne Sprague, Jack Lu, Manya Wadhwa, Sedrick Keh, Mengye Ren, Greg Durrett

Publicado 2026-04-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zayne Sprague, Jack Lu, Manya Wadhwa, Sedrick Keh, Mengye Ren, Greg Durrett

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um cachorro a fazer truques complexos, como pegar uma bola, pular um obstáculo e depois trazer a bola de volta.

O problema é que o seu cachorro (o modelo de linguagem) é inteligente, mas ele tende a ser um pouco "preguiçoso" ou impulsivo. Se você pedir para ele pegar a bola, ele corre, pega e traz. Pronto. Mas se a bola estiver escondida atrás de um sofá difícil de alcançar, ele pode desistir na primeira tentativa ou tentar pegar algo errado.

Aqui entra a ideia do SkillFactory (Fábrica de Habilidades), descrita neste paper.

O Problema: O Cachorro que não "Pensa"

Os modelos de inteligência artificial modernos são ótimos em responder perguntas, mas muitas vezes eles dão a primeira resposta que vem à cabeça, sem checar se está certa. Se a resposta estiver errada, eles não costumam dizer: "Ei, espere, isso não faz sentido, vou tentar de novo". Eles apenas continuam.

Para ensinar o modelo a pensar mais, os pesquisadores costumavam usar dois métodos:

Treinar com um "Mestre": Pegar um modelo super inteligente (e muito caro) para ensinar o modelo pequeno. É como ter um professor particular de elite.
Apenas "Recompensar": Deixar o modelo tentar milhões de vezes e só dar um "biscoito" (recompensa) quando ele acerta. Isso funciona, mas é lento e o modelo pode não aprender como pensar, apenas adivinhar.

A Solução: O SkillFactory (A Fábrica de Habilidades)

Os autores do paper criaram um método genial que não precisa de um professor superinteligente. Eles usam o próprio modelo para ensinar a si mesmo, mas de um jeito muito criativo.

Pense no SkillFactory como um diretor de teatro que está montando uma peça com atores iniciantes.

A Cena Improvisada (Amostragem): O diretor pede para o ator (o modelo) tentar resolver um problema. O ator tenta, erra, tenta de novo, erra de novo e, finalmente, acerta.
- Na vida real: O modelo gera várias respostas para uma pergunta. Algumas estão erradas, outras certas.
O Montagem do Roteiro (Reorganização): Aqui está a mágica. O diretor pega todas essas tentativas bagunçadas e as organiza em um roteiro perfeito. Ele cria uma história onde o ator:
- Tenta uma solução.
- Pausa e pensa: "Espera, isso parece errado. Por que está errado?" (Isso é a Reflexão).
- Desiste e tenta de novo: "Ok, vou tentar um caminho diferente." (Isso é o Retry ou nova tentativa).
- Confere: "Certo, agora verifiquei, está tudo certo." (Isso é a Verificação).

O modelo nunca viu esse roteiro antes. O roteiro foi criado misturando as próprias falhas e acertos dele.

O Ensaio (Aprendizado Supervisionado): O modelo lê esse roteiro organizado (chamado de "trilha de prata" ou silver trace) e aprende a estrutura: "Ah, então quando eu erro, eu devo parar, refletir e tentar de novo antes de dar a resposta final".
A Estreia (Reinforcement Learning): Depois de aprender a estrutura no ensaio, o modelo vai para o palco (treinamento final com recompensas). Como ele já aprendeu a "dança" de pensar, refletir e tentar de novo, ele se sai muito melhor do que se tivesse começado do zero.

Por que isso é incrível?

Imagine que você está aprendendo a dirigir.

Método Antigo: Você senta no carro e só recebe um "parabéns" se chegar ao destino. Se bater no muro, você só sabe que bateu, mas não aprendeu a virar o volante no momento certo.
Método SkillFactory: Alguém pega suas próprias tentativas de direção (onde você quase bateu, onde você corrigiu o erro) e cria um vídeo educativo mostrando: "Olhe, aqui você quase bateu, então você freou, olhou o espelho e virou. Isso é o que se faz!". Você assiste ao vídeo e aprende a estratégia de dirigir com segurança.

Os Resultados

O paper mostra que, mesmo começando com um modelo que não era tão bom em resolver problemas difíceis, depois de passar por essa "Fábrica de Habilidades":

Ele aprende a verificar suas respostas (não aceita qualquer coisa).
Ele aprende a voltar atrás quando percebe um erro (não fica teimoso).
Ele se torna muito mais robusto, ou seja, consegue resolver problemas novos e difíceis que nunca viu antes, porque aprendeu como pensar, e não apenas o que responder.

Em resumo: O SkillFactory pega as falhas e acertos do próprio modelo, organiza-os em uma lição de "como pensar corretamente" e ensina o modelo a usar essas habilidades. É como transformar o próprio erro do aluno na melhor lição de aula possível.

Título: SKILLFACTORY: Auto-Distilação para Aprendizado de Comportamentos Cognitivos

1. O Problema

Modelos de linguagem modernos (LLMs) demonstraram capacidades de raciocínio avançado, como verificação de respostas, backtracking (retrocesso) e tentativa de métodos alternativos. A literatura recente sugere que o Aprendizado por Reforço (RL) pode aprimorar esses comportamentos se o modelo base já os exibir. No entanto, existem dois desafios principais:

Dependência de Modelos Fortes: Métodos existentes para induzir essas habilidades frequentemente dependem de distilação a partir de modelos superiores (teachers), o que é custoso e limita a acessibilidade.
Generalização e Robustez: Modelos treinados apenas com RL ou com dados de distilação muitas vezes falham em generalizar para tarefas fora de domínio (OOD) ou sofrem de "esquecimento catastrófico", onde o desempenho em tarefas não vistas durante o treinamento degrada significativamente.
Início Frio (Cold Start): Se o modelo base não exibe naturalmente essas habilidades cognitivas, o RL puro pode não conseguir descobri-las eficientemente.

O objetivo do trabalho é criar um método para ensinar essas habilidades cognitivas (tentativa, reflexão, verificação) a modelos base sem depender de um modelo professor mais forte, utilizando apenas os próprios dados do modelo.

2. Metodologia: SkillFactory

O SkillFactory é um framework de três etapas projetado para "primar" (preparar) o modelo para o RL, criando um conjunto de dados de Fine-Tuning Supervisionado (SFT) com "trilhas prateadas" (silver traces). O processo não visa melhorar o desempenho na tarefa SFT imediatamente, mas sim internalizar a estrutura do raciocínio.

Etapas do Processo:

Geração de Soluções (Amostragem):
- Para cada questão no conjunto de dados, o modelo base gera múltiplas tentativas de solução ( $N_{sample}$ ) usando prompts variados (Chain-of-Thought).
- As soluções são analisadas automaticamente para determinar se são corretas ou incorretas em relação à resposta de referência.
Geração de Reflexões:
- O modelo é solicitado a refletir sobre cada solução gerada, avaliando se ela está correta ou incorreta.
- Apenas reflexões que acertam o julgamento (veredito correto) são mantidas. Isso cria pares de (Solução, Reflexão).
Construção de Trilhas Estruturadas (Trace Construction):
- O algoritmo combina pares de soluções e reflexões para criar um único trace de treinamento.
- Estratégia de Mistura: O trace contém tentativas incorretas seguidas de reflexão (rejeição) e tentativas corretas.
- Garantia de Sucesso: O trace é sempre finalizado com uma solução correta, garantindo que o modelo aprenda a persistir até o sucesso.
- Formatação: O texto é estruturado com tags explícitas (<sample>, <reflect>, <verdict>, <answer>) e frases de transição ("Let me try again", "Wait, I should check...") que simulam o comportamento cognitivo de tentar, falhar, refletir e corrigir.
Treinamento em Duas Etapas:
- Etapa 1 (SFT): O modelo é ajustado supervisionadamente sobre essas trilhas estruturadas. O objetivo é aprender a forma e a sequência dos comportamentos cognitivos.
- Etapa 2 (RL): O modelo SFT é então refinado usando Aprendizado por Reforço (GRPO) com recompensas esparsas baseadas na correção final. O RL afina o uso dessas habilidades.

3. Contribuições Principais

Auto-Distilação Efetiva: Demonstra que modelos podem adquirir habilidades de raciocínio complexas (tentativa e verificação) a partir de seus próprios dados reorganizados, eliminando a necessidade de modelos professores maiores.
Generalização "Fácil para Difícil": O método permite que modelos treinados em tarefas simples (ex: Countdown com 3 números) generalizem com sucesso para variantes mais difíceis (4, 5, 6 números) após o RL, superando baselines de RL puro e distilação.
Robustez em Domínios Fora de Distribuição (OOD): Modelos iniciados com SkillFactory mostram maior resiliência e menos degradação de desempenho em tarefas não vistas durante o treinamento (como multiplicação, CSQA, GSM8K) em comparação a modelos treinados apenas com RL ou distilação.
Escalabilidade de Inferência: Modelos treinados com SkillFactory respondem melhor a técnicas de "budget forcing" (forçar o modelo a pensar mais tempo), utilizando o contexto extra de forma mais eficaz para refinar respostas.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos como Qwen2.5 (1.5B e 7B) e Olmo-3-7B, utilizando tarefas como Countdown (aritmética), Letter Countdown, Acronym Generation, Multiplicação, GSM8K e CommonsenseQA.

Countdown (Generalização):
- No cenário de treinamento apenas em Countdown-3arg, o modelo SkillFactory → GRPO alcançou 25.1% de precisão em variantes mais difíceis (4-6 argumentos).
- Isso superou o RL Only (15.8%) e o R1 Distill → GRPO (21.2%), mesmo que o modelo R1 Distill tivesse um desempenho SFT inicial muito superior (11.7% vs 2.8% do SkillFactory). Isso prova que um SFT inicial de alta qualidade na tarefa não garante melhor generalização pós-RL.
Desempenho OOD:
- Em tarefas fora de domínio, o SkillFactory manteve um desempenho robusto, evitando o colapso de desempenho observado em outros métodos quando expostos a tarefas não relacionadas.
Raciocínio Matemático Complexo (OpenThoughts):
- Ao treinar em subconjuntos do dataset OpenThoughts, o SkillFactory alcançou desempenho competitivo em benchmarks difíceis (GPQA, AIME 2025, AMC), superando a distilação do modelo QwQ em tarefas específicas como AMC e Math500.
Análise de Uso de Habilidades:
- Os modelos SkillFactory exibiram explicitamente mais tentativas de resposta e reflexões do que as baselines.
- A precisão do verificador (F1) para identificar respostas incorretas foi alta (>0.92 em tarefas in-domain), indicando que o modelo aprendeu a rejeitar erros efetivamente.

5. Significado e Conclusão

O trabalho SkillFactory propõe uma mudança de paradigma na criação de modelos de raciocínio:

Viés Indutivo Pré-RL: Sugere que a introdução de viéses indutivos (estruturas de pensamento) antes do RL é mais crucial do que simplesmente maximizar a precisão na tarefa durante o SFT.
Acessibilidade: Permite que pesquisadores e desenvolvedores com recursos limitados (sem acesso a modelos proprietários gigantes) criem modelos de raciocínio robustos.
Estrutura vs. Conteúdo: Reforça a ideia de que a estrutura do raciocínio (o "como" pensar) é tão importante quanto o conteúdo factual para a generalização de habilidades cognitivas.

Em resumo, o SkillFactory oferece um caminho viável para instilar comportamentos cognitivos robustos em LLMs, permitindo que eles aprendam a "pensar" de forma mais sistemática e a generalizar esse raciocínio para novos e desafiadores problemas, tudo isso sem depender de modelos mestres externos.