🤖 machine learning

Self-Distillation Enables Continual Learning

Este artigo introduz o Self-Distillation Fine-Tuning (SDFT), um método que aproveita o aprendizado em contexto para gerar sinais de treinamento on-policy a partir de demonstrações de especialistas, permitindo que modelos de fundação adquiram novas habilidades continuamente enquanto reduzem substancialmente o esquecimento catastrófico em comparação ao ajuste fino supervisionado tradicional.

Autores originais: Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal

Publicado 2026-08-10

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde o seu personagem favorito de videogame pudesse aprender um novo nível toda vez que você jogasse, tornando-se melhor nas coisas novas sem esquecer como pular os obstáculos antigos. Esse é o sonho do "aprendizado contínuo" na inteligência artificial. No momento, a maioria dos modelos de IA são como estátuas estáticas; uma vez construídos e lançados, eles não conseguem realmente aprender coisas novas sem quebrar as coisas antigas que sabiam. Se você tentar ensinar uma nova habilidade a um modelo, ele frequentemente sofre de "esquecimento catastrófico", onde subitamente esquece tudo o que costumava fazer bem. O grande desafio para os cientistas é descobrir como permitir que esses cérebros digitais continuem crescendo e aprendendo novos truques, assim como os humanos fazem, sem perder sua personalidade ou habilidades originais.

O artigo que você está prestes a ler aborda este problema introduzindo um novo método inteligente chamado Self-Distillation Fine-Tuning (SDFT). Pense nisso como uma forma de ensinar uma IA usando uma versão "professor" de si mesma. Em vez de apenas memorizar respostas de um livro didático (o que frequentemente leva ao esquecimento), a IA observa um exemplo de como realizar uma tarefa, imagina-se como um especialista que acabou de ver esse exemplo e, então, tenta ensinar sua versão "aluno" como fazê-lo. Este processo, chamado de "aprendizado on-policy", permite que a IA aprenda novas habilidades enquanto mantém suas antigas seguras. Os pesquisadores descobriram que este método funciona muito melhor do que a maneira padrão de treinar IA, permitindo que um único modelo aprenda múltiplas novas habilidades ao longo do tempo sem regredir.

O Problema: O Aluno Esquecido

Imagine que você é um aluno que é ótimo em matemática. Um dia, seu professor lhe entrega uma pilha de problemas de prática para uma nova matéria, como química. Você estuda muito, mas a maneira como você estuda é apenas copiando as respostas do final do livro, sem realmente entender os passos. Quando você faz uma prova de química, você vai bem. Mas quando tenta resolver um problema de matemática no dia seguinte, percebe que esqueceu como fazer álgebra básica! É isso que acontece com a maioria dos modelos de IA hoje em dia.

A maneira padrão de ensinar coisas novas à IA é chamada de Supervised Fine-Tuning (SFT). É como se o aluno estivesse apenas memorizando as "respostas corretas" de um conjunto de dados de demonstrações de especialistas. O problema é que este método é "off-policy", o que significa que a IA está aprendendo de dados que ela mesma não gerou. É como estudar o mapa de uma cidade que você nunca visitou. Quando você realmente tenta caminhar pelas ruas (resolver um novo problema), você se perde e, no processo de se perder, esquece como navegar no seu próprio bairro. O resultado é o "esquecimento catastrófico", onde a IA perde sua inteligência geral para aprender um novo truque específico.

A Solução: O Jogo de Professor e Aluno

Os autores deste artigo, Idan Shenfeld e sua equipe, criaram uma maneira mais inteligente de aprender chamada Self-Distillation Fine-Tuning (SDFT). Em vez de apenas copiar respostas, eles usam um jogo de "Professor e Aluno" onde ambos os papéis são desempenhados pelo mesmo modelo de IA.

Aqui está como o truque de mágica funciona:

A Configuração: Você tem um prompt (uma pergunta) e uma demonstração (um exemplo de uma boa resposta).
O Professor: O modelo de IA observa a pergunta e o exemplo. Como é um modelo inteligente, ele usa sua habilidade de "aprendizado em contexto" (in-context learning) para entender o exemplo e gerar uma resposta perfeita de nível especialista. Esta é a versão "Professor" do modelo.
O Aluno: O mesmo modelo de IA observa apenas a pergunta (sem o exemplo) e tenta gerar uma resposta por conta própria. Este é o "Aluno".
A Lição: O Aluno tenta corresponder à resposta do Professor. Mas aqui está a diferença fundamental: o Aluno está aprendendo com suas próprias tentativas, não apenas copiando uma lista estática. Ele gera seu próprio caminho, vê onde errou em comparação ao Professor e se corrige.

Isso é aprendizado "on-policy". A IA está aprendendo com o caminho que ela realmente percorre, assim como um humano aprende a andar de bicicleta ao cair e se levantar, em vez de apenas ler um manual.

O Que Eles Descobriram: Aprendendo Sem Perder

Os pesquisadores testaram esta ideia de duas maneiras principais: ensinando novas habilidades à IA (como usar ferramentas ou responder perguntas científicas) e ensinando novos fatos (como notícias sobre eventos que ocorreram após o treinamento inicial da IA).

1. O Teste do "Não Esqueça"
Em um experimento difícil, eles treinaram um único modelo em três habilidades diferentes uma após a outra: usar ferramentas, responder perguntas científicas e raciocínio médico.

O Jeito Antigo (SFT): Assim que o modelo começou a aprender a segunda habilidade, seu desempenho na primeira habilidade desabou. Quando chegou a aprender a terceira, ele já havia esquecido as duas primeiras. Era um ciclo de aprendizado e esquecimento.
O Novo Jeito (SDFT): O modelo aprendeu a segunda habilidade, depois a terceira, e continuou melhorando na primeira. Ele não apenas aprendeu; ele acumulou conhecimento. O artigo mostra que o SDFT permite que um único modelo acumule múltiplas habilidades ao longo do tempo sem que o desempenho caia.

2. O Teste do "Entendimento Real"
Ao ensinar novos fatos à IA (como detalhes sobre um terremoto de 2025 que ocorreu após o corte de seus dados de treinamento), o método padrão (SFT) ensinou o modelo a memorizar respostas específicas. Se você fizesse uma pergunta ligeiramente diferente, ele ficava confuso.
O SDFT, no entanto, ajudou o modelo a realmente entender os fatos. Quando questionado sobre perguntas complexas que não correspondiam diretamente ao texto que memorizou, o SDFT obteve as respostas certas quase 100% das vezes, enquanto o método padrão tinha dificuldades. Isso sugere que o SDFT ajuda a IA a construir uma base de conhecimento interna real, não apenas um guia de referência.

3. O Resgate do "Raciocínio"
Uma das descobertas mais legais foi sobre IAs que são boas em "pensar" (raciocinar passo a passo). Às vezes, quando você treina esses modelos com respostas curtas e simples (porque é tudo o que os dados possuem), eles param de pensar e apenas dão respostas curtas. Eles perdem sua "cadeia de pensamento" (chain of thought).
Os pesquisadores descobriram que o SDFT salvou o dia. Mesmo quando os dados de treinamento tinham apenas respostas curtas, o método SDFT manteve vivas as habilidades de raciocínio do modelo. O modelo continuou a produzir explicações longas e profundas porque estava aprendendo com um "Professor" que entendia a intenção da resposta, não apenas as palavras.

Por Que o Tamanho Importa

O artigo também descobriu que este truque funciona melhor com "cérebros maiores". Eles testaram modelos de diferentes tamanhos (3 bilhões, 7 bilhões e 14 bilhões de parâmetros).

O modelo pequeno (3B) não era inteligente o suficiente para agir como um bom professor; ele não conseguia entender bem os exemplos, então o método não ajudou muito.
O modelo médio (7B) viu uma grande melhoria.
O modelo grande (14B) viu o maior salto, superando o método padrão por uma margem ampla.

Isso sugere que, à medida que os modelos de IA se tornam maiores e melhores em "aprendizado em contexto" (entender exemplos sobre a hora), este método de autoinstrução se tornará ainda mais poderoso.

A Ressalva e o Futuro

Claro, existem algumas ressalvas. Este método não é gratuito. Como a IA tem que gerar suas próprias respostas para aprender com elas, ele exige cerca de 2,5 vezes mais poder computacional e 4 vezes mais tempo para treinar do que o método padrão. No entanto, os autores argumentam que isso pode até economizar tempo a longo prazo, pois você não precisará fazer várias rodadas de treinamento para corrigir o problema do esquecimento.

Além disso, o método depende de a IA ser inteligente o suficiente para entender os exemplos em primeiro lugar. Se o modelo for muito pequeno ou não for inteligente o suficiente, o "Professor" não será muito bom, e a lição não funcionará.

No fim, este artigo sugere um caminho promissor. Ao permitir que os modelos de IA ensinem a si mesmos usando suas versões mais "sábias" como guias, podemos finalmente construir uma IA que não apenas aprende uma vez, mas que continua aprendendo, crescendo e melhorando ao longo de sua vida, tal como nós.

Resumo Técnico: Auto-destilação Permite Aprendizado Contínuo

Declaração do Problema

Os modelos de fundação enfrentam atualmente uma limitação fundamental: eles permanecem estáticos após o deployment. Embora possam adaptar o comportamento no momento da inferência via prompting ou recuperação, eles não atualizam seus parâmetros para adquirir novas habilidades ou internalizar novos conhecimentos. O desafio central é o aprendizado contínuo — permitir que os modelos aprendam e melhorem ao longo do tempo sem degradar as capacidades existentes.

As abordagens existentes para aprender com demonstrações de especialistas, a principal alternativa a funções de recompensa explícitas, dependem de Ajuste Fino Supervisionado (SFT). No entanto, o SFT é inerentemente off-policy, treinando em uma distribuição de dados fixa e offline. Isso leva ao esquecimento catastrófico, onde a adaptação a novas tarefas causa uma severa regressão nas capacidades gerais anteriores. Por outro lado, o aprendizado on-policy (treinar em trajetórias geradas pelo próprio modelo) demonstrou reduzir o esquecimento e melhorar a generalização, mas tipicamente requer funções de recompensa explícitas (Aprendizado por Reforço), que muitas vezes não estão disponíveis em cenários do mundo real.

A questão central abordada por este trabalho é: Como podemos obter os benefícios do aprendizado on-policy quando apenas demonstrações de especialistas estão disponíveis?

Metodologia: Ajuste Fino por Auto-destilação (SDFT)

Os autores propõem o Ajuste Fino por Auto-destilação (SDFT), um método que permite o aprendizado on-policy diretamente de demonstrações, aproveitando as capacidades de aprendizado em contexto (ICL) de grandes modelos pré-treinados.

Mecanismo Central

O SDFT utiliza um único modelo em dois papéis distintos durante o treinamento:

Professor (Teacher): O modelo condicionado tanto à entrada da tarefa ( $x$ ) quanto a uma demonstração do especialista ( $c$ ). Isso cria uma distribuição consciente da demonstração $Q = \pi(\cdot|x, c)$ . A estrutura do prompt incentiva o modelo a entender a intenção por trás da demonstração, em vez de apenas copiar verbatim.
Aluno (Student): O modelo base condicionado apenas à entrada da tarefa ( $x$ ), produzindo a distribuição $P = \pi(\cdot|x)$ .

Objetivo de Treinamento

O aluno é treinado para corresponder ao comportamento do professor em trajetórias geradas pelo próprio aluno (on-policy). O objetivo minimiza a divergência Kullback-Leibler reversa (KL) entre as distribuições do aluno e do professor:
$\mathcal{L}(\theta) = D_{KL} (\pi_\theta(\cdot|x) \parallel \pi(\cdot|x, c)) = \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} \left[ \log \frac{\pi_\theta(y|x)}{\pi(y|x, c)} \right]$

Interpretação Teórica

O artigo interpreta o SDFT através de duas lentes:

Destilação: Um framework aluno-professor onde o professor é uma versão do aluno "mais sábia" e consciente da demonstração.
Aprendizado por Reforço Inverso (IRL): Os autores mostram matematicamente que o SDFT é equivalente a maximizar uma função de recompensa implícita. Ao assumir que a política condicionada à demonstração aproxima a política ótima ( $\pi^* \approx \pi(\cdot|x, c)$ ), a razão logarítmica entre as distribuições do professor e do aluno atua como um sinal de recompensa intrínseco. Isso permite que o modelo realize atualizações on-policy sem uma função de recompensa explícita.

Implementação Prática

Parametrização do Professor: Os parâmetros do professor são tipicamente uma Média Móvel Exponencial (EMA) dos parâmetros do aluno.
Função de Perda: Embora a derivação teórica sugira a KL reversa, os autores descobriram que a KL direta (Forward KL) ao nível do logit produz um melhor desempenho prático.
Estimativa de Gradiente: A perda é decomposta em uma perda por token, tratando a distribuição do professor como fixa durante o cálculo do gradiente.

Principais Contribuições

Framework Inovador: Introdução do SDFT, um método simples para converter demonstrações de especialistas em sinais de aprendizado on-policy sem inferência de recompensa explícita.
Equivalência Teórica: Demonstração de que a auto-destilação a partir de demonstrações é matematicamente equivalente à maximização de uma função de recompensa implícita derivada das próprias capacidades de aprendizado em contexto do modelo.
Validação da Suposição de ICL: Evidência empírica de que modelos condicionados por demonstração atuam como professores de alta qualidade (produzindo saídas ótimas) enquanto permanecem próximos à política base (minimizando o desvio), satisfazendo os requisitos para regularização de região de confiança.
Robustez a Limitações de Dados: Demonstração de que o SDFT pode treinar modelos de raciocínio efetivamente mesmo quando os dados de supervisão carecem de traços explícitos de cadeia de pensamento (chain-of-thought), prevenindo o "colapso de raciocínio" frequentemente visto com o SFT padrão em dados de apenas resposta.

Resultados Experimentais

Os autores avaliaram o SDFT em dois cenários: Aprendizado de Habilidades (aquisição de novas tarefas) e Aquisição de Conhecimento (integração de novas informações factuais).

1. Aprendizado de Habilidades (Aprendizado Sequencial)

Tarefas: Q&A científica, Uso de Ferramentas e raciocínio Médico.
Descobertas:
- Esquecimento Catastrófico: Em experimentos de treinamento sequencial (aprendendo três habilidades uma após a outra), o SDFT permitiu que um único modelo acumulasse habilidades sem regressão de desempenho nas tarefas anteriores. Em contraste, o SFT exibiu interferência severa, onde o aprendizado de uma nova tarefa causou rápida degradação das habilidades aprendidas anteriormente.
- Generalização: O SDFT alcançou maior precisão em novas tarefas comparado ao SFT, indicando melhor generalização dentro da distribuição.
- Eficiência de Pareto: O SDFT consistentemente alcançou trade-offs superiores entre a precisão da nova tarefa e a retenção de capacidades anteriores comparado aos baselines (SFT, DFT e Re-invoke).

2. Aquisição de Conhecimento

Configuração: Integrar conhecimento factual sobre desastres naturais de 2025 (pós-data de corte de treinamento) em um modelo.
Descobertas:
- O SDFT superou significativamente o SFT e o Pré-treinamento Contínuo (CPT) tanto em precisão estrita quanto em perguntas fora da distribuição (indiretas).
- O SDFT alcançou precisão quase perfeita em perguntas indiretas, sugerindo que o novo conhecimento foi devidamente integrado à memória interna do modelo, em vez de apenas memorizado como padrões de resposta específicos.

3. Escala e Tamanho do Modelo

Dependência de ICL: A eficácia do SDFT está fortemente acoplada ao tamanho do modelo. Modelos menores (ex: 3B) com aprendizado em contexto fraco falharam em fornecer sinais de professor significativos, performando pior que o SFT. Modelos maiores (7B, 14B) mostraram melhoria monotônica, com o modelo de 14B alcançando uma diferença de 6.9 pontos sobre o SFT.

4. Modelos de Raciocínio

Supervisão de Apenas Resposta: Ao realizar o ajuste fino de um modelo de raciocínio (Olmo-3-7B-Think) em dados contendo apenas respostas finais (sem cadeia de pensamento), o SFT padrão causou um colapso na profundidade do raciocínio (respostas mais curtas) e reduziu a precisão. O SDFT preservou o comportamento de cadeia de pensamento longa do modelo enquanto melhorava a precisão.

Significância e Alegações

O artigo afirma que o SDFT estabelece a destilação on-policy como um caminho prático para o aprendizado contínuo a partir de demonstrações.

Superação da Limitação Off-Policy: O trabalho demonstra que os benefícios do aprendizado on-policy (redução de esquecimento, melhor generalização) podem ser realizados mesmo sem funções de recompensa explícitas, desde que o modelo possua capacidades suficientes de aprendizado em contexto.
Viabilidade Prática: Embora o SDFT incorra em um custo computacional mais alto (aprox. 2.5x mais FLOPs e 4x mais tempo de execução em comparação ao SFT devido aos rollouts on-policy), os autores argumentam que isso é compensado pela eliminação de pipelines de treinamento de múltiplos estágios (ex: SFT seguido de Re-invoke) necessários para mitigar o esquecimento por outros métodos.
Complementar ao RL: Os autores posicionam o SDFT não como um substituto para o RL on-policy, mas como um regime complementar. Ele pode servir como uma inicialização eficaz para o ajuste fino subsequente baseado em recompensa.

O artigo conclui que o SDFT permite que os modelos de fundação continuem aprendendo e melhorando ao longo do tempo, aproximando-se da habilidade humana de acumular conhecimento e refinar habilidades ao longo de uma vida.