🤖 machine learning

RAFT: Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting

O RAFT é um framework de dois estágios que mitiga o esquecimento catastrófico durante o ajuste fino específico de domínio através do refinamento dos dados de treinamento por meio de reescrita compatível com o modelo e do emprego de destilação on-policy condicionada à resposta para preservar as capacidades gerais originais do modelo enquanto melhora o desempenho no domínio.

Autores originais: Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário brilhante e culto (o modelo de IA) que sabe um pouco de tudo: história, culinária, programação e poesia. Este bibliotecário é ótimo em responder perguntas gerais.

Agora, imagine que você quer treinar este bibliotecário para se tornar um especialista especificamente em Direito. Você lhe entrega uma pilha de livros didáticos de direito e diz: "Aprenda isto!"

O Problema: A "Armadilha do Especialista"
Se você apenas forçar o bibliotecário a memorizar esses livros de direito (um processo que o artigo chama de SFT Padrão), ele se tornará um ótimo advogado. Mas há um porém: ele começa a esquecer como ser um bom bibliotecário geral. Ele pode esquecer como escrever um poema, como seguir instruções simples ou como conversar sobre o tempo. Ele se torna tão focado nas novas regras que perde sua personalidade original e seu conhecimento amplo. Isso é chamado de "Esquecimento Catastrófico".

O artigo argumenta que isso acontece por dois motivos principais:

O "Conflito de Estilo": Os livros de direito são escritos em um estilo rígido e formal que não combina com a forma como o bibliotecário costuma falar. Forçá-lo a falar como um livro didático o torna desajeitado e quebra seu fluxo natural.
A "Via de Mão Única": O treinamento olha apenas para as respostas "corretas" nos livros. Ele não se importa se o bibliotecário fica confuso ao tentar responder a uma pergunta por conta própria. É como um professor que apenas avalia um aluno em um teste de múltipla escolha, mas nunca observa como ele raciocina para resolver um problema.

A Solução: RAFT (O Treinador "Refinado e Adaptativo")
Os autores propõem um novo método chamado RAFT. Pense no RAFT como um programa de treinamento de duas etapas projetado para ensinar direito ao bibliotecário sem fazê-lo esquecer como ser humano.

Etapa 1: O "Tradutor" (Refinamento de Dados)

Antes mesmo de o bibliotecário começar a estudar, o RAFT atua como um tradutor.

O Problema: Os livros de direito são muito rígidos.
A Correção: O bibliotecário é solicitado a reescrever as respostas jurídicas em sua própria voz natural, mantendo os fatos corretos.
O Filtro: Um editor inteligente verifica: "O bibliotecário mudou o significado ao mudar o estilo?" Se a versão reescrita ainda for precisa, a versão reescrita é mantida. Se for um absurdo, a original é mantida.
A Fusão: Finalmente, um modelo de fusão superinteligente (como um editor sênior) combina a resposta jurídica original e a versão reescrita pelo bibliotecário em uma única resposta perfeita e de alta qualidade, que é tanto factualmente correta quanto fácil de o bibliotecário entender.

Analogia: Em vez de forçar o bibliotecário a ler um contrato jurídico seco, você lhe dá uma "folha de consulta" escrita em linguagem simples, mas que ainda contém todos os fatos jurídicos.

Etapa 2: O "Treinador de Sombra" (Destilação Adaptativa)

Agora, o bibliotecário começa a estudar usando essas novas folhas de consulta amigáveis. Mas aqui está a parte mágica:

O Cenário: O bibliotecário tenta responder a uma pergunta por conta própria (gerando uma "trajetória" ou um caminho de pensamentos).
O Treinador: O bibliotecário original (aquele que sabe tudo sobre o mundo, não apenas direito) observa esse processo.
A Arma Secreta: O Treinador recebe a "folha de consulta perfeita" (da Etapa 1) como referência. Quando o bibliotecário-estudante fica travado ou sai do caminho, o Treinador diz: "Ei, com base nos fatos que conhecemos, aqui está uma maneira melhor de formular isso", mas faz isso gentilmente.
O Equilíbrio: O Treinador não diz apenas "Errado". Eles usam uma técnica especial (chamada Temperatura Top-K) para sugerir algumas boas opções em vez de forçar uma única resposta. Isso mantém o estudante criativo e diverso, não robótico.
O Piloto Automático: O sistema ajusta automaticamente o quanto ele ouve o "Direito" versus o quanto ele ouve o treinador de "Conhecimento Geral". Se o estudante estiver ficando focado demais no direito e esquecendo as habilidades gerais, o treinador aumenta automaticamente o volume do conhecimento geral.

Analogia: Imagine um estudante aprendendo a dirigir um carro de corrida (Direito). Um professor padrão apenas grita: "Vire à esquerda no sinal vermelho!" (forçando um movimento específico). O RAFT é como um instrutor de direção que senta no banco do passageiro, segurando o mapa (os dados refinados), e guia gentilmente o estudante: "Você está virando rápido demais, lembre-se de checar seus espelhos (habilidades gerais) enquanto vira".

Os Resultados

O artigo testou isso em três tipos diferentes de "bibliotecários" (modelos de IA) através de cinco tópicos diferentes (Direito, Ciência, Cultura, etc.).

Melhor no Trabalho: Os bibliotecários treinados com RAFT tornaram-se 23% melhores em responder perguntas de direito do que aqueles treinados da maneira antiga.
Não Esqueceu o Resto: Crucialmente, eles não perderam suas habilidades gerais. Em testes de raciocínio geral e seguimento de instruções, eles recuperaram 18% e 10% das habilidades que normalmente seriam perdidas.

Em Resumo:
O RAFT é um método de treinamento que primeiro traduz informações novas e difíceis para uma linguagem que a IA já entende e, em seguida, usa um treinador inteligente e adaptativo para guiar o processo de aprendizagem da IA. Isso garante que a IA se torne uma especialista sem esquecer como ser uma generalista. Trata-se de ensinar alguém um novo ofício sem fazê-lo esquecer como ser uma pessoa.

Resumo Técnico: RAFT (Refinamento de Dados e Destilação Adaptativa para Ajuste Fino de Domínio com Esquecimento Mitigado)

Declaração do Problema

O ajuste fino supervisionado (SFT) específico de domínio é essencial para adaptar Grandes Modelos de Linguagem (LLMs) a tarefas especializadas, mas frequentemente resulta em esquecimento catastrófico, onde as capacidades gerais do modelo degradam significamente. Os autores identificam duas lacunas práticas que impulsionam essa degradação:

Lacuna de Compatibilidade de Supervisão: As respostas de verdade fundamental (ground-truth) de domínio frequentemente diferem em estilo e formato de raciocínio das respostas naturais do modelo. Forçar o modelo a se ajustar a esses alvos divergentes causa mudanças abruptas nos parâmetros que sobrescrevem o conhecimento pré-treinado.
Lacuna de Preservação de Trajetória: O SFT padrão otimiza para tokens de alvo fixos sem restringir o comportamento do modelo em seus próprios prefixos gerados. Essa falta de restrição falha em preservar os padrões comportamentais originais do modelo durante a otimização.

Métodos existentes normalmente abordam apenas um lado desse problema (por exemplo, refinamento de dados via autodestilação ou restrições de treinamento via regularização/divergência KL), mas raramente ambos, levando a compensações (trade-offs) subótimas entre a adaptação de domínio e a retenção da capacidade geral.

Metodologia

O RAFT propõe um framework de dois estágios que acopla o refinamento de dados com a destilação adaptativa on-policy para abordar ambas as lacunas simultaneamente.

1. Destilação Offline (Refinamento de Dados)

Este estágio constrói uma supervisão compatível com o modelo para reduzir o descompasso de distribuição entre a verdade fundamental e a distribuição de saída do modelo.

Reescrita Autocondicionada: O modelo ajustado por instrução original reescreve as respostas de verdade fundamental ( $y_i$ ) condicionada à própria resposta original ( $\tilde{y}_i \sim p_\theta(\cdot | x_i, y_i)$ ), adaptando o estilo de expressão à própria distribuição do modelo, enquanto preserva o conteúdo factual.
Filtragem Semântica: Para evitar o desvio semântico, a similaridade de cosseno é computada entre as respostas originais e reescritas. As reescritas são aceitas apenas se excederem um limiar $\tau$ ; caso contrário, a resposta original é mantida.
Seleção Ótima Multi-Especialista: Para as reescritas aceitas, um modelo de fusão mais forte (ex: Qwen3-3B) combina as respostas originais e reescritas. Múltiplos modelos julgadores avaliam a saída fundida quanto à consistência com a resposta original, e o resultado com a maior pontuação é selecionado como a resposta refinada final ( $\hat{y}_i$ ).

2. Destilação On-Policy Adaptativa (Otimização de Treinamento)

Este estágio treina o modelo usando o conjunto de dados refinado enquanto preserva explicitamente as capacidades gerais através de restrições de destilação.

Destilação On-Policy Condicionada à Resposta: O modelo estudante gera trajetórias ( $z_i$ ) de forma autorregressiva. O modelo original ajustado por instrução atua como um professor, fornecendo alvos suaves (soft targets). Crucialmente, o professor é condicionado à resposta fundida ( $\hat{y}_i$ ) como contexto adicional, permitindo que ele forneça uma orientação mais informativa sobre a trajetória gerada pelo estudante.
Destilação de Temperatura Top-K: Para evitar o excesso de suavização (over-smoothing) e manter a diversidade de saída, a divergência KL é computada apenas sobre os top- $K$ tokens da distribuição do professor, escalonada por um parâmetro de temperatura $T$ .
Balanceamento Adaptativo Baseado em EMA: Em vez de hiperparâmetros fixos, um mecanismo de Média Móvel Exponencial (EMA) ajusta dinamicamente o peso ( $\lambda$ ) entre a perda de SFT (entropia cruzada) e a perda de destilação (divergência KL). Isso garante que os dois objetivos permaneçam equilibrados durante o treinamento sem ajuste manual.

Principais Contribuições

Identificação do Problema: O artigo aponta o acoplamento do descompasso de distribuição de supervisão e a falta de restrições explícitas de preservação de trajetória como as causas raízes do esquecimento no SFT de domínio.
Estratégia de Destilação Offline: Introdução de um pipeline usando filtragem de similaridade de cosseno e fusão multi-modelo para gerar dados de supervisão de alta qualidade e consistentes em distribuição.
Destilação On-Policy Adaptativa: Um objetivo de treinamento inovador combinando Destilação On-Policy Condicionada à Resposta, escalonamento de temperatura Top-K e balanceamento de perda baseado em EMA.
Validação Empírica: Demonstração de que o acoplamento do refinamento de dados com a preservação ao nível de trajetória mitiga efetivamente o esquecimento enquanto melhora o desempenho de domínio.

Resultados Experimentais

O RAFT foi avaliado em três backbones ajustados por instrução (SmolLM3-3B, Llama-3.2-3B-Instruct, Phi-4-mini-instruct) através de cinco domínios (Negócios, Direito, Ciência, Cultura, Web).

Desempenho de Domínio: O RAFT melhorou a Acurácia de Domínio (D-Acc) média em 23,2% em comparação com o SFT padrão.
Retenção de Capacidade Geral: O RAFT recuperou partes significativas da degradação causada pelo SFT:
- MS-Bench (QA subjetivo): Melhorou em 18,2% em relação ao SFT.
- IFEval (seguimento de instrução): Melhorou em 10,2% em relação ao SFT.
Estudos de Ablação:
- Fusão de Dados: O uso apenas de dados fundidos melhorou a D-Acc e as métricas gerais sobre os dados originais, confirmando o valor da adaptação de estilo.
- Destilação: Adicionar destilação on-policy adaptativa ao SFT de dados fundidos proporcionou ganhos substanciais adicionais tanto na acurácia de domínio quanto na capacidade geral.
- Balanceamento Adaptativo: A estratégia baseada em EMA superou os coeficientes de KL fixos, que ou suprimiam a adaptação de domínio ou falhavam em preservar as capacidades gerais.
Análise de Parâmetros: O desempenho ideal foi encontrado com um limiar de similaridade de cosseno $\tau=0,8$ , temperatura $T=1,5$ e Top- $K=512$ .

Significância e Alegações

O artigo afirma que o RAFT fornece uma "receita" eficaz para o ajuste fino de domínio com esquecimento mitigado. Ao tratar o refinamento de dados e as restrições de treinamento como problemas acoplados em vez de independentes, o framework permite que os modelos adquiram conhecimento específico de domínio sem sobrescrever as capacidades gerais pré-treinadas.

Os autores enfatizam que sua abordagem transforma o modelo professor de um "âncora conservadora" em um "guia consciente do alvo". Os resultados sugerem que o acoplamento de supervisão compatível com a preservação ao nível de trajetória é uma solução prática para o compromisso entre especialização e generalização em LLMs. O artigo permanece modesto quanto à escalabilidade, observando que as avaliações foram limitadas a modelos de pequena escala e domínios específicos, e que o desempenho em modelos maiores ou tarefas especializadas (ex: geração de código) requer investigação adicional.