💬 NLP

Proximal Supervised Fine-Tuning

O artigo propõe o Proximal SFT (PSFT), um método de ajuste fino supervisionado inspirado em otimização de política próxima que, ao incorporar restrições de região de confiança, estabiliza o treinamento e melhora a generalização fora de domínio sem comprometer o desempenho interno ou causar colapso de entropia.

Autores originais: Wenhong Zhu, Ruobing Xie, Rui Wang, Xingwu Sun, Di Wang, Pengfei Liu

Publicado 2026-04-14

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Wenhong Zhu, Ruobing Xie, Rui Wang, Xingwu Sun, Di Wang, Pengfei Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um estudante muito inteligente, que já leu milhões de livros e sabe um pouco de tudo (matemática, história, ciências, etc.). Esse é o seu Modelo de Linguagem (a Inteligência Artificial).

O problema é que, quando você tenta ensinar esse estudante a resolver um tipo muito específico de problema (digamos, apenas problemas de matemática de nível olímpico) usando o método tradicional, algo estranho acontece: ele se torna um "robô de matemática". Ele fica ótimo em matemática, mas esquece como conversar, perde a criatividade e fica rígido demais. Ele "decorou" as respostas em vez de realmente aprender a pensar.

Os autores deste artigo propuseram uma nova maneira de treinar esses modelos, chamada PSFT (Ajuste Fino Supervisionado Próximo). Vamos explicar como isso funciona usando uma analogia simples.

A Analogia do "Cinto de Segurança" (A Região de Confiança)

Imagine que o modelo é um carro dirigindo em uma estrada.

O Treino Tradicional (SFT): É como pedir para o motorista acelerar o carro o mais rápido possível em direção a um destino específico (resolver matemática), sem olhar para os lados. O carro vai muito rápido, mas corre o risco de sair da pista, bater em algo ou esquecer como dirigir em outras estradas. O carro fica "viciado" naquela única rota.
O Novo Método (PSFT): É como colocar um cinto de segurança inteligente ou um sistema de direção assistida.

O PSFT diz ao modelo: "Você pode aprender a resolver matemática e ficar muito bom nisso, MAS não pode mudar sua direção de forma brusca a ponto de esquecer como dirigir em outras estradas."

Como funciona na prática?

O Problema da "Memorização": No treino antigo, o modelo tentava adivinhar a resposta certa o tempo todo. Se ele errasse um pouco, ele tentava corrigir de forma exagerada, esquecendo tudo o que sabia antes. Isso é chamado de "colapso de entropia" (o modelo fica entediado e repetitivo, como um papagaio).
A Solução do PSFT: O PSFT usa uma técnica inspirada em como robôs aprendem a andar sem cair (chamada Otimização de Política Próxima ou PPO).
- Ele permite que o modelo aprenda a nova tarefa (matemática).
- Mas, a cada passo, ele verifica: "Ei, você está mudando muito rápido? Você está esquecendo o que sabia antes?"
- Se a mudança for muito grande, o sistema "corta" o aprendizado naquele momento, mantendo o modelo estável. É como se o professor dissesse: "Ótimo, você aprendeu isso, mas não esqueça o resto da matéria."

O Resultado: O "Super-Herói" Equilibrado

O que os autores descobriram é que, usando esse método:

No treino: O modelo aprende a resolver matemática tão bem quanto os outros métodos tradicionais.
Fora do treino: Ao contrário dos outros, o modelo não perde a capacidade de conversar, seguir instruções ou resolver problemas de outras áreas. Ele mantém sua "personalidade" e inteligência geral.
No futuro: Quando esse modelo for passar por um treinamento mais avançado (como Reinforcement Learning, onde ele aprende com feedback de recompensas), ele começa de um ponto muito melhor. Como ele não ficou "viciado" ou "rígido" no início, ele tem mais espaço para crescer e se tornar ainda mais inteligente depois.

Resumo em uma frase

O PSFT é como um método de ensino que ensina uma IA a se especializar em uma tarefa difícil (como matemática) sem fazê-la esquecer quem ela é, garantindo que ela continue sendo útil, criativa e capaz de aprender coisas novas no futuro.

É a diferença entre transformar um generalista em um especialista que perdeu a alma, e transformar um generalista em um especialista que continua sendo um gênio em tudo o mais.

Título: Proximal Supervised Fine-Tuning (PSFT)

Autores: Wenhong Zhu, Ruobing Xie, Rui Wang, et al. (SJTU, Tencent, University of Macau)

1. O Problema

O Fine-Tuning Supervisionado (SFT) é uma etapa crucial no pós-treinamento de modelos de linguagem (LLMs), frequentemente utilizado para ensinar raciocínio complexo ou alinhamento a partir de dados demonstrativos. No entanto, o SFT padrão apresenta limitações críticas:

Má Generalização: Modelos ajustados via SFT tendem a sofrer "catastrophic forgetting" (esquecimento catastrófico) de capacidades gerais pré-treinadas, especialmente quando o conjunto de dados de ajuste é subótimo ou distribucionalmente desalinhado.
Colapso de Entropia: O SFT frequentemente leva a uma distribuição de saída excessivamente concentrada (baixa entropia), resultando em overfitting e reduzindo a capacidade de exploração do modelo.
Impacto Negativo no RL: A dependência excessiva do SFT como "inicialização a frio" para o Aprendizado por Reforço (RL) pode limitar o potencial de otimização subsequente, pois o modelo já está "travado" em uma política rígida, dificultando a descoberta de novas trajetórias de raciocínio.

2. Metodologia: Proximal SFT (PSFT)

Os autores propõem o PSFT, um novo objetivo de otimização que adapta os princípios de Trust-Region (Região de Confiança) do Aprendizado por Reforço (especificamente TRPO e PPO) para o contexto supervisionado.

Fundamentação Teórica: O trabalho estabelece uma conexão teórica entre SFT e Gradiente de Política. O SFT é visto como um caso especial de gradiente de política onde as vantagens ( $\hat{A}_t$ ) são constantes e positivas (igual a 1) para os tokens de referência.
Objetivo de Perda: O PSFT introduz uma função de perda com um mecanismo de clipping (recorte), análogo ao PPO, para restringir a magnitude das atualizações da política. A função de perda é definida como:
$L_{PSFT}(\theta) = \mathbb{E}_{(s_t, a_t) \sim D} \left[ \min \left( r_t(\theta), \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \right) \right]$
Onde $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ é a razão de amostragem de importância.
Mecanismo de Regulação: Ao limitar a razão de probabilidade entre a nova política e a política antiga a um intervalo $[1-\epsilon, 1+\epsilon]$ , o PSFT impede atualizações drásticas que causariam o colapso da entropia ou o esquecimento de capacidades gerais.
Atualização Dinâmica: Diferente de métodos que fixam um modelo de referência estático, o PSFT atualiza dinamicamente a política antiga ( $\pi_{\theta_{old}}$ ) durante o treinamento, permitindo uma evolução gradual e estável do modelo.
Fase de Aquecimento (Warm-up): O método pode incluir uma fase inicial de SFT padrão para alinhar a distribuição do modelo com o conjunto de dados antes de ativar o mecanismo de clipping, mitigando viés inicial.

3. Contribuições Principais

Novo Paradigma de Otimização: Propõe o PSFT como uma alternativa ao SFT padrão, utilizando um objetivo de substituição recortado (clipped surrogate objective) para impor restrições de região de confiança, prevenindo atualizações excessivas.
Prevenção de Colapso de Entropia: Demonstra que o PSFT mantém uma curva de entropia suave, evitando o overfitting e preservando a diversidade de saída, o que é crucial para estágios posteriores de RL.
Melhor Generalização e Exploração: O método preserva capacidades gerais (raciocínio científico, seguimento de instruções) enquanto atinge desempenho competitivo em tarefas específicas, servindo como uma base superior para otimização via RL (como PPO ou GRPO).
Validação Abrangente: O método foi testado em múltiplos domínios (raciocínio matemático, alinhamento humano, modelos multimodais) e arquiteturas (Qwen, Llama), mostrando robustez.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos como Qwen2.5-7B e Llama3.1-8B, utilizando dados de raciocínio matemático (OpenR1-Math) e conjuntos de dados de alinhamento.

Desempenho em Domínio (In-Domain): O PSFT (especialmente com warm-up) alcança desempenho comparável ou superior ao SFT padrão em tarefas de raciocínio matemático (ex: AIME, MATH-500), mantendo-se estável ao longo de 10 épocas de treinamento.
Generalização (Out-of-Domain): O PSFT supera significativamente o SFT padrão em tarefas fora do domínio (ex: GPQA, ARC-C, TruthfulQA). Enquanto o SFT padrão frequentemente degrada o desempenho nessas tarefas, o PSFT as mantém ou melhora.
Estabilidade de Entropia: Ao contrário do SFT, que mostra um declínio acentuado na entropia (indicando overfitting), o PSFT mantém níveis de entropia mais altos e estáveis, permitindo exploração contínua.
Impacto no RL (Pós-SFT): Modelos inicializados com PSFT demonstram um "início lento" mas uma recuperação rápida e superior durante o treinamento de RL subsequente. O PSFT+RL supera o SFT+RL tanto em tarefas específicas quanto em generalização, indicando que o PSFT deixa mais "espaço" para otimização.
Alinhamento Humano: Em tarefas de alinhamento (usando DPO), o PSFT reduz o "imposto de alinhamento" (alignment tax), preservando melhor as capacidades gerais do modelo em comparação ao SFT tradicional.
Modelos Multimodais (VLMs): A aplicação do PSFT em Modelos de Linguagem Visuais (VLMs) mostrou que é possível injetar raciocínio de texto longo sem degradar a compreensão visual ou multimodal, algo que o SFT padrão falha em fazer.

5. Significado e Conclusão

O artigo PSFT oferece uma solução elegante para o dilema entre especialização e generalização no pós-treinamento de LLMs. Ao importar a estabilidade do PPO para o contexto supervisionado, os autores demonstram que é possível treinar modelos para tarefas específicas sem sacrificar a inteligência geral ou a capacidade de exploração futura.

A principal implicação prática é que o PSFT deve ser adotado como o padrão para a etapa de fine-tuning supervisionado antes de qualquer otimização por Reforço (RLHF/RL), garantindo um ponto de partida mais robusto, estável e com maior potencial de melhoria. O método é simples de implementar (requer apenas modificações mínimas em frameworks de RL existentes) e é compatível com diversas arquiteturas e escalas de modelos.