💬 NLP

LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

Este artigo propõe o LP-SFT, um método de ajuste fino supervisionado que preserva a estrutura de entropia multimodal inerente ao modelo pré-treinado entre os tokens não-alvo por meio de uma divergência KL localmente normalizada, melhorando assim o desempenho em tarefas subsequentes e mitigando a degradação das capacidades pré-existentes e da diversidade de amostragem.

Autores originais: Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

Publicado 2026-07-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô brilhante e culto a seguir instruções. Este robô já leu quase tudo na internet, aprendendo o ritmo da linguagem, a lógica da matemática e a estrutura do código. Esta fase inicial de aprendizado é chamada de "pré-treinamento". Agora, você quer ensinar ao robô um trabalho específico, como resolver problemas matemáticos ou escrever código de computador. Você mostra a ele exemplos das respostas corretas, e o robô ajusta seu cérebro para corresponder a esses exemplos. Este processo é chamado de "Ajuste Fino Supervisionado" (SFT - Supervised Fine-Tuning).

No entanto, há um problema. Quando o robô aprende a ser perfeito em um novo trabalho, ele às vezes esquece como ser um bom conversador geral. Ele se torna tão obcecado pela resposta única "correta" que você lhe mostrou que esquece todas as outras formas interessantes e válidas de terminar uma frase. É como um aluno que memoriza tão bem uma resposta específica para um problema de matemática que não consegue resolver uma versão ligeiramente diferente, ou um escritor que só conhece uma maneira de começar uma história. O grande questionamento nesta área é: Como ensinamos o robô o novo trabalho sem fazê-lo esquecer seu conhecimento antigo e rico?

É exatamente isso que o artigo "LP-SFT" aborda. Os autores, uma equipe de pesquisadores de universidades de elite, notaram que a maneira padrão de ensinar esses robôs (chamada de "entropia cruzada") é um pouco bruta demais. Ela diz ao robô: "Olhe apenas para esta única palavra que estou te mostrando; ignore todo o resto". O problema é que o cérebro original do robô realmente detém um mapa de muitas palavras próximas possíveis, não apenas uma. Ao forçar o robô a focar apenas na palavra alvo única, nós acidentalmente apagamos o mapa de todas as outras possibilidades, levando a uma perda de criatividade e a um fenômeno conhecido como "esquecimento catastrófico", onde o robô esquece habilidades que possuía.

Os pesquisadores descobriram algo fascinante sobre como esses robôs pensam. Eles descobriram que o cérebro do robô não apenas escolhe uma palavra; ele frequentemente paira entre algumas opções igualmente boas, criando uma "estrutura de entropia multimodal". Pense nisso como uma bifurcação no caminho. Às vezes, o robô vê dois ou três caminhos que são todos igualmente válidos. O método de treinamento padrão força o robô a escolher apenas um caminho e queimar os outros, mesmo que os outros caminhos fossem perfeitamente razoáveis.

Para corrigir isso, a equipe propôs um novo método chamado LP-SFT (Ajuste Fino Supervisionado de Preservação Local). Em vez de apenas gritar "Escolha esta palavra!" para o robô, o LP-SFT diz: "Escolha esta palavra, mas, por favor, não esqueça as outras três ou quatro palavras que também eram muito boas".

Eis como funciona, usando uma analogia simples: Imagine que você está treinando um cachorro para buscar uma bola específica. O método padrão é recompensar o cachorro apenas quando ele traz de volta exatamente aquela bola e ignorar todo o resto. Eventualmente, o cachorro pode parar de procurar por outros brinquques inteiramente. O LP-SFT é como dizer: "Traga-me a bola vermelha (o alvo), mas, enquanto faz isso, lembre-se de que a bola azul e a bola verde também eram divertidas de buscar". O método cria uma pequena "zona de segurança" das 10 palavras mais prováveis que o robô poderia ter escolhido. Ele remove a palavra que você está ensinando (para que ele não se confunda) e então dá um leve empurrão no robô para manter a popularidade relativa das nove palavras restantes igual à que era antes.

Os resultados desta abordagem são bastante promissores. Quando os pesquisadores testaram o LP-SFT em diferentes modelos (como Qwen e Llama) e tarefas (matemática, codificação e conversa geral), descobriram que ele fez um trabalho melhor do que os métodos antigos. Os robôs treinados com LP-SFT foram não apenas bons na tarefa específica que lhes foi ensinada (obtendo pontuações altas em testes de matemática e codificação), mas também mantiveram sua capacidade de serem diversos e criativos. Eles não esqueceram seu conhecimento geral tanto quanto os outros. De fato, o método alcançou o melhor equilíbrio entre acertar a resposta única e manter uma ampla variedade de soluções disponíveis.

O artigo sugere que, ao respeitar o "mapa" original de possibilidades do robô, podemos ensinar novas habilidades sem quebrar seu cérebro. É um lembrete de que, às vezes, para ensinar uma máquina a ser perfeita, você precisa deixá-la manter um pouco de sua incerteza. Os pesquisadores mostram que essa preservação local ajuda a impedir que o robô colapse em uma mente monotônica e limitada, mantendo-o inteligente, flexível e pronto para o que vier a seguir.

Resumo Técnico: LP-SFT (Local-Preserving Supervised Fine-Tuning)

1. Declaração do Problema

O Ajuste Fino Supervisionado (SFT - Supervised Fine-Tuning) é o paradigma padrão para adaptar modelos de linguagem pré-treinados (PLMs) a tarefas de domínio específico. No entanto, o SFT padrão, que se baseia na perda de entropia cruzada (CE - cross-entropy) ao nível de token, frequentemente induz a degradação de capacidades em duas dimensões:

Esquecimento Catastrófico: A especialização excessiva à distribuição de ajuste fino leva à perda de capacidades fora do domínio.
Redução da Diversidade de Geração: O modelo suprime soluções alternativas válidas, colapsando a distribuição em direção a um único token e reduzindo a diversidade acessível via amostragem (medida por pass@k).

Os autores argumentam que essa degradação decorre de uma incompatibilidade entre o objetivo de CE e o rico conhecimento de distribuição codificado nos PLMs. Enquanto os PLMs aprendem capacidades amplas, resultando em distribuições de próximo token com informações substanciais além do único token alvo observado, o CE padrão ignora a estrutura de preferência restante. A supressão repetida de alternativas plausíveis durante o ajuste fino distorce a integridade estrutural pré-treinada.

2. Observações Chave: Estrutura de Entropia Multimodal

Antes de propor uma solução, os autores analisam a estrutura de entropia das previsões de próximo token nos modelos base.

Picos de Entropia Multimodais: Usando as entropias de Shannon ( $H_1$ ) e Rényi-2 ( $H_2$ ), os autores observam que a distribuição de entropia exibe picos multimodais distintos próximos a $\ln k$ para inteiros $k$ .
Estados de Plateau-k: Esses picos correspondem a "estados de entropia comprimida", onde a incerteza é distribuída sobre $k$ $k$ candidatos a próximo token similarmente plausíveis.
- Plateaus de ordem baixa ( $k=1\text{--}5$ ): Frequentemente correspondem a ramificações lógicas ou semânticas onde múltiplem continuações válidas existem.
- Plateaus de ordem alta ( $k \approx 10$ ): Frequentemente correspondem a ambiguidades estruturais (ex: dígitos aleatórios, IDs) onde o modelo distribui a probabilidade através de um conjunto de caracteres.
Implicação: O modelo base codifica intrinsecamente um rico conhecimento de distribuição. O CE padrão trata todos os tokens uniformemente, distorcendo desnecessariamente essa estrutura heterogênea ao forçar o modelo a ignorar essas alternativas estruturadas.

3. Metodologia: LP-SFT

Para abordar isso, os autores propõem o LP-SFT (Local-Preserving Supervised Fine-Tuning). O método utiliza o modelo base congelado como uma referência estrutural local para preservar as preferências relativas entre as alternativas não-alvo sem conflitar com o sinal de aprendizado supervisionado.

Componentes Principais

Conjunto de Preservação de Top-K Local:
- Em cada posição de token $t$ , o método constrói um conjunto de candidatos $S_t$ a partir dos top- $K_{max}$ tokens da distribuição do modelo base congelado ( $q_t$ ).
- Por padrão, $K_{max} = 10$ , escolhido para cobrir tanto a ramificação de ordem baixa quanto o proeminente plateau de ordem alta observado na análise.
Remoção do Token-Alvo:
- Para evitar conflito com o objetivo primário de entropia cruzada (que otimiza o token alvo supervisionado $y_t$ ), o $y_t$ é explicitamente removido do conjunto de preservação.
- O conjunto de preservação torna-se $A_t = S_t \setminus \{y_t\}$ .
Normalização KL Local:
- Em vez de aplicar uma divergência KL global sobre todo o vocabulário (o que pode ser computacionalmente caro e excessivamente restritivo), o LP-SFT aplica uma divergência KL localmente normalizada sobre o conjunto $A_t$ .
- As probabilidades do modelo base ( $q_t$ ) e do modelo treinável ( $p_t$ ) são normalizadas apenas dentro de $A_t$ para obter $\hat{q}_t$ e $\hat{p}_t$ .
- A perda é definida como: $L_{LP} = D_{KL}(\hat{q}_t \parallel \hat{p}_t)$ .
- Racional: Isso preserva a estrutura de preferência relativa entre as alternativas não-alvo restantes sem restringir artificialmente sua massa de probabilidade absoluta ou a massa total atribuída ao conjunto.

Objetivo de Treinamento

O objetivo final combina a perda de entropia cruzada padrão para o token alvo e a perda de preservação local:
$L_{LP-SFT}(\theta) = \sum_{t=1}^{T} \left[ -\ln p_t(y_t) + \mu \cdot L_{LP}^t \right]$
onde $\mu$ controla a força da preservação.

Eficiência de Implementação

Ao contrário de métodos que exigem um forward pass do modelo base em cada etapa de treinamento, o LP-SFT emprega uma implementação de dois estágios:

Pré-computação Offline: O modelo base processa todo o conjunto de dados de treinamento uma vez para fazer o cache dos logits top- $K_{max}$ .
Ajuste Fino: O loop de treinamento requer apenas o forward pass do modelo treinável, utilizando os logits em cache para calcular a perda de preservação local. Isso reduz significativamente o overhead computacional em comparação com métodos de ancoragem de vocabulário total.

4. Resultados Experimentais

Os autores avaliaram o LP-SFT em três famílias de modelos (Qwen3-4B, Llama-3.1-8B, Qwen3-14B) em configurações de domínio misto e domínio único (Matemática, Código, Instrução Geral).

Desempenho vs. Vanilla SFT: O LP-SFT supera consistentemente o CE padrão e as recentes linhas de base de melhoria de SFT (DFT, EAFT, GEM, ASFT) em termos de desempenho médio geral.
Trade-off Pass@1 vs. Pass@k:
- O CE padrão frequentemente melhora o pass@1 (acurácia de amostra única) ao custo do pass@k (diversidade).
- Métodos como o DFT melhoram o pass@1, mas causam quedas significativas no pass@k.
- O LP-SFT alcança o melhor equilíbrio: Ele melhora o pass@1 enquanto mantém ou melhora o pass@k, indicando que retém a diversidade acessível via amostragem sem sacrificar a acurácia.
Esquecimento Catastrófico: No ajuste fino de domínio misto, o LP-SFT mitiga significativamente a degradação de capacidade. Por exemplo, no benchmark MMLU, o LP-SFT manteve o desempenho quase no mesmo nível do modelo base congelado, enquanto o CE padrão sofreu quedas severas.
Estudos de Ablação: O método é relativamente insensível ao hiperparâmetro $\mu$ . Tanto a remoção do token-alvo quanto a normalização KL local foram consideradas críticas para a estabilidade e o desempenho.

5. Significância e Alegações

O artigo afirma que o LP-SFT oferece uma abordagem inovadora para o ajuste fino supervisionado ao proteger explicitamente a estrutura de entropia inerente dos modelos pré-treinados.

Mecanismo: Ao desacoplar o aprendizado do token-alvo da preservação das preferências estruturais locais, o LP-SFT evita a "sobrescrita" da incerteza estruturada do modelo base.
Resultado: Esta abordagem ajuda a mitigar o esquecimento catastrófico e preserva a diversidade de geração (soluções acessíveis via amostragem), mantendo ou melhorando a acurácia de amostra única.
Eficiência: O método proporciona esses benefícios com um overhead computacional modesto em comparação com técnicas de ancoragem de vocabulário total, tornando-o uma alternativa prática para preservar capacidades pré-treinadas durante a adaptação de domínio.

Os autores concluem que a preservação local é uma estratégia eficaz para equilibrar a adaptação de domínio com a retenção de capacidades gerais, sugerindo que o rico conhecimento de distribuição aprendido durante o pré-treinamento deve ser preservado, em vez de descartado durante o ajuste fino.