Resumo Técnico: PriFT (Prior-Support Guided Fine-Tuning)

Declaração do Problema

O Ajuste Fino Supervisionado (SFT) é um método padrão e computacionalmente eficiente para adaptar Grandes Modelos de Linguagem (LLMs) a tarefas de jusante, servindo frequentemente como a inicialização para o Aprendizado por Reforço (RL). No entanto, o SFT sofre de uma lacuna de generalização em comparação ao RL. Como um método off-policy, o SFT ajusta dados de demonstração fixos token por token. Quando os tokens alvo nas demonstrações estão mal alinhados com a distribuição pré-treinada do modelo, esse processo pode levar ao overfitting e à distorção do conhecimento pré-treinado.

Abordagens recentes tentam mitigar isso atribuindo pesos de treinamento não uniformes aos tokens com base no seu alinhamento com a distribuição preditiva do modelo (por exemplo, usando a probabilidade do token alvo ou a entropia). No entanto, esses métodos tipicamente computam esses pesos usando o modelo online que está sendo ajustado no momento. O artigo argumenta que isso cria uma falha crítica: a distribuição preditiva do modelo online deriva rapidamente da distribuição pré-treinada durante o treinamento. Consequentemente, o sinal de ponderação torna-se emaranhado com a trajetória de otimização, induzindo uma dinâmica de reforço mútuo onde o modelo concentra sinais de aprendizado em tokens que ele inicialmente preferia, enquanto suprime outros. Isso reduz a diversidade de amostragem e limita a capacidade do modelo para otimização on-policy subsequente (RL).

Metodologia: PriFT

Para abordar a instabilidade da reponderação online, os autores propõem o PriFT (Prior-support guided Fine-Tuning). O insight central é que os pesos dos tokens devem ser derivados de um modelo de referência pré-treinado congelado em vez do modelo online em evolução. Isso fornece uma estimativa estável de "suporte prévio" — a extensão em que um token alvo é suportado pelo conhecimento do modelo antes da adaptação específica da tarefa.

Estrutura (Framework)

O PriFT modifica o objetivo padrão de SFT introduzindo pesos de token $m_t$ derivados do modelo pré-treinado congelado $\pi_{\theta_{pt}}$:
$$L_{PriFT}(\theta_{on}) = -\sum_{t=1}^{T} u(\pi_{\theta_{pt}}(\cdot | x, y_{<t}), y_t) \log \pi_{\theta_{on}}(y_t | x, y_{<t})$$
onde $u(\cdot)$ é uma função de utilidade de token. Ao computar os pesos a partir da referência congelada, o PriFT desacopla a estimativa de peso da trajetória de otimização, prevenindo o viés de reforço mútuo observado em métodos online.

Instanciações

O artigo introduz duas instanciações específicas da função de utilidade $u$:

1. PriFT-prob: Usa a probabilidade do token alvo pré-treinada diretamente.
   $$m_t = \pi_{\theta_{pt}}(y_t | x, y_{<t})$$
   Isso escala a magnitude do gradiente com base em quão plausível o token era sob a distribuição pré-treinada. Preserva a direção de atualização padrão do SFT, mas reduz o peso de tokens com baixo suporte prévio.

2. PriFT-mass: Usa a massa de probabilidade cumulativa sob a distribuição pré-treinada para reduzir o viés em direção a tokens "fáceis" com distribuições agudas.
   $$m_t = \mathbb{I}[u^{(MASS)}_t \geq 0.5]$$
   onde $u^{(MASS)}_t = \sum_{v: \pi_{\theta_{pt}}(v) \leq \pi_{\theta_{pt}}(y_t)} \pi_{\theta_{pt}}(v)$.
   Esta métrica mede a fração da massa de probabilidade atribuída a tokens menos prováveis que o alvo. Um limiar de 0,5 seleciona tokens suportados por pelo menos metade da massa de probabilidade pré-treinada. Diferente do PriFT-prob, isso resulta em uma máscara de seleção binária onde todos os tokens selecionados recebem peso igual, evitando a ênfase excessiva de tokens triviais de alta confiança (ex: palavras funcionais) enquanto retém tokens informativos de contextos mais difíceis.

Sobrecarga Computacional

O PriFT requer uma única passagem direta (forward pass) do modelo pré-treinado congelado para pré-computar os pesos ou máscaras de token. Isso adiciona uma sobrecarga relativa de aproximadamente $1/(3E)$ (onde $E$ é o número de épocas), que pode ser realizada offline. Ao contrário dos métodos de regularização KL que exigem acesso à distribuição de referência durante cada etapa de otimização, o PriFT requer apenas o armazenamento de pesos escalares ou máscaras binárias, evitando uma sobrecarga significativa de memória.

Principais Contribuições

1. Identificação do Desvio de Sinal: Os autores demonstram que as estatísticas de token online derivam rapidamente da distribuição pré-treinada, criando um ciclo de reforço mútuo que concentra o aprendizado nos tokens inicialmente preferidos e degrada a generalização.
2. Reponderação Estável via Referência Congelada: Eles mostram que derivar os pesos dos tokens de um modelo pré-treinado congelado supera consistentemente o uso do modelo online em várias regras de reponderação (baseadas em probabilidade e entropia).
3. Framework PriFT: A proposta de um framework simples e geral que pré-computa pesos de uma referência congelada, desacoplando o sinal de reponderação da trajetória de otimização.
4. Validação Empírica: Experimentos extensos mostrando que o PriFT alcança resultados de estado da arte entre os baselines de SFT e fornece uma inicialização superior para o treinamento de RL subsequente.

Resultados Experimentais

Os autores avaliaram o PriFT em raciocínio matemático, geração de código e respostas a perguntas médicas usando modelos como Qwen2.5-Math, Qwen3 e LLaMA-2.

• Raciocínio Matemático: No Qwen2.5-Math-7B, o PriFT-mass alcançou uma acurácia média (Avg@16) de 40,67 e Pass@16 de 69,60, superando o baseline anterior mais forte (TALR) em 3,97 e 8,75 pontos, respectivamente. Notavelmente, enquanto métodos de reponderação online (como o DFT) frequentemente melhoravam o Avg@16 às custas do Pass@16, o PriFT melhorou ambas as métricas simultaneamente.
• Geração de Código: No Qwen3-4B-Instruct, as variantes do PriFT superaram o SFT padrão e outros baselines de reponderação de token, particularmente nos splits desafiadores do LiveCodeBench. O PriFT-mass mostrou a menor degradação de desempenho no HumanEval+ em comparação com o checkpoint original, sugerindo uma melhor preservação das capacidades existentes.
• QA Médica: O PriFT-mass alcançou o melhor desempenho geral nos benchmarks MMLU-Medical e MedMCQA, superando outros métodos de reponderação de token.
• Inicialização de RL: Modelos inicializados com PriFT mostraram um desempenho mais forte após o treinamento de RL subsequente (DAPO) em comparação com aqueles inicializados com SFT padrão ou métodos de reponderação online (DFT). Por exemplo, no Qwen3-8B-Base, o PriFT-mass rendeu uma melhoria de 9,57 pontos no Avg@16 após o RL em comparação com a inicialização baseline de SFT.

Significância e Alegações

O artigo afirma que o PriFT aborda uma limitação fundamental no SFT com reponderação de token: o emaranhamento do sinal de ponderação com a trajetória de otimização. Ao utilizar o modelo pré-treinado como uma fonte estável de "suporte prévio", o PriFT:

• Preserva a Diversidade de Amostragem: Evita a concentração de reforço mútuo da massa de probabilidade em um conjunto estreito de caminhos de raciocínio, mantendo distribuições de entropia mais amplas e um melhor desempenho Pass@k.
• Reduz o Desvio de Distribuição: Minimiza a divergência KL da distribuição pré-treinada durante o ajuste fino em comparação com métodos de reponderação online.
• Melhora a Prontidão para RL: Fornece uma inicialização mais forte para o RL ao preservar a capacidade do modelo para otimização on-policy futura, sugerindo que um "bom SFT" não trata apenas de desempenho imediato, mas de manter a diversidade necessária para o aprendizado futuro.

Os autores observam limitações, incluindo o foco em modelos abertos de tamanho moderado e domínios de tarefas específicos, deixando a exploração de modelos maiores e funções de utilidade mais amplas para trabalhos futuros. Eles não afirmam que o PriFT resolve todos os problemas de generalização, mas o posicionam como uma melhoria robusta e generalizável ao paradigma SFT.