Resumo Técnico: Uma Lente Unificadora sobre o Ajuste Fino Supervisionado através do Design da Distribuição Alvo

Definição do Problema

O Ajuste Fino Supervisionado (SFT) é uma etapa crítica para adaptar Grandes Modelos de Linguagem (LLMs) a tarefas específicas através da imitação de demonstrações de especialistas. No entanto, o SFT padrão baseia-se em uma distribuição alvo one-hot rígida, onde o modelo é treinado para maximizar a probabilidade do token observado $y_t$ enquanto atribui probabilidade zero a todos os outros tokens.

Os autores argumentam que esta formulação é subótima por diversas razões:

1. Não-Unicidade: Em conjuntos de dados realistas, um único prompt frequentemente admite múltiplos caminhos de raciocínio, formulações ou etapas intermediárias válidas. Um único token observado raramente é a única continuação correta.
2. Ruído e Desalinhamento: Tokens observados podem ser ruidosos ou desalinhados com o rico conhecimento prévio codificado no modelo pré-treinado.
3. Excesso de Confiança: Ajustar-se estritamente a um alvo one-hot pode amplificar o ruído, induzir excesso de confiança, interferir no conhecimento prévio (prior) e degradar a generalização.

Trabalhos existentes tentam mitigar esses problemas através de reponderação ao nível de token (ex: DFT, ProFit) ou regularização de distribuição (ex: suavização de rótulo, restrições KL). No entanto, esses métodos são frequentemente apresentados como escolhas algorítmicas díspares, carecendo de um framework teórico unificado para explicar suas conexões ou guiar a construção de melhores objetivos.

Metodologia: O Framework Q-Target

O artigo reinterpreta o SFT não como um problema de minimização de perda, mas como um problema de design de distribuição alvo. A ideia central é que qualquer função de perda ao nível de token induz implicitamente o modelo a corresponder a uma distribuição alvo específica $Q_t$.

A Formulação Q-Target

Os autores propõem o framework Q-target, que decompõe a supervisão de treinamento em duas escolhas de design explícitas:
$$Q_t = \gamma_t \delta_{y_t} + (1 - \gamma_t) \tilde{\pi}_t$$
Onde:

• $\delta_{y_t}$ é a distribuição one-hot do token observado.
• $\gamma_t \in [0, 1]$ representa a confiança no token observado. Ele controla quanta massa de probabilidade é atribuída ao rótulo.
• $\tilde{\pi}_t$ é a distribuição residual sobre alternativas plausíveis, recebendo a massa de probabilidade restante $(1 - \gamma_t)$.

Este framework unifica variantes existentes de SFT:

• Variantes de Peso de Token (ex: DFT, ProFit): Ajustam primariamente $\gamma_t$ com base na confiança do modelo ou qualidade do token, mas implicitamente definem o residual $\tilde{\pi}_t$ como o próprio prior do modelo (auto-correspondência), não oferecendo nenhum sinal corretivo para as alternativas.
• Variantes Distribuicionais (ex: Suavização de Rótulo, Restrições KL): Especificam primariamente $\tilde{\pi}_t$ (ex: uniforme, modelo de referência), mas frequentemente utilizam um $\gamma_t$ fixo.

TARGET-SFT: Uma Instanciação Concreta

Construindo sobre este framework, os autores propõem o TARGET-SFT, que projeta explicitamente ambos os componentes do Q-target:

1. Confiança Adaptativa ($\gamma_t$): Em vez de pesos fixos, $\gamma_t$ é derivado da própria probabilidade preditiva do modelo $p_y = \pi_\theta(y_t | x_t)$.

   • Se o modelo estiver confiante ($p_y \approx 1$), $\gamma_t \approx 1$, e o objetivo aproxima-se do SFT padrão.
   • Se o modelo estiver incerto ($p_y \approx 0$), $\gamma_t \approx 0$, enfraquecendo a imitação estrita do rótulo potencialmente ruidoso.
   • Isso é motivado pelo modelamento da "confiança" em um token como uma variável latente com uma distribuição Beta, onde a média posterior aproxima a probabilidade do modelo.

2. Residual Guiado pelo Professor ($\tilde{\pi}_t$): Em vez de atribuir a massa residual ao próprio prior do estudante (que oferece nenhuma informação nova), o TARGET-SFT a aloca para uma distribuição guiada pelo professor.

   • O residual é construído via modelagem de recompensa regularizada por KL: $\tilde{\pi}_t \propto \pi_\theta^{1-\eta} \pi_T^{\eta}$, onde $\pi_T$ é uma distribuição de um professor (ex: um modelo ajustado por instruções) e $\eta$ controla a intensidade do sinal do professor.
   • Isso permite que o modelo aprenda com "alternativas plausíveis" sugeridas pelo professor quando o rótulo observado é incerto, atuando como um mecanismo de fallback de supervisão.

O objetivo final é a perda de entropia cruzada entre a distribuição do modelo e o $Q_t^{TARGET}$ construído:
$$L_{TARGET} = \sum_t \left[ p_y \cdot CE(\delta_{y_t}, \pi_\theta) + (1 - p_y) \cdot CE(\tilde{\pi}_t^{guided}, \pi_\theta) \right]$$

Principais Contribuições

1. Perspectiva de Distribuição Alvo: O artigo introduz uma mudança fundamental na visão do SFT, argumentando que a distribuição alvo induzida é o objeto principal de design, e não a função de perda em si.
2. Framework Q-Target: Uma lente unificadora que decompõe os objetivos de SFT em duas escolhas explícitas: confiança do rótulo ($\gamma_t$) e alocação de residual ($\tilde{\pi}_t$). Este framework explica como as variantes existentes (reponderação, regularização, destilação) são escolhas implícitas dentro deste espaço.
3. Algoritmo TARGET-SFT: Um método concreto que equilibra adaptativamente a imitação de rótulos e a supervisão residual guiada pelo professor. Ele evita o overfitting a rótulos incertos enquanto aproveita o conhecimento do professor para guiar o modelo em direção a alternativas plausíveis.

Resultados Experimentais

Os autores avaliaram o TARGET-SFT em 10 configurações de modelo-dataset, cobrindo raciocínio matemático (NuminaMath-CoT, OpenR1-15k) e raciocínio médico (m23k) com modelos variando de 1.5B a 8B de parâmetros (Qwen2.5, Qwen3, LLaMA).

• Desempenho: O TARGET-SFT alcançou consistentemente a maior acurácia Average@16 em todas as configurações, superando o SFT padrão, o SFT ponderado por probabilidade (p-loss) e as linhas de base de destilação de conhecimento.
• Raciocínio Matemático: O SFT padrão frequentemente gerou ganhos modestos ou até degradou o desempenho (ex: no Qwen3-1.7B) devido ao ajuste one-hot rígido. O TARGET-SFT melhorou significativamente o p-loss, demonstrando que o design explícito da distribuição residual é superior ao mero desponderamento do rótulo.
• Raciocínio Médico: Embora o SFT padrão tenha performado bem em alguns casos médicos (sugerindo que a imitação estrita é às vezes válida), o TARGET-SFT ainda alcançou o melhor desempenho médio. Isso indica que o ramo de residual guiado pelo professor agrega valor mesmo quando a reponderação simples é menos eficaz.
• Estudos de Ablação:
  • Variar a intensidade do sinal do professor ($\eta$) mostrou que o peso adaptativo é robusto em diferentes intensidades.
  • Substituir o peso adaptativo $(1-\gamma_t)$ por uma constante fixa $c$ degradou o desempenho, confirmando a necessidade de um peso dependente da incerteza.
  • As linhas de base de destilação foram altamente sensíveis ao peso de mistura $c$ e falharam em igualar o desempenho do TARGET-SFT, sugerindo que usar um professor como um alvo total fixo é subótimo comparado à supervisão de fallback adaptativa.

Significância e Alegações

O artigo afirma que sua formulação revela um princípio de design mais fundamental para o treinamento SFT. Ao deslocar o foco da função de perda para a distribuição alvo induzida, os autores:

• Unificam variantes díspares de SFT sob um único framework teórico.
• Expõem um espaço de busca mais amplo para objetivos de SFT, permitindo o controle explícito sobre o quanto imitar os dados versus preservar os priors ou incorporar orientação externa.
• Demonstram que um SFT eficaz surge do design cuidadoso tanto da força de imitação quanto da alocação da massa de probabilidade restante, em vez de depender de alvos one-hot rígidos ou regularização estática.

Os autores concluem que o TARGET-SFT oferece uma perspectiva nova e mais completa sobre o SFT, abrindo novos caminhos para o design de objetivos futuros que equilibrem melhor a imitação de dados, a preservação de priors e a supervisão alternativa.