Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives

Título: Gradientes Devem Merecer Sua Influência: Unificando SFT com Objetivos Entrópicos Generalizados

Autores: Zecheng Wang, Deyuan Liu, Chunshan Li, et al. (HIT, WeChat/Tencent, Tsinghua University)

---

1. O Problema

O Supervised Fine-Tuning (SFT) é a etapa crucial para alinhar Modelos de Linguagem Grandes (LLMs) pré-treinados a tarefas específicas. No entanto, o objetivo padrão utilizado é a Negativa Log-Verossimilhança (NLL), que aplica um peso uniforme a todos os tokens durante o treinamento.

Os autores identificam que essa rigidez cria um "modo de falha duplo":

1. Amplificação de Ruído: A NLL atribui gradientes máximos a alvos de baixa probabilidade, independentemente de serem lacunas de conhecimento aprendíveis ou ruído de supervisão (supervisão adversária). Isso pode amplificar o ruído e perturbar os priores robustos do modelo.
2. Refinamento Ineficiente: Quando o modelo já está confiante (alta probabilidade), os gradientes da NLL decaem linearmente com o erro, fornecendo um sinal de aprendizado fraco para "afiar" (sharpening) a distribuição de probabilidade, resultando em retornos decrescentes.

Existe um dilema plasticidade-estabilidade: métodos existentes que tentam filtrar tokens ou reponderar gradientes (baseados em confiança estática) muitas vezes suprimem sinais de aprendizado necessários para novos conhecimentos ou falham em lidar com conflitos onde o modelo tem alta confiança, mas está errado (conflitos confiantes).

2. Metodologia

O trabalho propõe uma unificação teórica e uma solução prática baseada em uma família de funções de perda deformada.

A. Estrutura Universal: Portão × Erro

Os autores demonstram que, para qualquer função objetivo diferenciável e não crescente, o gradiente no logit do token alvo pode ser decomposto em uma estrutura universal:
$$\text{Gradiente} = \underbrace{s_f(p)}_{\text{Portão (Gate)}} \times \underbrace{(1 - p)}_{\text{Erro}}$$
Onde $p$ é a probabilidade do token alvo. O termo $s_f(p)$ atua como um portão de confiança que controla o quanto o modelo deve confiar em sua previsão atual. A NLL padrão tem um portão constante ($s_f(p)=1$), o que é subótimo.

B. Família de Logaritmos Deformados (Tsallis $q$-log)

Para resolver a tensão entre "cobertura" (aprender novos conceitos difíceis) e "afinamento" (refinar conhecimentos já dominados), os autores unificam os objetivos dentro da família de logaritmos Tsallis ($q$-logarithm). Isso introduz um índice de foco $\alpha$:
$$\mathcal{L}_\alpha(p) = \frac{1 - p^\alpha}{\alpha}$$
O gradiente torna-se $p^\alpha(1-p)$. Aqui, $p^\alpha$ é o portão de confiança:

• Se $\alpha \to 0$: Comporta-se como NLL (portão aberto, foco em cobertura).
• Se $\alpha \to 1$: Comporta-se como perda linear (portão dependente da confiança, foco em afinamento).

C. A Transformada de Cayley e a Trajetória Dinâmica

O desafio é que um $\alpha$ estático não funciona bem em todas as fases do treinamento. Os autores derivam uma trajetória de foco dependente do estado $\alpha(p)$ usando princípios geométricos e a Transformada de Cayley.

• Âncoras: O objetivo deve recuperar o comportamento NLL quando $p \to 0$ (incerteza) e comportamento de perda linear quando $p \to 1$ (certeza).
• Solução: Mapeando o raio de incerteza de Fisher-Rao ($z = \sqrt{1-p}$) para o índice de foco, obtém-se:
  $$\alpha^*(p) = \frac{1 - \sqrt{1-p}}{1 + \sqrt{1-p}}$$
  Isso cria uma transição suave: quando o modelo está incerto, o portão permanece aberto; quando está confiante, o portão se fecha para priorizar o refinamento.

D. DEFT (Dynamic Entropy Fine-Tuning)

Como calcular $\alpha^*(p)$ apenas com a probabilidade do token alvo ($p$) não distingue entre "lacunas de conhecimento" e "ruído conflitante", os autores propõem o DEFT.

• Em vez de usar $p$ isoladamente, o DEFT usa a concentração da distribuição global do modelo (sua incerteza geral) para ajustar o índice de foco dinamicamente.
• O índice de foco é definido pela Entropia de Rényi-2 (ou concentração de probabilidade):
  $$\alpha_{\text{DEFT}}(c) = \sum_{v \in V} P_\theta(v|c)^2$$
• Comportamento:
  • Se a distribuição é difusa (alta incerteza/entropia), $\alpha$ é pequeno $\to$ Portão aberto (comportamento tipo NLL para aprender).
  • Se a distribuição é concentrada (baixa incerteza), $\alpha$ é próximo de 1 $\to$ Portão de afinamento (supressão de gradientes para tokens de baixa probabilidade que conflitam com o prior).

3. Contribuições Principais

1. Framework Unificado: Apresentam uma família de objetivos de log-deformado que expõe explicitamente o mecanismo de "portão × erro", unificando objetivos anteriores e revelando suas estratégias implícitas de alocação de sinal.
2. Portão de Confiança Dependente do Estado: Derivam uma trajetória de foco sem parâmetros via Transformada de Cayley, interpolando suavemente entre cobertura e afinamento para resolver a tensão exploração-exploração no SFT.
3. Método DEFT: Propõem um objetivo prático e sem parâmetros que modula o foco usando a concentração da distribuição (Entropia de Rényi-2).
4. Resultados Empíricos Robustos: Demonstram ganhos consistentes em diversos cenários de capacidade do modelo (Model-Strong, Model-Intermediate, Model-Weak) e domínios (Matemática, Medicina, Raciocínio Geral).

4. Resultados Experimentais

Os experimentos foram realizados em 7 backbones de modelos (incluindo LLaMA-3, DeepSeekMath, Qwen2.5) e divididos em três regimes baseados na força do prior do modelo:

• Regime Model-Strong (Prior Forte): O modelo já conhece bem o domínio.
  • Resultado: O DEFT e a Transformada de Cayley superam consistentemente a NLL e métodos lineares ($-p$). Eles evitam o esquecimento catastrófico e melhoram o afinamento da distribuição, obtendo ganhos significativos em benchmarks de matemática (ex: +11.35% vs 6.49% da NLL no LLaMA-3.1-8B).
• Regime Model-Weak (Prior Fraco): O modelo precisa aprender do zero.
  • Resultado: Métodos que suprimem gradientes de baixa probabilidade (como $-p$) falham drasticamente. O DEFT adapta-se, mantendo o comportamento de cobertura (NLL) para aprender novos conceitos, superando a NLL em generalização e evitando a instabilidade.
• Regime Model-Intermediate e Misturado:
  • O DEFT alcança o melhor equilíbrio, superando tanto a NLL (que sofre de overfitting em tarefas de raciocínio) quanto métodos estáticos. Em benchmarks mistos (Geral + Matemática), o DEFT obteve o maior desempenho médio total.
• Generalização OOD (Out-of-Distribution):
  • Ao treinar em Matemática e testar em Medicina, o DEFT demonstrou menor esquecimento catastrófico e melhor transferência de conhecimento em comparação à NLL, preservando as competências pré-treinadas.

5. Significado e Impacto

Este trabalho oferece uma solução elegante para o dilema fundamental do SFT: como aprender novos conhecimentos sem destruir o conhecimento prévio e como refinar previsões sem ignorar sinais de aprendizado difíceis.

• Teórico: Estabelece uma conexão profunda entre otimização, entropia de Tsallis e geometria de informação (Transformada de Cayley), provando que o ajuste dinâmico do "portão de confiança" é teoricamente fundamentado.
• Prático: O DEFT é um método sem parâmetros (não requer ajuste de hiperparâmetros complexos) que pode ser facilmente integrado a qualquer pipeline de SFT existente.
• Eficiência: Elimina a necessidade de filtragem de dados offline cara ou heurísticas estáticas, adaptando-se dinamicamente ao estado de aprendizado do modelo durante o treinamento.

Em resumo, o DEFT permite que os gradientes "mercam sua influência", sendo fortes quando o modelo precisa aprender (incerteza) e focados quando o modelo precisa refinar (confiança), resultando em modelos mais robustos, estáveis e capazes.