Resumo Técnico: InfoSFT

Declaração do Problema

O Ajuste Fino Supervisionado (SFT) é a abordagem padrão para ensinar a Grandes Modelos de Linguagem (LLMs) novos comportamentos usando demonstrações de especialistas offline. No entanto, o SFT padrão sofre de duas limitações críticas:

1. Generalização Fraca em Tempo de Teste: O SFT padrão ajusta uniformemente todas as amostras, incluindo aquelas com baixa verossimilhança sob o modelo base. Esses tokens de baixa verossimilhança incorrem em grandes perdas de log-verossimilhança negativa, forçando o modelo a superajustar amostras específicas em vez de aprender o comportamento-alvo subjacente. Consequentemente, o SFT frequentemente apresenta desempenho inferior em comparação com métodos on-policy (como RL) em benchmarks de generalização.
2. Esquecimento Catastrófico: Adaptar-se a novos comportamentos usando dados offline de baixa verossimilhança induz mudanças substanciais na distribuição de saída do modelo. Essa grande mudança distribucional está correlacionada com a degradação de capacidades anteriores (por exemplo, segurança, seguimento de instruções ou raciocínio geral), um fenômeno conhecido como esquecimento catastrófico.

Estratégias de mitigação existentes, como filtragem ou redução de peso de dados de baixa verossimilhança, frequentemente suprimem os próprios comportamentos novos que o modelo base precisa aprender, criando um tradeoff entre aprender novas tarefas e reter as antigas.

Metodologia: InfoSFT

Os autores propõem o InfoSFT, um esquema de ponderação de tokens principiado projetado para concentrar sinais de aprendizado em "tokens de confiança média, maximamente informativos". O método é derivado de um framework de atualização proximal, otimizando o tradeoff entre ajustar a distribuição de especialistas e manter-se próximo do modelo base sob um orçamento fixo de divergência KL.

Derivação Teórica

Os autores enquadram o SFT como um problema de gradiente de política, onde a ponderação de uma amostra depende de sua verossimilhança $q = \pi_\theta(y^*|x)$ sob o modelo atual.

• SFT Padrão atribui um peso uniforme ($w=1$), tratando efetivamente todos os tokens de forma igual.
• DFT (SFT Ponderado por Verossimilhança) atribui pesos proporcionais à verossimilhança ($w \propto q$), o que estabiliza o treinamento, mas subestima amostras informativas de baixa verossimilhança.
• InfoSFT deriva uma regra de ponderação ótima que prioriza ajustar a distribuição populacional dos dados de especialistas em vez de memorizar amostras individuais. O peso ótimo para um token com verossimilhança $q$ é derivado como:
  $$w_{info}(q) \propto q \left( \text{logit}(p) - \text{logit}(q) \right)_+$$
  Onde:
  • $p$ é uma estimativa da confiança média do especialista (uma constante de calibração).
  • $\text{logit}(q) = \log(\frac{q}{1-q})$.
  • $(\cdot)_+$ denota o recorte para garantir pesos não negativos.

Características Principais

• Foco em Confiança Média: A função de ponderação atinge o pico para tokens com confiança intermediária. Ela atribui pesos altos a tokens que são improváveis sob o modelo base (e, portanto, informativos), mas não tão improváveis a ponto de causar instabilidade.
• Peso Desvanecente para Extremos:
  • Para tokens altamente confiantes ($q \to 1$), o termo de correção desaparece, evitando o reforço desnecessário de tokens que o modelo já prevê bem.
  • Para tokens extremamente improváveis ($q \to 0$), o peso desaparece, prevenindo instabilidade.
• Implementação: O InfoSFT requer apenas uma modificação de uma linha na função de perda token a token padrão. Ele substitui o peso uniforme pelo fator de ponderação derivado.

Contribuições Principais

1. Atualização Ótima sob Orçamento KL: O artigo demonstra teoricamente que, quando restrito a permanecer próximo do modelo base (orçamento KL fixo), a estratégia de atualização ótima atribui os pesos mais altos a amostras com confiança intermediária, em vez de pesos uniformes ou proporcionais à verossimilhança.
2. Algoritmo InfoSFT: Uma variante SFT simples e nova que incorpora essa regra de ponderação. Ela enfatiza tokens informativos de baixa verossimilhança, enquanto dá pouco peso a tokens já resolvidos.
3. Complementaridade com SFT: Os autores mostram que o InfoSFT e o SFT padrão são complementares. O SFT é eficaz para introduzir formatos muito improváveis (por exemplo, novas tags de raciocínio como <thought>), enquanto o InfoSFT é superior para refinar o modelo uma vez que esses formatos se tornam mais prováveis.

Resultados Experimentais

Os autores avaliaram o InfoSFT em tarefas de matemática, código e raciocínio de Cadeia de Pensamento (CoT) usando diversas famílias de modelos (Qwen-2.5, Llama-3.1) e tamanhos.

• Desempenho de Generalização: O InfoSFT consistentemente superou tanto o SFT vanilla quanto o DFT em benchmarks de tempo de teste (MATH500, AMC, HumanEval, MultiPL-E). Notavelmente, alcançou pontuações pass@8 mais altas, indicando melhor diversidade e robustez na geração de soluções corretas entre múltiplas amostras.
• Esquecimento Catastrófico: Em experimentos medindo o tradeoff entre a precisão de novas tarefas e capacidades anteriores (Ciência Q&A e Uso de Ferramentas), o InfoSFT alcançou uma fronteira de Pareto superior. Ele atingiu maior precisão em novas tarefas do que o SFT e o DFT, preservando capacidades anteriores (por exemplo, HumanEval, IFEval) de forma mais eficaz.
• Controle de Entropia: Diferentemente do DFT, que frequentemente leva ao colapso de entropia (saídas determinísticas), o InfoSFT mantém uma entropia de saída mais alta, o que é crucial para alinhamento downstream e inferência baseada em amostragem.
• Raciocínio CoT: No ajuste fino de CoT, uma abordagem de dois estágios (1 época de SFT seguida por 1 época de InfoSFT) produziu os melhores resultados no AIME, aproveitando o SFT para aprender o formato e o InfoSFT para refinar o raciocínio.

Significado e Alegações

O artigo afirma que a ponderação de tokens é um ingrediente chave para o pós-treinamento supervisionado confiável. Ao ir além do ajuste uniforme ou da ponderação simples por verossimilhança, o InfoSFT aborda a tensão fundamental entre aprender novos comportamentos a partir de dados offline e preservar capacidades pré-existentes. O método oferece uma solução principiada e de baixa sobrecarga que melhora a generalização e mitiga o esquecimento catastrófico sem exigir filtragem complexa de dados ou amostragem on-policy. Os autores posicionam o InfoSFT como uma alternativa robusta que preenche a lacuna entre a estabilidade do SFT e os benefícios de generalização dos métodos on-policy.