💬 NLP

Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

Este artigo demonstra que a eficácia dos objetivos de treinamento para ajuste fino supervisionado de modelos de linguagem não é universal, mas depende do continuum de capacidade do modelo, onde abordagens que priorizam tokens de alta probabilidade superam a verossimilhança negativa em modelos fortes, enquanto a verossimilhança negativa permanece superior em modelos mais fracos.

Autores originais: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

Publicado 2026-03-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef de cozinha extremamente talentoso (o Modelo de Linguagem) que já passou anos estudando milhões de receitas, livros de culinária e vídeos de cozinheiros famosos. Ele já sabe cozinhar muito bem antes de você contratar ele.

O problema é: quando você quer ensinar esse chef a fazer um prato novo ou a seguir uma receita específica sua (o que chamamos de "Ajuste Fino" ou Fine-Tuning), você geralmente usa o mesmo método de sempre: criticar cada erro que ele comete, palavra por palavra.

Se o chef diz "adicione sal" e a receita diz "adicione pimenta", você grita: "ERRADO! Tente de novo!". Isso é o que a ciência chama de Log-Likelihood Negativa (NLL). É como se você fosse um professor rígido que não aceita nenhuma aproximação, exigindo perfeição absoluta em cada detalhe.

Os autores deste paper descobriram algo fascinante: essa abordagem de "professor rígido" nem sempre é a melhor. Depende de quão bom o chef já é antes de começar a aula.

Aqui está a explicação do conceito principal, o "Continuum da Capacidade do Modelo", usando analogias do dia a dia:

1. O Chef Já é um Mestre (Extremo "Modelo-Forte")

Imagine que você quer ensinar um chef que já é especialista em culinária italiana a fazer uma nova massa. Ele já sabe 90% do que precisa.

O Problema do Método Antigo (NLL): Se ele errar uma vírgula na receita ou sugerir um ingrediente que quase está certo, o método antigo foca no erro. Ele força o chef a reescrever a receita inteira, ignorando que ele já sabia fazer 99% do prato. Isso pode confundir o chef e fazer ele perder a confiança no que já sabe.
A Solução Nova (Objetivos "Inclinados ao Prévio"): Em vez de gritar com cada erro, você diz: "Ei, você já sabe fazer isso! Só ajuste o final". Você ignora os pequenos erros e foca apenas onde ele já está quase certo.
Resultado: O chef melhora muito mais rápido porque você está confiando no conhecimento prévio dele e apenas polindo os detalhes.

2. O Chef é um Iniciante (Extremo "Modelo-Fraco")

Agora, imagine que você quer ensinar esse mesmo chef a cozinhar um prato de um país onde ele nunca ouviu falar (digamos, uma culinária de uma ilha remota que não existe em nenhum livro que ele leu).

O Problema do Método Novo: Se você usar a abordagem de "confie no que você sabe", o chef vai tentar usar ingredientes que ele conhece (como sal e pimenta) em um prato que precisa de algo totalmente novo. Ele vai insistir no erro porque "acha" que está certo.
A Solução (Método Antigo - NLL): Aqui, você precisa ser o professor rígido novamente. Você precisa corrigir cada palavra, cada erro, forçando o chef a aprender do zero, ignorando o que ele achava que sabia.
Resultado: O método antigo funciona melhor porque o chef não tem "atalhos" mentais (prévios) úteis. Ele precisa aprender tudo de novo.

3. O Meio do Caminho (Zona Intermediária)

E se o chef já conhece a culinária básica, mas o prato é um pouco estranho?

A Realidade: Nesse meio-termo, não importa muito se você é rígido ou flexível. Os dois métodos funcionam quase igual. É a "terra de ninguém" onde não há uma resposta única perfeita.

A Grande Descoberta: "Não existe uma régua única"

O papel diz que, por anos, a inteligência artificial usou apenas o "professor rígido" (NLL) para tudo. Eles achavam que era a melhor forma de ensinar.

Mas os autores provaram que o melhor método de ensino depende da capacidade do aluno:

Se o modelo é "forte" (já sabe muito): Use métodos que ignoram os erros de baixa probabilidade e focam no que o modelo já acha provável. É como dar um "empurrãozinho" em vez de um "chute".
Se o modelo é "fraco" (não sabe nada): Use o método tradicional de corrigir tudo, forçando o modelo a aprender do zero.

Por que isso importa?

Pense em como você aprende coisas novas:

Quando você já é um pianista e aprende uma nova música, você não precisa treinar cada nota do zero. Você foca nas partes difíceis e confia na sua técnica.
Quando você está aprendendo a andar de bicicleta pela primeira vez, você precisa de instruções claras e correções constantes em tudo, porque você não tem "memória muscular" para confiar.

Este paper é um manual para os cientistas de IA dizerem: "Pare de usar o mesmo método de ensino para todos os modelos. Olhe para o 'currículo' do modelo antes de decidir como treiná-lo."

Se o modelo já tem um "cérebro" forte, deixe-o brilhar e apenas refine. Se ele é um "bebê", segure a mão dele e ensine cada passo. Isso torna a inteligência artificial mais inteligente, mais rápida e menos propensa a cometer erros bobos.

Título: Além da Verossimilhança Logarítmica: Objetivos Baseados em Probabilidade para Ajuste Fino Supervisionado (SFT) através do Contínuo de Capacidade do Modelo

1. O Problema

O Ajuste Fino Supervisionado (SFT) é o padrão para o pós-treinamento de Grandes Modelos de Linguagem (LLMs). No entanto, o SFT frequentemente exibe generalização limitada. A literatura tradicional atribui isso ao paradigma de SFT, mas os autores identificam que a raiz do problema pode ser o objetivo de treinamento padrão: a Negativa da Verossimilhança Logarítmica (NLL), ou Negative Log Likelihood ( $-\log p$ ).

Embora a NLL seja teoricamente ótima para treinamento do zero (from scratch) em tarefas de classificação simples, ela pode violar suas premissas de otimalidade no contexto de pós-treinamento de LLMs, onde:

O modelo já possui priors (conhecimentos prévios) relevantes para a tarefa incorporados durante o pré-treinamento.
A supervisão frequentemente envolve cadeias de pensamento longas e ruidosas.
Exigir que o modelo replique verbatim cada token (incluindo os de baixa probabilidade) pode prejudicar a generalização, especialmente quando o modelo já possui alta confiança em certas previsões.

2. Metodologia

Os autores propõem uma reavaliação fundamental do objetivo de treinamento, movendo-se além da NLL para uma família parametrizada de funções de perda baseadas em probabilidade.

Família de Objetivos: Eles definem uma função objetivo geral $f_\alpha(p) = \frac{1 - p^\alpha}{\alpha}$ $f_{α} (p) = \frac{1 - p ^{α}}{α}$ , onde $p$ $p$ é a probabilidade do token correto.
- Quando $\alpha \to 0$ , recupera-se a NLL ( $-\log p$ ).
- Quando $\alpha = 1$ , obtém-se o objetivo $1-p$ (equivalente a maximizar a precisão média).
- Valores de $\alpha > 1$ (ex: $\alpha=10$ ) criam objetivos que penalizam menos tokens de baixa probabilidade.
Classificação de Objetivos:
- Objetivos "Prior-Leaning" (Inclinados ao Prior): Funções côncavas (ex: $-p$ , $-p^{10}$ ) que dão menos peso a tokens de baixa probabilidade, focando em refinar previsões onde o modelo já tem alta confiança.
- Objetivos "Prior-Averse" (Avessos ao Prior): Funções convexas (ex: NLL) que dão mais peso a tokens de baixa probabilidade, forçando o modelo a aprender amplamente de todos os tokens, mesmo os improváveis.
O Contínuo de Capacidade do Modelo: A hipótese central é que a eficácia de um objetivo depende da força do prior do modelo base em relação à tarefa. Eles categorizam as tarefas em três regiões:
1. Modelo Forte (Model-Strong - MS): O modelo base já possui priors fortes e alinhados com os dados (ex: raciocínio matemático em modelos treinados com muitos dados matemáticos).
2. Modelo Intermediário (Model-Intermediate - MI): O modelo tem algum conhecimento, mas não é dominante (ex: raciocínio médico).
3. Modelo Fraco (Model-Weak - MW): O modelo não possui priors relevantes (ex: quebra-cabeças de fontes desconhecidas ou idiomas de baixos recursos).

3. Principais Contribuições

Descoberta do Contínuo de Capacidade: Demonstram que não existe uma função de perda universalmente superior. A escolha ótima depende criticamente da capacidade do modelo base e da força do prior na tarefa específica.
Análise Teórica e Empírica: Fornecem uma fundamentação teórica baseada em fluxo de gradiente que explica por que e quando objetivos "prior-leaning" superam a NLL (no extremo forte) e vice-versa (no extremo fraco).
Validação Abrangente: Realizaram experimentos extensivos cobrindo 8 backbones de modelos, 27 benchmarks e 7 domínios (matemática, medicina, quebra-cabeças, codificação, etc.).
Mecanismo de Gradiente: Mostram que a convexidade/concavidade da função de perda altera a distribuição do sinal de gradiente: objetivos côncavos focam em tokens de alta probabilidade (refinando o prior), enquanto objetivos convexos focam em tokens de baixa probabilidade (corrigindo erros).

4. Resultados Chave

Os resultados experimentais confirmam a hipótese do contínuo:

Extremo de Modelo Forte (MS):
- Resultado: Objetivos prior-leaning (como $-p$ ou variantes com limiar que ignoram tokens com $p < 0.2$ ) superam consistentemente a NLL.
- Exemplo: Em tarefas matemáticas com modelos como LLaMA-3 e Qwen2.5-Math, o objetivo $-p$ superou a NLL em até 16% de precisão.
- Motivo: A NLL penaliza excessivamente tokens de baixa probabilidade que, neste contexto, são frequentemente ruído ou desvios desnecessários de um prior já forte. Ignorá-los melhora a generalização.
Extremo de Modelo Fraco (MW):
- Resultado: A NLL domina consistentemente.
- Exemplo: Em quebra-cabeças de fontes (figfont) ou idiomas de baixos recursos, onde o modelo não tem conhecimento prévio, o objetivo $-p$ falha, pois ignora os tokens de baixa probabilidade que contêm a informação necessária para aprender a tarefa do zero.
- Motivo: O modelo precisa aprender a partir de todos os tokens, incluindo os improváveis, para corrigir seus priores errôneos ou inexistentes.
Região Intermediária (MI):
- Resultado: Não há um vencedor claro; a diferença entre $-p$ e NLL é estatisticamente insignificante.
- Motivo: Nem os priores são fortes o suficiente para justificar a rejeição de tokens de baixa probabilidade, nem são fracos o suficiente para exigir a correção agressiva da NLL.
Escala de Modelo: Em tarefas de instrução geral, conforme o tamanho do modelo aumenta (de 3B para 14B parâmetros), o desempenho do objetivo prior-leaning ( $-p$ ) melhora em relação à NLL, confirmando que modelos maiores tendem a operar no extremo "Modelo Forte" para mais tarefas.

5. Significado e Impacto

Revisão de Paradigma: O trabalho desafia a suposição de que a NLL é sempre o melhor objetivo para SFT, sugerindo que a "melhor" perda é contextual.
Guia Prático: Oferece um guia prático para pesquisadores e engenheiros:
- Se o modelo já é bom na tarefa (priors fortes), use objetivos que downweightem tokens de baixa confiança (ex: $-p$ ou NLL truncada).
- Se o modelo é novo na tarefa (priors fracos), mantenha a NLL.
Conexão com RL: A análise conecta SFT com Aprendizado por Reforço (RL), sugerindo que muitos métodos de RL que funcionam bem em tarefas de raciocínio operam implicitamente como objetivos "prior-leaning", validando empiricamente por que eles funcionam em modelos fortes.
Eficiência: Proporciona uma maneira simples e computacionalmente eficiente de melhorar o SFT sem a necessidade de pipelines complexos de RL, apenas alterando a função de perda.

Em resumo, o artigo estabelece que a interação entre a forma do objetivo de aprendizado e a capacidade do modelo é o fator determinante para o sucesso do SFT, propondo um contínuo onde a escolha da função de perda deve ser adaptada dinamicamente à força do prior do modelo.