Resumo Técnico: Nenhum Sinal Universal Prediz Regressão de Nível de Amostra em Atualizações de Versão de LLMs

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) de fronteira passam por atualizações frequentes que tipicamente melhoram a precisão agregada em benchmarks. No entanto, essas atualizações podem introduzir flips negativos (inversões negativas): instâncias específicas onde uma resposta que era correta sob um modelo antigo ($M_{old}$) torna-se incorreta sob um modelo novo ($M_{new}$). Embora as métricas agregadas mascarem essas regressões, elas representam riscos significativos para aplicações de alto risco.

O problema central abordado é a predição de regressão ao nível da amostra durante a inferência. Os autores investigam se sinais disponíveis durante a inferência — sem acesso aos parâmetros do modelo ou aos rótulos de verdade fundamental (ground-truth) — podem identificar eficazmente amostras com probabilidade de sofrer um flip negativo. O estudo distingue entre:

1. Sinais de modelo único: Métricas de incerteza derivadas de uma única versão do modelo (ex: confiança, margem de logit).
2. Sinais entre versões: Métricas que comparam o comportamento de $M_{old}$ e $M_{new}$ no mesmo input (ex: divergência KL de saída, deriva de verossimilhança).

A hipótese central testada é se o desacordo entre versões é inerentemente preditivo de regressão, ou se a eficácia do sinal é contingente à estrutura da tarefa e a atualizações específicas do modelo.

Metodologia

Configuração Experimental

O estudo avalia seis pares de atualização de modelos através de quatro famílias de modelos de pesos abertos (Qwen, Llama, Mistral, Gemma), cobrindo aproximadamente dois anos de lançamentos. Isso inclui cinco atualizações da mesma família e um caso de fronteira (Llama-2 $\to$ Llama-3).
A avaliação abrange seis benchmarks em três famílias de tarefas:

• Resposta de Questões de Múltipla Escolha (MCQ): MMLU-Pro, GPQA.
• Raciocínio Matemático: GSM8K, MATH-full.
• Geração de Código: HumanEval, MBPP.

Os modelos são decodificados deterministicamente (decodificação greedy, temperatura 0) para garantir labels de flip negativo reproduzíveis. O alvo de predição é o label binário $z(x) = \mathbb{I}\{c_{old}(x)=1 \land c_{new}(x)=0\}$.

Taxonomia de Sinais

Os autores comparam duas famílias de sinais:

1. Sinais de Modelo Único:
   • Confiança: Probabilidade softmax máxima (MCQ) ou log-verossimilhança de sequência normalizada pelo comprimento (generativo).
   • Margem de Logit: Diferença entre os logits do top-1 e top-2 (MCQ).
   • Entropia de Atenção: Entropia de Rényi-2 dos pesos de atenção (MCQ).
2. Sinais Entre Versões:
   • KL/JSD de Saída: Divergência entre distribuições de opções (MCQ).
   • Deriva de Verossimilhança (Likelihood Drift): Diferença na log-verossimilhança negativa (NLL) por token ao pontuar uma trajetória fixa (antiga ou nova) em ambos os modelos.
   • KL de Top-k Tokens: Divergência KL entre distribuições de próximo-token restritas aos top-$k$ tokens do modelo gerador.
   • Deriva de Representação: Distância de cosseno entre os estados ocultos da última camada.

Protocolo de Avaliação: Teste de Valor Adicionado

Para isolar o poder preditivo único de cada sinal, os autores utilizam um teste de valor adicionado unificado.

• Baseline: Um modelo de regressão logística usando apenas a confiança do novo modelo ($LR(conf_{new})$).
• Modelo Aumentado: $LR(conf_{new}, s)$, onde $s$ é o sinal candidato.
• Métrica: A mudança na AUROC de validação cruzada de 5 dobras ($\Delta$CV-AUROC). Um sinal é considerado útil apenas se melhorar o desempenho sobre o baseline de confiança, em vez de meramente duplicar a informação já capturada pela confiança.

Principais Resultados

1. Eficácia Dependente da Tarefa

Nenhum sinal único prediz universalmente os flips negativos em todas as tarefas e atualizações. A eficácia está fortemente correlacionada com a estrutura de saída da tarefa:

• Tarefas de MCQ: A confiança do novo modelo é o preditor mais forte. Sinais entre versões (como KL de saída) apresentam alta AUROC isoladamente, mas oferecem pouco valor adicionado sobre a confiança, pois a correção em MCQ depende de uma escolha discreta única.
• Raciocínio Matemático (Tarefas Mais Difíceis): No benchmark MATH-full, sinais de verossimilhança/KL entre versões (especificamente deriva de verossimilhança de nova trajetória e KL de token) superam consistentemente a confiança. No GSM8K, que é mais simples, a confiança permanece suficiente.
• Geração de Código: Sinais entre versões (deriva de verossimilhança e KL de token) proporcionam os ganhos mais frequentes. A correção de código é funcional (dependente de toda a trajetória), o que significa que uma geração fluente e de alta confiança ainda pode falhar em testes de unidade. Sinais ao nível de trajetória capturam informações que a confiança negligencia.

2. Não Há Vencedor Universal Entre Atualizações

Mesmo dentro de uma família específica de tarefas, o melhor sinal varia conforme o par de atualização de modelo. Por exemplo, embora a deriva de verossimilhança frequentemente ajude em tarefas de código, sua magnitude e direção dependem da atualização.

3. Dificuldade vs. Regressão

Os flips negativos não são apenas os exemplos "mais difíceis" para o modelo antigo. Embora a baixa confiança do modelo antigo correlacione-se com flips em MCQ, essa relação enfraquece significamente em raciocínio matemático e geração de código. A confiança do modelo antigo sozinha não consegue identificar de forma confiável quais amostras sofrerão flip sob uma atualização.

4. Aplicabilidade Sem Rótulos (Label-Free)

Ao serem avaliados no dataset completo (sem filtrar amostras corretas de $M_{old}$, simulando o deployment real onde a verdade fundamental é desconhecida):

• O desempenho da confiança do novo modelo cai significamente (ex: AUROC $\approx$ 0.6 no MMLU-Pro).
• Alguns sinais entre versões (ex: deriva de verossimilhança de nova trajetória) permanecem mais estáveis e informativos, apoiando uma estratégia de fallback seletivo baseada em prova de conceito, onde amostras de alto risco são direcionadas de volta ao modelo antigo.

5. Combinação de Sinais

Combinar múltiplos sinais entre versões raramente melhora o desempenho em relação ao melhor sinal individual, sugerindo competição em vez de complementaridade entre essas métricas.

Significância e Contribuições

O artigo apresenta quatro contribuições primárias:

1. Caracterização de Flips Negativos: Demonstra que os flips negativos não são totalmente explicados pela dificuldade do modelo antigo ou pela baixa confiança, particularmente conforme a complexidade da tarefa aumenta.
2. Padrões de Sinais Dependentes de Tarefa: Identifica que o sinal ideal para prever regressão depende da família de tarefas: a confiança é suficiente para MCQ e matemática simples, enquanto sinais de verossimilhança/KL entre versões são superiores para código e matemática complexa.
3. Mecanismo de Fallback Prático: Mostra que certos sinais entre versões permanecem informativos sem rótulos de verdade fundamental, permitindo uma estratégia de fallback seletivo para mitigar riscos de regressão em produção.
4. Competição vs. Complementaridade: Estabelece que a combinação de múltiplos sinais entre versões geralmente gera retornos decrescentes, indicando que um único sinal bem escolhido é geralmente suficiente.

Conclusão: Profissionais não devem assumir por padrão o uso de filtragem baseada em confiança para todas as atualizações. Em vez disso, devem combinar o sinal de regressão à tarefa específica e ao par de atualização de modelo. Para tarefas generativas como código e matemática complexa, comparações comportamentais entre versões oferecem uma salvaguarda necessária que a confiança de modelo único não pode prover.