Resumo Técnico: Quando respostas prováveis são corretas? Sobre Probabilidade de Sequência e Correção em LLMs

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) são sistemas autorregressivos que atribuem probabilidades a sequências de tokens. Métodos de decodificação (ex: beam search, top-k sampling, Best-of-N) são frequentemente projetados para deslocar a massa de probabilidade em direção a saídas que sejam mais prováveis sob o modelo, seja localmente ao nível do token ou globalmente ao nível da sequência. Uma suposição fundamental que impulsiona esses métodos é que uma maior probabilidade de sequência correlaciona-se com a correção. No entanto, observações empíricas sugerem que essa relação não é universal; por exemplo, o beam search, que aproxima a sequência mais provável, frequentemente degrada o desempenho em comparação com métodos de amostragem.

Este artigo aborda a questão central: Quando a probabilidade da sequência (a probabilidade condicional de uma continuação dada uma instrução/prompt) realmente se alinha com a correção? Os autores visam quantificar essa relação através de diferentes métodos de decodificação, modelos e benchmarks para determinar quando maximizar a probabilidade leva a melhores respostas e quando não leva.

Metodologia

Os autores conduzem um estudo empírico de larga escala quantificando a correlação entre o log-probabilidade da sequência e a correção em quatro níveis distintos de granularidade:

1. Correlação Entre Métodos (Across-Method): Comparando diferentes métodos de decodificação (e seus hiperparâmetros ótimos) em um modelo e conjunto de dados fixos.
2. Correlação Dentro do Método (Within-Method): Analisando como a mudança de hiperparâmetros dentro de um único método de decodificação afeta tanto a probabilidade quanto a correção.
3. Correlação Dentro do Conjunto de Dados (Within-Dataset): Examinando a relação entre log-probabilidade e correção através de todos os pares de prompt-resposta dentro de um conjunto de dados, modelo e método específicos.
4. Correlação Dentro da Amostra (Within-Sample): Investigando a correlação entre múltiplas respostas geradas para o mesmo prompt.

Configuração Experimental:

• Modelos: 14 modelos das famílias Qwen2.5, Qwen3 e Olmo3 (variando de 0.6B a 8B de parâmetros), incluindo variantes base e pós-treinadas (post-trained).
• Conjuntos de Dados: 6 conjuntos de dados de benchmark cobrindo raciocínio matemático (MATH500), geração de código (HumanEval), seguimento de instruções (IFEval) e conhecimento geral/raciocínio médico (GPQA, MedQA, MMLU).
• Métodos de Decodificação: 8 métodos foram avaliados:
  • Métodos locais: Baixa temperatura de amostragem (LTS), Top-k, Top-p, $\epsilon$-sampling.
  • Métodos globais: Beam search, Best-of-N (BoN), Scalable Power Sampling (SPS) e Power-SMC.
• Métricas: O estudo utiliza coeficientes de correlação de Pearson (em dados agrupados/binned) e coeficientes de correlação de ranking de Spearman para medir a relação entre log-probabilidade e rótulos de correção binária.

Principais Contribuições e Descobertas

1. Enquadramento da Decodificação como Maximização de Probabilidade

O artigo enquadra formalmente os métodos de decodificação como abordagens para maximizar a probabilidade da sequência. Ele distingue entre métodos locais (que modificam a distribuição do próximo token em cada etapa, muitas vezes falhando em maximizar a probabilidade global da sequência devido às constantes de normalização locais) e métodos globais (que visam o modo ou a distribuição de potência da sequência completa). Os autores fornecem um objetivo variacional mostrando que a distribuição de potência atua como um maximizador suave da probabilidade da sequência, realizando um compromisso entre a esperança do log-probabilidade e a entropia.

2. Correlação Dependente de Granularidade

A descoberta central é que a relação entre probabilidade e correção não é uniforme; ela depende fortemente do nível de análise:

• Dentro do Conjunto de Dados (Descoberta 1): Existe uma correlação consistente, frequentemente positiva, entre log-probabilidade e correção dentro de um conjunto de dados, modelo e método fixos. Essa correlação é determinada em grande parte pelo conjunto de dados e pela variante do modelo, em vez do método de decodificação. Por exemplo, o MATH500 mostra uma correlação positiva quase perfeita, enquanto o IFEval frequentemente mostra correlação negativa para modelos base. Modelos pós-treinados geralmente mostram correlações positivas, ao passo que modelos base são mais diversos.
• Dentro do Método (Descoberta 2): Ajustar os hiperparâmetros de um método específico de decodificação para aumentar a probabilidade da sequência não melhora a correção de forma confiável. Embora a mudança de hiperparâmetros (ex: temperatura, largura do beam) frequentemente gere sequências com maior log-probabilidade, essas sequências são frequentemente menos corretas. Não há uma maneira consistente de ajustar um método para maximizar simultaneamente tanto a probabilidade quanto a precisão através dos conjuntos de dados.
• Entre Métodos (Descoberta 3): Nenhum método de decodificação único supera consistentemente os outros em termos de correção, mesmo ao escolher hiperparâmetros ótimos. Embora muitos métodos produzam sequências que são mais prováveis e mais corretas do que uma linha de base de baixa temperatura (LTS), isso não é uma regra confiável. Especificamente, aumentar a probabilidade da sequência ao trocar de método (ex: para Power Sampling) não garante maior precisão.
• Dentro da Amostra (Descoosa 5): Para um único prompt, a correlação entre log-probabilidade e correção entre amostras repetidas é geralmente fraca e simetricamente distribuída em torno de zero. No entanto, prompts onde o modelo gera uma fração maior de respostas corretas tendem a exibir correlações positivas dentro da amostra mais fortes.

3. Implicações para Auto-Melhoria e Auto-Consistência

O artigo conecta essas descobertas à auto-melhoria sem verificador (verifier-free self-improvement) e à auto-consistência (SC):

• Auto-Consistência (Descoberta 6): Para amostragem de baixa temperatura, a votação majoritária (pesagem uniforme) frequentemente supera a votação ponderada por probabilidade. Isso é atribuído às correlações dentro da amostra fracas ou simétricas, significando que a alta probabilidade não indica de forma confiável a resposta correta para um prompt específico.
• Auto-Melhoria (Descoberta 4): Loops de auto-melhoria recursiva baseados em probabilidade podem exigir uma precisão de base suficiente para serem eficazes. A correlação entre probabilidade e correção escala com a precisão geral do modelo; se o modelo não for já preciso, reforçar amostras de alta probabilidade pode reforçar amostras incorretas.

Significância e Alegações

O artigo afirma esclarecer as condições sob as quais a decodificação pode ser esperada para melhorar a correção. Sua principal contribuição é uma compreensão matizada de que a probabilidade da sequência é um sinal útil para distinguir respostas corretas de incorretas em um conjunto de dados, mas é um sinal pobre para selecionar hiperparâmetros ou métodos de decodificação para melhorar o desempenho em uma tarefa específica.

Os autores enfatizam que a intuição "maior probabilidade é igual a maior correção" mantém-se ao nível do conjunto de dados (permitindo que os modelos distingam boas de más respostas em agregado), mas falha ao nível da tomada de decisão (selecionar a melhor resposta para um prompt específico ou ajustar um método). Consequentemente, o artigo aconselha contra o uso exclusivo da probabilidade da sequência para:

1. Selecionar o método de decodificação ou hiperparâmetros ótimos sem validação empírica.
2. Agregação ponderada por probabilidade na auto-consistência (a menos que o modelo tenha uma precisão muito alta).
3. Loops de auto-melhoria sem verificador sem garantir uma base de precisão da tarefa.

O trabalho sugere que as futuras estratégias de decodificação devem focar na granularidade da correlação: aproveitando sinais de probabilidade para filtragem ao nível do conjunto de dados, enquanto reconhece suas limitações para seleção ao nível da instância.