Resumo Técnico: Perturbação de Embedding para Incerteza em Etapas Intermediárias no Raciocínio de LLMs

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) alcançaram avanços significativos em tarefas de raciocínio, mas continuam propensos a produzir saídas não confiáveis ou enganosas. Embora existam técnicas de Quantificação de Incerteza (UQ) para estimar a confiança de um modelo em suas respostas finais, elas são frequentemente inadequadas para a incerteza em etapas intermediárias em cadeias de raciocínio. Os métodos existentes enfrentam várias limitações:

• Abordagens baseadas em amostragem (por exemplo, autoconsistência) exigem a geração de múltiplas respostas para verificar o acordo. Embora eficazes para respostas finais, são computacionalmente caras e têm dificuldade em identificar a etapa intermediária específica onde um erro se origina.
• Métricas baseadas em probabilidade (por exemplo, probabilidade de token, entropia, margem) frequentemente falham em distinguir entre tokens de baixa probabilidade que são linguisticamente raros, mas corretos, e aqueles que representam erros genuínos de raciocínio. Elas também têm dificuldade em capturar dependências contextuais de longo prazo necessárias para auditoria de erros de raciocínio.
• Métodos baseados em Bayes (por exemplo, perturbação de pesos) podem ser computacionalmente pesados, particularmente para modelos grandes.

O problema central abordado é a falta de métricas eficientes e de granularidade fina capazes de identificar os tokens ou etapas específicos dentro de uma cadeia de raciocínio onde a incerteza do modelo é mais alta, indicando assim um erro potencial.

Metodologia

Os autores propõem a Perturbação de Embedding como uma abordagem inovadora para quantificar a incerteza intermediária. A hipótese central é que etapas de raciocínio incorretas contêm tokens altamente sensíveis a pequenas perturbações nos embeddings dos tokens precedentes. Essa sensibilidade reflete a hesitação interna do modelo entre múltiplas continuações concorrentes (ou seja, o modelo está "indeciso" se deve prosseguir com o token atual ou um token rival).

O método opera sob a premissa de que os LLMs são autoregressivos; a geração de um token $x_t$ depende exclusivamente dos tokens precedentes $x_{1:t-1}$. Os autores definem a probabilidade de geração do token como uma função dos embeddings dos tokens precedentes $H_{1:t-1}$. Eles medem a sensibilidade do modelo a perturbações nesses embeddings usando duas métricas específicas:

1. Perturbação Aleatória (Rand. Pert.):

   • Ruído Gaussiano aleatório $\Delta \sim \mathcal{N}(0, \sigma^2 I)$ é adicionado aos embeddings de todos os tokens na entrada e na resposta.
   • A métrica é definida como a variância do log-probabilidade do token alvo $x_t$ sobre múltiplas amostras de ruído:
     $$\text{Pert.}(x_t) = \text{Var}_{\Delta} [\log \text{Pr}(x_t | \tilde{H}_{1:t-1})]$$
   • Isso captura a instabilidade da seleção do token sob pequenas variações de contexto.

2. Perturbação Adversarial (Adv. Pert.):

   • Em vez de amostragem aleatória, os embeddings são modificados na direção que maximiza a diminuição da log-probabilidade total da resposta gerada (usando um gradiente com sinal).
   • A métrica é a diferença na log-probabilidade antes e após a perturbação:
     $$\text{Pert.}(x_t) = \log \text{Pr}(x_t | H_{1:t-1}) - \log \text{Pr}(x_t | \hat{H}_{1:t-1})$$
   • Isso identifica tokens que são mais perturbados por uma mudança adversarial, indicando proximidade com a fronteira de decisão entre o token selecionado e um "token rival".

Insight Teórico:
O artigo fornece uma análise teórica mostrando que essas sensibilidades à perturbação aproximam inversamente a distância geométrica do embedding atual até a fronteira de decisão entre o token selecionado e um token rival. Uma pontuação alta de sensibilidade implica que o embedding está próximo de uma fronteira onde um token diferente (potencialmente levando a um caminho de raciocínio diferente) seria selecionado, sinalizando alta incerteza. Crucialmente, os autores argumentam que essa métrica é menos enviesada pelas frequências naturais de tokens em linguagem natural em comparação com métricas baseadas em probabilidade bruta.

Contribuições Principais

1. Novas Métricas UQ: Introdução de métricas baseadas em perturbação (Aleatória e Adversarial) especificamente projetadas para capturar incerteza em etapas intermediárias no raciocínio de LLMs, distintas da confiança na resposta final.
2. Justificativa Teórica: Uma demonstração formal de que a sensibilidade à perturbação aproxima a norma do gradiente, que por sua vez aproxima inversamente a distância até a fronteira de decisão entre caminhos de raciocínio concorrentes.
3. Eficiência: Os métodos propostos demonstraram ser computacionalmente eficientes. A perturbação adversarial requer apenas uma passagem de retropropagação e uma passagem de avanço, enquanto a perturbação aleatória pode reutilizar um único conjunto de perturbações para toda a sequência, evitando a sobrecarga massiva de múltiplas tentativas de amostragem.
4. Validação Empírica: Experimentos extensivos demonstrando que essas métricas superam as linhas de base existentes na identificação do primeiro passo errôneo em cadeias de raciocínio.

Resultados Experimentais

Os autores avaliaram seu método em tarefas de Raciocínio Matemático (conjunto de dados MATH) e Raciocínio Lógico (BIG-Bench Hard) em quatro modelos (Llama-3.1, OpenMath, Qwen, Mistral).

• Desempenho: Tanto as métricas de perturbação Aleatória quanto Adversarial superaram consistentemente as linhas de base, incluindo:
  • Nível de token: Negativa Log-Verossimilhança (NLL), Entropia, Margem de Probabilidade e o TokUR baseado em Bayes.
  • Nível de frase: CCP, TokenSAR e Incerteza de Grafo (amostragem múltipla).
  • No conjunto de dados MATH, a Perturbação Adversarial alcançou uma taxa de detecção top-3 de 0,65 para Llama (vs. 0,55 para TokUR) e 0,61 para Qwen (vs. 0,56 para TokUR).
• Eficiência: Em uma única GPU NVIDIA GH200, a Perturbação Adversarial adicionou apenas 0,28 segundos por geração, e a Perturbação Aleatória (com 20 iterações) adicionou 0,90 segundos. Isso é significativamente mais rápido do que abordagens de amostragem múltipla.
• Detecção de Alucinação: Quando testado no conjunto de dados FactScore para detecção de alucinação factual, os métodos baseados em perturbação desempenharam pior em comparação com os métodos de amostragem múltipla. Os autores atribuem isso à diferença fundamental nos padrões de erro: alucinações frequentemente surgem de correlações espúrias ou fundamentação fraca que permanecem estáveis sob perturbação, enquanto erros de raciocínio envolvem instabilidade genuína na seleção de caminhos.

Significado e Alegações

O artigo afirma que a perturbação de embedding fornece uma maneira mais eficaz e eficiente de auditar o processo de raciocínio de LLMs em comparação com métodos existentes. Ao identificar tokens com alta sensibilidade a perturbações de embedding, os praticantes podem:

• Localizar exatamente onde um modelo começa a desviar de um caminho de raciocínio correto.
• Permitir intervenções de granularidade fina, como mecanismos baseados em reflexão ou autocorreção, acionados especificamente em etapas incertas.
• Facilitar o desenvolvimento de modelos de verificação fornecendo sinais de incerteza interpretáveis derivados do próprio processo de geração.

Os autores reconhecem modestamente limitações: o método pode não detectar alucinações impulsionadas por correlações espúrias e nem sempre desvenda perfeitamente a incerteza quanto à correção da incerteza decorrente da seleção entre múltiplos caminhos de raciocínio válidos. No entanto, o estudo estabelece que métricas baseadas em perturbação são uma ferramenta superior para detectar erros de raciocínio procedimental em comparação com linhas de base baseadas em probabilidade ou amostragem.