Integrating Local and Global Entropy for Uncertainty Quantification in LLMs

Resumo Técnico: Integração de Entropia Local e Global para Quantificação de Incerteza em LLMs

Definição do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente exibem "alucinações confiantes", produzindo respostas fluentes, específicas, porém factualmente incorretas. Os métodos existentes de Quantificação de Incerteza (UQ) baseiam-se predominantemente em sinais ao nível de token (ex: log-probabilidades ou consistência de amostragem). Embora eficazes para detectar ambiguidade local, esses métodos frequentemente falham em identificar o modo de falha "confiante-mas-errado", onde o modelo gera respostas incorretas com alta confiança ao nível de token. Além disso, muitas abordagens existentes impõem barreiras práticas, como a exigência de múltiplas passagens de geração, supervisão específica para a tarefa, sensibilidade ao comprimento da resposta ou suposições arquiteturais específicas. Há uma necessidade de um método de UQ que seja não supervisionado, computável em uma única passagem direta (forward pass), normalizado pelo comprimento e capaz de capturar a estrutura geométrica da trajetória interna do modelo.

Metodologia

O artigo propõe o Global-Local Uncertainty (GLU), um framework que integra dois sinais de incerteza distintos derivados de diferentes camadas representacionais do LLM:

1. Incerteza Local (Nível de Token):

   • Derivada da camada de unembedding (predição do próximo token).
   • Baseada no framework de aprendizado profundo evidencial, decompondo a incerteza em Incerteza Aleatória (AU) (ambiguidade distributiva) e Incerteza Epistêmica (EU) (falta de evidência).
   • A AU é calculada como a entropia de Shannon de uma distribuição preditiva truncada sobre os top-k tokens.
   • A EU é estimada mapeando os logits para parâmetros de concentração de Dirichlet (usando uma transformação softplus) e calculando a força inversa de Dirichlet.
   • O escore local ($\bar{R}$) é a média da interação multiplicativa da AU e EU entre os $m$ tokens mais incertos da resposta.

2. Incerteza Global (Complexidade Geométrica):

   • Derivada da camada de embedding (espaço do estado oculto).
   • Baseada na hipótese de que a recuperação de fatos confiáveis corresponde a estados ocultos movendo-se em uma direção estreita e consistente, enquanto alucinações correspondem a um vagar por direções frouxamente relacionadas.
   • O método constrói uma matriz de Gram ($K = HH^\top$) a partir da trajetória do estado oculto $H$ através de todos os passos de geração.
   • A incerteza global é quantificada como a entropia de Rényi-2 (entropia de colisão) do espectro de autovalores normalizado de $K$. Uma entropia alta indica uma trajetória difusa e incoerente (alta incerteza), enquanto uma entropia baixa indica uma trajetória coerente e de baixo posto (low-rank).
   • Para garantir a comparabilidade entre comprimentos de resposta e modelos, a entropia é normalizada por $\log T$ e calculada pela média entre todas as camadas do transformer.

3. Estratégia de Fusão (GLU):

   • Os dois sinais são fundidos via um portão multiplicativo: $GLU = (1 + \tilde{S}) \cdot \bar{R}$, onde $\tilde{S}$ é a entropia geométrica global normalizada e $\bar{R}$ é a incerteza local agregada.
   • Este design multiplicativo atua como um amplificador geométrico: se a trajetória for difusa (alta incerteza global), o escore de incerteza local é ponderado para cima. Isso visa especificamente o regime "confiante-mas-errado", onde a entropia de token é baixa, mas a coerência geométrica está ausente.
   • O método requer apenas uma única passagem direta, nenhum dado rotulado e é agnóstico à arquitetura.

Principais Contribuições

1. Extração de Incerteza de Múltiplas Visões: O artigo extrai sinais complementares de duas camadas distintas: entropia geométrica global de trajetórias de estados ocultos e entropia de token local de logits de saída.
2. Ortogonalidade Estatística: A análise empírica demonstra que os sinais globais e locais são estatisticamente quase ortogonais. O sinal global recupera o modo de falha "confiante-mas-errado" que os sinais locais sistematicamente perdem.
3. Framework GLU: Introdução de um escore leve e não supervisionado que funde esses sinais multiplicativamente, evitando a necessidade de retreinamento, rótulos pseudo ou múltiplas passagens de amostragem.
4. Validação Abrangente: Avaliação extensiva em três famílias de modelos (Qwen2.5, Gemma3, Fanar1) e seis benchmarks diversos (incluindo factualidade, matemática e QA em Árabe), juntamente com estudos de ablação rigorosos.

Resultados Experimentais

• Desempenho: Em 18 configurações de modelo-dataset, o GLU alcançou o melhor AUROC (Área sob a Curva Característica de Operação do Receptor) em 13 casos e o melhor PRR (Razão de Rejeição de Predição) em 12 casos. Ele superou consistentemente tanto os baselines de apenas local (ex: LogTokU) quanto os de apenas global (ex: RAUQ).
• Estudos de Ablação:
  • Multiplicativo vs. Aditivo: A estratégia de fusão multiplicativa foi crítica. Uma variante aditiva ($Add\text{-}\tilde{S}$) caiu significativamente em desempenho (classificando-se em 13º de 14 métodos), confirmando que o sinal global deve atuar como um modulador, e não como um deslocamento fixo.
  • Robustez: O ganho de desempenho foi robusto através de diferentes escolhas de estimadores locais e globais, sugerindo que a complementaridade é uma propriedade estrutural dos LLMs, e não um artefato de hiperparâmetros específicos.
• Calibração: No benchmark TriviaQA, o GLU demonstrou uma relação monotônica entre os escores de incerteza e as taxas de erro empíricas, separando efetivamente respostas corretas de incorretas através de decis de confiança.

Significância e Alegações

O artigo afirma que a distinção estrutural entre as camadas de embedding (direção semântica) e de unembedding (probabilidade de token) fornece uma base principiológica para explicar por que os sinais de token e geométricos medem aspectos diferentes da incerteza. Ao integrar essas visões, o GLU oferece uma solução prática e não supervisionada para a predição de confiabilidade que aborda um ponto cego crítico nos métodos atuais de UQ: a alucinação confiante. Os autores afirmam que o GLU iguala ou supera todos os baselines não supervisionados, mantendo-se normalizado pelo comprimento e agnóstico à arquitetura, tornando-o adequado para implantação no mundo real, onde a eficiência computacional e a falta de supervisão são primordiais. O trabalho sugere que a complementaridade entre a incerteza local e global é uma propriedade estrutural fundamental dos LLMs.