💬 NLP

Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models

Este artigo apresenta um novo método supervisionado de quantificação de incerteza para modelos de linguagem de grande escala que adapta a Distância de Mahalanobis a embeddings em nível de token através de múltiplas camadas, demonstrando precisão e generalização superiores às abordagens existentes para elicitação de veracidade tanto em tarefas de geração em nível de sequência quanto em tarefas de verificação de fatos.

Autores originais: Artem Vazhentsev, Lyudmila Rvanova, Ivan Lazichny, Alexander Panchenko, Maxim Panov, Timothy Baldwin, Artem Shelmanov

Publicado 2026-04-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Artem Vazhentsev, Lyudmila Rvanova, Ivan Lazichny, Alexander Panchenko, Maxim Panov, Timothy Baldwin, Artem Shelmanov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô muito inteligente e bem lido (um Modelo de Linguagem de Grande Escala, ou LLM) que pode escrever histórias, responder perguntas e resumir notícias. O problema é que esse robô às vezes "alucina" — ele inventa fatos com confiança ou conta mentiras, assim como um aluno que chuta a resposta em uma prova, mas está errado.

Os autores deste artigo quiseram construir um "detector de mentiras" para esse robô. Eles queriam uma maneira de saber, antes de confiarmos na resposta do robô, se o robô está realmente inseguro ou se está apenas blefando.

Veja como eles fizeram isso, explicado de forma simples:

O Problema com os Métodos Antigos

Anteriormente, cientistas tentaram duas maneiras principais de pegar o robô mentindo:

O Método "Pergunte Novamente": Pergunte ao robô a mesma pergunta 10 vezes. Se ele der 10 respostas diferentes, provavelmente está confuso. Desvantagem: Isso é lento e caro, como perguntar a um amigo a mesma pergunta 10 vezes só para ver se ele muda a história.
O Método "Pontuação de Confiança": Observe o quão confiante o robô soa. Desvantagem: Robôs são ótimos em soar confiantes mesmo quando estão completamente errados.

A Nova Ideia: O Detetive "Densidade em Nível de Token"

Os autores perceberam que o "cérebro" do robô (suas camadas internas) guarda pistas sobre sua incerteza. Eles decidiram usar uma ferramenta matemática chamada Distância de Mahalanobis (DM).

A Analogia: A "Multidão Normal" vs. O "Outlier"
Imagine que o robô tem uma biblioteca mental de "boas respostas corretas" que aprendeu durante o treinamento.

O Jeito Antigo (Nível de Sequência): Quando o robô termina uma frase inteira, o método antigo olhava para a frase inteira como um grande bloco e perguntava: "Esse bloco inteiro parece com as respostas 'boas'?". O problema era que uma frase pode ter uma palavra estranha que estraga tudo, mas o "bloco" ainda pode parecer OK.
O Jeito Novo (Nível de Token): Os autores decidiram olhar para cada palavra individual (token) que o robô escreve, uma por uma.
- Eles perguntam: "Essa palavra específica parece com as palavras encontradas na biblioteca 'boa' do robô?"
- Se o robô escrever uma palavra muito estranha ou distante de sua biblioteca de palavras corretas, essa palavra recebe uma alta "pontuação de suspeita".
- Eles fazem isso para cada palavra na frase e depois calculam a média das pontuações para obter uma "pontuação de incerteza" final para a resposta inteira.

Como Eles Construíram Isso (A Receita)

Recolha os "Bons" Exemplos: Eles pegaram um monte de perguntas e as respostas do robô. Filtraram essas respostas para manter apenas as que eram definitivamente corretas (como um professor corrigindo uma prova e mantendo apenas os trabalhos com nota A+).
Mapeie as "Boas" Palavras: Eles olharam para a matemática interna (embeddings) das palavras naqueles trabalhos com A+ para criar um mapa do que "correto" parece para cada camada do cérebro do robô.
O Teste de "Suspeita": Quando o robô gera uma nova resposta, o sistema verifica cada palavra individual contra aquele mapa "correto".
- Se uma palavra está longe do mapa "correto", ela recebe uma alta pontuação de distância (Alta Incerteza).
- Se está perto, recebe uma pontuação baixa (Baixa Incerteza).
O "Treinador" (Regressão Linear): Como olhar para cada camada individual do cérebro do robô é complicado, eles treinaram um "treinador" simples (um modelo de regressão linear). Esse treinador olha para todas as pontuações de suspeita das diferentes camadas e para a própria confiança do robô, e então diz: "Com base em todas essas pistas, qual a probabilidade de essa resposta ser verdadeira?"

O Que Eles Encontraram

Eles testaram esse novo "Detetive em Nível de Token" em 11 tarefas diferentes, desde resumir artigos de notícias até responder perguntas difíceis de ciências.

É Mais Rápido: Ao contrário do método "Pergunte Novamente", isso não exige que o robô seja executado várias vezes. É quase tão rápido quanto o robô apenas escrevendo a resposta normalmente.
É Mais Inteligente: Ele pegou mentiras muito melhor do que os métodos anteriores. Em muitos testes, foi o melhor método disponível.
Funciona em Coisas Novas: Mesmo quando testaram o robô em tópicos que ele não havia visto durante o treinamento (como mudar de resumir notícias para responder perguntas médicas), o método ainda funcionou bem.
O Impulso "Híbrido": Eles descobriram que combinar seu novo método com a própria pontuação de confiança do robô (uma abordagem "Híbrida") o tornou ainda melhor em detectar mentiras.

A Conclusão

O artigo afirma que, ao olhar para cada palavra individual que o robô escreve e verificar o quão "estranha" ela é em comparação com o treinamento do robô, podemos criar uma maneira muito rápida, precisa e barata de dizer se o robô está dizendo a verdade ou inventando coisas. É como dar ao robô um espelho para que ele possa ver quando está prestes a dizer algo estranho, antes mesmo de dizer.

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) são propensos a gerar alucinações e afirmações não factuais, representando riscos significativos em aplicações críticas para a segurança. Embora a Quantificação de Incerteza (UQ) seja uma abordagem primária para detectar esses erros, os métodos existentes enfrentam duas limitações principais:

Ineficácia dos Métodos Baseados em Densidade: Técnicas tradicionais de UQ baseadas em densidade (por exemplo, Distância de Mahalanobis) tiveram grande sucesso na classificação de texto, mas falharam em desempenhar bem em tarefas de geração de texto quando aplicadas ao nível de sequência. Tentativas anteriores resultaram em desempenho comparável à seleção aleatória.
Custo Computacional: Os métodos de UQ mais avançados para LLMs frequentemente dependem de abordagens baseadas em consistência (por exemplo, Entropia Semântica, amostragem de múltiplas gerações) ou ensembles profundos, o que introduz uma sobrecarga computacional massiva (aumento de 300–700% no tempo de inferência), tornando-os impraticáveis para aplicações em tempo real ou em grande escala.
Limitações de Características: Métodos supervisionados recentes que utilizam estados internos de LLMs frequentemente dependem de características simplistas ou falham em incorporar métricas baseadas em densidade robustas e estabelecidas de forma eficaz.

2. Metodologia

Os autores propõem um novo framework de UQ supervisionado, baseado em densidade e ao nível de token, que adapta a Distância de Mahalanobis (MD) para modelos generativos. A inovação central reside na mudança de embeddings ao nível de sequência para embeddings ao nível de token e na sua agregação inteligente.

Componentes Principais:

Extração de Embeddings ao Nível de Token:
- Em vez de calcular a média de embeddings para formar um único vetor de sequência, o método extrai embeddings de estados ocultos para cada token gerado a partir de múltiplas camadas do LLM.
- Seleção de Embeddings: Para construir a distribuição de referência (centroide e matriz de covariância), o método filtra os dados de treinamento para incluir apenas respostas de alta qualidade (corretas). Isso garante que o modelo de densidade represente gerações "verazes".
Distância de Mahalanobis (MD) por Camada:
- Para cada camada $l$ , o método calcula a distância de Mahalanobis entre o embedding de um token e o centroide dos embeddings de tokens "corretos" selecionados daquela camada.
- MD Relativa (RMD): O método também implementa a Distância de Mahalanobis Relativa, que subtrai a distância para uma distribuição de fundo (por exemplo, conjunto de dados C4 geral) para distinguir melhor a veracidade dentro do domínio do ruído geral.
- Agregação: As pontuações ao nível de token são médias ao longo da sequência para produzir uma pontuação ao nível de sequência (MD Média ao Nível de Token ou ATMD / ATRMD).
Regressão Linear Supervisionada:
- Como a camada de melhor desempenho varia conforme a tarefa, o método trata as pontuações de MD por camada como características.
- Um modelo de Regressão Linear é treinado para prever a pontuação de incerteza (alvejada como a métrica de qualidade negativa, por exemplo, $-ROUGE$ ou $-Acurácia$) usando essas pontuações por camada.
- PCA: Para lidar com a multicolinearidade entre as características das camadas, as 10 Principais Componentes (PCA) são usadas como entrada para o regressor.
- Pontuação Híbrida (HUQ): A pontuação final de incerteza pode ser uma combinação da pontuação MD supervisionada e da probabilidade da sequência (Probabilidade Máxima da Sequência, MSP), combinadas através de uma função de ponderação aprendida.

3. Contribuições Principais

Adaptação ao Nível de Token: O artigo demonstra que a aplicação de métodos baseados em densidade ao nível de token (em vez do nível de sequência) é crucial para o sucesso na geração de LLMs, superando o fracasso das abordagens anteriores de densidade ao nível de sequência.
Framework Supervisionado Eficiente: Eles introduzem um método supervisionado computacionalmente leve que combina pontuações de densidade por camada com regressão linear, evitando a necessidade de amostragem ou ensembles caros.
Avaliação Abrangente: O método foi validado em 11 conjuntos de dados diversos (cobrindo sumarização, QA com respostas longas/curtas e QA de múltipla escolha) e duas tarefas: geração seletiva ao nível de sequência e verificação de fatos ao nível de afirmação.
Generalização: O método demonstra robustez forte em configurações fora do domínio, mantendo o desempenho mesmo quando treinado em diferentes tipos de tarefa (por exemplo, treinamento em sumarização/QA e teste em QA de múltipla escolha).

4. Resultados Experimentais

Os experimentos utilizaram os modelos Llama 8b v3.1, Gemma 9b v2 e Mistral 7b.

Desempenho de Geração Seletiva:
- Os métodos propostos (SATRMD+MSP e HUQ-SATRMD) superaram significativamente todas as linhas de base, incluindo métodos não supervisionados de última geração (Entropia Semântica, SAR) e outros métodos supervisionados (SAPLMA, Factoscope).
- Métricas: Medido pela Taxa de Rejeição de Previsão (PRR). Os métodos propostos alcançaram as médias de classificação mais altas em todos os conjuntos de dados. Por exemplo, no conjunto de dados MMLU, o SATRMD+MSP superou significativamente o próximo melhor método.
- Análise de Camadas: Contrariamente às tarefas de classificação, onde a última camada é frequentemente a melhor, os resultados mostraram que as camadas intermediárias frequentemente fornecem os embeddings mais informativos para incerteza em LLMs do tipo decoder-only.
Desempenho de Verificação de Fatos:
- Na verificação de fatos ao nível de afirmação (Mistral 7b), o HUQ-SATRMD alcançou o melhor ROC-AUC (0,750), superando a linha de base CCP em 3,4%.
Eficiência Computacional:
- Sobrecarga: Os métodos propostos introduzem uma sobrecarga computacional mínima de 5,3% – 7,6% em comparação com a inferência padrão de LLM.
- Comparação: Isso é drasticamente menor do que métodos baseados em amostragem como Entropia Semântica ou SAR, que incorrem em sobrecarga de 315% – 700%.
Robustez:
- O método é robusto ao tamanho do conjunto de dados de treinamento (desempenhando bem com tão poucos quanto 200–500 instâncias).
- Não é altamente sensível ao limiar de correção usado para filtrar embeddings de treinamento.

5. Significado

Este trabalho preenche a lacuna entre a UQ baseada em densidade eficaz na classificação e o domínio desafiador da geração de texto de LLMs. Ao mudar a granularidade para o nível de token e utilizar uma combinação linear supervisionada de características por camada, os autores fornecem uma solução que é:

Mais Precisa: Supera significativamente os métodos de UQ de última geração atuais na detecção de alucinações.
Mais Eficiente: Torna a estimativa de incerteza em tempo real viável para ambientes de produção, evitando amostragem dispendiosa.
Generalizável: Demonstra a capacidade de transferir capacidades de estimativa de incerteza entre diferentes domínios e tipos de tarefa, um requisito crítico para implantar LLMs em diversas aplicações do mundo real.

O artigo conclui que os métodos baseados em densidade, quando devidamente adaptados à arquitetura ao nível de token dos LLMs, são uma alternativa superior tanto às linhas de base triviais baseadas em probabilidade quanto aos métodos de amostragem computacionalmente caros.