💬 NLP

Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models

Este artigo propõe um método inovador para quantificar a incerteza de Modelos de Linguagem de Grande Escala, treinando um modelo de regressão em mapas de atenção, probabilidades de tokens e pontuações de incerteza calculadas recursivamente para detectar efetivamente alucinações e melhorar a geração seletiva em múltiplos conjuntos de dados e modelos.

Autores originais: Artem Vazhentsev, Ekaterina Fadeeva, Rui Xing, Gleb Kuzmin, Ivan Lazichny, Alexander Panchenko, Preslav Nakov, Timothy Baldwin, Maxim Panov, Artem Shelmanov

Publicado 2026-04-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Artem Vazhentsev, Ekaterina Fadeeva, Rui Xing, Gleb Kuzmin, Ivan Lazichny, Alexander Panchenko, Preslav Nakov, Timothy Baldwin, Maxim Panov, Artem Shelmanov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ouvindo um robô muito inteligente e que fala rápido contar uma história. O robô é excelente em criar frases, mas às vezes fica confiante sobre coisas que estão realmente erradas (isso é chamado de "alucinação").

O problema é que o robô não sabe que está mentindo. Ele apenas continua falando, e se comete um erro no início, fica ainda mais confiante à medida que constrói o restante da história sobre esse erro. É como um jogo de "telefone sem fio" em que a primeira pessoa sussurra um fato errado, e todos os outros o repetem com confiança crescente.

O Problema: O Ponto Cego do Robô
As formas atuais de verificar se o robô está mentindo geralmente analisam o "escore de confiança" do robô para cada palavra que ele diz. Mas isso é complicado. Se o robô diz: "O céu é verde", ele ainda pode sentir muita confiança sobre a próxima palavra, "grama", porque está apenas seguindo sua própria lógica. Ele não percebe que toda a frase é construída sobre uma mentira.

Os autores deste artigo chamam isso de problema de "dependência condicional". A confiança do robô para a próxima palavra depende inteiramente da palavra anterior, mesmo que essa palavra anterior tenha sido um erro.

A Solução: TAD (Dependência Baseada em Atenção Treinável)
Os pesquisadores criaram uma nova ferramenta chamada TAD. Pense no TAD como um editor superinteligente sentado ao lado do robô, observando-o escrever uma palavra de cada vez.

Veja como o editor funciona, usando algumas analogias simples:

O "Olhar" (Atenção): Quando o robô fala, ele "olha" para as palavras anteriores para decidir o que dizer a seguir. Os pesquisadores perceberam que, quando o robô está dizendo a verdade, seu "olhar" (atenção) é estável e focado. Mas quando ele começa a alucinar, seu olhar fica instável ou confuso. O TAD observa esse olhar de perto.
A "Reação em Cadeia" (Recorrência): O editor não olha apenas para a palavra atual. Ele lembra da incerteza das palavras anteriores. Se o robô tropeçou na palavra nº 1, o editor sinaliza as palavras nº 2, nº 3 e nº 4 como suspeitas, mesmo que o robô soe confiante sobre elas. É como um professor que sabe que, se um aluno errar o primeiro passo de um problema de matemática, a resposta final provavelmente também estará errada, independentemente de quão bem o aluno a escreveu.
O "Treinamento em Duas Etapas": Para ensinar esse editor, os pesquisadores usaram um processo de dois passos.
- Passo 1: Eles ensinaram o editor a identificar erros usando apenas a confiança bruta do robô.
- Passo 2: Eles permitiram que o editor usasse seu próprio "instinto" do Passo 1 para ajudá-lo a aprender ainda melhor. É como praticar um esporte: primeiro você aprende os movimentos básicos, depois pratica jogando uma partida completa onde precisa reagir aos seus próprios movimentos anteriores.

Como Eles Testaram
Eles testaram esse editor em dez tipos diferentes de tarefas, desde resumir artigos de notícias até responder perguntas de curiosidades difíceis, usando três versões diferentes do robô (LLaMA, Gemma e Qwen).

O Resultado: O TAD foi muito melhor em pegar as mentiras do robô do que qualquer outro método que eles tentaram. Foi especialmente bom em detectar quando uma história longa saiu dos trilhos.
A Eficiência: Ao contrário de outros métodos que exigem que o robô "pense" na resposta cinco vezes diferentes (o que é lento e caro), o TAD é muito rápido. Ele adiciona apenas cerca de 5% de tempo extra ao processo de pensamento do robô. É como dar uma segunda olhada rápida em vez de pedir ao robô para reescrever toda a história.

A Conclusão
O artigo afirma que, ao ensinar um modelo de computador a prestar atenção em como o robô olha para suas próprias palavras anteriores e, ao lembrar dos erros cometidos mais cedo na frase, podemos construir um "detector de mentiras" muito melhor para IA. Isso torna a IA mais segura e confiável, especialmente para respostas longas, sem deixar as coisas muito mais lentas.

O Que o Artigo NÃO Afirma

Não afirma que isso funciona para todo tipo de IA em todas as situações (foi testado em modelos e tarefas específicos).
Não afirma que isso é uma ferramenta médica ou um juiz legal.
Não afirma que a IA nunca mais cometerá erros; apenas afirma que essa ferramenta é melhor em detectar os erros para que possam ser filtrados.

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) são propensos a gerar alucinações e conteúdos de baixa qualidade. A Quantificação de Incerteza (UQ) é um mecanismo crítico para detectar esses erros, tipicamente atribuindo uma pontuação de confiança ao texto gerado. No entanto, os métodos existentes de UQ enfrentam uma limitação fundamental: a dependência condicional.

A Questão Central: Os LLMs geram texto de forma autoregressiva (token por token). A probabilidade do token atual $y_i$ é condicionada a todos os tokens anteriores $y_{<i}$ . Se um token inicial for uma alucinação (um erro), o modelo trata-o como verdade fundamental para os passos subsequentes. Consequentemente, o modelo gera tokens subsequentes com alta confiança, mesmo que toda a sequência seja falha.
A Lacuna: Os métodos padrão de UQ calculam a incerteza com base na probabilidade condicional imediata $p(y_i | y_{<i})$ . Eles falham em propagar a incerteza dos passos anteriores. Se o primeiro token estiver errado, mas o modelo estiver confiante no próximo token dado aquele contexto errado, a sequência inteira é considerada "segura", levando a alucinações não detectadas.
Limitações Atuais: Tentativas anteriores de modelar essa dependência baseiam-se em heurísticas (por exemplo, penalizar pontuações com base na máxima atenção anterior) ou exigem amostragem computacionalmente cara (gerar múltiplas saídas para verificar consistência).

2. Metodologia: Dependência Baseada em Atenção Treinável (TAD)

Os autores propõem o TAD, uma abordagem supervisionada e orientada por dados para aprender a incerteza "incondicional" de um token, modelando as dependências complexas entre os passos de geração.

A. Conceito Central

Em vez de confiar apenas na probabilidade condicional bruta do LLM, o TAD aprende uma função de regressão $C(\cdot)$ que estima a confiança incondicional de um token $y_i$ . Esta função incorpora:

Probabilidades do Passo Atual: As probabilidades dos tokens $p(y_i | y_{<i})$ fornecidas pelo LLM.
Mapas de Atenção: Os pesos de atenção do token atual para os tokens anteriores, que codificam o foco interno do modelo e a estrutura de dependência.
Incerteza Recorrente: As pontuações de confiança incondicional estimadas dos tokens anteriores ( $C_{<i}$ ).

A formulação é:
$C(y_i) = C(Att_i, p(y_i | y_{<i}), C_{<i})$

B. Procedimento de Treinamento (Duas Etapas)

Como a variável alvo (confiança incondicional) depende da saída do próprio modelo (recorrência), os autores empregam um procedimento de treinamento de duas etapas:

Etapa 1: Treinar um modelo de regressão usando apenas probabilidades de tokens atuais e pesos de atenção. O alvo para o primeiro token é a similaridade semântica entre a sequência gerada e a verdade fundamental. Para os tokens subsequentes, o alvo ainda é a similaridade com a verdade fundamental, mas o modelo aprende a prever com base em recursos imediatos.
Etapa 2: Retreinar o modelo usando as previsões da Etapa 1 como recursos. Especificamente, as "pontuações de incerteza computadas recursivamente" dos passos anteriores (previstas pelo modelo da Etapa 1) são alimentadas no modelo da Etapa 2. Isso permite que o modelo aprenda a propagar a incerteza através da sequência.

C. Engenharia de Recursos

Alvos: A verdade fundamental para o treinamento é derivada da similaridade semântica (usando métricas como COMET, AlignScore ou Precisão) entre a sequência gerada completa e a resposta de referência.
Entradas: Para cada token $y_i$ , o vetor de recursos inclui pesos de atenção para os $N$ tokens precedentes, suas probabilidades condicionais e a confiança incondicional estimada desses tokens precedentes.

D. Inferência

Durante a inferência, o TAD processa tokens sequencialmente. Para o primeiro token, utiliza a probabilidade bruta. Para os tokens subsequentes, computa recursivamente a confiança incondicional usando a função aprendida $C$ , agregando essas pontuações ao nível do token (via média ou log-soma) para produzir uma pontuação de incerteza ao nível da sequência.

3. Contribuições Principais

Abordagem Supervisionada Inovadora: O TAD é o primeiro método a aprender explicitamente a dependência condicional entre os passos de geração usando um modelo de regressão supervisionado treinado em mapas de atenção e pontuações de incerteza recorrentes.
Integração de Recursos Recorrentes: O artigo demonstra que incorporar pontuações de incerteza computadas recursivamente é essencial para uma UQ precisa, propagando efetivamente o "risco" de erros iniciais para toda a sequência.
Treinamento em Duas Etapas: Os autores introduzem um protocolo de treinamento específico para lidar com a dependência circular de prever incerteza com base em previsões anteriores de incerteza, prevenindo o sobreajuste e melhorando a convergência.
Eficiência: Diferentemente de métodos baseados em amostragem (como Entropia Semântica) que exigem múltiplas passagens forward, o TAD adiciona uma sobrecarga computacional mínima (aproximadamente 5% sobre a inferência padrão) porque utiliza uma regressão linear leve ou um MLP sobre uma única passagem forward.

4. Resultados Experimentais

Os autores avaliaram o TAD em 10 conjuntos de dados (cobrindo sumarização, tradução automática e várias tarefas de QA) e 3 LLMs (LLaMA-3.1 8B, Gemma-2 9B, Qwen-2.5 7B).

Desempenho: O TAD alcançou o melhor desempenho geral em todos os modelos e conjuntos de dados.
- Superou significativamente métodos não supervisionados de última geração (como Perplexidade, Entropia Semântica) e baselines supervisionadas (como LookBackLens, SATRMD, Sheeps).
- No conjunto de dados TruthfulQA, o TAD melhorou a Taxa de Rejeição de Previsão (PRR) em 0,045 sobre a segunda melhor baseline.
- No MedQUAD, superou o vice-campeão em 0,077 PRR.
Estudos de Ablação:
- Recursos: A remoção de pesos de atenção ou recursos recorrentes degradou significativamente o desempenho, confirmando que ambos são críticos.
- Treinamento: O procedimento de treinamento em duas etapas mostrou-se essencial; uma abordagem de etapa única falhou em capturar as dependências necessárias.
- Camadas: Pesos de atenção de camadas intermediárias foram encontrados como mais informativos, embora as camadas primeira e última também tenham contribuído.
Generalização: O TAD mostrou generalização fora do domínio (OOD) promissora. Enquanto a maioria dos métodos supervisionados falhou ao ser treinada em QA e testada em sumarização/tradução, o TAD manteve desempenho robusto, superando as baselines em domínios de QA não vistos.
Eficiência: O TAD introduziu apenas 5% de sobrecarga de tempo de execução, enquanto métodos baseados em amostragem (como Entropia Semântica) incorreram em sobrecarga de 400–600%.

5. Significado e Conclusão

Este artigo aborda uma lacuna crítica na segurança de LLMs: a incapacidade de métricas de incerteza padrão de detectar erros em cascata causados por alucinações iniciais.

Impacto Prático: O TAD oferece uma solução computacionalmente eficiente e plug-and-play para geração seletiva (rejeitar saídas de baixa qualidade). Permite a implantação mais segura de LLMs em aplicações de alto risco sem o custo proibitivo da verificação baseada em amostragem.
Insight Teórico: O trabalho valida que os mapas de atenção contêm informações ricas sobre as dependências condicionais dos passos de geração e que essas dependências podem ser aprendidas para estimar a "veracidade" incondicional.
Direções Futuras: Os autores sugerem estender o TAD para Geração Aumentada por Recuperação (RAG) para avaliar a credibilidade de evidências recuperadas, aprimorando ainda mais a confiabilidade de aplicações de LLM intensivas em conhecimento.

Em resumo, o TAD representa um passo significativo para tornar os LLMs mais confiáveis, passando de verificações estáticas de probabilidade ao nível do token para uma estimativa de incerteza dinâmica e consciente do contexto que entende a "cadeia de pensamento" e seu potencial para propagação de erros.