💬 NLP

IUQ: Interrogative Uncertainty Quantification for Long-Form Large Language Model Generation

O artigo apresenta o IUQ (Interrogative Uncertainty Quantification), um novo framework que utiliza consistência entre amostras e fidelidade dentro da amostra para quantificar a incerteza em gerações de texto longas e livres de Modelos de Linguagem de Grande Escala (LLMs), superando métodos anteriores limitados a respostas curtas.

Autores originais: Haozhi Fan, Jinhao Duan, Kaidi Xu

Publicado 2026-04-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Haozhi Fan, Jinhao Duan, Kaidi Xu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você pediu a um amigo muito inteligente, mas um pouco confiante demais, para contar a história da vida de um cantor japonês chamado Nobuhiro Shimatani.

O amigo começa a falar: "Ele nasceu em 1976, é conhecido por sua voz emotiva..." Tudo parece fazer sentido, a história flui bem e soa convincente. Mas, de repente, ele inventa detalhes que nunca aconteceram, como dizer que ele foi um jogador de futebol antes de cantar, e continua a história baseada nessa mentira, criando uma biografia inteira que é "logicamente coerente" (tudo encaixa), mas factualmente errada.

Isso é o que os modelos de linguagem (como o ChatGPT) fazem quando "alucinam". O problema é: como saber se o que ele está dizendo é verdade ou apenas uma história bem contada?

Aqui entra o IUQ (Quantificação de Incerteza Interrogativa), o método apresentado neste artigo. Vamos explicar como ele funciona usando uma analogia simples.

A Analogia do Detetive e do Interrogatório

Imagine que o modelo de linguagem é um suspeito que está contando uma história longa.

Os métodos antigos eram como olhar para várias versões da mesma história contadas por diferentes pessoas. Se todas contavam a mesma história, os métodos antigos diziam: "Ok, parece verdade, todos concordam!".
O problema: Se o suspeito inventar uma mentira no começo (ex: "Eu sou um jogador de futebol"), ele vai continuar inventando mentiras para fazer a história bater (ex: "Joguei no time X", "Ganhei o prêmio Y"). Todas as versões da história serão consistentes entre si, mas todas serão mentiras. Os métodos antigos não percebem isso.

O que o IUQ faz?
O IUQ muda o jogo. Em vez de apenas ouvir a história, ele transforma a conversa em um interrogatório policial.

Quebrando a História: O sistema pega a biografia longa e a divide em pequenas frases (fatos). Ex: "Ele nasceu em 1976", "Ele é cantor".
O Interrogatório: Para cada frase, o sistema cria uma pergunta direta e pergunta ao modelo novamente, sem o contexto da história anterior.
- Pergunta: "O que Nobuhiro faz?"
- Resposta do Modelo (sem a história): "Ele é um cantor." (Correto!)
- Pergunta: "Qual a profissão dele?"
- Resposta do Modelo (sem a história): "Ele é um jogador de futebol." (Errado! O modelo esqueceu a mentira que ele mesmo criou na história longa).
Detectando a Mentira: Se o modelo responde de forma diferente quando é interrogado sobre um fato específico, o sistema percebe: "Ei, você está contradizendo a si mesmo! Você inventou essa parte da história para fazer ela parecer legal".

Por que isso é importante?

Pense em um jardineiro cuidando de uma planta.

Se a planta cresce torta porque o solo é ruim (falta de conhecimento real), o jardineiro precisa saber disso.
Se o jardineiro apenas olha para a planta e vê que ela é "bonita e simétrica" (coerência lógica), ele pode achar que está tudo bem.
O IUQ é como um jardineiro que puxa a raiz para ver se ela está firme no chão (verificando o conhecimento real) em vez de apenas admirar as folhas.

O Resultado

O artigo mostra que, ao usar esse método de "interrogar" o modelo:

Descobre-se a verdade: O sistema consegue identificar quando o modelo está inventando fatos para manter a história coesa.
Mede a confiança: Ele dá uma nota de "incerteza". Se o modelo se contradiz no interrogatório, a nota de incerteza sobe, avisando o usuário: "Cuidado! Isso pode ser mentira".
Funciona em qualquer tamanho: Funciona bem tanto em modelos pequenos quanto nos gigantes (como o GPT-4), e em diferentes idiomas e tópicos.

Resumo em uma frase

O IUQ é como um detetive que não deixa o modelo contar uma história bonita sem antes passar por um interrogatório rigoroso, garantindo que o que é dito seja verdade, e não apenas uma mentira bem estruturada.

Isso é crucial para o futuro, pois precisamos confiar que, quando a IA escreve um relatório médico, uma notícia ou uma biografia, ela está dizendo a verdade e não apenas "alucinando" com criatividade.

Título: IUQ: Quantificação de Incerteza Interrogativa para Geração de Texto Longo em Grandes Modelos de Linguagem (LLMs)

1. O Problema

Apesar dos avanços rápidos nos Grandes Modelos de Linguagem (LLMs), a quantificação de incerteza (UQ) na geração de texto longo e livre continua sendo um desafio significativo.

Limitações das abordagens atuais: Métodos recentes de UQ funcionam bem em espaços de resposta restritos (respostas curtas ou múltipla escolha), utilizando probabilidades de tokens ou consistência semântica entre amostras. No entanto, em gerações de texto longo (long-form), essas métricas falham.
O Fenômeno da "Consistência Ilusória": LLMs tendem a gerar respostas que são semanticamente coerentes e logicamente consistentes internamente, mas factualmente incorretas. Quando um modelo inventa um fato inicial (alucinação) para manter a coerência narrativa, ele frequentemente fabrica fatos subsequentes que se alinham com esse erro inicial.
Falha na Detecção: Métodos baseados apenas na consistência entre múltiplas amostras (inter-sample consistency) não conseguem detectar essas alucinações, pois as diferentes amostras tendem a repetir o mesmo erro lógico, parecendo "confiantes" e consistentes entre si, embora estejam erradas.

2. Metodologia: IUQ (Interrogative Uncertainty Quantification)

O artigo propõe o IUQ, um novo framework que combina consistência inter-amostra com fidelidade intra-amostra (faithfulness) para quantificar a incerteza em saídas de texto longo. O método segue um paradigma de "interrogar e responder".

Fluxo de Trabalho:

Geração de Respostas: O modelo gera $N$ respostas diversas para um prompt de entrada.
Extração de Afirmações (Claims): Cada resposta longa é decomposta em afirmações atômicas (fatos individuais) usando o próprio LLM.
Interrogatório (A Inovação Central):
- Para cada afirmação extraída, o sistema gera perguntas específicas e independentes sobre aquele fato.
- O modelo é então questionado sobre essas perguntas em uma sessão separada e sem contexto (sem a narrativa original). Isso isola o conhecimento real do modelo do contexto gerativo que pode estar induzindo a alucinação.
Avaliação de Fidelidade (Intra-sample Faithfulness):
- Compara-se a afirmação original com as respostas dadas pelo modelo às perguntas de interrogatório.
- Se as respostas às perguntas contradizem a afirmação original, isso indica que o modelo "inventou" o fato para manter a coerência do texto longo, e não porque possui esse conhecimento.
- Calcula-se um escore de fidelidade $F(c_i)$ para cada afirmação.
Propagação de Incerteza:
- O framework reconhece que uma afirmação não confiável no início do texto pode contaminar as afirmações subsequentes (dependência contextual).
- Utiliza-se um kernel de decaimento exponencial para propagar o impacto da falta de fidelidade de afirmações anteriores para as subsequentes, ajustando o escore de consistência global.
Cálculo Final da Incerteza: Combina a consistência entre amostras (quantas vezes a afirmação aparece em outras gerações) com o peso da fidelidade intra-amostra para produzir um escore final de incerteza.

3. Principais Contribuições

Framework IUQ: Introdução de um método que desacopla o conhecimento do modelo do contexto gerativo, permitindo uma verificação granular da veracidade de cada afirmação em textos longos.
Identificação de um Fenômeno Crítico: O trabalho destaca e quantifica a tendência dos LLMs de fabricar informações para manter a consistência lógica, um comportamento que métodos de consistência puramente inter-amostra ignoram.
Análise de Fidelidade: Propõe uma métrica de "fidelidade da afirmação" que mede a probabilidade de o modelo estar alucinando com base em contradições internas detectadas via interrogatório.
Validação Empírica: Demonstração de que a fidelidade intra-amostra é crucial para detectar alucinações que parecem consistentes entre diferentes amostras.

4. Resultados Experimentais

Os experimentos foram conduzidos em diversos modelos (GPT-4o, LLaMA-3.1/3.3, Qwen2, Gemma-3, Mistral) com tamanhos variando de 24B a 72B, utilizando dois conjuntos de dados focados em geração longa: FActScore (biografias) e LongFact (diversos tópicos).

Desempenho Superior: O IUQ superou consistentemente os métodos de base (baselines) existentes, incluindo métricas baseadas em entropia de tokens, perplexidade, e métodos baseados em grafos (como Claim Entailment e Closeness Centrality).
Métricas de Avaliação: O IUQ alcançou os maiores valores de AUROC (Área sob a Curva Característica Operadora do Receptor) e AUPRC em ambos os conjuntos de dados.
- Exemplo: No FActScore, o IUQ obteve uma AUROC média de 0.864, superando o segundo melhor método (Closeness Centrality) em +2.3%.
Análise de Fidelidade: Os resultados mostraram que modelos são menos fiéis em tópicos de "cauda longa" (pessoas menos conhecidas no FActScore) e que a variação de fidelidade dentro de uma única geração é alta, indicando mistura de fatos reais e inventados.
Estudo de Ablação: A remoção da verificação de contradição (IUQ-rev) ou a troca do kernel de propagação de erro resultou em queda de desempenho, validando a importância da direção da verificação (contexto anterior) e do decaimento exponencial.

5. Significância e Impacto

Segurança em Aplicações Reais: O IUQ oferece uma ferramenta vital para aplicações que exigem textos longos e detalhados (como relatórios médicos, jurídicos ou educacionais), onde a alucinação sutil é mais perigosa do que erros óbvios.
Mudança de Paradigma: O trabalho sugere que a quantificação de incerteza não deve depender apenas de "quantas vezes o modelo repete a mesma história", mas sim de "se o modelo sabe a história quando interrogado isoladamente".
Custo Computacional: Embora o IUQ exija mais inferências (cerca de 47% mais tokens que métodos baseados em grafos) devido às etapas de extração e interrogatório, o ganho em precisão na detecção de alucinações justifica o custo para cenários críticos.

Em resumo, o IUQ representa um avanço significativo ao tratar a fidelidade do conhecimento como uma métrica central, permitindo que os sistemas detectem quando um LLM está "mentindo com convicção" para manter uma narrativa coerente.