💬 NLP

Kernel Token Contradiction: a Fast and Principled Approach for LLM Claim Uncertainty Quantification

O artigo introduz o Kernel Token Contradiction (KTC), um método leve e eficiente para CPU para quantificar a incerteza ao nível de afirmação em saídas de Grandes Modelos de Linguagem que aproveita representações de tokens baseadas em kernel e estatísticas de frequência da Wikipedia para alcançar acelerações significativas em relação às abordagens existentes, mantendo simultaneamente uma alta precisão, particularmente em regimes de alta precisão.

Autores originais: Jérémie Dentan, Alexi Canesse, Mahammed El Sharkawy, Sonia Vanier

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jérémie Dentan, Alexi Canesse, Mahammed El Sharkawy, Sonia Vanier

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os modelos de linguagem de grande escala tornaram-se uma parte familiar da vida moderna, capazes de escrever histórias, responder perguntas e resumir tópicos complexos com uma fluência que muitas vezes parece humana. No entanto, sob essa superfície suave, reside um problema persistente: esses sistemas às vezes geram afirmações que soam confiantes, mas que são simplesmente falsas. Esse fenômeno, conhecido como alucinação, ocorre quando um modelo inventa fatos ou confunde detalhes, criando um risco para qualquer pessoa que dependa de sua produção para obter informações precisas. Para enfrentar isso, pesquisadores desenvolveram métodos para medir o quão incerto um modelo está sobre o que está dizendo. O objetivo não é impedir o modelo de falar, mas sinalizar os momentos específicos em que ele está adivinhando, permitindo que os usuários confiem nas partes confiáveis de uma resposta enquanto permanecem cautelosos sobre as partes instáveis. O desafio tem sido encontrar uma maneira de fazer isso de forma rápida e precisa, sem desacelerar o sistema ou exigir quantidades massivas de poder computacional.

Uma equipe de pesquisadores no LIX, um laboratório na França, introduziu um novo método chamado Contradição de Token de Kernel, ou KTC, projetado para resolver esse dilema de velocidade e precisência. O trabalho deles foca em um tipo específico de incerteza: o momento em que um modelo hesita entre duas informações que não podem ser ambas verdadeiras. Imagine um modelo tentando declarar o preço de um produto. Se ele estiver incerto, pode atribuir altas probabilidades a dois números diferentes, como seiscentos e noventa e nove dólares e quatrocentos e noventa e nove dólares. Esses dois números se contradizem; se um estiver correto, o outro deve estar errado. Os pesquisadores perceberam que detectar esse tipo de conflito interno é um sinal poderoso de que o modelo está alucinando. Ao contrário de métodos anteriores que dependiam de softwares pesados e lentos treinados para entender a lógica da linguagem, o KTC utiliza uma abordagem muito mais leve baseada em como as palavras tipicamente aparecem próximas umas das outras em uma vasta coleção de escrita humana.

O processo começa analisando a lista de possíveis próximas palavras que um modelo considera em qualquer etapa. Os pesquisadores construíram um mapa dessas possibilidades analisando o corpus da Wikipedia, uma biblioteca digital massiva de artigos. Eles contaram com que frequência palavras específicas aparecem próximas umas das outras neste texto do mundo real. Se duas palavras candidatas para o próximo passo possuem vizinhos muito semelhantes na Wikipedia, o sistema as trata como provavelmente contraditórias. Por exemplo, se o modelo estiver decidindo entre dois preços diferentes, esses números de preço provavelmente aparecem em contextos similares na Wikipedia, sinalizando um conflito. Se o modelo estiver decidindo entre dois artigos diferentes, como "o" e "um", essas palavras têm vizinhos muito diferentes, indicando que não estão em conflito, mas são apenas formas diferentes de expressar a mesma ideia. Essa verificação estatística substitui a necessidade de um modelo de linguagem separado e lento para julgar a contradição, tornando o processo incrivelmente rápido.

Uma vez que o sistema identifica quais palavras candidatas estão em conflito, ele combina essa informação com os próprios níveis de confiança do modelo. Ele cria uma representação matemática que pesa a probabilidade de cada palavra contra o grau de contradição entre elas. Os pesquisadores então aplicam uma medida de desordem, conhecida como entropia, a esta imagem combinada. Se o modelo estiver confiante e as opções não estiverem em conflito, o escore de incerteza permanece baixo. No entanto, se o modelo estiver dividido entre dois fatos contraditórios, o escore dispara, alertando o usuário de que aquela parte específica da resposta é pouco confiável. Este cálculo acontece ao nível de palavras individuais, permitindo que o sistema identifique exatamente qual afirmação em um parágrafo longo é problemática, em vez de apenas rotular toda a resposta como duvidosa.

Os resultados dos testes deste método foram impressionantes em sua eficiência e precisão. Os pesquisadores avaliaram o KTC em dezesseis modelos de linguagem diferentes e em quatro línguas europeias: inglês, francês, alemão e espanhol. Eles o compararam com os melhores métodos atuais, que dependem de modelos de linguagem especializados rodando em poderosos processadores gráficos. O KTC, rodando apenas em processadores padrão, foi considerado mais de sessenta e cinco vezes mais rápido que as versões apenas de CPU desses concorrentes e mais de oito vezes mais rápido que as versões aceleradas por GPU, enquanto igualava ou excedia seu desempenho. Crucialmente, em situações onde alta precisão é necessária — ou seja, quando o sistema deve ter muita certeza antes de sinalizar um erro — o KTC superou todos os outros métodos. Ele identificou afirmações falsas com uma taxa de precisão maior do que as ferramentas de última geração existentes, mesmo utilizando muito menos poder computacional.

Este trabalho sugere que é possível monitorar modelos de linguagem de grande escala em tempo real sem o pesado custo computacional que anteriormente tornou tal monitoramento impraticável para muitas aplicações. Ao substituir modelos de linguagem complexos e lentos por uma verificação simples e rápida contra um grande banco de dados de escrita humana, os pesquisadores criaram uma ferramenta que pode ser integrada diretamente em sistemas de produção. O método não exige que o modelo seja interrompido ou retreinado; ele simplesmente observa as escolhas internas do modelo e calcula o risco de erro com base nos padrões de contradição. Embora o estudo atual tenha sido limitado a quatro idiomas e benchmarks específicos, a abordagem oferece um caminho promissor para tornar a inteligência artificial mais confiável e digna de confiança no uso cotidiano, garantindo que, quando um modelo fala, saibamos exatamente quando ouvir e quando verificar novamente.

Resumo Técnico: Contradição de Token de Kernel (KTC)

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) frequentemente geram conteúdo plausível, mas não factual, conhecido como alucinações. Embora a Quantificação de Incerteza (UQ) vise mitigar isso ao estimar a confiança do modelo, os métodos existentes de UQ em nível de afirmação (claim-level) enfrentam três limitações críticas:

Precisão Insuficiente: Os métodos de alto desempenho muitas vezes falham em alcançar alta precisão em regimes de baixa revocação (ex: <20% de recall), o que é crucial para sistemas de produção onde falsos positivos são dispendiosos.
Ineficiência Computacional: Abordagens de estado da arte dependem de modelos de Inferência de Linguagem Natural (NLI) (ex: codificadores cruzados) para detectar contradições. Esses modelos exigem recursos significativos de GPU e podem exceder o tempo de execução da própria geração do LLM, tornando o monitoramento em tempo real impraticável.
Viés de Linguagem: Modelos de NLI são tipicamente treinados em corpora de inglês, levando à degradação de desempenho em outras línguas.

Metodologia: Contradição de Token de Kernel (KTC)

O KTC é uma abordagem leve e de caixa branca (white-box) projetada para computar a incerteza em nível de afirmação, integrando incerteza preditiva (da distribuição do LLM) e incerteza semântica (de contradições de tokens). O método opera em quatro etapas distintas:

1. Construção de um Grafo de Não-Contradição (Etapa A)

Em vez de usar modelos de NLI pesados, o KTC emprega um heurístico baseado em estatísticas de vizinhança da Wikipedia para determinar se candidatos a tokens contradizem uns aos outros.

Processo: Para um conjunto de tokens candidatos em um passo de Predição de Próximo Token (NTP), o método conta a frequência de seus tokens vizinhos no corpus da Wikipedia.
Lógica: Tokens contraditórios (ex: "699" vs. "499" em um preço) tendem a compartilhar conjuntos de vizinhos semelhantes, resultando em uma pontuação de não-contradição baixa. Tokens não contraditórios (ex: "um" vs. "o") ou tokens não relacionados possuem conjuntos de vizinhos distintos, resultando em uma pontuação alta.
Saída: Um grafo não direcionado e ponderado por arestas, onde os pesos das arestas representam o grau de não-contradição entre pares de tokens.

2. Construção do Kernel Semântico (Etapa B)

O grafo de não-contradição é convertido em um Kernel Semântico ( $K$ ) Positivo Semidefinito (PSD) usando o método do Kernel de Calor (Heat Kernel).

O Laplaciano do grafo ( $L$ ) é computado a partir da matriz de adjacência.
O kernel de calor é derivado como $K(\tau) = \exp(-\tau \cdot L)$ , onde $\tau$ é um parâmetro de difusão.
Este kernel captura a incerteza semântica: um grafo altamente conectado (baixa incerteza) resulta em um kernel com um autovalor dominante, enquanto um grafo esparso (alta incerteza) resulta em múltiplos autovalores grandes.

3. Incorporação da Distribuição Condicional (Etapa C)

Para distinguir entre incerteza aleatória (aleatória) e incerteza epistêmica (falta de conhecimento factual), o KTC escala o kernel semântico pelo Kernel Preditivo ( $\Pi$ ) do LLM.

$\Pi$ é uma matriz diagonal contendo as probabilidades condicionais dos tokens candidatos.
O Kernel Combinado ( $M$ ) é computado como $M = \Pi^{1/2} K \Pi^{1/2}$ .
Significado: Este escalonamento atua como um mecanismo de portão (gating mechanism). Uma alta incerteza só é registrada se ambos a distribuição preditiva for incerta (alta entropia) e o espaço semântico contiver contradições (alta entropia semântica). Se o modelo for confiante em sua predição (baixa entropia preditiva) ou se os tokens forem semanticamente consistentes (baixa entropia semântica), a pontuação resultante permanece baixa.

4. Computação da Entropia de Von Neumann (Etapa D)

A pontuação de incerteza final é a Entropia de Von Neumann (VNE) do kernel combinado normalizado $M$ :
$\text{KTC} = -\sum_{i=1}^{\delta} \lambda_i(M) \log \lambda_i(M)$
onde $\lambda_i(M)$ são os autovalores de $M$ . Esta métrica quantifica a incerteza quântica do sistema, agregando efetivamente tanto a incerteza preditiva quanto a semântica.

Principais Contribuições

Heurística Livre de NLI: Introdução de uma heurística de frequência de vizinhança baseada na Wikipedia para detectar contradições de tokens, substituindo modelos de NLI computacionalmente caros. Esta configuração requer apenas a tokenização de páginas da Wikipedia (minutos de tempo de CPU) e nenhum treinamento de GPU.
Adaptação de KLE ao Nível de Token: Adaptação do princípio de Entropia de Linguagem de Kernel (KLE) do nível de geração para o nível de token, permitindo uma UQ de nível de afirmação mais granular.
Escalonamento Preditivo: Um método inovador para escalar a incerteza semântica pela distribuição preditiva, o que é crítico para isolar a incerteza epistêmica no nível do token.
Avaliação Abrangente: Avaliação através de quatro línguas europeias (Inglês, Francês, Alemão, Espanhol) e 16 LLMs (incluindo Llama 3, Mistral, Gemma 3, etc.) nos benchmarks MUCH e Mu-Shroom.

Resultados Empíricos

Eficiência: O KTC atinge o desempenho de topo com apenas 5,6% de overhead relativo ao tempo de inferência do LLM. Em contraste, métodos baseados em NLI acelerados por GPU (CCP, SAR) incorrem em 46% de overhead (uma razão 8,2× maior), e métodos de NLI apenas em CPU incorrem em até 369% de overhead (uma razão 65× maior). O KTC roda inteiramente em CPU com overhead negligenciável.
Desempenho de Alta Precisão: No regime de alta precisão (recall ≤ 20%), o KTC alcança um PR-AUC de 0,78, superando significativamente o método de estado da arte CCP (0,69).
Desempenho Geral: Embora o CCP classifique ligeiramente superior em ROC-AUC geral, o KTC ocupa o segundo lugar com uma diferença mínima de desempenho, oferecendo uma eficiência computacional vastamente superior.
Generalização: O KTC mantém um desempenho competitivo em todas as quatro línguas testadas, enquanto as linhas de base de NLI (treinadas principalmente em inglês) mostram maior variância e menor desempenho em contextos não ingleses.

Significância e Alegações

O artigo afirma que o KTC é, segundo os autores, o primeiro método de UQ em nível de afirmação prático para o monitoramento em tempo real de saídas de LLM sob restrições de latência de produção. Ao remover a dependência de aceleração por GPU e modelos de NLI treinados em inglês, o KTC oferece uma solução fundamentada e leve que equilibra alta precisão com viabilidade computacional. Os autores enfatizam que o KTC é particularmente eficaz em regimes de alta precisão, que são os mais relevantes para mitigar alucinações em ambientes de produção onde rejeitar respostas inteiras é muito custoso.

O trabalho é apresentado como um passo para tornar o monitoramento de confiabilidade de LLMs escalável, observando que, embora atualmente exija acesso de caixa branca (probabilidades de tokens), sua eficiência apenas em CPU o torna imediatamente implantável para muitas pipelines de produção existentes.