Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models

Título: Agrupamento Semântico de Tokens para Quantificação Eficiente de Incerteza em Grandes Modelos de Linguagem

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades notáveis, mas sofrem de duas limitações críticas:

1. Falta de Garantia de Verdade: Eles podem gerar respostas que soam plausíveis, mas são factualmente incorretas (alucinações).
2. Superconfiança: Os LLMs tendem a expressar alta confiança mesmo quando erram, tornando difícil identificar respostas não confiáveis apenas pela probabilidade do token gerado.

A quantificação de incerteza é a solução proposta para identificar essas saídas. No entanto, os métodos existentes apresentam desvantagens significativas:

• Métodos Baseados em Amostragem: Exigem múltiplas gerações (ex: Entropia Semântica), o que introduz uma sobrecarga computacional massiva.
• Métodos com Modelos Auxiliares: Requerem modelos externos (ex: modelos de Inferência de Linguagem Natural - NLI) para avaliar a semântica, aumentando a complexidade e o custo.
• Métodos Supervisionados: Precisam de dados rotulados e treinamento adicional, limitando a generalização.

O objetivo deste trabalho é desenvolver um método de quantificação de incerteza que seja eficiente (uma única geração), autocontido (sem modelos externos) e que aproveite a estrutura semântica interna do LLM.

2. Metodologia: Semantic Token Clustering (STC)

Os autores propõem o STC, um método que quantifica a incerteza agregando a massa de probabilidade sobre clusters semânticos consistentes, em vez de olhar apenas para o token individual. O processo ocorre em duas etapas:

A. Pré-computação (Offline):

• Agrupamento de Embeddings: Os embeddings dos tokens do vocabulário do modelo são agrupados em clusters semanticamente consistentes usando um algoritmo de agrupamento não supervisionado (Agrupamento Aglomerativo).
• Objetivo: Agrupar tokens que significam a mesma coisa (ex: "TV", "tv", "televisão", "televisão" em maiúsculas) em um único cluster.
• Esta etapa é feita uma vez por modelo, sem custo durante a inferência.

B. Inferência (Online):
Durante a geração de uma resposta, o método calcula a incerteza passo a passo:

1. Agrupamento por Embedding: Para o próximo token previsto, identifica-se o cluster semântico correspondente.
2. Correspondência de Prefixo (Prefix Matching): Como a tokenização pode dividir palavras (ex: "tele" + "visão"), o método verifica se o token gerado é um prefixo da subsequente geração real. Isso garante consistência superficial.
3. Agregação de Probabilidade: Em vez de usar a probabilidade de um único token $P(t)$, o método soma as probabilidades de todos os tokens que pertencem ao cluster semântico e que correspondem ao prefixo da continuação esperada.
   • Fórmula simplificada: $\hat{p}_c = \sum_{t \in T_i} P(t)$, onde $T_i$ é a união dos tokens agrupados por embedding e por prefixo.
4. Pontuação de Incerteza: A incerteza final da sequência é calculada como $1 - \prod \hat{p}_c$. Se a massa de probabilidade estiver concentrada em um único cluster semântico, a incerteza é baixa; se estiver dispersa, a incerteza é alta.

3. Principais Contribuições

1. Eficiência Computacional: O método requer apenas uma única geração (determinística) e não depende de modelos externos. A parte mais pesada (agrupamento) é feita offline.
2. Autocontido e Sem Ajuste Fino: Não requer dados de treinamento, fine-tuning ou coleta de dados supervisionados. Pode ser aplicado a qualquer LLM "caixa branca" (com acesso a logits e embeddings).
3. Exploração de Representações Internas: Diferente de métodos que ignoram a semântica ou usam apenas estatísticas de superfície, o STC utiliza diretamente as representações semânticas codificadas nos embeddings do próprio modelo.
4. Implementação Simples: Não exige infraestrutura complexa de GPU durante a inferência; pode ser executado eficientemente em CPU.

4. Resultados Experimentais

Os experimentos foram conduzidos em diversos modelos (Llama-2/3, Mistral, Qwen2.5) e conjuntos de dados (TriviaQA, Natural Questions, WebQuestions).

• Desempenho (AUROC): O STC alcançou desempenho comparável ou superior aos baselines de última geração (State-of-the-Art), como Semantic Entropy e CCP (Claim Conditioned Probability). Em muitos casos, superou métodos que exigem múltiplas amostras.
• Eficiência (Overhead):
  • O STC reduziu o tempo de execução de inferência em 98% em comparação com o método CCP.
  • Enquanto métodos baseados em amostragem (como Entropia Semântica) aumentam o tempo de inferência em centenas de vezes (ex: +200% a +400%), o STC adicionou menos de 2-3% de sobrecarga relativa.
• Estudo de Ablação: A remoção de qualquer um dos dois componentes (agrupamento por embedding ou correspondência de prefixo) resultou em degradação moderada de desempenho, confirmando que ambos são complementares e essenciais para capturar consistência semântica e superficial.

5. Significado e Impacto

Este trabalho é significativo porque resolve o dilema entre precisão e eficiência na detecção de alucinações em LLMs.

• Viabilidade em Tempo Real: Ao eliminar a necessidade de múltiplas gerações ou modelos auxiliares, o STC torna a quantificação de incerteza viável para aplicações em tempo real, sistemas de baixa latência e ambientes com recursos limitados (onde GPUs não estão disponíveis).
• Confiabilidade: Oferece uma maneira robusta de identificar respostas não confiáveis sem comprometer a velocidade de resposta do sistema.
• Acesso Democrático: Como não requer treinamento adicional, pode ser aplicado imediatamente em modelos de código aberto existentes.

Limitações Mencionadas:

• Requer acesso aos logits e embeddings do modelo (não funciona em modelos de caixa preta fechados sem acesso interno).
• Utiliza embeddings estáticos, o que pode introduzir ruído em casos de polissemia (palavras com múltiplos significados), embora a baixa probabilidade atribuída a significados incompatíveis pelo LLM ajude a mitigar isso.

Em suma, o Semantic Token Clustering representa um avanço prático para tornar os LLMs mais seguros e confiáveis em cenários de produção, equilibrando a detecção de erros com a eficiência computacional.