Resumo Técnico: SPANUQ – Quantificação de Incerteza em Nível de Span para Geração de Grandes Modelos de Linguagem

1. Formulação do Problema

As abordagens atuais para estimativa de incerteza em Grandes Modelos de Linguagem (LLMs) operam em granularidades subótimas, falhando em equilibrar coerência semântica com localização de erros.

• Métodos de nível de token (ex: entropia preditiva, sondas de token) atribuem pontuações a tokens individuais. Estes são frequentemente semanticamente incompletos; palavras funcionais recebem pontuações sem sentido, e um único token raramente constitui um fato verificável.
• Métodos de nível de sequência (ex: entropia semântica, consistência multi-amostra) produzem uma única pontuação para toda a resposta. Embora capturem incerteza semântica significativa, não conseguem localizar quais partes específicas de uma geração são pouco confiáveis, muitas vezes transformando afirmações corretas e incorretas em um meio-termo não acionável.

Os autores formalizam a Estimativa de Incerteza em Nível de Span (SLUE) como uma nova tarefa. Um "span" é definido como um segmento de texto contíguo que transmite uma unidade de significado única e coerente (ex: um fato ou afirmação atômica) cuja incerteza pode ser avaliada independentemente. O objetivo é detectar conjuntamente esses spans de comprimento variável e atribuir pontuações de incerteza contínuas a cada um a partir de uma única passagem direta (forward pass).

2. Metodologia: SPANUQ

O artigo introduz o SPANUQ, uma sonda leve (~25M de parâmetros) que destila o conhecimento de incerteza de inferências multi-amostra dispendiosas para uma única passagem direta sobre os estados ocultos de um LLM congelado.

Arquitetura

O SPANUQ consiste em cinco componentes principais:

1. Fusão Multi-Camada: Estados ocultos de camadas selecionadas (tipicamente camadas intermediárias a tardias, onde o conhecimento factual atinge o pico) são fundidos via mean pooling.
2. Codificador de Token: Um codificador Transformer de 2 camadas contextualiza os estados fundidos em um pool de conteúdo.
3. Decodificador de Span Estilo DETR: Inspirado no DETR, o modelo utiliza um conjunto de queries de span aprendíveis para atender à sequência de tokens. Isso permite a detecção paralela de spans sobrepostos, uma limitação das marcações BIO tradicionais.
4. Enriquecimento de Características de Span: Uma máscara de fronteira suave diferenciável extrai características de conteúdo das regiões de span previstas, fundindo-as com os embeddings das queries via uma conexão residual de portão (gated residual connection). Isso garante que o pontuador de incerteza tenha acesso direto ao conteúdo semântico do span.
5. Cabeças de Predição:
   • Regressão: Prediz fronteiras de início e fim normalizadas.
   • Classificação de Validade: Distingue spans reais de slots de query não utilizados.
   • Mistura de Beta (MoB): Modela a incerteza como uma mistura de distribuições Beta ($J=3$ componentes). Isso captura a natureza bimodal da incerteza (os spans são altamente confiáveis ou altamente incertos) e permite distribuições em forma de U.

Treinamento e Refinamento

• Treinamento em Duas Fases: O modelo passa primeiro por uma fase de warmup para estabelecer fronteiras de span confiáveis, seguida por uma fase conjunta otimizando todos os componentes.
• Funções de Perda: O objetivo de treinamento combina regressão de span (L1 + IoU Generalizado), classificação de validade e estimativa de incerteza. A perda de incerteza inclui uma Beta NLL (Log-Verossimilhança Negativa) e uma perda de ranking contrastivo para preservar a estrutura ordinal da incerteza entre os spans.
• Refinamento Iterativo Condicionado pela Incerteza (UCIR): Durante a inferência, as estimativas iniciais são alimentadas de volta no decodificador para uma rodada de refinamento. Este "segundo olhar" permite que o modelo corrija vieses sistemáticos baseados em suas próprias predições iniciais, adicionando um overhead mínimo (<15%).

3. Benchmark: SPANUQ-BENCH

Para avaliar a SLUE, os autores construíram o SPANUQ-BENCH, o primeiro benchmark de incerteza em nível de span.

• Escala: 20.000 prompts em cinco domínios (QA de longo formato, TriviaQA, ELI5, Biografia, FELM) e aproximadamente 293.000 spans anotados.
• Estratégia de Rotulagem: Rótulos suaves de verdade fundamental ($u^* \in [0, 1]$) são derivados via destilação multi-amostra. Para cada prompt, 20 respostas diversas são amostradas, decompostas em afirmações atômicas e verificadas contra a Wikipedia. O rótulo de incerteza para um span é a fração de amostras onde a afirmação não é sustentada.
• Avaliação: O benchmark testa discriminação (AUROC), precisão de regressão (MAE) e qualidade de ranking (correlação de Spearman).

4. Resultados Principais

Os experimentos foram conduzidos em cinco backbones de LLM (série Qwen3 e Mistral-7B) variando de 4B a 30B de parâmetros, incluindo arquiteturas densas e de Mistura de Especialistas (MoE).

• Desempenho em Nível de Span: O SPANUQ alcança consistentemente a melhor qualidade de incerteza em nível de span em todos os modelos.
  • AUROC: 0.908 – 0.944 (superando a base de sonda mais forte em ~5.8 pontos e métodos baseados em amostragem em >13 pontos).
  • MAE: 0.110 – 0.129.
  • Eficiência: É 10–20× mais rápido que os métodos baseados em amostragem (ex: SelfCheckGPT, Entropia Semântica), pois requer apenas uma única passagem direta.
• Detecção de Span: O detector baseado em DETR alcança um F1 score de 0.910, superando a melhor base heurística (Janela Deslizante) em 39.4%. Ele lida com sucesso com spans sobrepostos, enquanto os marcadores BIO falham significativamente (F1 = 0.079) devido às restrições de não sobreposição.
• Decomponibilidade de Nível de Sequência: Os autores observam que a incerteza de nível de sequência é parcialmente decomponível em componentes de nível de span. A composição de span ponderada pela importância aprendida alcança uma correlação de Spearman de nível de sequência ($\rho_{seq}$) de 0.839, sugerindo que a estimativa de nível de span subsume a estimativa de nível de sequência como um caso especial.
• Achados de Ablação:
  • Mistura de Beta (MoB): Crucial para capturar a incerteza multimodal, reduzindo o ECE em 62% comparado a uma distribuição Beta única.
  • UCIR: Fornece o segundo maior ganho em qualidade de ranking ($\rho_{span}$), corrigindo efetivamente erros sistemáticos.
  • Regressão vs. Ponteiro: A regressão contínua para predição de fronteira supera os mecanismos de ponteiro de atenção cruzada em 3.4% em AUROC.

5. Significância e Alegações

O artigo afirma que o SPANUQ preenche a lacuna entre a estimativa de incerteza de nível de token e de nível de sequência ao operar na "granularidade natural" de afirmações verificáveis.

• Interpretabilidade e Acionabilidade: Ao contrário dos scores de nível de sequência, o SPANUQ fornece scores de incerteza interpretáveis e localizáveis para afirmações específicas (ex: identificar "1901" como incerto em uma frase sobre Marie Curie, enquanto confirma "física polonesa").
• Generalização: O framework generaliza através de diferentes famílias de modelos, escalas e arquiteturas (densas vs. MoE) sem necessidade de retreinar o backbone.
• Implantação Prática: Ao destilar a incerteza multi-amostra em uma única passagem direta, o SPANUQ oferece uma solução computacionalmente viável para domínios de alto risco (saúde, jurídico, pesquisa) onde identificar alucinações específicas é crítico.

Os autores observam limitações: o SPANUQ requer acesso de caixa branca (white-box) aos estados ocultos, depende de um pipeline de construção de rótulos computacionalmente dispendioso e, atualmente, foca na incerteza factual em inglês. Eles enfatizam que, embora o SPANUQ estime a incerteza epistêmica a partir de padrões de estados ocultos, ele não garante a correção factual e deve complementar, não substituir, o julgamento humano.