Semantic Self-Distillation for Language Model Uncertainty

1. O Problema

A quantificação de incerteza (UQ) em Grandes Modelos de Linguagem (LLMs) é crucial para aplicações de alto risco (como saúde e direito), mas enfrenta desafios significativos:

• Complexidade e Custo: Métodos baseados em amostragem (como Semantic Entropy) são eficazes para detectar alucinações, mas exigem a geração de múltiplas respostas estocásticas para cada prompt. Isso torna-os computacionalmente proibitivos para aplicações sensíveis à latência.
• Limitações das Provas (Probing): Métodos existentes que usam "sondas" (probes) leves para prever incerteza diretamente das representações internas do modelo geralmente colapsam a incerteza complexa em um único escalar (ex: probabilidade de estar certo). Isso ignora a topologia da distribuição de saída, limitando a aplicação a classificações de risco simples e impedindo a extração de sinais de confiabilidade mais ricos (como verificação pós-geração).

O objetivo do trabalho é criar um método que ofereça a riqueza de informação dos métodos de amostragem com a baixa latência dos métodos de sonda.

2. Metodologia: Semantic Self-Distillation (SSD)

Os autores propõem a Autodistilação Semântica (SSD), um framework que distila a distribuição de respostas semânticas amostradas de um LLM (o "professor") em um modelo estudante leve, sem a necessidade de amostragem durante a inferência.

Arquitetura e Treinamento:

1. Representações:
   • Entrada ($h$): Extraída das representações ocultas do LLM base para o prompt.
   • Saída ($z$): As respostas geradas são convertidas em embeddings semânticos usando um modelo de embedding especializado ($\Phi$).
2. Modelo Estudante (MDN):
   • O estudante é uma Rede de Densidade de Mistura (Mixture Density Network - MDN).
   • Em vez de prever um único valor, o estudante aprende a prever uma distribuição de densidade condicional $q_\phi(z | h)$ sobre os embeddings semânticos das respostas.
   • A distribuição é modelada como uma mistura de $K$ componentes gaussianos.
3. Objetivo de Treinamento:
   • Para cada prompt, o LLM professor gera $S$ amostras estocásticas.
   • O estudante é treinado para maximizar a verossimilhança condicional (Maximum Likelihood) dessas amostras de embeddings, aprendendo a mapear a representação do prompt para a distribuição de respostas possíveis.

Inferência e Sinais de Incerteza:

Uma vez treinado, o modelo SSD opera em uma única passagem (single-pass) e fornece dois tipos principais de sinais:

1. Nível de Prompt (Pré-geração): O entropia da distribuição prevista ($q_\phi$) serve como uma estimativa de risco antes de gerar a resposta. Alta entropia indica alta dispersão semântica (possível alucinação). O cálculo usa a Entropia de Rényi de ordem 2, que possui uma forma fechada analítica para misturas gaussianas, eliminando a necessidade de amostragem.
2. Nível de Resposta (Pós-geração): Dada uma resposta candidata específica, calcula-se a verossimilhança (log-likelihood) sob a distribuição prevista. Respostas com baixa verossimilhança são consideradas incompatíveis com o contexto (fora do domínio) ou incorretas.

3. Contribuições Principais

• Novo Framework de UQ: Introdução da SSD, que distila distribuições semânticas complexas em estimadores de densidade leves, evitando o custo de amostragem na inferência.
• Preservação da Estrutura Distribucional: Diferente de sondas escalares, a SSD mantém a estrutura geométrica da distribuição de saída, permitindo operações além da pontuação de risco simples.
• Capacidades Unificadas: O mesmo modelo fornece:
  • Previsão de alucinação pré-geração (via entropia).
  • Verificação de resposta pós-geração (via verossimilhança).
  • Seleção de respostas em múltipla escolha.
  • Detecção de respostas fora do domínio (OOD).

4. Resultados Experimentais

Os autores avaliaram o SSD em cinco famílias de modelos (Llama, Mistral, Qwen, Gemma, SmolLM) usando os datasets TriviaQA (perguntas de conhecimento) e MMLU (raciocínio).

• Previsão de Alucinação (Pré-geração):
  • O SSD foi competitivo em relação aos métodos baseados em amostragem (como Teacher Dispersion e Semantic Entropy), superando-os em vários modelos no dataset TriviaQA em métricas AUPRC e AUROC.
  • O SSD manteve a latência de métodos de sonda (single-pass), enquanto os métodos de amostragem exigiam múltiplas gerações.
• Detecção de Respostas Fora do Domínio (OOD):
  • O uso da verossimilhança do estudante para detectar pares prompt-resposta incompatíveis alcançou AUROCs superiores a 0.95, demonstrando alta eficácia como um "guarda" de conteúdo.
• Seleção de Respostas (Múltipla Escolha):
  • O SSD, treinado apenas em gerações abertas, foi capaz de selecionar a resposta correta em questões de múltipla escolha (MMLU) com precisão superior à linha de base aleatória e aproximando-se da precisão do modelo base gerando respostas abertas.
• Fidelidade da Distilação:
  • Análises mostraram uma forte correlação entre a fidelidade da distilação (quão bem o estudante aprende a ordem de incerteza do professor) e o desempenho na detecção de alucinações.

5. Significado e Impacto

O trabalho da SSD representa um avanço significativo na viabilidade prática da quantificação de incerteza em LLMs:

• Eficiência: Ao mover o custo computacional da inferência (tempo de execução) para o treinamento, a SSD permite estimativas de incerteza de baixa latência, essenciais para sistemas agênticos e aplicações em tempo real.
• Riqueza de Informação: Ao modelar a distribuição completa em vez de um escalar, a SSD desbloqueia novos primitivos de confiabilidade, como a verificação de consistência de respostas e a seleção de melhores opções sem necessidade de re-amostragem.
• Generalidade: Embora focado em LLMs, o framework é agnóstico à modalidade e pode ser aplicado a outros modelos sequenciais onde as saídas possuem representações latentes significativas (ex: modelos de previsão de séries temporais ou registros de saúde eletrônicos).

Em resumo, a SSD oferece um meio-termo prático entre a precisão teórica dos métodos de amostragem e a eficiência operacional dos métodos de sonda, tornando a incerteza estruturada acessível em sistemas de linguagem de produção.