Geometry-Calibrated Conformal Abstention for Language Models

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) frequentemente falham em reconhecer seus próprios limites de conhecimento. Ao serem confrontados com consultas fora de sua distribuição de treinamento ou base de conhecimento, eles tendem a gerar respostas que soam plausíveis, mas são factualmente incorretas (alucinações), em vez de se absterem (dizer "Não sei").

• Limitações de Treinamento: Retreinar modelos para recompensar a abstenção é difícil devido à escassez de benchmarks que penalizem explicitamente o chute e recompensem a ignorância. Além disso, tais intervenções podem levar ao sobreajuste ou a um comportamento excessivamente conservador, onde os modelos se recusam a responder mesmo quando conhecem a resposta.
• Métodos Pós-hoc Existentes: A Predição Conformal (CP) tradicional oferece garantias de amostra finita para incerteza, mas depende de "escores de não conformidade". Na geração de texto aberto, definir uma função de pontuação de verdade fundamental é intratável, pois respostas corretas podem assumir formas semanticamente equivalentes infinitas.
• Questão Central: É possível equipar LLMs com um mecanismo pós-hoc para se absterem confiavelmente de responder quando incertos, sem retreinamento, enquanto fornecem garantias teóricas sobre a correção?

2. Metodologia: Abstenção Conformal (CA)

Os autores propõem a Abstenção Conformal (CA), um framework que combina a teoria da Predição Conformal com uma estratégia inovadora de calibração baseada na geometria de representações.

A. Framework Teórico (Abstenção Conformal)

A CA adapta a CP ao cenário de geração de linguagem, focando na confiança da previsão em vez de escores de não conformidade. Ela estabelece duas garantias de amostra finita:

1. Garantia de Participação: Limita a probabilidade de o modelo fornecer uma resposta (não se abster).
2. Garantia de Correção Condicional: Limita a probabilidade de uma resposta fornecida ser correta, dado que o modelo escolheu participar.

O framework utiliza um escore de incerteza $r(\hat{y}|x)$ (por exemplo, perplexidade). Ao definir um limiar $\tau$ baseado em um conjunto de calibração, o modelo se abstém se o escore exceder $\tau$. Provas teóricas (Teorema 3.1, Lema 3.2) demonstram que, se os pares entrada-saída forem trocáveis, a correção condicional das respostas retidas é limitada inferiormente por um nível de confiança especificado pelo usuário.

B. Calibração via Geometria de Representação

Para garantir que o escore de incerteza reflita fielmente o estado interno do modelo (conhecimento vs. ignorância), os autores introduzem uma estratégia de calibração baseada na geometria das representações de tokens através das camadas do transformer. Eles hipotetizam que, quando um modelo aproveita conhecimento interno, as atualizações do MLP (Perceptron de Multicamadas) induzem transformações geométricas específicas nos estados ocultos.

Eles extraem três sinais geométricos da trajetória do embedding do último token da consulta:

1. Proximidade ($\omega$): Mede a contribuição da atualização do MLP. Calcula a distância entre os embeddings pré-MLP e pós-MLP. Uma pequena distância (alta proximidade) indica que o MLP moldou ativamente a representação.
2. Rotação de Embedding ($\theta$): Mede o ângulo de rotação induzido pela atualização do MLP. Grandes rotações sugerem uma mudança significativa na direção da previsão, frequentemente associada à recuperação de conhecimento específico.
3. Alinhamento ($\phi$): Mede o ângulo entre o embedding do token e a direção anisotrópica dominante dos dados dentro da distribuição. Um alto alinhamento sugere que o modelo está operando dentro de sua distribuição aprendida; um desvio sugere extrapolação (incerteza).

Hipóteses Validadas:

• H1: Previsões corretas estão associadas a uma forte contribuição de conhecimento (alto $\omega$) que induz rotação significativa (alto $\theta$).
• H2: Previsões corretas permanecem alinhadas com o cone anisotrópico dentro da distribuição (baixo $\phi$), enquanto as incorretas desviam-se.

C. Pipeline de Calibração

1. Extração de Recursos: Para cada token, o modelo computa um vetor de características $(\Omega, \Theta, \Phi_{in}, \Phi_{out})$ capturando os sinais geométricos através de todas as camadas.
2. Cálculo de Distância: O sistema computa a distância de Mahalanobis dessas características a partir das distribuições de previsões corretas e incorretas.
3. Treinamento do Calibrador: Um modelo XGBoost é treinado para mapear essas características geométricas (combinadas com a perplexidade bruta) em um escore de incerteza refinado.
4. Decisão: O escore final de incerteza determina se deve haver abstenção com base no limiar conformal.

3. Principais Contribuições

1. Framework de Abstenção Conformal: Um método pós-hoc que fornece garantias rigorosas de amostra finita tanto para taxas de participação quanto para correção condicional em geração aberta, contornando a intratabilidade dos escores de não conformidade.
2. Calibração Baseada em Geometria: Uma abordagem inovadora para quantificação de incerteza que aproveita as dinâmicas geométricas internas das camadas do transformer (contribuições do MLP, rotações e anisotropia) para alinhar melhor a confiança com a correção real.
3. Garantias Teóricas: Provas mostrando que a trocabilidade é preservada sob as transformações determinísticas usadas para derivar escores de incerteza, garantindo a validade dos limites conformais.
4. Avaliação Abrangente: Experimentos extensos em seis conjuntos de dados diversos (NQ, TruthfulQA, GSM8K, etc.) e múltiplos tamanhos de modelo (Gemma-3, LLaMA-3).

4. Resultados Experimentais

• Desempenho: O método proposto supera significativamente bases fortes (incluindo Perplexidade, Entropia Semântica, métodos baseados em Atenção e confiança verbalizada) em todos os conjuntos de dados.
• Correção Condicional: Sob abstenção conformal, o método alcança uma correção condicional média de 75,0%. Isso significa que, quando o modelo decide responder, ele está correto 75% das vezes, uma melhoria significativa em relação às bases, que frequentemente oscilam entre 50-60%.
• Robustez: O método mantém alto desempenho através de diferentes taxas de participação (de 10% a 90% das consultas respondidas).
• Estudos de Ablação: Permutar os sinais geométricos ($\omega, \theta, \phi$) causa quedas de desempenho comparáveis, indicando que os três sinais são cruciais e complementares.
• Calibração de Base: Os autores mostram que aplicar simplesmente seu calibrador a bases existentes frequentemente degrada o desempenho (devido ao sobreajuste em sinais de baixa dimensão), ao passo que suas características geométricas de alta dimensão beneficiam-se significativamente da calibração.

5. Significado

Este trabalho aborda uma lacuna crítica de confiabilidade na implantação de LLMs. Ao permitir que os modelos se abstenham seletivamente com garantias teóricas, a CA reduz o risco de alucinações em domínios de alto risco (saúde, direito, ciência) sem exigir retreinamento caro. A introdução da geometria de representações como um proxy para "envolvimento de conhecimento" oferece um novo paradigma para quantificação de incerteza, indo além das probabilidades de superfície para as mecânicas internas de como os modelos processam informações. Isso torna o sistema mais confiável e acionável para aplicações do mundo real, onde admitir ignorância é preferível a fornecer informações falsas.