Entropy Alone is Insufficient for Safe Selective Prediction in LLMs

Resumo Técnico: Entropia Sozinha é Insuficiente para Previsão Seletiva Segura em LLMs

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) continuam a avançar rapidamente, mas ainda sofrem de alucinações (respostas fluentes, porém factualmente incorretas), muitas vezes expressas com alta confiança. Em domínios de alto risco, como saúde, propagar esses erros é inaceitável.
Sistemas de previsão seletiva são propostos para mitigar esse risco, abstendo-se de responder quando a incerteza do modelo é alta. No entanto, as técnicas atuais de Quantificação de Incerteza (UQ), particularmente as baseadas em entropia, falham em cenários de segurança estrita. O artigo identifica que métricas globais de detecção (como AUROC) podem mascarar falhas críticas que impedem a operação segura em taxas de erro alvo baixas.

2. Metodologia

Os autores propõem uma avaliação e uma solução que combinam sinais de incerteza para melhorar a previsão seletiva.

• Configuração de Previsão Seletiva:

  • Dada uma pergunta $x$ e uma resposta $\hat{y}$, o sistema calcula uma pontuação de risco $r(x)$.
  • Se $r(x) \leq \tau$ (limiar), o sistema responde; caso contrário, abstém-se.
  • O limiar $\tau$ é ajustado em um conjunto de calibração para garantir que a taxa de alucinação nas respostas aceitas não exceda um risco alvo $\alpha$.

• Sinais de Incerteza Avaliados:

  1. Métodos Baseados em Entropia:
     • NLL da Sequência: Média da neglog-verossimilhança da resposta gerada (cálculo único, sem amostragem extra).
     • Entropia Semântica (SE): Mede a dispersão semântica agrupando $K$ amostras via avaliação de implicação mútua (requer múltiplas inferências).
     • Sonda de Entropia Semântica (SEP): Um classificador linear leve treinado para prever a entropia semântica, amortizando o custo de amostragem.
  2. Sinal de Corretude (Correctness Probe - PC):
     • Um classificador de regressão logística treinado em representações de prompts para prever se a resposta é correta (usando rótulos externos). O risco é definido como $1 - p_{correta}$.
  3. Abordagem Combinada:
     • Um modelo de regressão logística de duas características que funde o sinal de entropia ($u_{ent}$) e o sinal de corretude ($u_{pc}$) para gerar uma pontuação de risco final.

• Métricas de Avaliação (Focadas em Implantação):

  • AUROC/AUPRC: Métricas padrão de detecção de alucinação (consideradas insuficientes sozinhas).
  • E-AURC (Área Excessiva sob a Curva de Risco-Cobertura): Mede o trade-off entre a taxa de cobertura (quantas perguntas são respondidas) e o risco seletivo. Um valor menor é melhor.
  • TCE (Target Calibration Error): Mede o quão próximo o risco realizado está do risco alvo $\alpha$ em pontos operacionais específicos. É crucial para garantir que o sistema opere com segurança em limites estritos.

• Benchmarks e Modelos:

  • Datasets: TriviaQA (conhecimento geral), BioASQ (biomedicina), MedicalQA (médico aberto).
  • Modelos: Mistral (Ministral-8B), Llama (3.2-3B), Qwen (3-4B) e Gemma (3-4B).

3. Contribuições Principais

1. Identificação de um Modo de Falha Dependente do Modelo: Os autores descobrem o regime "confidentemente errado" (confidently wrong). Em certos modelos (notavelmente o Qwen), o modelo gera alucinações com baixa entropia (distribuição de saída concentrada e confiante), fazendo com que os métodos baseados apenas em entropia falhem em detectá-las.
2. Superioridade da Combinação: Demonstrar que combinar a entropia com uma sonda de corretude (PC probe) supera consistentemente os métodos baseados apenas em entropia, especialmente em regimes de alta confiança (baixo risco).
3. Mudança de Paradigma na Avaliação: Argumentam que métricas globais como AUROC não garantem segurança operacional. Métricas como TCE e E-AURC são essenciais para avaliar se um sistema pode ser confiável em níveis de risco específicos declarados.

4. Resultados Chave

• Desempenho Geral: A abordagem combinada (Entropia + PC Probe) melhorou consistentemente tanto o trade-off risco-cobertura (E-AURC) quanto a calibração (TCE) em todos os três benchmarks e quatro famílias de modelos, comparado às bases de entropia.
• Falha da Entropia em Modelos Específicos: No modelo Qwen, a Entropia Semântica (SE) falhou em distinguir alucinações confiantes (muitas respostas incorretas tinham entropia zero), enquanto a sonda de corretude (PC) manteve a capacidade de discriminação.
• Regimes de Alta Confiança: Em cenários onde o risco alvo é baixo (ex: $\alpha \leq 0.15$), os métodos baseados apenas em entropia frequentemente não conseguem entrar no "regime de alta confiança" sem sacrificar drasticamente a cobertura. A combinação com a sonda de corretude permite operar com segurança nesses limites estritos.
• Exceção: No dataset MedicalQA (o mais difícil), a melhoria foi menos consistente, possivelmente porque a baixa precisão base do modelo torna difícil calibrar a própria sonda de corretude.

5. Significado e Conclusão

O trabalho conclui que a entropia sozinha é insuficiente para garantir a segurança em sistemas de previsão seletiva de LLMs, especialmente em aplicações críticas onde o erro não é tolerado.

• Implicação Prática: Para implantar LLMs com segurança, é necessário combinar métricas de incerteza distribucional (entropia) com sinais de corretude supervisionada.
• Direção Futura: A comunidade deve abandonar a dependência exclusiva de métricas de detecção global (AUROC) e adotar métricas de calibração focadas na implantação (como TCE) que reflitam diretamente a capacidade do sistema de operar dentro de limites de risco definidos.
• Limitações: O estudo foca em tarefas de QA de formato curto. A generalização para geração de longo prazo ou raciocínio multi-etapa ainda precisa ser investigada, assim como a dependência de dados rotulados para treinar a sonda de corretude.

Em suma, o artigo fornece evidências empíricas robustas de que a segurança em LLMs requer uma abordagem híbrida de incerteza e uma reavaliação rigorosa de como essas métricas são validadas antes da implantação.