Why Don't You Know? Evaluating the Impact of Uncertainty Sources on Uncertainty Quantification in LLMs

1. Problema e Motivação

À medida que os Modelos de Linguagem de Grande Escala (LLMs) são implantados em aplicações do mundo real (medicina, direito, educação), a Quantificação de Incerteza (UQ) torna-se crítica para garantir segurança e eficácia.

• Limitação Atual: A maioria dos métodos existentes de UQ produz apenas uma pontuação de confiança escalar única (um único número), estimando a probabilidade de uma resposta estar correta.
• O Gap: A incerteza em tarefas de linguagem natural surge de fontes distintas com implicações diferentes para o comportamento do sistema:
  1. Lacunas de Conhecimento do Modelo: O modelo não sabe a resposta.
  2. Variabilidade de Saída: Existem múltiplas respostas corretas e semanticamente distintas.
  3. Ambiguidade de Entrada: A pergunta do usuário é mal definida ou ambígua.
• Hipótese: Os métodos atuais de UQ, ao fornecerem apenas um score agregado, não conseguem distinguir entre essas fontes. Isso pode levar a comportamentos inadequados (ex: rejeitar uma resposta válida apenas porque há múltiplas opções corretas, ou não pedir esclarecimento quando a pergunta é ambígua).

2. Metodologia

Criação de um Novo Dataset (Contribuição Principal)

Os autores introduzem um novo dataset validado por humanos, projetado para isolar e controlar as fontes de incerteza. O dataset consiste em tripletas de perguntas (1.617 perguntas no total, 539 por tipo), derivadas do conjunto de dados MAQA, mas reestruturadas para garantir comparabilidade:

1. Tipo 1 (Incerteza de Conhecimento do Modelo): Perguntas bem especificadas com uma única resposta correta. O modelo deve falhar por falta de conhecimento.
2. Tipo 2 (Variabilidade de Saída): Perguntas bem especificadas que admitem múltiplas respostas corretas (ex: "Nomeie um animal do deserto"). O objetivo é testar se a UQ confunde diversidade válida com incerteza.
3. Tipo 3 (Ambiguidade de Entrada): Perguntas derivadas do Tipo 1, mas com informações contextuais críticas removidas (ex: substituindo referências específicas por termos vagos), tornando a resposta impossível sem esclarecimento.

Configuração Experimental

• Modelos: Três modelos open-weight de arquiteturas distintas: Llama-3.1-8b, Gemma-3-12b e Qwen-2.5-14b.
• Métodos de UQ Avaliados: Uma ampla gama de métodos classificados em cinco categorias:
  • Baseados em Probabilidade de Token (ex: Perplexity, Entropia de Sequência).
  • Baseados em Consistência (ex: Número de Conjuntos Semânticos, Entropia Semântica).
  • Métodos Híbridos (combinação de probabilidade e consistência).
  • Métodos Verbalizados (o modelo "fala" sua confiança).
• Métricas de Avaliação:
  • PRR (Prediction-Rejection Ratio): Mede a qualidade das previsões restantes após rejeitar as mais incertas.
  • Correlação de Spearman: Avalia quão bem o score de incerteza se correlaciona com a qualidade real da geração.
  • LLM-as-a-Judge: Uso do GPT-5 para avaliar a correção das respostas e a adequação de pedidos de esclarecimento.

3. Resultados Principais

Os experimentos revelaram que o desempenho dos métodos de UQ varia drasticamente dependendo da fonte da incerteza:

• Desempenho por Fonte de Incerteza:

  • Conhecimento do Modelo (Tipo 1): A maioria dos métodos funciona bem. Métodos híbridos e baseados em consistência mostram forte correlação com a qualidade.
  • Variabilidade de Saída (Tipo 2): O desempenho degrada. Métodos baseados em consistência tendem a superestimar a incerteza (tratando a diversidade de respostas válidas como erro). Métodos baseados em probabilidade de sequência (como Perplexity) também falham, pois penalizam a diversidade desejável.
  • Ambiguidade de Entrada (Tipo 3): A maioria dos métodos falha em detectar a ambiguidade. Os modelos tendem a "alucinar" uma interpretação específica com alta confiança. Métodos verbalizados (onde o modelo avalia sua própria resposta) mostraram-se mais eficazes aqui, especialmente em modelos maiores.

• Falhas Específicas:

  • Consistência: Pode levar a "erros auto-consistentes" (o modelo dá a mesma resposta errada várias vezes), subestimando a incerteza.
  • Probabilidade de Token: Penaliza a diversidade legítima de respostas e subestima a incerteza em entradas ambíguas onde o modelo escolhe uma resposta genérica com alta probabilidade.
  • Híbridos: Embora robustos em cenários de resposta única, herdam as limitações de seus componentes em cenários complexos.

• Comportamento dos Modelos:

  • Os modelos raramente recusam responder ou pedem esclarecimento espontaneamente, mesmo em casos de ambiguidade clara, comprometendo-se com interpretações arbitrárias.

4. Contribuições Chave

1. Dataset Controlado: O primeiro dataset público que categoriza explicitamente e isola três fontes distintas de incerteza (conhecimento, variabilidade, ambiguidade) em tripletas comparáveis.
2. Avaliação Sistemática: A primeira avaliação abrangente de métodos de UQ sob essas condições controladas, demonstrando que não existe um "melhor método" universal.
3. Análise de Falhas: Identificação detalhada de por que e como diferentes famílias de métodos falham dependendo da origem da incerteza (ex: consistência falha na variabilidade; probabilidade falha na ambiguidade).

5. Significado e Conclusão

O artigo conclui que a abordagem atual de usar um único score escalar de confiança é insuficiente para aplicações seguras de LLMs.

• Implicação Prática: Sistemas que dependem de UQ para tomada de decisão (como rejeitar respostas ou acionar humanos) precisam ser "conscientes da fonte da incerteza". Um sistema deve saber se deve pedir esclarecimento (ambiguidade), apresentar múltiplas opções (variabilidade) ou recusar a resposta (falta de conhecimento).
• Direções Futuras: A pesquisa aponta para a necessidade de representar a incerteza de forma estruturada (disentangled), em vez de agregada, e de desenvolver políticas de decisão que mapeiem especificamente cada tipo de incerteza para a ação correta.

Em resumo, o trabalho demonstra que "não saber" (falta de conhecimento) é fundamentalmente diferente de "ter várias opções" (variabilidade) ou "não entender a pergunta" (ambiguidade), e os métodos atuais de UQ não conseguem distinguir essas nuances, o que limita sua utilidade em cenários críticos.