Verbalizing LLM's Higher-order Uncertainty via Imprecise Probabilities

Este artigo propõe novas técnicas de elicitação de incerteza baseadas em probabilidades imprecisas para capturar a incerteza de primeira e segunda ordem em Grandes Modelos de Linguagem (LLMs), superando as limitações dos métodos probabilísticos clássicos e melhorando a confiabilidade das respostas em cenários ambíguos e complexos.

O essencial

Imagine que você está conversando com um assistente de IA super inteligente. Você faz uma pergunta, e ele responde com total confiança: "Com 90% de certeza, a resposta é X".

O problema é que, às vezes, a pergunta é confusa, ou a IA está chutando, mas ela continua dizendo "90%". É como se um médico dissesse "tenho 90% de certeza que é gripe" quando você tem sintomas de três doenças diferentes e ele não sabe qual delas é.

Este artigo propõe uma nova maneira de perguntar à IA: "Não me dê apenas um número exato. Me diga o quanto você realmente sabe e o quanto você está apenas 'adivinhando'."

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: A "Confiança Cega"

Atualmente, as IAs usam uma "confiança clássica" (chamada de Vanilla). Elas tentam encaixar tudo em uma única porcentagem.

• O erro: Se a pergunta é ambígua (tem mais de uma resposta correta dependendo da interpretação), a IA ainda tenta dar um número único. Isso é como tentar medir a temperatura de um dia chuvoso com um termômetro que só mostra "quente" ou "frio", sem mostrar a variação.

2. A Solução: A "Faixa de Incerteza" (Probabilidades Imprecisas)

Os autores sugerem que, em vez de pedir um número único (ex: 80%), devemos pedir à IA uma faixa ou um intervalo (ex: "Estou entre 40% e 80% de certeza").

Pense nisso como um orçamento de viagem:

• Método Antigo (Preciso): "Vou gastar exatamente R$ 500,00." (Se o preço do combustível subir, você quebra).
• Método Novo (Impreciso): "Vou gastar entre R$400,00 e R$ 600,00." (Isso mostra que você tem uma ideia do custo, mas reconhece que o mundo é incerto).

3. Os Dois Tipos de Incerteza (O Segredo do Método)

O grande trunfo deste trabalho é separar a incerteza em dois níveis, como se fossem duas camadas de uma cebola:

Camada 1: A Incerteza do Mundo (Primeira Ordem)

• O que é: Coisas que são realmente confusas ou aleatórias, mesmo para um gênio.
• Analogia: Imagine que você pergunta: "Qual time ganhou o campeonato?" Mas a pergunta não diz qual esporte. Pode ser futebol, basquete ou tênis. A resposta é ambígua por natureza.
• O que a IA faz: Ela deve dizer: "Não consigo reduzir essa dúvida. O mundo é assim mesmo."

Camada 2: A Incerteza do Próprio Cérebro (Segunda Ordem)

• O que é: A dúvida sobre o quanto a IA sabe. É a "incerteza sobre a incerteza".
• Analogia: Imagine que você está tentando adivinhar a senha de um cofre.
  • Se você tem 10 dicas, sua dúvida é baixa (você sabe quase tudo).
  • Se você tem 0 dicas, sua dúvida é alta (você está no escuro).
  • À medida que você recebe mais dicas (exemplos no texto), a "dúvida sobre a dúvida" diminui, mesmo que a senha ainda seja difícil.
• O que a IA faz: O novo método permite que a IA diga: "Estou confuso porque não tenho informações suficientes, mas se você me der mais exemplos, minha confiança vai subir."

4. Como Funciona na Prática?

Os pesquisadores criaram "prompts" (instruções) especiais para a IA. Em vez de perguntar "Qual a chance de ser X?", eles perguntam:

• "Qual é o mínimo de chance que você considera plausível?"
• "Qual é o máximo de chance que você considera defensável?"

Isso cria uma faixa de segurança. Se a faixa for larga (ex: 10% a 90%), significa que a IA está muito insegura sobre o que sabe. Se a faixa for estreita (ex: 85% a 90%), ela está muito confiante.

5. Por que isso é importante?

• Para Ambiguidade: Se você pergunta algo confuso, a IA não vai mentir dizendo que tem certeza. Ela vai mostrar uma faixa larga, avisando: "Ei, essa pergunta tem vários significados, cuidado!"
• Para Aprendizado: Se você der mais exemplos à IA (como em um teste), ela consegue "afinar" sua faixa de certeza, mostrando que está aprendendo.
• Para Decisões: Se você é um médico ou um juiz usando IA, é melhor saber que a IA está "entre 40% e 60% de certeza" do que ela dizer "80% de certeza" e estar errada. Isso evita acidentes.

Resumo em uma frase

Este trabalho ensina as IAs a serem mais honestas: em vez de fingir que sabem tudo com um número exato, elas agora podem dizer "Estou entre 'talvez' e 'provável', e aqui está o motivo da minha dúvida", o que as torna muito mais confiáveis para tomar decisões importantes.

Resumo técnico

1. Problema e Motivação

O artigo aborda a limitação fundamental das técnicas atuais de eliciação de incerteza em Grandes Modelos de Linguagem (LLMs). A maioria dos métodos existentes opera sob o paradigma clássico de probabilidade precisa (um único valor pontual, ex: "tenho 80% de confiança"). Os autores argumentam que essa representação é inadequada para capturar a complexidade do comportamento dos LLMs em cenários reais, levando a modos de falha sistemáticos:

• Perguntas Ambíguas: Em questões onde múltiplas respostas são válidas dependendo da interpretação (ex: "Quem sediou a Copa do Mundo de Críquete de 2019? Inglaterra e País de Gales"), modelos tradicionais falham em distinguir entre ambiguidade intrínseca e falta de conhecimento.
• Aprendizado em Contexto (ICL): À medida que mais exemplos são fornecidos no prompt, o erro de predição diminui, mas as pontuações de incerteza tradicionais muitas vezes permanecem altas e planas, não refletindo a redução da incerteza epistêmica.
• Auto-reflexão Incoerente: Quando os LLMs são solicitados a refletir sobre suas escolhas, as utilidades implícitas geradas por suas pontuações de incerteza frequentemente não correspondem às suas decisões observadas, violando a racionalidade bayesiana.

O cerne do problema é a suposição de que a incerteza pode ser totalmente capturada por uma única probabilidade precisa. O artigo propõe que os LLMs devem ser capazes de expressar incerteza sobre a incerteza (incerteza de ordem superior).

2. Metodologia: Probabilidades Imprecisas (IP)

A solução proposta baseia-se no framework de Probabilidades Imprecisas (IP), que representa a incerteza não como um ponto único, mas como intervalos ou conjuntos de distribuições.

Conceitos Fundamentais

• Incerteza de Primeira Ordem: Captura a aleatoriedade intrínseca sobre as possíveis respostas (ex: ambiguidade da pergunta onde múltiplas respostas são corretas).
• Incerteza de Segunda Ordem: Captura a indeterminação no próprio modelo de probabilidade (ex: falta de conhecimento, ignorância). É representada pela largura do intervalo de probabilidade.

Abordagem Proposta

Os autores introduzem técnicas de prompting e pós-processamento para elicitar diretamente essas duas ordens de incerteza:

1. Elicitação de Primeira Ordem (DeFinetti):

   • Utiliza a interpretação de Bruno de Finetti de probabilidade como comportamento de aposta coerente.
   • O modelo é solicitado a atribuir "preços de compra" (probabilidades) para cada resposta, garantindo que a soma seja 1.0.
   • Um verificador algorítmico garante a coerência (não-negatividade e normalização).

2. Elicitação de Segunda Ordem (Representações IP):
   O artigo explora três representações principais para capturar a imprecisão:

   • Intervalos de Probabilidade (PROBINT): O modelo fornece um intervalo $[p(y), \bar{p}(y)]$ para cada resposta, onde $p(y)$ é a probabilidade mínima justificável e $\bar{p}(y)$ a máxima defensável.
   • Conjuntos Credais (CREDAL): Utiliza um conjunto de modelos (ou múltiplas execuções com diferentes sementes) para formar um conjunto de distribuições. O intervalo é definido pelos valores mínimo e máximo entre os modelos.
   • Funções de Possibilidade (POS): Avalia a plausibilidade de respostas alternativas e a possibilidade de "nenhuma das acima", utilizando funções não aditivas.

3. Métrica de Incerteza (MMI):

   • Para quantificar a incerteza de segunda ordem em um único escalar, os autores utilizam o Máximo Imprecisão Média (Maximum Mean Imprecision - MMI).
   • O MMI mede a "largura" máxima do intervalo de probabilidade sobre o espaço de eventos, capturando a pior caso da incerteza epistêmica.
   • Para intervalos de probabilidade, uma aproximação tratável é $1 - \sum \underline{p}(y)$.

3. Contribuições Principais

• Primeira Instanciação Prática de IP em LLMs: O trabalho apresenta a primeira implementação concreta de elicitação verbalizada de incerteza baseada em IP para LLMs, sem depender de acesso aos parâmetros internos do modelo.
• Desentrelaçamento de Incertezas: Desenvolve métodos para separar explicitamente a incerteza de primeira ordem (ambiguidade da tarefa) da incerteza de segunda ordem (ignorância do modelo), algo que métodos anteriores falhavam em fazer.
• Novas Estratégias de Prompting: Criação de prompts específicos (como o DeFinetti Bet e ProbInt) que forçam o modelo a articular limites de crença em vez de apenas um valor pontual.
• Custo-Eficiência: Demonstra que a abordagem baseada em IP é significativamente mais barata (em termos de chamadas de API) do que métodos baseados em amostragem (como entropia semântica) e comparável a métodos verbais simples.

4. Resultados Experimentais

Os autores avaliaram seus métodos em tarefas sintéticas e em benchmarks de QA do mundo real (MAQA, AmbigQA, MMLU-Pro).

• Experimentos Sintéticos (Separação de Ruído):

  • Em tarefas de transformação de sequências com ruído controlado, os métodos IP (PROBINT, CREDAL) mantiveram a incerteza de segunda ordem estável quando a ambiguidade (ruído de primeira ordem) aumentou, enquanto métodos tradicionais (Vanilla) confundiam as duas.
  • Ao adicionar exemplos em contexto (ICL), a incerteza de segunda ordem dos métodos IP diminuiu conforme o erro de predição caiu, demonstrando uma calibração superior.

• Benchmarks de QA Real:

  • Detecção de Ambiguidade: O método DeFinetti alcançou o melhor desempenho (AUROC) na distinção entre perguntas ambíguas e claras, superando a entropia semântica e métodos de esclarecimento.
  • Detecção de Correção: Em tarefas sem ambiguidade, os métodos IP (especialmente ProbInt) foram os mais robustos e consistentes em diferentes modelos (GPT-5, Gemini).
  • Racionalidade e Coerência: Ao analisar a decisão do modelo, a regra Maximin (escolher a resposta com a maior probabilidade inferior) mostrou a maior alinhação com as escolhas reais do LLM, sugerindo que os LLMs operam sob uma racionalidade IP e não bayesiana estrita.
  • Correlação com Métricas de Referência: Os métodos IP apresentaram a maior concordância com métricas de "verdadeira" incerteza derivadas de distribuições de corpus (KL-divergência e entropia).

5. Significado e Conclusão

O artigo oferece uma mudança de paradigma na forma como interpretamos e avaliamos a confiança dos LLMs. Ao abandonar a exigência de uma probabilidade precisa única, o framework de Probabilidades Imprecisas permite:

1. Relatos de Incerteza Mais Fiéis: Os modelos podem expressar honestamente quando não sabem (ignorância) versus quando a resposta é inerentemente ambígua.
2. Melhor Tomada de Decisão: Sistemas downstream podem usar a largura do intervalo para decidir quando abstiver-se de responder ou solicitar esclarecimentos, melhorando a segurança e a confiabilidade.
3. Viabilidade Prática: A abordagem é leve, não requer fine-tuning complexo e funciona bem com modelos fechados (APIs), tornando-a aplicável imediatamente em cenários industriais.

Em suma, a proposta demonstra que a "imprecisão" na representação da incerteza não é um defeito, mas uma característica necessária para capturar a complexidade cognitiva e as limitações dos modelos de linguagem modernos.