🤖 machine learning

"very likely" Means "uncertain"? How LLMs Diverge from Humans in Linguistic Uncertainty Quantification

Este artigo investiga a divergência entre humanos e grandes modelos de linguagem na quantificação de incerteza verbal ao introduzir um algoritmo baseado em otimização, METHODNAME, que aprende mapeamentos de probabilidade ideais para marcadores verbais diretamente dos outputs do modelo para revelar disparidades sistemáticas de confiança sem depender de amostragem repetida.

Autores originais: Jinhao Duan, Zicheng Liu, Zijie Liu, Kaidi Xu, Tianlong Chen

Publicado 2026-10-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jinhao Duan, Zicheng Liu, Zijie Liu, Kaidi Xu, Tianlong Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Quando falamos, frequentemente cautelamos nossas afirmações. Dizemos que algo é "provável", "possível" ou "quase certo", usando essas palavras para sinalizar o quanto realmente sabemos. Essa capacidade de expressar dúvida é uma forma de metacognição, um controle mental onde reconhecemos os limites do nosso próprio conhecimento. É uma parte crucial da comunicação humana, permitindo-nos navegar pela incerteza sem fingir ter respostas que não possuímos. No mundo da inteligência artificial, especificamente com os grandes modelos de linguagem, essa mesma capacidade está se tornando um recurso de segurança crítico. Esses modelos podem, por vezes, gerar informações que soam confiantes, mas que são factualmente incorretas, um fenômeno conhecido como alucinação. Para confiar nesses sistemas, especialmente em campos sensíveis como a medicina ou o direito, precisamos saber quando eles estão inseguros. O desafio reside em descobrir se as palavras que uma IA usa para expressar dúvida significam o mesmo para um ouvinte humano do que significam para a própria máquina.

Uma equipe de pesquisadores partiu para investigar se a incerteza verbal expressa por grandes modelos de linguagem se alinha com a compreensão humana. Eles começaram reunindo uma coleção massiva de como as pessoas interpretam frases como "muito provável" ou "incerto". Baseando-se em décadas de pesquisa em psicologia e ciência da decisão, eles compilaram um guia de referência que mapeia essas frases comuns para probabilidades numéricas específicas. Por exemplo, na mente humana, a frase "muito provável" corresponde a um alto grau de confiança, enquanto "possível" situa-se em algum lugar no meio. Os pesquisadores então testaram vários modelos de linguagem avançados, pedindo-lhes que respondessem a perguntas e explicassem sua confiança usando essas mesmas expressões de linguagem natural. Eles compararam as respostas dos modelos com o guia de referência humano para ver se as máquinas estavam falando a mesma língua que seus usuários.

Os resultados revelaram uma desconexão significativa. Embora os modelos pudessem usar as palavras, eles atribuíam níveis diferentes de certeza a elas do que os humanos fazem. Por exemplo, quando um humano ouve "muito provável", interpreta como uma probabilidade forte, mas os modelos no estudo frequentemente usavam essa frase para descrever situações em que estavam, na verdade, bastante inseguros. Inversamente, os modelos poderiam expressar um alto grau de confiança para frases que os humanos consideram meros palpites. Esse descompasso significa que simplesmente ler a saída de um modelo e assumir que seus sinais verbais refletem seu estado interno pode ser enganoso. O estudo mostrou que confiar em um dicionário de palavras de incerteza feito por humanos não era suficiente para mensurar com precisão a confiança de uma máquina; os modelos tinham sua própria lógica interna distinta para o que essas palavras significavam.

Para preencher essa lacuna, os pesquisadores desenvolveram um novo método chamado VOCAL. Em vez de forçar os modelos a se conformarem às definições humanas, essa abordagem aprende o significado específico das palavras de incerteza diretamente do próprio comportamento do modelo. O sistema analisa milhares de respostas do modelo, observando quais frases ele utiliza quando está correto e quais utiliza quando está errado. Ele então constrói um mapa personalizado que traduz os hábitos verbais específicos do modelo em pontuações de probabilidade precisas. Esse processo envolve uma otimização matemática que suaviza os dados, garantindo que frases de som semelhante recebam pontuações semelhantes, mesmo que o modelo as utilize raramente. Ao adaptar a interpretação ao modelo específico, o método cria uma maneira muito mais confiável de detectar quando o modelo está inseguro.

Os experimentos demonstraram que essa abordagem personalizada funciona significativamente melhor do que tentar impor um padrão humano à máquina. Em testes em vários conjuntos de dados, incluindo problemas matemáticos complexos e questões médicas, o novo método foi muito mais preciso ao prever se a resposta de um modelo estava correta ou incorreta em comparação com o uso apenas do guia de referência humano. Em alguns casos, a melhoria foi substancial, transformando um método que mal performava melhor do que o acaso em um que podia identificar erros de forma confiável. Os pesquisadores descobriram que essa técnica poderia alcançar níveis de desempenho comparáveis a métodos muito mais caros que exigem que o modelo gere múltiplas respostas e as compare, mas sem o tempo ou o poder computacional adicional.

O estudo conclui que, embora os grandes modelos de linguagem possam imitar padrões de fala humanos, sua compreensão interna da incerteza é fundamentalmente diferente da nossa. Uma frase como "muito provável" não carrega o mesmo peso para a máquina que carrega para uma pessoa. Para tornar esses sistemas verdadeiramente confiáveis, não podemos simplesmente pedir que falem como humanos e esperar que signifiquem a mesma coisa. Em vez disso, devemos aprender a ler seu dialeto específico de incerteza. Ao criar mapas personalizados que traduzem os sinais verbais únicos de um modelo em sinais claros de confiança, podemos distinguir melhor entre uma resposta correta e uma alucinação confiante, tornando a tecnologia mais segura e confiável para o uso no mundo real.

Resumo Técnico: "Muito Provável" Significa "Incerteza"? Como os LLMs Divergem dos Humanos na Quantificação de Incerteza Linguística

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham alcançado um sucesso notável, um desafio fundamental permanece na determinação de quando confiar em suas respostas, particularmente em relação às alucinações. Os métodos existentes de Quantificação de Incerteza (UQ) geralmente se dividem em duas categorias: baseados em amostragem (ex: Entropia Semântica, variância de ensemble) e baseados em logits (ex: Entropia Preditiva, Perplexidade). No entanto, essas abordagens sofrem de limitações significativas: métodos de amostragem são computacionalmente caros e introduzem latência, enquanto métodos baseados em logits frequentemente sofrem de sensibilidade lexical e falham em capturar a nuance do raciocínio humano.

Os humanos expressam naturalmente a incerteza usando marcadores verbais (ex: "possível", "provável", "quase certo"). Embora trabalhos recentes tenham explorado a UQ verbalizada, existe uma lacuna crítica: os LLMs divergem dos humanos na forma como interpretam e utilizam esses marcadores linguísticos. Os métodos atuais frequentemente dependem de tabelas de consulta derivadas da literatura de psicologia para mapear frases verbais a probabilidades numéricas. Os autores postulam que esses mapeamentos derivados de humanos não refletem com precisão os estados internos de incerteza dos LLMs, levando a uma quantificação pouco confiável.

Metodologia

1. Benchmark de Incerteza Verbal Humana (UM-Lookup)

Os autores construíram primeiro uma grande Tabela de Consulta de Marcadores de Incerteza Verbal (UM-Lookup). Este recurso agrega dados de estudos fundamentais em psicologia e ciência da decisão (ex: Lichtenstein & Newman, 1967; Beyth-Marom, 1982; Vogel et al., 2022).

Construção: A tabela mapeia 115 expressões de incerteza verbal distintas para pontuações de probabilidade numérica com base em uma média de 336 avaliações humanas por frase.
Agregação: Quando um LLM gera uma resposta contendo múltiplos marcadores, o método (denotado como $Q_{VU-H}$ ) tira a média das pontuações numéricas dos marcadores extraídos para produzir uma estimativa de incerteza final.
Avaliação Inicial: Os autores avaliaram o $Q_{VU-H}$ contra baselines padrão (Entropia Preditiva, Entropia Semântica) através de vários modelos (GPT-4o, DeepSeek-V3.1) e datasets (GSM8K, MedQA, SciQ). Embora o $Q_{VU-H}$ tenha demonstrado desempenho não trivial em alguns casos, ele frequentemente subperformou em comparação com métodos baseados em amostragem e, em alguns casos (ex: GPT-4o no GSM8K), teve um desempenho pior do que o acaso. Isso confirmou um desalinhamento fundamental entre a intuição linguística humana e a confiança interna do LLM.

2. VOCAL: Quantificação de Incerteza Verbal Otimizada

Para abordar esse desalinhamento, os autores propõem o VOCAL, um novo algoritmo baseado em otimização que aprende um mapeamento específico para cada LLM entre marcadores verbais e níveis de incerteza numérica.

Objetivo: O VOCAL aprende um conjunto de pontuações numéricas ( $c_i$ ) para cada marcador verbal ( $u_i$ ) de modo que a pontuação de incerteza agregada ( $q_y$ ) reflita fielmente a correção real do modelo. O objetivo é atribuir pontuações de incerteza mais altas para gerações incorretas e mais baixas para as corretas.
Formulação de Otimização: O problema é formulado como a minimização de uma perda de Entropia Cruzada Binária (BCE):
$\mathcal{L}(c) = \min_{c} \mathbb{E}_{(x,y)} \left[ -z \log c_y - (1-z) \log(1-c_y) \right]$
Onde $z$ é o indicador de correção (1 para correto, 0 para incorreto), e $c_y$ é a incerteza agregada derivada das pontuações aprendidas dos marcadores na geração $y$ .
Suavização Semântica: Para lidar com a esparsidade de dados (onde marcadores raros como "chance remota" possuem poucos exemplos de treinamento), o VOCAL incorpora um Regularizador de Laplaciano de Grafo. Isso impõe suavidade ao penalizar grandes discrepâncias entre marcadores semanticamente similares (medidos via similaridade de Jaccard de 3-gramas). O objetivo total é $\mathcal{L}(c) + \gamma \mathcal{L}_{lap}(c)$ .
Eficiência: Ao contrário dos métodos baseados em amostragem, o VOCAL requer apenas uma única resposta do modelo para gerar uma pontuação de incertia, evitando o overhead computacional de múltiplas gerações.

Principais Contribuições

Tabela de Consulta de Incerteza Verbal Humana: O artigo apresenta um recurso curado de 115 marcadores verbais mapeados para probabilidades numéricas, fundamentado na literatura psicológica. Isso serve como um benchmark fundamental para analisar a divergência humano-LLM na monitoração metacognitiva.
Algoritmo VOCAL: Os autores introduzem o VOCAL, um método leve baseado em otimização que adapta os mapeamentos de incerteza verbal a LLMs específicos sem exigir atualizações de parâmetros ou fine-tuning. Ele aprende a massa de probabilidade ideal que cada marcador deve transmitir com base na correção empírica.
Análise Empírica Abrangente: O estudo fornece uma análise profunda de como os LLMs divergem dos humanos. Por exemplo, o artigo demonstra que, enquanto humanos classificam "muito provável" como alta confiança (~~0,85), o GPT-4o associa isso com uma confiança significativamente menor (~~0,35) em seu estado interno.

Resultados

Superioridade sobre a Consulta Humana: O VOCAL supera consistentemente o UM-Lookup de origem humana ( $Q_{VU-H}$ ). No dataset GSM8K, o VOCAL melhorou o AUROC para o GPT-4o de 0,41 (usando a consulta humana) para aproximadamente 0,60.
Comparação com Baselines de Amostra Única: O VOCAL supera significativamente métodos de UQ de amostra única, como G-NLL e Perplexidade (PPL). Em 5 de 6 configurações avaliadas, o VOCAL alcançou o maior AUROC. Por exemplo, no GSM-Hard com DeepSeek-V3.1, o VOCAL alcançou um AUROC de 0,715, comparado a 0,520 para o G-NLL.
Competitividade com Métodos de Múltiplas Amostras: Apesar de usar apenas uma resposta, o VOCAL atinge um desempenho comparável a métodos de múltiplas amostras caros (ex: Entropia Semântica, Densidade Semântica). Em vários casos (ex: SciQ com Qwen2.5-72B), o VOCAL alcançou o topo do AUROC (0,717), superando baselines baseados em amostragem.
Calibração: O VOCAL demonstra fortes propriedades de calibração. Quando combinado com métodos de calibração post-hoc como Regressão Isotônica (IR), alcançou um Erro de Calibração Esperada (ECE) médio de 0,0281, superando outros baselines.
Transferibilidade: Experimentos mostram que, embora os indicadores de incerteza verbal sejam amplamente transferíveis entre diferentes LLMs (o AUROC permanece na faixa de 0,60–0,72 ao treinar em um modelo e testar em outro), o ajuste específico do modelo via VOCAL produz resultados superiores.

Significância e Alegações

O artigo alega que expressões de incerteza verbal são dependentes do modelo, e confiar em tabelas fixas definidas por humanos é insuficiente para uma UQ confiável em LLMs. A significância deste trabalho reside em:

Preencher a Lacuna Humano-LLM: Revela que "muito provável" não significa a mesma coisa para um LLM que para um humano, destacando uma desconexão crítica nos mecanismos de confiança atuais.
Eficiência e Praticidade: O VOCAL oferece uma forte relação entre precisão e eficiência. Ele fornece discriminação de incerteza próxima ao estado da arte sem a latência e o custo de pipelines de consistência semântica de múltiplas amostras, tornando-o mais prático para implantação no mundo real.
Insight Metacognitivo: As descobertas sugerem que, embora os LLMs possam expressar incerteza verbalmente, seu mapeamento interno dessas expressões para níveis de confiança é distinto da cognição humana. O VOCAL fornece um mecanismo para alinhar essas expressões com a confiabilidade real do modelo, apoiando interações de IA mais confiáveis.

Os autores concluem que fundamentar a incerteza do LLM em expressões verbais, quando devidamente calibrada para o modelo específico, oferece um caminho viável para uma IA generativa mais confiável e responsável.