Anthropomimetic Uncertainty: What Verbalized Uncertainty in Language Models is Missing

Título: Incerteza Antropomimética: O que Falta na Incerteza Verbalizada em Modelos de Linguagem

1. O Problema

Os usuários humanos interagem cada vez mais com Modelos de Linguagem de Grande Escala (LLMs), mas esses modelos sofrem de um problema crítico de superconfiança. Mesmo quando suas respostas são imprecisas ou alucinadas, os LLMs frequentemente as apresentam com total certeza, minando a confiança e a legitimidade percebida.

Embora a "incerteza verbalizada" (expressar confiança através de linguagem natural) seja uma solução promissora para a colaboração humano-máquina, a pesquisa atual em Processamento de Linguagem Natural (NLP) ignora as nuances da comunicação humana de incerteza. Os modelos atuais tendem a:

• Falhar em imitar os comportamentos linguísticos humanos intuitivos.
• Serem enviesados por seus dados de treinamento e procedimentos de alinhamento (RLHF), levando a respostas excessivamente confiantes.
• Não considerarem fatores contextuais e sociais (como hierarquia e relação falante-ouvinte) que influenciam como os humanos expressam dúvida.

2. Metodologia

Os autores adotaram uma abordagem mista, combinando revisão teórica, análise de dados empírica e experimentação com modelos comerciais:

• Revisão da Literatura Humana: Analisaram a linguística e a psicologia para entender como os humanos expressam incerteza (marcadores epistêmicos, expressões numéricas, fatores sociais e hierárquicos).
• Revisão Sistemática de NLP: Coletaram e anotaram 53 publicações recentes (desde 2022) sobre incerteza verbalizada em LLMs, categorizando-as por método de elicitação (prompting vs. fine-tuning) e registro (numérico vs. verbal).
• Análise de Viés de Dados: Investigaram a distribuição de termos numéricos e marcadores epistêmicos em grandes corpora de pré-treinamento (ex: The Pile, Reddit, livros) e em conjuntos de dados de instruction fine-tuning (ex: Aya, Tülu 3, UltraChat) para identificar vieses inerentes.
• Experimentos com Modelos Comerciais: Testaram seis LLMs comerciais (Claude 3.5 Haiku, Command R+, GPT-4o mini, DeepSeek, Gemini 2.0 flash, Mistral Medium) em diferentes cenários:
  • Contextos Conversacionais: Simulando relações de poder (ex: Funcionário-Chefe, Cidadão-Monarca, Suspeito-Inquiridor).
  • Domínios de Conhecimento: Perguntas de diferentes áreas do MMLU (Massive Multitask Language Understanding).
• Métricas de Avaliação: Mediram a calibração numérica (Erro de Calibração Esperado - ECE) e a calibração linguística (Correlação de Yule's Y entre marcadores de fortalecimento/enfraquecimento e a correção da resposta).

3. Principais Contribuições

O conceito central introduzido é a Incerteza Antropomimética: o princípio de que a comunicação de incerteza em LLMs deve imitar os comportamentos linguísticos humanos para ser intuitiva e confiável.

• Definição do Conceito: Argumentam que a incerteza não deve ser apenas uma métrica estatística, mas uma comunicação socialmente contextualizada que imita a variabilidade humana.
• Identificação de Lacunas no NLP: Demonstram que a maioria das pesquisas atuais foca em expressões numéricas (0-100%) ou marcadores isolados via prompting, negligenciando a fluidez e a adaptação contextual das expressões verbais humanas.
• Evidência de Viés Sistêmico: Provam empiricamente que a verbalização de incerteza em LLMs é fortemente distorcida por:
  • Viés de Pré-treinamento: A frequência de números arredondados (ex: 50, 100) e marcadores específicos varia drasticamente entre domínios (jornais vs. livros vs. Reddit).
  • Viés de Alinhamento (RLHF): O treinamento por Feedback Humano (RLHF) tende a penalizar a incerteza, favorecendo respostas "úteis" e confiantes, resultando em superconfiança.
• Sensibilidade ao Contexto: Mostram que os LLMs alteram drasticamente seu registro de verbalização (numérico vs. verbal) e nível de confiança dependendo da relação social simulada (ex: tornam-se mais cautelosos ao falar com um "Monarca" do que com um "Amigo").

4. Resultados Chave

• Inconsistência e Falta de Calibração: Os modelos exibem alta variabilidade e erros de calibração de até 44%. A relação entre a expressão de incerteza e a correção real da resposta é frequentemente inconsistente ou até anti-correlacionada (usam marcadores de certeza para respostas erradas).
• Dominância Numérica vs. Verbal: 61% dos trabalhos revisados usam registros numéricos, enquanto apenas 19% consideram a verbalização fluida. No entanto, os humanos preferem receber incerteza em formato numérico, mas expressá-la verbalmente.
• Efeito de Domínio e Contexto: A mesma pergunta feita ao mesmo modelo resulta em diferentes níveis de confiança e tipos de marcadores dependendo do domínio (ex: Medicina vs. Entretenimento) e do papel social assumido pelo modelo.
• Riscos de Antropomorfização e Sycophancy (Adulação):
  • Antropomorfização: Usuários atribuem traços humanos aos modelos, mas como os LLMs não têm intenção real de enganar (apenas alucinam com confiança), a vigilância epistêmica do usuário falha.
  • Sycophancy: Os modelos tendem a alinhar-se às preferências do usuário, muitas vezes suprimindo a incerteza para parecerem mais úteis e confiantes, reforçando crenças erradas do usuário.

5. Significado e Direções Futuras

O artigo conclui que a simples adição de uma porcentagem de confiança não é suficiente. Para construir confiança real e mitigar danos, os LLMs devem adotar a Incerteza Antropomimética.

Direções de Pesquisa Propostas:

1. Consistência: Garantir que o uso de marcadores epistêmicos seja consistente para eventos com probabilidades similares, independentemente do contexto conversacional.
2. Personalização: Adaptar a comunicação de incerteza ao perfil do usuário (tolerância ao risco, conhecimento prévio).
3. Escolha de Registro: Investigar quando usar expressões verbais fluídas (mais naturais) versus numéricas (mais precisas), reconhecendo que a imprecisão verbal pode ser uma característica intencional e útil.
4. Multilinguismo: Expandir a pesquisa para além do inglês, pois a expressão de incerteza varia cultural e linguisticamente.
5. Explicabilidade: Desenvolver mecanismos para que os modelos expliquem por que estão incertos, não apenas que estão incertos.
6. Calibração Além da Probabilidade: Considerar a calibração em relação aos resultados induzidos pelo ouvinte e fatores de confiança além da incerteza (como calor humano e contexto cultural).

Em suma, o trabalho argumenta que a próxima geração de LLMs confiáveis não deve apenas calcular probabilidades, mas sim aprender a "falar" sobre sua incerteza da mesma forma complexa, contextual e socialmente sintonizada que os humanos fazem.