Resumo Técnico: Consistente, mas Descalibrado: Avaliando as Limitações de LLMs para Comunicação de Risco em Linguagem Natural

1. Definição do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados como explicadores post-hoc para saídas geradas por IA em domínios de alto risco, como saúde, finanças e direito. Embora existam pontuações de incerteza calibradas para indicar quando a previsão de um modelo deve ser confiada, os usuários finais frequentemente têm dificuldade em interpretar esses valores numéricos devido à divergência entre definições estatísticas formais e a compreensão intuitiva de probabilidade.

O problema central abordado é se os LLMs podem traduzir de forma confiável informações probabilísticas (especificamente verossimilhança e incerteza preditiva) em Explicações em Linguagem Natural (NLEs). Para que esse papel seja viável, os modelos devem satisfazer dois critérios:

1. Consistência: Produzir descritores verbais idênticos para entradas idênticas em consultas repetidas.
2. Calibração: Selecionar descritores que reflitam com precisão a magnitude das quantidades numéricas subjacentes (por exemplo, atribuir "muito provável" a eventos de alta probabilidade e "improvável" a eventos de baixa probabilidade).

A literatura atual sugere que os LLMs podem priorizar a utilidade e a decisividade em detrimento da expressão de incerteza, levando a limitações sistemáticas na verbalização probabilística. No entanto, faltava uma avaliação controlada que mensurasse conjuntamente a calibração e a consistência através de múltiplas arquiteturas, contextos de domínio e configurações de geração.

2. Metodologia

Desenho Experimental

O estudo formaliza a comunicação de risco como uma tarefa de seleção de descritores. O pipeline experimental envolve:

1. Simulação Upstream: As previsões são simuladas através da amostragem de distribuições Beta parametrizadas por um modo ($m$, representando a verossimilhança) e um tamanho de amostra prévia ($k$, representando a incerteza). Uma grade de 100 combinações ($m \in [0,05, 0,95]$, $k \in [50, 950]$) foi utilizada para gerar variações sistemáticas em verossimilhança e incerteza.
2. Formulação da Tarefa: Os LLMs foram instruídos a selecionar o melhor descritor verbal para a verossimilhança e a incerteza desses cenários simulados a partir de um conjunto ordenado e fixo de NLEs (ex: "virtualmente certo" a "excepcionalmente improvável").
3. Variáveis:
   • Modelos: Nove LLMs foram avaliados, variando de modelos de código aberto pequenos (4B–8B parâmetros) a modelos comerciais e abertos maiores (até 32B e GPT-5.4).
   • Contextos de Domínio: Seis contextos foram usados para testar a robustez, variando em nível de risco (alto, médio, baixo) e escopo do evento (individual vs. populacional): previsão de enchentes, previsão de câncer, anafilaxia a drogas, jogos de azar, recomendações de restaurantes e trilhas de aurora.
   • Temperatura: Os experimentos foram repetidos através de dez configurações de temperatura (0,0 a 0,9).
   • Repetições: Cada experimento foi repetido dez vezes para medir a consistência.
4. Estudos de Ablação:
   • Estatísticas Pré-computadas: Uma ablação forneceu o modo ($m$) e o tamanho da amostra ($k$) diretamente no prompt para determinar se o gargalo era a inferência estatística ou a verbalização.
   • Robustez da Métrica: Seis ablações adicionais testaram a sensibilidade da métrica, incluindo validação externa contra intervalos elicitados por especialistas, variações de parâmetros de penalidade e medidas alternativas de incerteza (variância, entropia).

Métricas de Avaliação

• Pontuação de Consistência: Mediu a frequência de seleção de descritores idênticos através de dez repetições para a mesma entrada (intervalo [0, 1]).
• Pontuação de Calibração: Adaptada do teste de tendência de Jonckheere-Terpstra (JT). Avaliou se as escolhas de descritores do modelo respeitavam a ordenação numérica das distribuições subjacentes. Uma violação ocorria se um modelo atribuísse um descritor "mais forte" a um valor numérico menor do que um descritor "mais fraco" em outro ponto. A pontuação foi penalizada para modelos que falharam em utilizar todo o vocabulário de descritores disponíveis.
• Correção da Tarefa (pass@k): Mediu a probabilidade de o modelo produzir uma saída formatada corretamente dentro de $k=5$ tentativas, garantindo que erros de formatação não inflassem artificialmente as pontuações de calibração ou consistência.

3. Principais Resultados

Consistência vs. Calibração

• Descoberta Geral: Os LLMs mostraram-se geralmente consistentes, mas descalibrados.
• Consistência: A maioria das arquiteturas alcançou altas pontuações de consistência (média > 0,8) para tarefas de verossimilhança. O GPT-5.4 alcançou uma pontuação de consistência média perfeita de 1,0 para verossimilhança e incerteza. No entanto, a consistência diminuiu significativamente conforme a temperatura aumentava.
• Calibração:
  • Verossimilhança: A maioria dos modelos estava descalibrada. O GPT-5.4 foi a exceção, alcançando uma calibração de verossimilhança média de 0,96. Outros modelos variaram de 0,07 a 0,78.
  • Incerteza: A calibração foi substancialmente mais fraca em todos os modelos. Nenhuma arquitetura alcançou uma pontuação acima de 0,40 para tarefas de incerteza (com o GPT-5.4 pontuando 0,37 e outros tão baixos quanto 0,07).

Impacto das Variáveis

• Temperatura: O aumento da temperatura criou um trade-off: melhorou ligeiramente a calibração (ao incentivar o uso de um vocabulário mais amplo), mas diminuiu consideravelmente a consistência.
• Contexto de Domínio: O contexto influenciou ambas as métricas, mas nenhum domínio único melhorou ou piorou uniformemente o desempenho de todos os modelos. O GPT-5.4 permaneceu amplamente inalterado pelas mudanças de contexto de domínio.
• Dados Pré-computados: Fornecer resumos numéricos explícitos (modo e tamanho da amostra) não melhorou a calibração ou a consistência para nenhum modelo. Isso sugere que o gargalo reside na etapa de verbalização (mapeamento de números para palavras) e não na inferência estatística de amostras brutas.
• Uso de Vocabulário: A maioria dos modelos falhou em selecionar todos os descritores disponíveis. Eles tenderam a adotar um conjunto estreito de descritores moderados (ex: "alguma certeza") independentemente da incerteza matemática subjacente, raramente selecionando descritores extremos.

Robustez

Estudos de ablação confirmaram que os achados foram robustos. A validação externa contra intervalos elicitados por especialistas mostrou que o GPT-5.4 acompanhou de perto o consenso dos especialistas, enquanto outros modelos apresentaram grandes erros absolutos. O uso de parâmetros pré-computados não alterou a descalibração fundamental, reforçando que o problema não é a incapacidade de calcular estatísticas, mas a incapacidade de verbalizá-las com precisão.

4. Contribuições e Significância

O artigo fornece uma avaliação sistemática dos LLMs como explicadores post-hoc para previsões probabilísticas, estabelecendo que:

1. Limitações Atuais: Os LLMs atuais não constituem ferramentas de comunicação de risco zero-shot independentes e confiáveis. Embora sejam consistentes, são significativamente descalibrados, particularmente em relação à incerteza preditiva.
2. O Gargalo da Verbalização: A incapacidade de comunicar o risco com precisão não se deve a uma falha no raciocínio estatístico (visto que fornecer os parâmetros reais não ajudou), mas reside no mapeamento de quantidades numéricas conhecidas para descritores verbais calibrados.
3. Escala e Arquitetura: O desempenho forte não surgiu uniformemente em todas as arquiteturas. Embora o GPT-5.4 tenha demonstrado quase uma calibração perfeita para verossimilhança, essa competência não se transferiu para tarefas de incerteza, sugerindo que a escala sozinha pode não ser suficiente para uma compreensão emergente de conceitos probabilísticos.
4. Sensibilidade ao Contexto: Os modelos exibem sensibilidade ao contexto do domínio, potencialmente usando linguagem mais cautelosa em cenários de alto risco médico ou de desastres, o que complica a distinção entre descalibração genuína e o uso socialmente apropriado de termos de cautela (hedging).

5. Conclusão

Os autores concluem que, embora os LLMs continuem promissores para produzir linguagem fluente e acessível, eles atualmente carecem de um mapeamento interno suficientemente estável entre informações probabilísticas e NLEs. O estudo enfatiza que parear LLMs com métodos estatísticos de upstream sozinho não resolve os déficits de calibração, destacando a necessidade de intervenções direcionadas especificamente na etapa de verbalização. Os achados reforçam que a comunicação de risco é uma tarefa difícil e especializada, e que os modelos atuais ainda não estão prontos para traduzir previsões probabilísticas em linguagem natural de forma confiável para a tomada de decisão informada.