Measuring Judgment Quality in Natural-Language Explanations: Evidence from Forecasting Tournaments

Resumo Técnico: Medindo a Qualidade do Julgamento em Explicações em Linguagem Natural

Definição do Problema
Tomadores de decisão recorrem rotineiramente a julgamentos de especialistas acompanhados de explicações escritas (ex: memorandos de inteligência, teses de investimento) para avaliar quais julgamentos devem ser confiáveis. No entanto, a qualidade dessas explicações é difícil de medir sistematicamente em escala. Embora pesquisas anteriores tenham identificado características de um raciocínio probabilístico sólido — como atenção às taxas de base, abertura a evidências disconfirmatórias e resistência a vieses cognitivos — medir essas características em textos não estruturados historicamente exigiu codificação especializada laboriosa, proxies automatizados grosseiros ou ferramentas limitadas a um único construto teórico. Além disso, na maioria dos domínios, a falta de uma "verdade fundamental" clara para a precisão do julgamento torna difícil vincular empiricamente a qualidade da explicação ao desempenho.

Metodologia
Os autores utilizam torneios de previsão como um campo de teste natural, onde julgamentos probabilísticos são pareados com justificativas escritas e pontuados contra resultados realizados. O estudo utiliza dados do torneio Aggregative Contingent Estimation (ACE) (2011–2015), compreendendo mais de 55.000 pares de previsão-justificativa, e valida os achados em um conjunto de dados independente (estudo Team Dynamics).

A inovação metodológica central é a introdução de Marcadores de Qualidade de Explicação (EQMs), um conjunto de sessenta padrões de raciocínio guiados pela teoria e pontuados por Grandes Modelos de Linguagem (LLMs).

• Desenvolvimento de Padrões: Os 60 padrões de EQM são extraídos da literatura de julgamento e decisão e organizados em seis famílias: Viés e Emoção, Raciocínio Analítico, Alinhamento e Disciplina, Origem de Evidências, Raciocínio Integrativo e Enquadramento Cognitivo, e Atitude e Gestão de Incerteza. Cada padrão é definido em linguagem natural com uma hipótese direcional sobre sua associação com a precisão (positiva, negativa ou neutra).
• Pipeline de Pontuação: Um LLM (GPT-4o) pontua cada justificativa em uma escala de três pontos (0: sem evidência; 1: alguma evidência; 2: evidência clara) para todos os 60 padrões simultaneamente em uma única chamada de API para fornecer contexto de desambiguação.
• Pontuação Composta: As pontuações dos 60 padrões são convertidas em uma pontuação de qualidade composta única usando regressão LASSO, treinada para prever a precisão realizada.
• Benchmarks: A abordagem EQM é comparada com:
  1. Métodos pré-LLM: Incluindo dicionários linguísticos (LIWC), medidas de legibilidade, escores de sentimento e classificadores específicos para raciocínio de "visão externa" (Uso de Classe de Comparação).
  2. Avaliações Humanas: Avaliações de utilidade fornecidas por previsores pares no torneio ACE.
  3. Indicadores Tradicionais: Precisão prévia, tamanho de atualização e frequência de previsão.

Principais Resultados
O estudo é organizado em quatro análises:

1. Poder Preditivo vs. Métodos Pré-LLM:

   • Os escores compostos de EQM superam significativamente os métodos de análise de texto pré-LLM na previsão de precisão tanto ao nível da previsão ($r = .19$ vs. $r = .06$) quanto ao nível do previsor ($r = .51$ vs. $r = .39$).
   • Mais de 90% das correlações de nível de padrão estatisticamente significativas coincidem com as hipóteses direcionais dos autores.
   • O sinal preditivo é assimétrico: os EQMs são mais confiáveis para identificar prováveis subperformadores (justificativas de baixa qualidade) do que para distinguir os melhores previsores.

2. Comparação com Indicadores Tradicionais:

   • Ao nível da previsão, os EQMs são o preditor mais forte disponível, superando até mesmo a precisão do ano anterior.
   • Ao nível do previsor, a precisão do ano anterior continua sendo o preditor mais forte ($r = .70$), mas os EQMs são competitivos com indicadores comportamentais como o tamanho da atualização ($r = .55$) e superam significativamente os métodos pré-LLM.
   • Em tarefas de agregação de multidão, classificar os previsores pelo escore de EQM de nível de previsor melhora a precisão agregada, enquanto classificar previsões individuais pelo escore de EQM de nível de previsão oferece pouco benefício além de filtrar os julgamentos mais fracos.

3. Comparação com Avaliações Humanas:

   • As avaliações humanas da qualidade da justificativa são menos consistentemente correlacionadas com a precisão do que os EQMs (Nível da previsão: $r = .07$ vs. $r = .23$; Nível do previsor: $r = .40$ vs. $r = .50$).
   • Os avaliadores humanos atribuem peso desproporcional ao comprimento da justificativa (a raiz quadrada da contagem de palavras correlaciona-se com as avaliações humanas em $r = .62$), uma característica que é essencialmente não correlacionada com a precisão da previsão.
   • A confiabilidade inter-avaliador para avaliações humanas é baixa (média de Cohen's $\kappa = .24$), enquanto o acordo entre diferentes LLMs pontuando os mesmos padrões é substancialmente maior ($\kappa = .56$).

4. Transferência Fora da Amostra:

   • Modelos EQM treinados nos dados do ACE transferem-se efetivamente para um conjunto de dados independente (estudo Team Dynamics) com questões, previsores e formatos de elicitação diferentes (quantis vs. probabilidades).
   • As correlações fora da amostra permanecem robustas (Nível da previsão: $r = .16$; Nível do previsor: $r = .46$), sugerindo que o framework captura padrões de raciocínio generalizáveis em vez de dados memorizados.

Significância e Alegações
O artigo alega três contribuições primárias:

1. Metodológica: Introduz os EQMs como um framework de medição escalável e guiado pela teoria que utiliza LLMs para extrair informações relevantes ao julgamento de textos explicativos, superando as limitações das ferramentas de PLN pré-LLM.
2. Empírica: Demonstra que esta abordagem baseada em LLM é mais preditiva da precisão do julgamento do que tanto os métodos tradicionais de análise de texto quanto as avaliações humanas.
3. Prática: Estabelece a utilidade dos EQMs para a triagem de julgamentos. O método requer apenas uma única justificativa escrita e nenhum histórico de desempenho, tornando-o aplicável em configurações de elicitação de disparo único (single-shot), onde dados de desempenho histórico não estão disponíveis.

Os autores observam limitações, incluindo o fato de que as justificativas são um proxy imperfeito para o raciocínio interno (devido ao conhecimento tácito ou justificativa post-hoc) e que os achados são correlacionais. No entanto, eles sugerem que o framework oferece uma ferramenta portátil para transformar texto não estruturado em características explícitas e testáveis de qualidade de julgamento em vários domínios.