Measuring Judgment Quality in Natural-Language Explanations: Evidence from Forecasting Tournaments

Sintesi Tecnica: Misurare la Qualità del Giudizio nelle Spiegazioni in Linguaggio Naturale

Definizione del Problema
I decisori si affidano regolarmente a giudizi esperti accompagnati da spiegazioni scritte (ad esempio, memo di intelligence, tesi di investimento) per valutare quali giudizi considerare affidabili. Tuttavia, la qualità di queste spiegazioni è difficile da misurare sistematicamente su larga scala. Sebbene la ricerca precedente abbia identificato i tratti distintivi di un ragionamento probabilistico solido (come l'attenzione ai tassi di base, l'apertura verso prove disconfermanti e la resistenza ai bias cognitivi), la misurazione di queste caratteristiche in testi non strutturati ha storicamente richiesto una codifica esperta laboriosa, proxy automatizzati grossolani o strumenti limitati a singoli costrutti teorici. Inoltre, nella maggior parte dei domini, la mancanza di una chiara "verità di base" (ground truth) per l'accuratezza del giudizio rende difficile collegare empiricamente la qualità della spiegazione alla performance.

Metodologia
Gli autori utilizzano i tornei di previsione come un terreno di prova naturale, dove giudizi probabilistici sono accoppiati con razionali scritti e valutati rispetto ai risultati realizzati. Lo studio utilizza i dati del torneo Aggregative Contingent Estimation (ACE) (2011–2015), che comprende oltre 55.000 coppie previsione-razionale, e valida i risultati su un dataset indipendente (studio Team Dynamics).

L'innovazione metodologica centrale è l'introduzione dei Marcatori di Qualità della Spiegazione (EQM), un insieme di sessanta pattern di ragionamento guidati dalla teoria e valutati da Modelli di Linguaggio di Grandi Dimensioni (LLM).

• Sviluppo dei Pattern: I 60 pattern EQM sono tratti dalla letteratura sul giudizio e sulle decisioni e organizzati in sei famiglie: Bias ed Emozione, Ragionamento Analitico, Allineamento e Disciplina, Approvvigionamento delle Prove, Ragionamento Integrativo e Inquadramento Cognitivo, e Atteggiamento e Gestione dell'Incertezza. Ogni pattern è definito in linguaggio naturale con un'ipotesi direzionale riguardante la sua associazione con l'accuratezza (positiva, negativa o neutra).
• Pipeline di Valutazione: Un LLM (GPT-4o) valuta ogni razionale su una scala a tre punti (0: nessuna evidenza; 1: qualche evidenza; 2: chiara evidenza) per tutti i 60 pattern simultaneamente in un'unica chiamata API per fornire un contesto disambiguante.
• Valutazione Composita: I 60 punteggi dei pattern vengono convertiti in un singolo punteggio di qualità composito utilizzando la regressione LASSO, addestrata per predire l'accuratezza realizzata.
• Benchmark: L'approccio EQM viene confrontato con:
  1. Metodi pre-LLM: Includendo dizionari linguistici (LIWC), misure di leggibilità, punteggi di sentiment e classificatori specifici per il ragionamento della "prospettiva esterna" (outside-view - Comparison Class Usage).
  2. Valutazioni Umane: Valutazioni di utilità fornite da altri previsori nel torneo ACE.
  3. Indicatori Tradizionali: Accuratezza precedente, dimensione dell'aggiornamento e frequenza della previsione.

Risultati Chiave
Lo studio è organizzato in quattro analisi:

1. Potere Predittivo vs Metodi Pre-LLM:

   • I punteggi compositi EQM superano significativamente i metodi di analisi testuale pre-LLM nel predire l'accuratezza sia a livello di previsione ($r = .19$ vs $r = .06$) che a livello di previsore ($r = .51$ vs $r = .39$).
   • Oltre il 90% delle correlazioni a livello di pattern statisticamente significative concorda con le ipotesi direzionali degli autori.
   • Il segnale predittivo è asimmetrico: gli EQM sono più affidabili nell'identificare i potenziali sottoperformer (razionali di bassa qualità) che nel distinguere i migliori previsori in assoluto.

2. Confronto con Indicatori Tradizionali:

   • Al livello di previsione, gli EQM sono il predittore più forte disponibile, superando anche l'accuratezza dell'anno precedente.
   • Al livello di previsore, l'accuratezza dell'anno precedente rimane il predittore più forte ($r = .70$), ma gli EQM sono competitivi con gli indicatori comportamentali come la dimensione dell'aggiornamento ($r = .55$) e superano significativamente i metodi pre-LLM.
   • Nei compiti di aggregazione del crowd, classificare i previsori in base ai punteggi EQM del previsore migliora l'accuratezza aggregata, mentre classificare le singole previsioni in base al punteggio EQM della previsione offre poco beneficio oltre allo screening dei giudizi più deboli.

3. Confronto con le Valutazioni Umane:

   • Le valutazioni umane sulla qualità del razionale sono meno coerentemente correlate con l'accuratezza rispetto agli EQM (Livello previsione: $r = .07$ vs $r = .23$; Livello previsore: $r = .40$ vs $r = .50$).
   • I valutatori umani attribuiscono un peso sproporzionato alla lunghezza del razionale (la radice quadrata del conteggio delle parole correla con le valutazioni umane a $r = .62$), una caratteristica che è essenzialmente non correlata con l'accuratezza della previsione.
   • L'affidabilità inter-valutatore per le valutazioni umane è bassa (media Cohen's $\kappa = .24$), mentre l'accordo tra diversi LLM che valutano gli stessi pattern è sostanzialmente più alto ($\kappa = .56$).

4. Trasferibilità Out-of-Sample:

   • I modelli EQM addestrati sui dati ACE si trasferiscono efficacementmente a un dataset indipendente (studio Team Dynamics) con domande, previsori e formati di elicitazione differenti (quantile vs probabilità).
   • Le correlazioni out-of-sample rimangono robuste (Livello previsione: $r = .16$; Livello previsore: $r = .46$), suggerendo che il framework cattura pattern di ragionamento generalizzabili piuttosto che dati memorizzati.

Significatività e Rivendicazioni
Il paper rivendica tre contributi primari:

1. Metodologico: Introduce gli EQM come un framework di misurazione scalabile e guidato dalla teoria che sfrutta gli LLM per estrarre informazioni rilevanti per il giudizio dal testo scritto, superando i limiti degli strumenti NLP pre-LLM.
2. Empirico: Dimostra che questo approccio basato su LLM è più predittivo dell'accuratezza del giudizio rispetto sia ai metodi tradizionali di analisi del testo che alle valutazioni umane.
3. Pratico: Stabilisce l'utilità degli EQM per lo screening dei giudizi. Il metodo richiede solo un singolo razionale scritto e nessun track record precedente, rendendolo applicabile in contesti di elicitazione "single-shot" dove i dati storici sulle performance non sono disponibili.

Gli autori segnalano dei limiti, tra cui il fatto che i razionali siano una rappresentazione imperfetta del ragionamento interno (a causa della conoscenza tacita o della giustificazione post-hoc) e che le conclusioni siano di natura correlazionale. Tuttavia, suggeriscono che il framework offra uno strumento portabile per trasformare il testo non strutturato in caratteristiche esplicite e testabili della qualità del giudizio attraverso vari domini.