Sintesi Tecnica: Coerenti ma Miscalibrati: Valutazione dei Limiti degli LLM per la Comunicazione del Rischio nel Linguaggio Naturale

1. Definizione del Problema

I Large Language Models (LLM) vengono sempre più impiegati come spiegatori post-hoc per output generati dall'IA in domini ad alto rischio come la sanità, la finanza e il diritto. Sebbene esistano punteggi di incertezza calibrati per indicare quando la previsione di un modello debba essere ritenuta affidabile, gli utenti finali spesso faticano a interpretare questi valori numerici a causa di una divergenza tra le definizioni statistiche formali e l'intuizione probabilistica.

Il problema centrale affrontato è se gli LLM possano tradurre in modo affidabile le informazioni probabilistiche (specificamente la verosimiglianza e l'incertezza predittiva) in Spiegazioni in Linguaggio Naturale (NLE). Affinché questo ruolo sia percorribile, i modelli devono soddisfare due criteri:

1. Coerenza: Produrre descrittori verbali identici per input identici attraverso query ripetute.
2. Calibrazione: Selezionare descrittori che riflettano accuratamente l'entità delle quantità numeriche sottostanti (ad esempio, assegnare "molto probabile" a eventi ad alta probabilità e "improbabile" a quelli a bassa probabilità).

La letteratura attuale suggerisce che gli LLM possano dare priorità all'utilità e alla decisionalità rispetto all'espressione dell'incertezza, portando a limitazioni sistematiche nella verbalizzazione probabilistica. Tuttavia, mancava una valutazione controllata che misurasse congiuntamente calibrazione e coerenza attraverso molteplici architetture, contesti di dominio e impostazioni di generazione.

2. Metodologia

Design Sperimentale

Lo studio formalizza la comunicazione del rischio come un compito di selezione di descrittori. La pipeline sperimentale prevede:

1. Simulazione Upstream: Le previsioni sono simulate campionando da distribuzioni Beta parametrizzate da un modo ($m$, che rappresenta la verosimiglianza) e da una dimensione del campione prioritaria ($k$, che rappresenta l'incertezza). È stata utilizzata una griglia di 100 combinazioni ($m \in [0,05, 0,95]$, $k \in [50, 950]$) per generare variazioni sistematiche in verosimiglianza e incertezza.
2. Formulazione del Compito: Gli LLM sono stati istruiti a selezionare il miglior descrittore verbale per la verosimiglianza e l'incertezza di questi scenari simulati da un insieme fisso e ordinato di NLE (ad esempio, "quasi certo" da "eccezionalmente improbabile").
3. Variabili:
   • Modelli: Sono stati valutati nove LLM, che spaziano da piccoli modelli open-source (4B–8B parametri) a modelli commerciali e open più grandi (fino a 32B e GPT-5.4).
   • Contesti di Dominio: Sono stati utilizzati sei contesti per testare la robustezza, variando il livello di posta in gioco (alto, medio, basso) e l'ambito dell'evento (individuale vs. popolazione): previsioni di inondazioni, diagnosi di cancro, anafilassi da farmaci, gioco d'azzardo, raccomandazioni su ristoranti e trekking per l'aurora.
   • Temperatura: Gli esperimenti sono stati ripetuti attraverso dieci impostazioni di temperatura (da 0.0 a 0.9).
   • Ripetizioni: Ogni esperimento è stato ripetuto dieci volte per misurare la coerenza.
4. Studi di Ablazione:
   • Statistiche Precomputate: Un'ablazione ha fornito il modo ($m$) e la dimensione del campione ($k$) direttamente nel prompt per determinare se il collo di bottiglia fosse l'inferenza statistica o la verbalizzazione.
   • Robustezza della Metrica: Sei ablazioni aggiuntive hanno testato la sensibilità delle metriche, inclusa la validazione esterna rispetto a intervalli elicitati da esperti, variazioni dei parametri di penalità e metriche di incertezza alternative (varianza, entropia).

Metriche di Valutazione

• Punteggio di Coerenza (Consistency Score): Ha misurato la frequenza di una selezione di descrittori identica attraverso dieci ripetizioni per lo stesso input (intervallo [0, 1]).
• Punteggio di Calibrazione (Calibration Score): Adattato dal test di tendenza di Jonckheere-Terpstra (JT). Ha valutato se le scelte di descrittori del modello rispettassero l'ordinamento numerico delle distribuzioni sottostanti. Una violazione si verificava se un modello assegnava un descrittore "più forte" a un valore numerico inferiore rispetto a un descrittore "più debole" altrove. Il punteggio è stato penalizzato per i modelli che non riuscivano a utilizzare l'intero vocabolario di descrittori disponibili.
• Correttezza del Compito (pass@k): Ha misurato la probabilità che il modello produca un output correttamente formattato entro $k=5$ tentativi, garantendo che gli errori di formattazione non gonfiassero artificialmente i punteggi di calibrazione o coerenza.

3. Risultati Chiave

Coerenza vs. Calibrazione

• Risultato Generale: Gli LLM sono risultati essere generalmente coerenti ma miscalibrati.
• Coerenza: La maggior parte delle architetture ha raggiunto punteggi di coerenza elevati (media > 0,8) per i compiti di verosimiglianza. GPT-5.4 ha ottenuto un punteggio di coerenza media perfetto di 1,0 sia per la verosimiglianza che per l'incertezza. Tuttavia, la coerenza è diminuita significativamente all'aumentare della temperatura.
• Calibrazione:
  • Verosimiglianza: La maggior parte dei modelli era miscalibrata. GPT-5.4 è stato l'eccezione, raggiungendo una calibrazione della verosimiglianza media di 0,96. Altri modelli variavano da 0,07 a 0,78.
  • Incertezza: La calibrazione è stata sostanzialmente più debole in tutti i modelli. Nessuna architettura ha superato il punteggio di 0,40 per i compiti di incertezza (con GPT-5.4 che ha ottenuto 0,37 e altri che sono scesi fino a 0,07).

Impatto delle Variabili

• Temperatura: L'aumento della temperatura ha creato un compromesso: ha migliorato leggermente la calibrazione (incoraggiando l'uso di un vocabolario più ampio) ma ha diminuito considerevolmente la coerenza.
• Contesto di Dominio: Il contesto ha influenzato entrambi i parametri, ma nessun singolo dominio ha migliorato o peggiorato uniformemente le prestazioni in tutti i modelli. GPT-5.4 è rimasto ampiamente ininfluenzato dai cambiamenti di contesto di dominio.
• Dati Precomputati: Fornire riassunti numerici espliciti (modo e dimensione del campione) non ha migliorato la calibrazione o la coerenza per alcun modello. Ciò suggerisce che il collo di bottiglia risieda nel passaggio di verbalizzazione (mappatura dei numeri in parole) piuttosto che nell'inferenza statistica dei campioni grezzi.
• Utilizzo del Vocabolario: La maggior parte dei modelli non è riuscita a selezionare tutti i descrittori disponibili. Tendono a ripiegare su un set ristretto di descrittori moderati (ad esempio, "piuttosto certo") indipendentemente dall'incertezza matematica sottostante, raramente selezionando descrittori estremi.

Robustezza

Gli studi di ablazione hanno confermato che i risultati sono robusti. La validazione esterna rispetto agli intervalli elicitati dagli esperti ha mostrato che GPT-5.4 seguiva da vicino il consenso degli esperti, mentre altri modelli mostravano errori assoluti elevati. L'uso di parametri precomputati non ha alterato la miscalibrazione fondamentale, rafforzando l'idea che il problema non sia l'incapacità di calcolare le statistiche, ma l'incapacità di verbalizzarle accuratamente.

4. Contributi e Significato

Il documento fornisce una valutazione sistematica degli LLM come spiegatori post-hoc per previsioni probabilistiche, stabilendo che:

1. Limitazioni Attuali: Gli attuali LLM non costituiscono strumenti affidabili di comunicazione del rischio stand-alone zero-shot. Sebbene siano coerenti, sono significativamente miscalibrati, specialmente riguardo all'incertezza predittiva.
2. Il Collo di Bottiglia della Verbalizzazione: L'incapacità di comunicare il rischio accuratamente non deriva da un fallimento nel ragionamento statistico (dato che fornire i parametri reali non ha aiutato), ma risiede nella mappatura di quantità numeriche note in descrittori verbali calibrati.
3. Scala e Architettura: Le prestazioni elevate non sono emerse uniformemente tra le architetture. Sebbene GPT-5.4 abbia dimostrato una quasi perfetta calibrazione per la verosimiglianza, questa competenza non si è trasferita ai compiti di incertezza, suggerendo che la scala da sola potrebbe non essere sufficiente per un'emergenza di comprensione dei concetti probabilistici.
4. Sensibilità al Contesto: I modelli mostrano sensibilità al contesto di dominio, utilizzando potenzialmente un linguaggio più cauto in scenari medici o di disastri ad alto rischio, il che complica la distinzione tra reale miscalibrazione e un appropriato atteggiamento di cautela sociale (hedging).

5. Conclusione

Gli autori concludono che, sebbene gli LLM rimangano promettenti per la produzione di un linguaggio fluido e accessibile, attualmente mancano di una mappatura interna sufficientemente stabile tra le informazioni probabilistiche e le NLE. Lo studio sottolinea che accoppiare gli LLM con metodi statistici a monte da soli non risolve i deficit di calibrazione, evidenziando la necessità di interventi mirati specificamente alla fase di verbalizzazione. I risultati rafforzano il fatto che la comunicazione del rischio è un compito difficile e specializzato, e che i modelli attuali non sono ancora pronti per tradurre in modo affidabile le previsioni probabilistiche in linguaggio naturale per un processo decisionale informato.