LLM-based uncertainty assessment of social media situational signals for crisis reporting

1. Enunciato del Problema

I social media sono diventati una fonte critica di consapevolezza situazionale (SA) durante i disastri, offrendo intuizioni in tempo reale sugli impatti e sui bisogni in evoluzione. Tuttavia, i sistemi esistenti di segnalazione automatica delle crisi che sfruttano i Modelli Linguistici di Grande Dimensione (LLM) soffrono di un difetto critico: assumono implicitamente che tutti i post sui social media classificati siano ugualmente plausibili.

In realtà, la qualità delle informazioni durante le crisi varia significativamente a causa di dati incompleti, contraddizioni, voci di corridoio e affidabilità della fonte. Trattare tutti i segnali come ugualmente validi rischia di amplificare il rumore o di scartare segnali genuini ma anomali. Inoltre, le attuali pipeline comunicano raramente il grado di certezza associato alle informazioni estratte, limitandone l'utilità per i decisori umani che devono prioritizzare le azioni sotto pressione temporale. Manca un quadro di riferimento che modelli esplicitamente l'incertezza epistemica (l'incertezza derivante dalla conoscenza incompleta) fondando le affermazioni dei social media su dati reali indipendenti.

2. Metodologia

Gli autori propongono un framework di valutazione dell'incertezza in tre fasi che integra dati proxy esterni per valutare la plausibilità e la confidenza dei segnali dei social media. La pipeline è modulare e consiste in:

Fase 1: Classificazione della Consapevolezza Situazionale (SA)

• Input: Post grezzi dei social media (tweet).
• Processo: Un LLM zero-shot classifica i tweet in specifiche categorie SA (es. "Persone Colpite", "Danni alle Infrastrutture", "Bisogni e Donazioni") basandosi su uno schema consolidato.
• Output: Tweet arricchiti con etichette SA e relative motivazioni.

Fase 2: Valutazione dell'Incertezza Informata dai Proxy (Contributo Principale)

Questa fase valuta se una specifica affermazione situazionale riflette plausibilmente le condizioni del mondo reale.

• Input:
  1. Il tweet classificato (testo + metadati).
  2. Dati Proxy Esterni: Stime di impatto strutturate e raccolte indipendentemente (es. riassunti USGS PAGER per i terremoti, inclusi l'Intensità Mercalli Modificata, l'esposizione della popolazione e le stime delle vittime).
• Meccanismo: L'LLM viene sollecitato a ragionare congiuntamente sul contenuto del tweet e sui dati proxy. Non tratta il proxy come verità assoluta, ma come un ancoraggio contestuale.
• Output: Due metriche distinte per ogni tweet:
  1. Punteggio di Plausibilità ($l_i$): Un punteggio graduale su una scala Likert a 5 punti (1 = Implausibile, 5 = Altamente Plausibile) che indica quanto bene l'affermazione si allinea con le condizioni reali attese.
  2. Punteggio di Confidenza ($c_i$): Un punteggio continuo (0–100) che rappresenta la certezza auto-espressa del modello nel suo giudizio di plausibilità.
• Strategia di Elicitazione: Per garantire robustezza, il framework utilizza una strategia di campionamento (generando $M=3$ risposte con temperature variabili) e una strategia di aggregazione (mediando i punteggi) per catturare la variabilità e ridurre l'eccessiva sicurezza, adattando i metodi di Xiong et al. [7].

Fase 3: Generazione di Rapporti Consapevoli dell'Incertezza

• Processo: Invece di generare un singolo riassunto, il sistema aggrega i tweet in base ai loro profili di incertezza.
• Operazionalizzazione: Lo spazio plausibilità-confidenza è partizionato in quattro quadranti:
  • Q3: Alta Plausibilità / Alta Confidenza (Segnali azionabili e verificati).
  • Q1: Alta Plausibilità / Bassa Confidenza (Segnali emergenti che richiedono monitoraggio).
  • Q4: Bassa Plausibilità / Alta Confidenza (Segnali espressi con sicurezza ma probabilmente falsi/voci di corridoio).
  • Q2: Bassa Plausibilità / Bassa Confidenza (Rumore ambiguo).
• Output: Rapporti di crisi strutturati che comunicano esplicitamente cosa viene segnalato e quanto è certa la sistema, permettendo un "triage epistemico".

3. Contributi Chiave

1. Framework Innovativo: Introduzione di un framework di valutazione dell'incertezza informata dai proxy che modella esplicitamente sia la plausibilità che la confidenza per i segnali dei social media, superando la classificazione binaria.
2. Valutazione Empirica: Uno studio su larga scala che coinvolge oltre 200.000 tweet relativi a sei principali eventi sismici (es. Cile 2014, Nepal 2015, Haiti 2021), utilizzando i dati USGS PAGER come proxy esterno.
3. Operazionalizzazione: Dimostrazione di come le stime di incertezza possano essere utilizzate per generare rapporti di crisi differenziati, consentendo agli analisti di prioritizzare le informazioni in base ai livelli di rischio e certezza.

4. Risultati

Lo studio affronta due principali Domande di Ricerca (RQ):

• RQ1: Il framework produce variazione nelle stime di incertezza?

  • Sì. A differenza di una baseline in cui tutti i tweet sono trattati come ugualmente plausibili (entropia zero), il framework proposto genera eterogeneità strutturata.
  • Metriche: L'analisi dell'entropia di Shannon ha mostrato una dispersione non nulla sia per la plausibilità (fino a 1,82 bit) che per la confidenza (fino a 1,21 bit) tra gli eventi.
  • Osservazione: Sebbene gli LLM mostrassero una tendenza verso un'alta confidenza (un noto bias), il sistema è riuscito comunque a differenziare i segnali, assegnando punteggi di plausibilità variabili (1–5) invece di collassarli in un'unica categoria.

• RQ2: Condizionare sull'incertezza altera la struttura del rapporto?

  • Sì. I rapporti generati da diversi quadranti di incertezza (Q1–Q4) hanno mostrato differenze misurabili nella composizione semantica rispetto a un riassunto baseline.
  • Metriche: L'analisi di similarità tra rapporti ha rivelato che i rapporti provenienti da quadranti specifici (es. Q4 nell'evento di Fukushima) erano semanticamente distinti dalla baseline e dagli altri quadranti.
  • Coerenza Interna: I rapporti derivati da profili di incertezza specifici hanno spesso mostrato una maggiore coerenza semantica interna, suggerendo che il raggruppamento per incertezza crea narrazioni più focalizzate.

5. Significato e Implicazioni

• Decisioni Consapevoli del Rischio: Il framework trasforma i dati grezzi in intelligence "consapevole del rischio". Permette ai soccorritori di distinguere tra intelligence azionabile ad alta confidenza e segnali ambigui o potenzialmente fuorvianti senza richiedere un fact-checking manuale di ogni post.
• Gestione delle Anomalie: Separando i segnali "Bassa Plausibilità/Alta Confidenza" (Q4), il sistema aiuta a identificare voci di corridoio espresse con sicurezza o eventi locali anomali (es. il crollo di un edificio specifico non catturato nei dati regionali aggregati) che altrimenti verrebbero scartati o accettati ciecamente.
• Scalabilità: L'approccio è agnostico rispetto alla piattaforma e può essere applicato ad altri tipi di disastri (alluvioni, incendi boschivi) purché siano disponibili dati proxy esterni strutturati.
• Umano nel Ciclo: Il sistema è progettato per supportare gli analisti umani, non per sostituirli. Struttura il panorama informativo, permettendo agli umani di concentrare i propri sforzi di verifica su specifici profili di incertezza (es. investigando i segnali emergenti Q1 o le potenziali disinformazioni Q4).

6. Limitazioni

• Dipendenza dai Dati: Il framework dipende dalla disponibilità di dati proxy esterni strutturati (come USGS PAGER), che potrebbero non esistere per tutti i tipi di pericolo (es. alluvioni complesse o disordini civili).
• Sensibilità delle Soglie: La partizione dei quadranti si basa su soglie fisse (Likert=3, Confidenza=50) che non sono state ottimizzate; soglie diverse potrebbero alterare la distribuzione dei tweet.
• Metriche di Valutazione: Lo studio utilizza la similarità basata su embedding per la valutazione piuttosto che il fact-checking di esperti umani, che è difficile da eseguire su larga scala per le crisi in tempo reale.
• Bias del Modello: L'eccessiva sicurezza osservata negli LLM rimane una sfida, sebbene la strategia di campionamento la mitighi parzialmente.

Conclusione

Questo paper rappresenta un passo significativo avanti nell'Informatica delle Crisi passando da una semplice estrazione a una sintesi consapevole dell'incertezza. Modellando esplicitamente la plausibilità delle affermazioni dei social media rispetto a proxy reali ed elicita la confidenza del modello, il framework fornisce uno strumento più trasparente, sfumato e operativamente utile per la segnalazione automatica delle crisi.