Sintesi Tecnica: I Large Language Models Predicono con Accuratezza le Percezioni Pubbliche sul Supporto all'Azione Climatica in tutto il Mondo

Definizione del Problema

Affrontare il cambiamento climatico richiede cambiamenti coordinati nel comportamento individuale e nelle politiche sistemiche. Sebbene i sondaggi sull'opinione globale indichino un ampio sostegno all'azione climatica (ad es., una disponibilità del 69% di contribuire con l'1% del reddito), gli sforzi di mitigazione effettivi rimangono insufficienti. Una barriera primaria identificata dalla ricerca multidisciplinare è l'ignoranza pluralistica: gli individui sottostimano sistematicamente il livello di supporto e la volontà di agire tra i propri simili. Queste mispercezioni (credenze di secondo ordine) inibiscono il supporto espresso e l'azione attraverso meccanismi di cooperazione condizionata, creando uno spirale di inazione auto-perpetuante.

Correggere queste lacune richiede mappe temporali e globali delle discrepanze di percezione. Tuttavia, generare tali dati è logisticamente complesso e costoso, poiché richiede misurazioni accoppiate di atteggiamenti personali e percepiti da campioni rappresentativi in diverse nazioni. Questo studio investiga se i Large Language Models (LLM) possano servire come alternativa o complemento scalabile ed economico ai sondaggi tradizionali per mappare queste lacune di percezione in tutto il mondo.

Metodologia

Dati e Verità di Base (Ground Truth)

Lo studio utilizza i dati del Global Climate Change Survey (parte del Gallup World Poll 2021/22), che copre 125 paesi con circa 129.902 rispondenti.

• Variabile di Esito: Il "gap di percezione", definito come la differenza tra la media a livello nazionale della disponibilità personale di contribuire finanziariamente all'azione climatica (credenza di primo ordine) e la disponibilità percepita degli altri (credenza di secondo ordine).
• Covariate: Indicatori sociodemografici (età, istruzione, religiosità), macroeconomici (PIL pro capite, disuguaglianza, HDI) e climatici (temperatura media) per paese sono stati aggregati dai dati del World Bank e di Gallup.

Disegno Sperimentale

Gli autori hanno condotto un esperimento preregistrato (OSF: ez4ur) confrontando quattro LLM allo stato dell'arte con baseline statistiche:

1. Modelli Valutati: GPT-4o mini, Claude 3.5 Haiku, Gemini 2.5 Flash e Llama 4 Maverick (17B).
2. Protocollo di Prompting: I modelli sono stati interrogati sotto otto stadi informativi sequenziali (Stadio 1 da 8), che vanno dal fornire solo il nome del paese alla fornitura dell'intero set di dati sociodemografici, economici, climatici e di disponibilità di primo ordine.
3. Compito: Ai modelli è stato chiesto di stimare la percentuale di rispondenti in un dato paese che credono che altri siano disposti a contribuire con l'1% del proprio reddito all'azione climatica, basandosi strettamente sui dati contestuali forniti.
4. Benchmark: Le prestazioni degli LLM sono state confrontate con:
   • Verità di Base: I reali gap di percezione derivati dai sondaggi.
   • Modelli Statistici: Regressioni Ordinary Least Squares (OLS) e Lasso addestrate sull'80% dei paesi e valutate su un set di holdout del 20%.

Test Diagnostici e Meccanicistici

Per distinguere tra inferenza strutturata e memorizzazione dei dati di addestramento, gli autori hanno impiegato diversi test diagnostici:

• Ablazione delle Caratteristiche (Feature Ablation): Rimozione sistematica di specifiche variabili di input (ad es., rimuovere la disponibilità personale, il PIL o i dati demografici) per misurare l'impatto sull'errore di predizione.
• Perturbazioni Controfattuali:
  • Flip della Disponibilità (Willingness Flip): Scambio di valori di alta/bassa disponibilità personale tra i paesi.
  • Mismatch del Nome (Name Mismatch): Assegnazione del nome di un paese a un diverso profilo di dati.
  • Flip del PIL (GDP Flip): Inversione dei valori del PIL tra i paesi.
• Controlli di Robustezza: Test su diversi formati di prompt (elenchi puntati vs frasi) e generalizzazione su 24 gap di percezione alternativi sulle politiche climatiche degli Stati Uniti.

Risultati Chiave

Accuratezza Predittiva

• Top Performer: Claude 3.5 Haiku e Llama 4 Maverick hanno dimostrato la maggiore accuratezza.
  • Claude: Ha raggiunto un Errore Assoluto Medio (MAE) di 4,60 punti percentuali (p.p.) e una correlazione ($r$) di 0,77 con la verità di base, con prestazioni comparabili al modello OLS (MAE 4,79) e Lasso (MAE 4,66).
  • Llama: Ha mostrato prestazioni simili con un MAE di 7,00 p.p. e $r = 0,67$.
• Low Performer: GPT-4o mini e Gemini 2.5 Flash hanno mostrato errori significativamente più elevati (MAE > 13 p.p. e 14 p.p., rispettivamente) e correlazioni inferiori. Le prestazioni di Gemini sono state particolarmente scarse ($r = 0,15$), probabilmente a causa di filtri di sicurezza o limitazioni specifiche del modello.
• Pattern Globale: Tutti i modelli hanno catturato la struttura spaziale generale dei gap di percezione, con sottostime più gravi in America Latina, Africa Occidentale e Asia Meridionale, e minori in Europa Occidentale.

Predittori Strutturali dell'Accuratezza

L'accuratezza della predizione non era uniforme; correla fortemente con indicatori strutturali di disponibilità delle informazioni:

• Penetrazione di Internet e PIL: I modelli hanno performato significativamente meglio nei paesi con maggiore penetrazione di internet e PIL pro capite ($R^2$ tra 0,08 e 0,27).
• Bias: Ciò suggerisce un bias di rappresentazione nei dati di addestramento, dove gli LLM sono più affidabili nelle nazioni ricche di risorse e digitalmente connesse, e meno accurati in contesti più poveri o meno connessi.

Approfondimenti Meccanicistici

• Proiezione Sociale: I modelli con le migliori prestazioni (Claude, Llama) hanno identificato correttamente la disponibilità personale (credenza di primo ordine) come il predittore più forte della disponibilità percepita (credenza di secondo ordine), rispecchiando il processo psicologico umano di proiezione sociale.
• Ragionamento vs Memorizzazione:
  • Ablazione: La rimozione dei dati sulla disponibilità personale ha aumentato gli errori per Claude e Llama di circa 1,5–2,2 p.p., confermando la dipendenza da questa caratteristica.
  • Controfattuali: Lo scambio di nomi di paesi o valori del PIL ha avuto effetti trascurabili sui modelli top, indicando che essi si affidano al ragionamento strutturale delle caratteristiche fornite piuttosto che al recupero di statistiche specifiche del paese memorizzate.
  • Esposizione ai Dati di Addestramento: Sebbene alcuni modelli siano stati addestrati dopo il rilascio dei dati del sondaggio, il pattern degli errori (variabile in base all'ambiente informativo, non uniforme) e il fatto che il modello più recentemente addestrato (Gemini) non sia stato il migliore, argomentano contro la pura memorizzazione.

Significato e Rivendicazioni

L'articolo sostiene che gli LLM, in particolare Claude e Llama, forniscono uno strumento rapido ed economico per valutare i gap di percezione globali riguardanti l'azione climatica. La significatività di questi risultati è inquadrata come segue:

1. Scalabilità: Gli LLM possono mappare i gap di percezione in 125 paesi con un'accuratezza comparabile ai modelli statistici tradizionali, offrendo un'alternativa valida ai sondaggi su larga scala, costosi e logisticamente difficili.
2. Intervento Mirato: Identificando dove i gap di percezione sono più ampi (ad es., regioni specifiche in Africa e Asia), gli LLM possono aiutare i governi e le ONG a dare priorità alle aree in cui gli sforzi di correzione delle mispercezioni sono più urgenti e probabilmente efficaci.
3. Ruolo Complementare: Gli autori posizionano modestamente gli LLM non come un sostituto totale dei sondaggi, ma come un meccanismo complementare. Possono consentire il monitoraggio a basso costo in ambienti ricchi di informazioni e fornire segnali provvisori in contesti con scarse risorse, guidando il dispiegamento delle risorse per la misurazione diretta.
4. Validità Meccanicistica: Lo studio dimostizza che gli LLM possono impegnarsi in un complesso ragionamento di secondo ordine ("Io penso che tu pensi") e catturare il meccanismo psicologico della proiezione sociale con un bias sistematico verso il basso, a condizione che siano condizionati su dati strutturali e attitudinali rilevanti.

Gli autori concludono che, sebbene esistano limitazioni riguardanti la granularità subnazionale e le prestazioni nelle regioni a bassa connettività, la mappatura della percezione basata su LLM rappresenta un significativo avanzamento nella scienza sociale computazionale per la progettazione di politiche climatiche.