Technische Samenvatting: Large Language Models voorspellen accuraat publieke percepties van steun voor klimaatactie wereldwijd

Probleemstelling

Het aanpakken van klimaatverandering vereist gecoördineerde verschuivingen in individueel gedrag en systemisch beleid. Hoewel wereldwijde opiniepeilingen wijzen op brede steun voor klimaatactie (bijv. 69% bereidheid om 1% van het inkomen bij te dragen), blijven de feitelijke mitigatiepogingen onvoldoende. Een primaire barrière die in multidisciplinair onderzoek wordt geïdentificeerd, is pluralistische onwetendheid: individuen onderschatten systematisch het niveau van steun en de bereidheid tot actie onder hun leeftijdsgenoten. Deze mispercepties (tweede-orde overtuigingen) onderdrukken de geuite steun en actie via mechanismen van voorwaardelijke coöperatie, wat een zelfversterkende spiraal van inactiviteit creëert.

Het corrigeren van deze hiaten vereist tijdige, wereldwijde kaarten van perceptieverschillen. Het genereren van dergelijke data is echter logistiek uitdagend en kostbaar, omdat het gepaard gaat met gekoppelde metingen van persoonlijke en waargenomen attitudes uit representatieve steekproeven uit diverse landen. Deze studie onderzoekt of Large Language Models (LLM's) kunnen dienen als een schaalbaar, kosteneffectief alternatief of aanvulling op traditionele enquêtes voor het in kaart brengen van deze perceptiekloven wereldwijd.

Methodologie

Data en Grondwaarheid

De studie maakt gebruik van data uit de Global Climate Change Survey (onderdeel van de Gallup World Poll 2021/22), die 125 landen beslaat met ongeveer 129.902 respondenten.

• Uitkomstvariabele: De "perceptiekloof", gedefinieerd als het verschil tussen het landelijk gemiddelde van de persoonlijke bereidheid om financieel bij te dragen aan klimaatactie (eerstekarakter-overtuiging) en de waargenomen bereidheid van anderen (tweede-orde overtuiging).
• Covariaten: Landelijk niveau sociodemografische (leeftijd, opleiding, religiositeit), macro-economische (BBP per capita, ongelijkheid, HDI) en klimaatgerelateerde (gemiddelde temperatuur) indicatoren werden geaggregeerd uit de World Bank en Gallup data.

Experimenteel Ontwerp

De auteurs voerden een preregistered experiment (OSF: ez4ur) uit waarbij vier state-of-the-art LLM's werden vergeleken met statistische baselines:

1. Geëvalueerde Modellen: GPT-4o mini, Claude 3.5 Haiku, Gemini 2.5 Flash, en Llama 4 Maverick (17B).
2. Prompting Protocol: De modellen werden bevraagd onder acht opeenvolgende informatiefasen (Fase 1 tot Fase 8), variërend van het verstrekken van enkel de landnaam tot het verstrekken van de volledige suite aan sociodemografische, economische, klimaat- en eerstekarakter-bereidheidsdata.
3. Taak: De modellen kregen de instructie om het percentage respondenten in een gegeven land te schatten dat gelooft dat anderen bereid zijn om 1% van hun inkomen aan klimaatactie bij te dragen, uitsluitend gebaseerd op de verstrekte contextuele data.
4. Benchmarks: De prestaties van de LLM werden vergeleken met:
   • Grondwaarheid: De werkelijke door enquêtes afgeleide perceptiekloven.
   • Statistische Modellen: Ordinary Least Squares (OLS) en Lasso regressies getraind op 80% van de landen en geëvalueerd op een holdout-set van 20%.

Diagnostische en Mechanistische Tests

Om onderscheid te maken tussen gestructureerde inferentie en memorizatie van trainingsdata, gebruikten de auteurs verschillende diagnostische tests:

• Feature Ablatie: Het systematisch verwijderen van specifieke inputvariabelen (bijv. het verwijderen van persoonlijke bereidheid, BBP of demografie) om de impact op de voorspellingsfout te meten.
• Counterfactual Perturbaties:
  • Willingness Flip: Het verwisselen van hoog/laag persoonlijke bereidheid tussen landen.
  • Naam Mismatch: Het toekennen van de naam van een land aan een ander landprofiel.
  • GDP Flip: Het inverteren van BBP-waarden over landen heen.
• Robuustheidscontroles: Testen over verschillende promptformaten (opsommingstekens versus zinnen) en generaliseren naar 24 alternatieve Amerikaanse klimaatbeleid-perceptiekloven.

Belangrijkste Resultaten

Voorspellende Nauwkeurigheid

• Top Performers: Claude 3.5 Haiku en Llama 4 Maverick vertoonden de hoogste nauwkeurigheid.
  • Claude: Bereikte een Mean Absolute Error (MAE) van 4,60 procentpunt (p.p.) en een correlatie ($r$) van 0,77 met de grondwaarheid, presterend vergelijkbaar met OLS (MAE 4,79) en Lasso (MAE 4,66) modellen.
  • Llama: Toonde vergelijkbare prestaties met een MAE van 7,00 p.p. en $r = 0,67$.
• Lagere Presteerders: GPT-4o mini en Gemini 2.5 Flash vertoonden aanzienlijk hogere fouten (MAE > 13 p.p. en 14 p.p., respectievelijk) en lagere correlaties. De prestaties van Gemini waren bijzonder slecht ($r = 0,15$), waarschijnlijk door veiligheidsfilters of modelspecifieke beperkingen.
• Globaal Patroon: Alle modellen legden de brede ruimtelijke structuur van de perceptiekloven vast, waarbij de onderschattingen het grootst waren in Latijns-Amerika, West-Afrika en Zuid-Azië, en kleiner in West-Europa.

Structurele Predictoren van Nauwkeurigheid

Voorspellingsnauwkeurigheid was niet uniform; het correleerde sterk met structurele indicatoren van informatiebeschikbaarheid:

• Internetpenetratie & BBP: Modellen presteerden aanzienlijk beter in landen met een hogere internetpenetratie en een hoger BBP per capita ($R^2$ bereiken 0,08–0,27).
• Bias: Dit suggereert een representatiebias in de trainingsdata, waarbij LLM's betrouwbaarder zijn in kapitaalrijke, digitaal verbonden landen en minder accuraat in armere of minder verbonden omgevingen.

Mechanistische Inzichten

• Sociale Projectie: De best presterende modellen (Claude, Llama) identificeerden correct persoonlijke bereidheid (eerstekarakter-overtuiging) als de sterkste voorspeller van de waargenomen bereidheid (tweede-orde overtuiging), wat het menselijke psychologische proces van sociale projectie weerspiegelt.
• Redeneren versus Memorizatie:
  • Ablatie: Het verwijderen van persoonlijke bereidheidsdata verhoogde de fouten voor Claude en Llama met ~1,5–2,2 p.p., wat het vertrouwen op deze feature bevestigt.
  • Counterfactuals: Het verwisselen van landnamen of BBP-waarden had een verwaarloosbaar effect op de topmodellen, wat aangeeft dat zij vertrouwen op de structurele redenering van de verstrekte kenmerken in plaats van het ophalen van gememoriseerde landspecifieke statistieken.
  • Blootstelling aan Trainingsdata: Hoewel sommige modellen getraind zijn nadat de survey-data werd vrijgegeven, spreekt het patroon van fouten (variërend per informatieomgeving, niet uniform) en het feit dat het meest recent getrainde model (Gemini) niet het beste presteerde, tegen pure memorizatie.

Betekenis en Claims

Het artikel claimt dat LLM's, in het bijzonder Claude en Llama, een snelle, kosteneffectieve tool bieden voor het beoordelen van wereldwijde perceptiekloven met betrekking tot klimaatactie. De betekenis van deze bevindingen wordt als volgt geframed:

1. Schaalbaarheid: LLM's kunnen perceptiekloven in 125 landen in kaart brengen met een nauwkeurigheid die vergelijkbaar is met traditionele statistische modellen, wat een levensvatbaar alternatief biedt voor dure, logistiek moeilijke grootschalige enquêtes.
2. Gerichte Interventie: Door te identificeren waar de perceptiekloven het grootst zijn (bijv. specifieke regio's in Afrika en Azië), kunnen LLM's overheden en NGO's helpen prioriteiten te stellen waar inspanningen voor het corrigeren van mispercepties het meest urgent en waarschijnlijk effectief zijn.
3. Complementaire Rol: De auteurs positioneren LLM's bescheiden niet als een totale vervanging voor enquêtes, maar als een complementair mechanisme. Ze kunnen zorgen voor kosteneffectieve monitoring in informatie-rijke omgevingen en bieden voorlopige signalen in middelen-arme settings, om zo te sturen waar directe meetbronnen moeten worden ingezet.
4. Mechanistische Geldigheid: De studie demonstreert dat LLM's in staat zijn tot complexe tweede-orde redenering ("Ik denk dat jij denkt") en het proces van sociale projectie met een systematische neerwaartse bias kunnen vangen, mits ze worden geconditioneerd op relevante structurele en attitudinale data.

De auteurs concluderen dat hoewel beperkingen bestaan met betrekking tot subnationale granulariteit en prestaties in regio's met lage connectiviteit, LLM-gebaseerde perceptiemapping een significante vooruitgang vertegenwoordigt in de computationele sociale wetenschappen voor klimaatbeleidsontwerp.