Partial measurement limits the cumulative evidence for behavioural theories of climate adaptation

Wanneer de grond schudt of een rivier aanzwelt, hangt de veiligheid van een gemeenschap vaak af van wat individuele mensen daarna doen. Ze kunnen hun huizen versterken, noodtassen inpakken, een verzekering afsluiten of naar een veiligere plek verhuizen. Deze beschermende acties zijn niet alleen persoonlijke keuzes; ze vormen de frontlinie van klimaatadaptatie. Decennialang hebben wetenschappers geprobeerd te begrijpen waarom sommige mensen deze stappen wel zetten en anderen niet. Hiervoor vertrouwen ze op gedragstheorieën—gestructureerde kaarten van de menselijke geest die de specifieke gedachten, gevoelens en overtuigingen opsommen die een beslissing aansturen. Een theorie kan suggereren dat een persoon handelt omdat hij bang is voor een ramp, gelooft dat hij het probleem kan oplossen, of druk voelt van zijn buren. Als onderzoekers deze mentale factoren nauwkeurig kunnen meten, kunnen ze betere beleidsmaatregelen ontwerpen om iedereen veilig te houden.

Echter, een nieuwe analyse onthult een aanzienlijke barst in dit fundament. Terwijl wetenschappers druk bezig waren deze theorieën toe te passen om overstromingen, aardbevingen en bosbranden te bestuderen, hebben ze deze theorieën niet consistent gemeten. Een team van onderzoekers van universiteiten en onderzoekscentra over de hele wereld heeft honderden studies onderzocht om te zien hoe goed deze mentale kaarten in de praktijk worden gebruikt. Ze ontdekten dat de meeste onderzoekers slechts naar een klein, gemakkelijk te meten deel van het plaatje kijken, terwijl ze de complexe factoren negeren die vaak verklaren waarom mensen nalaten te handelen. Omdat de metingen zo inconsistent zijn, kan de enorme hoeveelheid verzamelde bewijslast door de jaren heen niet betrouwbaar worden gecombineerd om een duidelijke gids voor beleid te vormen. Het vakgebied heeft een enorme bibliotheek aan boeken opgebouwd, maar de pagina's zijn in verschillende talen geschreven, waardoor het onmogelijk is om het hele verhaal als één geheel te lezen.

De onderzoekers begonnen met het verzamelen van 222 wetenschappelijke studies die enquêtes gebruikten om mensen naar hun risicoperceptie en hun beschermend gedrag te vragen. Deze studies bestreken een breed scala aan natuurlijke gevaren, van plotselinge gebeurtenissen zoals aardbevingen en overstromingen tot langzaam bewegende dreigingen zoals droogte en hittegolven. Het team richtte zich op de meest populaire theorieën die in dit veld worden gebruikt, in het bijzonder twee belangrijke kaders: één die kijkt naar hoe mensen de dreiging van een ramp afwegen tegen hun vermogen om ermee om te gaan, en een andere die de stapsgewijze beslissingen volgt die mensen nemen wanneer ze met gevaar worden geconfronteerd. Ze controleerden elke studie om te zien of de onderzoekers elk onderdeel van de theorie die zij claimden te gebruiken, ook daadwerkelijk hadden gemeten.

De resultaten toonden een opvallend patroon van weglating. Zelfs binnen de meest gebruikte theorieën maten onderzoekers doorgaans slechts een fractie van de vereiste componenten. Voor de theorie die zich richt op motivatie en angst, mat slechts 7% van de studies alle noodzakelijke onderdelen. Voor de theorie die het besluitvormingsproces volgt, lag het aantal nog lager, namelijk slechts 4%. In plaats van de volledige set ideeën te meten, neigden wetenschappers naar de constructen die het makkelijkst in een enquête te meten waren. Ze maten vaak eenvoudige concepten zoals "hoe eng vind je dit?" of "voel je je in staat om te handelen?". Dit zijn de mentale bouwstenen die gemakkelijk om te zetten zijn in een paar enquêtevragen.

In contrast hiermee sloegen de onderzoekers consequent de moeilijkere, maar cruciale factoren over. Ze maten zelden de kosten van actie, zoals het geld of de tijd die nodig is om een huis te renoveren. Ze negeerden vaak het niveau van vertrouwen dat mensen hebben in overheidsinstellingen, of de specifieke barrières die mensen tegenhouden om te handelen, zelfs als ze bang zijn en zich in staat voelen. Ze misten ook de manieren waarop mensen op ongunstige wijze kunnen omgaan met de situatie, zoals het ontkennen van het bestaan van het risico. Deze ontbrekende stukjes zijn precies de factoren die verklaren waarom iemand het gevaar wel begrijpt en zich in staat voelt om te helpen, maar toch niets doet. Door deze weg te laten, bieden de studies een incompleet verhaal, een verhaal dat de nadruk legt op angst en bekwaamheid, terwijl het de werkelijke obstakels verbergt die actie blokkeren.

Deze selectieve meting creëert een dieper probleem voor het hele vakgebied. Omdat elke studie een andere mix van ideeën meet, kunnen hun resultaten niet worden vergeleken of gecombineerd. Als de ene studie vraagt naar de kosten van actie en de andere niet, dan zijn hun bevindingen over waarom mensen handelen fundamenteel verschillend, zelfs als ze dezelfde theoretische naam gebruiken. De analyse toonde aan dat slechts ongeveer 29% van de studies voldoende detail bood over hun enquêtevragen en testmethoden om door andere wetenschappers te kunnen worden hergebruikt. Dit betekent dat voor de meerderheid van het onderzoek de instrumenten die werden gebruikt om menselijk gedrag te meten, verloren gaan voor toekomstige onderzoekers. Het vakgebied heeft een enorme hoeveelheid data verzameld, maar deze is gefragmenteerd in duizenden geïsoleerde stukjes die niet in elkaar passen.

De onderzoekers ontdekten ook een paradox tussen populariteit en kwaliteit. De twee meest populaire theorieën, die in de meerderheid van de studies voorkomen, waren juist het slechtst gedocumenteerd. De studies die deze theorieën gebruikten, faalden vaak in het rapporteren van hoe ze hun enquêtevragen hadden getest of of de vragen wel werkten zoals bedoeld. Daarentegen werden sommige minder gangbare theorieën met veel meer zorg en detail gemeten. Dit suggereert dat het enorme volume aan onderzoek naar de populaire theorieën niet heeft geleid tot een beter begrip, omdat de kwaliteit van de meting niet gelijke tred heeft gehouden met de kwantiteit van de studies. De dominantie van deze theorieën lijkt gedreven te worden door hoe gemakkelijk ze toe te passen zijn, in plaats van hoe goed ze begrepen worden.

Om vooruit te gaan, stellen de auteurs een praktisch pad voor om deze beschadigde bewijsvoering te herstellen. Ze hebben een kaart gemaakt die precies laat zien welke instrumenten al bestaan en die onmiddellijk kunnen worden hergebruikt. Voor de meest voorkomende theorieën bestaan er al hoogwaardige enquête-instrumenten die alle noodzakelijke onderdelen meten, maar onderzoekers gebruiken die niet. In plaats daarvan verzinnen ze voor elke studie nieuwe, ad-hoc vragen. De onderzoekers betogen dat het vakgebied moet stoppen met het wiel opnieuw uitvinden en moet beginnen met het gebruiken van deze bestaande, gevalideerde instrumenten. Dit zou ervoor zorgen dat verschillende studies dezelfde taal spreken, waardoor het mogelijk wordt om hun resultaten te combineren tot een krachtige, cumulatieve kennisbasis.

Naast het hergebruiken van oude instrumenten wijst de analyse ook op specifieke hiaten die nieuwe instrumenten vereisen. Er zijn momenteel geen betrouwbare, geteste manieren om bepaalde cruciale concepten te meten, zoals de kosten van adaptatie of institutioneel vertrouwen in de context van klimaatrisico's. Het ontwikkelen van deze nieuwe maten vereist een gecoördineerde inspanning die verder gaat dan wat individuele onderzoekers alleen kunnen doen. De auteurs roepen ook op tot een verandering in de manier waarop studies worden gerapporteerd. Wetenschappers moeten worden verplicht om niet alleen duidelijk te vermelden wat ze hebben gemeten, maar ook wat ze hebben nagelaten en waarom. Deze transparantie zou de verborgen vooroordelen voorkomen die momenteel ons begrip van menselijk gedrag vertekenen.

Het uiteindelijke doel is om een meetinfrastructuur op te bouwen die even robuust is als de theorieën zelf. Net zoals ingenieurs precieze instrumenten nodig hebben om een brug te boukken, hebben adaptatiewetenschappers precieze, consistente instrumenten nodig om menselijk gedrag te begrijpen. Zonder deze instrumenten kunnen beleidsmaatregelen die bedoeld zijn om gemeenschappen te beschermen, gebaseerd zijn op een gefragmenteerd en incompleet beeld van de werkelijkheid. Door de manier waarop we de menselijke geest meten te repareren, kunnen wetenschappers eindelijk een verspreide verzameling observaties omzetten in een heldere, betrouwbare gids om mensen te helpen zich aan te passen aan een veranderend klimaat. De weg vooruit is niet het ontdekken van nieuwe theorieën, maar het meten van de theorieën die we al hebben met de zorg en consistentie die ze verdienen.