EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards

Wanneer wetenschappers proberen te begrijpen hoe de aarde werkt, hebben ze zelden één enkel, perfect beeld van wat er aan de hand is. In plaats daarvan moeten ze een verhaal samenstellen uit vele verschillende bronnen: een weerbericht van een lokaal station, een satellietbeeld vanuit de ruimte, een samenvatting van een overstroming van een overheidsinstantie en een heranalyse van historische klimaatgegevens. Elke van deze bronnen vertelt een deel van de waarheid, maar ze spreken vaak verschillende talen, beslaan verschillende gebieden en leggen gebeurtenissen op verschillende tijdstippen vast. De echte uitdaging van de aardwetenschap is niet alleen het lezen van deze rapporten, maar ook bepalen welke bij elkaar horen, hoe ze eerlijk met elkaar vergeleken kunnen worden, en of ze een consistent verhaal vertellen over een ramp of een veranderend klimaat. Als een wetenschapper de verkeerde gegevens kiest of de timing door elkaar haalt, kan de gehele conclusie over een gevaar onjuist zijn, met ernstige gevolgen voor hoe gemeenschappen zich voorbereiden op of reageren op gevaar.

Een nieuwe studie genaamd EarthVerse stelt een moeilijke vraag: kunnen kunstmatige intelligentiesystemen dit soort wetenschappelijk detectiveswerk zelfstandig uitvoeren? De onderzoekers bouwden een enorme test om te zien of computeragenten als echte wetenschappers konden optreden. Ze creëerden 405 specifieke onderzoeken gebaseerd op 199 echte wereldrampen en extreme weersomstandigheden, variërend van hittegolven tot aardbevingen. Elk onderzoek was een pakket van ongeveer 34 verschillende bestanden, inclusief ruwe gegevens, kaarten en rapporten. De computeragenten kregen een wetenschappelijke vraag, zoals het bepalen van de ernst van een hittegolf, maar kreeg niet te horen naar welke bestanden ze moesten kijken. Ze moesten door het hele pakket zoeken, de juiste records vinden, controleren of de gegevens in tijd en ruimte overeenkwamen, de noodzakelijke berekeningen uitvoeren en vervolgens een definitief antwoord schrijven dat volledig wordt ondersteund door het gevonden bewijs.

De resultaten onthulden een aanzienlijke kloof tussen wat deze systemen kunnen in eenvoudige tests en hoe ze presteren in complexe, real-world scenario's. Wanneer de onderzoekers 25 verschillende AI-systemen testten, waren de beste systemen in staat om ongeveer 85 procent van de kleine, individuele feiten correct te krijgen. Ze konden vaak de juiste getallen vinden en de wiskunde correct uitvoeren. Echter, wanneer de onderzoekers keken naar de vraag of het gehele onderzoek compleet en betrouwbaar was, daalde het succespercentage drastisch. Slechts ongeveer 35 procent van de onderzoeken werd goed genoeg uitgevoerd om als volledig betrouwbaar te worden beschouwd. Dit betekent dat zelfs de meest geavanceerde systemen ergens in de keten van redenering een cruciale fout maakten. Ze vonden misschien het juiste temperatuurrecord, maar gebruikten het verkeerde tijdsvenster, of ze berekenden een statistiek correct, maar faalden in het controleren of de gegevens afkomstig waren van een compatibele bron.

De studie toonde aan dat het probleem niet een gebrek aan kennis of een onvermogen om met wiskunde om te gaan is. De systemen kenden de feiten en konden de getallen berekenen. De fout trad op wanneer ze moesten beslissen welk bewijs ze moesten vertrouwen en hoe ze alle puzzelstukjes op één lijn moesten houden. Wanneer de onderzoekers de AI-systemen extra hulp gaven door ze rechtstreeks naar de juiste bestanden te wijzen, steeg hun prestatie aanzienlijk, wat bewees dat de belangrijkste flessenhals het vinden van de juiste informatie was, en niet het begrijpen ervan. De studie vond ook dat het simpelweg langer of harder laten nadenken door de AI niet hielp als het systeem vastzat in het kijken naar de verkeerde gegevens. De systemen moesten in staat zijn om van gedachten te veranderen, terug te gaan naar een betere bron en hun conclusie bij te werken op basis van nieuw bewijs.

Dit onderzoek suggereert dat hoewel kunstmatige intelligentie zeer goed wordt in het beantwoorden van vragen wanneer het antwoord al is geleverd, het nog steeds worstelt met de moeilijkere taak van het zelf opbouwen van de bewijslast. In de wereld van de aardwetenschap, waar één enkel ontbrekend datapunt het begrip van een ramp kan veranderen, is deze kloof cruciaal. De studie concludeert dat voor AI werkelijk betrouwbaar te zijn in wetenschappelijke velden, het in staat moet zijn om een consistente link te behouden tussen elke claim die het maakt en het specifieke bewijs dat die claim ondersteunt, om ervoor te zorgen dat het hele verhaal standhoudt van het eerste datapunt tot de uiteindelijke conclusie.