OmniEarth-Bench: Towards Holistic Evaluation of Earth's Six Spheres and Cross-Spheres Interactions with Multimodal Observational Earth Data

OmniEarth-Bench is de eerste multimodale benchmark die alle zes aardse sferen en hun interacties systematisch evalueert via 109 expert-gecureerde taken, waarbij tests op state-of-the-art modellen onthullen dat deze aanzienlijke lacunes vertonen in hun cognitieve vermogen om het aardse systeem te begrijpen.

De kern

Stel je voor dat de Aarde een gigantisch, complex huis is. Dit huis heeft zes verschillende verdiepingen: de lucht (atmosfeer), de grond (lithosfeer), de oceanen, het ijs (cryosfeer), het leven (biosfeer) en de menselijke wereld. Vaak werken deze verdiepingen samen; als het regent (lucht), wordt de grond verzadigd (grond), wat kan leiden tot overstromingen die huizen vernietigen (menselijke wereld).

Vroeger keken kunstmatige intelligentie (AI) alleen naar één verdieping tegelijk, of ze keken alleen naar de menselijke wereld. Ze wisten niet hoe ze het hele huis moesten begrijpen.

OmniEarth-Bench is de eerste "grote toets" die AI-systemen op alle zes verdiepingen én hun onderlinge samenwerking test. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Masterchef"-toets voor AI

Stel je voor dat je een kok wilt testen. Je kunt hem vragen om een ei te bakken (dat is makkelijk), maar OmniEarth-Bench vraagt hem om een compleet diner te bereiden waarbij hij rekening moet houden met de temperatuur in de keuken, de versheid van de vis uit de zee, en de smaakvoorkeuren van de gasten.

• De uitdaging: De data komt uit 33 verschillende bronnen (zoals satellietbeelden, seismische trillingen en weerkaarten). Het is alsof je de kok moet vragen om te koken terwijl hij blind is, maar wel een boekje met weerberichten en een kaart van de oceaan in zijn hand heeft.
• De experts: Om deze toets te maken, hebben 20 echte wetenschappers (de "masterchefs" van de aardwetenschappen) samen gewerkt met 45 mensen om de vragen te maken. Ze hebben gekeken of de vragen echt zinvol zijn voor de echte wereld, niet alleen voor een schooltest.

2. Waarom is dit zo moeilijk voor AI?

De onderzoekers hebben 9 van de slimste AI-modellen ter wereld (zoals GPT-4o en Claude) deze toets laten maken. Het resultaat? Ze zakten allemaal.

• De score: Geen enkel model haalde 35% goed. Dat is alsof je een student laat examen doen en hij krijgt een 3,5.
• De reden: De AI's zijn geweldig in het herkennen van een kat op een foto of het beantwoorden van algemene vragen. Maar als ze moeten zeggen: "Als de wind uit het westen komt, de bodem verzadigd is en de sneeuw smelt, gaat het dan vloeien?", dan raken ze in de war. Ze missen de diepe, wetenschappelijke logica die nodig is om deze verschillende delen van de Aarde met elkaar te verbinden.

3. De vier niveaus van de toets

De toets is opgebouwd als een trap van moeilijkheidsgraad:

1. Kijken (Perceptie): "Zie je een storm?" (Dit kunnen de AI's vaak nog wel).
2. Redeneren (Algemeen): "De storm trekt naar het noorden." (Dit lukt nog redelijk).
3. Wetenschap (Expertkennis): "Wat betekent deze specifieke temperatuur voor de ijskap?" (Hier beginnen de AI's te struikelen).
4. Kettingredeneren (CoT): "Stap 1: De temperatuur stijgt. Stap 2: Het ijs smelt. Stap 3: Het waterpeil stijgt. Conclusie: Er is overstromingsgevaar." (Dit is waar de meeste AI's volledig vastlopen).

4. Wat betekent dit voor de toekomst?

Deze studie is als een wake-up call. Het zegt: "Hé, onze slimme robots zijn nog niet klaar om de Aarde echt te begrijpen."

Het is alsof we een auto hebben die perfect kan rijden op een lege weg (algemene AI), maar als we hem op een bergweg met sneeuw, modder en mist zetten (de echte Aarde), raakt hij de weg kwijt.

De boodschap: Om AI echt nuttig te maken voor het redden van mensen bij overstromingen, het voorspellen van aardbevingen of het beschermen van het klimaat, moeten we hen niet alleen slimmer maken, maar ze ook specifiek leren over de Aarde. We moeten ze niet alleen meer "brein" geven, maar ook meer "kennis" over hoe onze planeet werkt.

OmniEarth-Bench is nu de landkaart die wetenschappers gebruiken om te zien waar de AI's nog moeten studeren, zodat ze in de toekomst wel klaar zijn voor de echte wereld.

Technische samenvatting

Probleemstelling

Bestaande benchmarks voor multimodale learning in de aardwetenschappen vertonen drie fundamentele beperkingen:

1. Beperkte en gesilo-dekking: De meeste benchmarks richten zich uitsluitend op de menselijke activiteitssfeer of de atmosfeer, en negeren de andere vijf sferen (lithosfeer, hydrosfeer, cryosfeer, biosfeer) en de complexe interacties tussen deze sferen.
2. Heterogene data: Aardobservatiegegevens (EO-data) zijn multi-bron en heterogeen (bijv. multispectrale satellietbeelden, seismische signalen, weerheranalyses). Het harmoniseren van deze data voor cross-sferische taken vereist zorgvuldige spatiotemporale registratie en kwaliteitscontrole.
3. Ontbrekende wetenschappelijke formulering: Veel taken vereisen fijnmazig wetenschappelijk redeneren (bijv. het kwantificeren van koolstofstromen of het voorspellen van overstromingen op basis van bodemvocht en neerslag). Huidige benchmarks missen vaak de autoriteit van domeinexperts om deze complexe, wetenschappelijk onderbouwde evaluatiedimensies te definiëren.

Er is dus een urgent behoefte aan een holistische benchmark die Multimodale Large Language Models (MLLMs) evalueert op hun cognitieve vermogen over alle zes sferen van het Aardsysteem en hun onderlinge koppelingen.

Methodologie: OmniEarth-Bench

OmniEarth-Bench is de eerste multimodale benchmark die systematisch alle zes sferen en cross-sferische interacties bestrijkt. De aanpak omvat:

• Data-Verzameling en Pipeline:

  • De dataset integreert 33 verschillende bronnen van aardobservatiegegevens (satellietbeelden, in-situ metingen, heranalyses zoals ERA5, MODIS, etc.).
  • Een schaalbare, modulaire pipeline wordt gebruikt waarbij experts de ruwe data omzetten naar MLLM-compatibele formaten (bijv. het converteren van multi-spectrale data naar grijswaardenbeelden om misleidende RGB-visualisaties te vermijden).
  • In totaal zijn 29.855 gestandaardiseerde, door experts gecureerde annotaties gegenereerd door 20 domeinexperts en 45 crowd-sourcing annotatoren.

• Hiërarchisch Evaluatiekader (4-niveau structuur):
  De taken zijn georganiseerd in een vierlaags hiërarchie om de complexiteit en breedte te meten:

  1. L1 (Sfeer): De zeven domeinen: Atmosfeer, Lithosfeer, Hydrosfeer (Oceaan), Cryosfeer, Biosfeer, Menselijke Activiteitssfeer en een expliciete Cross-sfeer categorie.
  2. L2 (Scenario): Representatieve scenario's binnen elke sfeer (bijv. aardbevingvoorspelling, tyfoonbewaking, overstromingsvoorspelling).
  3. L3 (Vermogen): Vier kernvaardigheden: Perceptie, Algemeen Redeneren, Wetenschappelijk-Kennis Redeneren en Chain-of-Thought (CoT) Redeneren.
  4. L4 (Taak): 109 specifieke, door experts gedefinieerde sub-taken met real-world toepasbaarheid.

• Kwaliteitsborging:

  • Taken zijn niet gegenereerd door AI (zoals GPT-4o) voor de kern van de dataset, omdat dit leidt tot onvoldoende diepgang en domeinkennis. In plaats daarvan zijn taken gedefinieerd door experts.
  • Een strikt kwaliteitscontroleproces omvatte cross-validatie tussen annotatoren en experts, waarbij discrepanties werden opgelost door domeinspecialisten.

Belangrijkste Bijdragen

1. Unificatie van Aardobservatie: De eerste benchmark die alle zes sferen van het Aardsysteem en hun interacties omvat, gebaseerd op echte observatiegegevens in plaats van examenvragen.
2. Schaalbaar en Modulair Ontwerp: Een pipeline die 33 data-bronnen verwerkt en 29.855 annotaties produceert, wat een aanzienlijke schaalvergroting is ten opzichte van eerdere werken (die vaak <20 taken hadden).
3. Wetenschappelijk Rigoureuze Evaluatie: Een hiërarchisch kader dat specifiek is ontworpen om de kloof tussen algemene visuele perceptie en diep wetenschappelijk redeneren te meten, inclusief cross-sferische taken die multidisciplinaire expertise vereisen.

Resultaten

De auteurs hebben negen state-of-the-art MLLMs geëvalueerd, waaronder gesloten modellen (GPT-4o, Gemini-2.0, Claude-3.7 Sonnet) en open-source modellen (Qwen2.5-VL, InternVL3, LLaVA-OneVision).

• Algemene Prestaties: Alle geteste modellen presteerden ondermaats. Geen enkel model bereikte een algehele nauwkeurigheid van boven de 35%. Dit onthult systematische gaten in het cognitieve vermogen van huidige modellen voor aardwetenschappen.
• Cross-sferische Uitdagingen: Modellen worstelden het meest met cross-sferische taken (bijv. het voorspellen van overstromingen op basis van neerslag, bodemvocht en sneeuw). In sommige gevallen daalde de prestatie van toonaangevende modellen zoals GPT-4o tot 0,0%.
• Schalingswetten: Het vergroten van het model (bijv. van 7B naar 72B parameters) leverde geen significante verbetering op op deze specifieke taken. Dit suggereert dat het gebrek aan domeinspecifieke kennis de beperkende factor is, niet de modelgrootte.
• Veiligheid en Weigering: Modellen zoals Qwen2.5-VL en GPT-4o weigerden vaak om antwoorden te geven bij onzekerheid (wat leidde tot lage scores), terwijl andere modellen willekeurig gokten.
• CoT en Visual Grounding: Hoewel sommige modellen redelijk goed presteerden in Chain-of-Thought redeneren (InternVL3 scoorde het hoogst), was visual grounding (het lokaliseren van objecten in complexe aardobservatiebeelden) extreem zwak, met nauwelijks enige prestatie boven de willekeurige kans.

Betekenis en Impact

OmniEarth-Bench markeert een paradigmaverschuiving in de evaluatie van AI voor aardwetenschappen.

• Kloof in Capabiliteit: De resultaten tonen aan dat huidige generieke MLLMs niet klaar zijn voor expert-niveau analyse van het Aardsysteem. Er is een dringende behoefte aan modellen die specifiek zijn getraind op aardwetenschappelijke data en mechanismen voor gespecialiseerd redeneren.
• Standaard voor Toekomstig Onderzoek: De benchmark dient als een fundamenteel referentiepunt voor het ontwikkelen van AI-systemen die kunnen bijdragen aan klimaatwetenschap, rampenbeheersing en ecosysteemmanagement.
• Open Science: De dataset, code en evaluatiepipeline zijn open-source beschikbaar gesteld, wat de gemeenschap in staat stelt om de kloof tussen AI en aardwetenschappen systematisch aan te pakken.

Kortom, OmniEarth-Bench legt bloot dat hoewel multimodale modellen indrukwekkend zijn in algemene taken, ze fundamenteel tekortschieten in het begrijpen van de complexe, gekoppelde dynamiek van het Aardsysteem, en biedt een weg vooruit voor de volgende generatie wetenschappelijke AI.