OmniEarth-Bench: Towards Holistic Evaluation of Earth's Six Spheres and Cross-Spheres Interactions with Multimodal Observational Earth Data

Das Paper stellt OmniEarth-Bench vor, den ersten multimodalen Benchmark, der mit 109 expertenkuratierten Aufgaben systematisch alle sechs Erdsphären und deren Wechselwirkungen bewertet und dabei zeigt, dass selbst fortschrittlichste Multimodal-Modelle in diesem Bereich erhebliche kognitive Defizite aufweisen.

Das Wesentliche

Stell dir vor, die Erde ist ein riesiges, komplexes Haus mit sechs verschiedenen Stockwerken. Jedes Stockwerk hat seine eigene Spezialität:

1. Die Atmosphäre (das Dach und die Luft)
2. Die Lithosphäre (das Fundament und die Wände aus Stein)
3. Die Ozeansphäre (das riesige Wasserbecken im Keller)
4. Die Kryosphäre (das Eis im Gefrierschrank)
5. Die Biosphäre (die Pflanzen und Tiere im Garten)
6. Die menschliche Aktivitätssphäre (die Bewohner, die das Haus umbauen und nutzen)

Bisher waren die Tests für künstliche Intelligenz (KI) wie ein Einzelzimmer-Check. Man hat der KI nur gezeigt, wie sie im "Atmosphäre"-Stockwerk Fenster putzt oder im "Mensch"-Stockwerk Autos zählt. Aber was passiert, wenn es im Keller (Ozean) regnet und das Wasser durch das Fundament (Lithosphäre) in den Garten (Biosphäre) sickert? Bisher konnten die KI-Modelle diese Zusammenhänge kaum verstehen.

Das ist genau das Problem, das das Team mit OmniEarth-Bench lösen wollte.

Was ist OmniEarth-Bench?

Man kann sich OmniEarth-Bench wie einen großen, strengen Meister-Prüfplan vorstellen, den 20 echte Wissenschaftler (Experten für Erdkunde, Wetter, Geologie etc.) gemeinsam mit vielen Helfern erstellt haben.

• Der Umfang: Statt nur ein paar Fragen zu stellen, haben sie 109 verschiedene Aufgaben entwickelt. Diese decken alle sechs Stockwerke des Erd-Hauses ab und, was noch wichtiger ist: wie sie miteinander interagieren.
• Die Daten: Sie haben nicht einfach alte Schulbücher genommen. Stattdessen haben sie echte "Fotos" und Daten von Satelliten, Sensoren und Messgeräten verwendet. Es ist, als würde man der KI echte Wetterkarten, Erdbeben-Aufzeichnungen und Fotos von Überschwemmungen zeigen, statt nur theoretische Rätsel.
• Die Aufgabe: Die KI muss nicht nur "sehen" (z. B. "Das ist eine Wolke"), sondern denken (z. B. "Die Wolke bringt Regen, der Boden ist schon nass, also wird es bald überfluten").

Wie haben sie es gemacht? (Die Baustelle)

Stell dir vor, du willst ein Haus bauen, aber du hast nur lose Ziegelsteine, Glasfenster und Wasserrohre in verschiedenen Sprachen. Das Team hat eine Fertigungsstraße gebaut:

1. Sammeln: Sie haben Daten aus 33 verschiedenen Quellen geholt (wie verschiedene Satelliten oder Wetterstationen).
2. Zusammenfügen: Experten haben diese Daten so aufbereitet, dass die KI sie verstehen kann. Sie haben sichergestellt, dass die "Zeit" und der "Ort" in den Daten passen (z. B. dass das Bild der Wolke genau zum Bild des Bodens passt).
3. Prüfen: Bevor eine Aufgabe in den Test kam, haben Experten sie geprüft. Sie wollten sicherstellen, dass die Fragen wirklich schwierig und wissenschaftlich korrekt sind, nicht nur einfache "Rat mal"-Fragen.

Das Ergebnis: Die KI ist noch ein Anfänger

Das Team hat dann die neun intelligentesten KI-Modelle der Welt (wie GPT-4o, Gemini, Claude) auf diesen Prüfstand gestellt.

Das Ergebnis war schockierend, aber ehrlich: Keine einzige KI hat den Test bestanden.

• Die beste KI erreichte gerade einmal 35 % richtige Antworten. Das ist wie bei einem Schüler, der in einer Mathe-Klausur die Hälfte der Aufgaben falsch macht.
• Besonders bei den Aufgaben, bei denen mehrere Stockwerke zusammenarbeiten mussten (z. B. "Wie wirkt sich eine Dürre im Garten auf den Fluss im Keller aus?"), waren die KIs oft komplett verloren. Manche gaben sogar 0 % richtig an.

Warum ist das wichtig?

Bisher haben wir KI-Modelle trainiert, um Bilder zu beschreiben oder Texte zu schreiben. Aber die echte Welt funktioniert nicht isoliert. Wenn wir KI nutzen wollen, um Katastrophen vorherzusagen (Überschwemmungen, Waldbrände) oder das Klima zu verstehen, müssen diese Modelle verstehen, wie die Erde als Ganzes funktioniert.

OmniEarth-Bench ist wie ein Spiegel, der zeigt, dass unsere KI noch sehr weit davon entfernt ist, ein echter "Erd-Experte" zu sein. Es ist ein Werkzeug, um die Forscher zu zwingen, bessere Modelle zu bauen, die nicht nur sehen, sondern auch die komplexen Zusammenhänge unseres Planeten verstehen.

Zusammenfassend:
Stell dir OmniEarth-Bench als den ultimativen Fahrtest für eine autonome KI vor. Bisher haben wir sie nur auf einer geraden, leeren Straße getestet. Jetzt haben wir sie auf eine kurvige, regnerische Strecke mit anderen Verkehrsteilnehmern geschickt, und sie ist fast überall stecken geblieben. Das ist keine schlechte Nachricht, sondern ein klarer Wegweiser: Hier müssen wir noch viel lernen und bauen!

Technische Zusammenfassung

Titel: OmniEarth-Bench: Towards Holistic Evaluation of Earth's Six Spheres and Cross-Spheres Interactions with Multimodal Observational Earth Data

1. Problemstellung

Bestehende Benchmarks für multimodales Lernen in den Geowissenschaften leiden unter erheblichen Einschränkungen:

• Isolierte Betrachtung: Sie decken oft nur einzelne Erdsphären ab (meist nur die menschliche Aktivitätssphäre oder die Atmosphäre) und ignorieren die komplexen Wechselwirkungen zwischen den verschiedenen Sphären.
• Begrenzter Umfang: Die Evaluierung beschränkt sich typischerweise auf maximal 16 Aufgaben und nutzt oft examensbasierte Daten statt echter Beobachtungsdaten.
• Herausforderungen bei der Gesamtbewertung: Die ganzheitliche Bewertung von Multimodalen Large Language Models (MLLMs) auf Beobachtungsdaten aller Erdsphären stößt auf drei Hauptprobleme:
  1. Multiquellen-Heterogenität: Die Daten stammen aus 33 verschiedenen Quellen (Satellitenbilder, seismische Signale, Wetter-Reanalysen, etc.) und erfordern eine sorgfältige räumlich-zeitliche Registrierung und Harmonisierung.
  2. Wissenschaftliche Formulierung: Viele Aufgaben erfordern feingranulares, fachspezifisches wissenschaftliches Denken (z. B. ENSO-Diagnose oder Kohlenstofffluss-Schätzung), das über reine Bilderkennung hinausgeht.
  3. Sphärenübergreifendes Reasoning: Viele Erdprozesse sind intrinsisch vernetzt (z. B. Niederschlag-Boden-Abfluss), was Modelle zwingt, Interaktionen statt isolierter Muster zu verstehen.

2. Methodik und Aufbau von OmniEarth-Bench

OmniEarth-Bench ist der erste multimodale Benchmark, der systematisch alle sechs Erdsphären sowie deren Wechselwirkungen abdeckt.

• Datenquellen und Pipeline:

  • Der Benchmark integriert Daten aus 33 nativen Erdbeobachtungsquellen (z. B. MODIS, ERA5, Sentinel, GOCI, STEAD).
  • Eine skalierbare, modulare Pipeline verarbeitet diese Rohdaten. Experten wandeln nicht-visuelle Daten (wie Zeitreihen oder NetCDF-Dateien) in MLLM-kompatible Formate (z. B. RGB-Bilder) um, wobei die native Datenstruktur erhalten bleibt (z. B. Vermeidung irreführender RGB-Visualisierungen bei multispektralen Daten).
  • Das Team bestand aus 20 Domänenexperten (PhD-Studierende und -Absolventen) und 45 Crowdsourcing-Annotatoren.

• Struktur des Benchmarks:

  • Umfang: Insgesamt 29.855 annotierte Datensätze und 109 expertenkuratierte Evaluierungsaufgaben.
  • Hierarchie: Die Aufgaben sind in einem vierstufigen Schema organisiert:
    1. L1 (Sphäre): Atmosphäre, Lithosphäre, Ozeansphäre, Kryosphäre, Biosphäre, Menschliche Aktivitätssphäre und explizit Cross-Sphere (Sphärenübergreifend).
    2. L2 (Szenario): Repräsentative Szenarien innerhalb jeder Sphäre (z. B. Erdbebenüberwachung, Hochwasserprognose).
    3. L3 (Fähigkeit): Wahrnehmung (Perception), Allgemeines Reasoning, Wissenschaftliches Wissens-Reasoning und Chain-of-Thought (CoT) Reasoning.
    4. L4 (Aufgabe): Feingranulare, experten-definierte Subaufgaben mit realer Anwendbarkeit.

• Qualitätssicherung:

  • Ein strikter „Human-in-the-Loop"-Prozess stellt sicher, dass Aufgaben wissenschaftlich valide sind.
  • Für CoT-Aufgaben wurden Referenzketten von KI generiert, aber von Experten unabhängig überarbeitet und verifiziert, um logische Konsistenz und wissenschaftliche Genauigkeit zu gewährleisten.
  • Cross-Validation zwischen Annotatoren und Experten verhindert Fehler bei komplexen, multiquelligen Aufgaben.

3. Wichtige Beiträge

1. Einheitliche Verarbeitungs-Pipeline: Eine skalierbare Architektur, die 33 heterogene Erdbeobachtungsquellen integriert und standardisierte, expertenkuratierte Annotationen für MLLMs bereitstellt.
2. Vollständiger Evaluierungsrahmen: Der erste Benchmark, der systematisch alle sechs Erdsphären und explizite Sphärenübergangsszenarien abdeckt, organisiert in einer vierstufigen Hierarchie (109 L4-Subdimensionen).
3. Umfassende Evaluierung: Eine detaillierte Analyse von 9 State-of-the-Art-MLLMs (sowohl Open-Source wie InternVL3, Qwen2.5-VL als auch Closed-Source wie GPT-4o, Gemini-2.0, Claude 3.7), die massive Leistungslücken aufdeckt.

4. Ergebnisse

Die Experimente zeigen, dass selbst die fortschrittlichsten Modelle bei OmniEarth-Bench versagen:

• Gesamtleistung: Kein getestetes Modell erreichte eine Genauigkeit von über 35 %. Die meisten Modelle lagen deutlich darunter.
• Sphärenspezifische Schwächen:
  • Modelle scheitern besonders bei Cross-Sphere-Aufgaben (z. B. Hochwasserprognose durch Kombination von Niederschlag, Bodenfeuchte und Abfluss), wo die Genauigkeit mancher Modelle auf 0,0 % fiel.
  • Wissenschaftliches Reasoning (L3): Modelle haben große Schwierigkeiten, tiefes Domänenwissen anzuwenden (z. B. ENSO-Identifikation oder Kohlenstofffluss-Berechnung).
  • Visuelles Grounding: Die Leistung beim Lokalisieren von Objekten in Erdbeobachtungsdaten ist extrem niedrig (oft nahe 0 %), was auf Probleme mit der räumlichen Ausrichtung und dem Verständnis von Erdbeobachtungsmustern hinweist.
• Skalierungseffekte: Eine Vergrößerung der Modellparameter (z. B. von 7B auf 72B bei InternVL3) brachte keine signifikanten Verbesserungen in diesem Domänenbereich, was darauf hindeutet, dass der Mangel an domänenspezifischem Wissen und nicht die Modellgröße das Hauptproblem ist.
• Sicherheitsmechanismen: Modelle wie Qwen2.5-VL und GPT-4o lehnten viele Fragen mit „Unable to decide" ab, was ihre niedrige Genauigkeit teilweise erklärt, aber auch ihre Unsicherheit in unbekannten Domänen zeigt.

5. Bedeutung und Ausblick

• Katalysator für Forschung: OmniEarth-Bench deckt fundamentale Lücken im geowissenschaftlichen Verständnis aktueller KI-Modelle auf und zeigt, dass reine Skalierung nicht ausreicht.
• Notwendigkeit spezialisierter Modelle: Die Ergebnisse unterstreichen die dringende Notwendigkeit, MLLMs mit domänenspezifischem Wissen zu trainieren und spezialisierte Reasoning-Mechanismen für Erdsysteme zu entwickeln.
• Ressource für die Community: Der Datensatz und der Evaluierungscode sind öffentlich verfügbar (via Hugging Face und GitHub) und dienen als Standard für die zukünftige Entwicklung von KI-Systemen im Bereich Umweltmonitoring, Katastrophenmanagement und Klimawissenschaft.

Zusammenfassend stellt OmniEarth-Bench einen Meilenstein dar, der den Fokus von isolierten Bilderkennungsaufgaben hin zu einem ganzheitlichen, wissenschaftlich fundierten Verständnis der komplexen Wechselwirkungen des Erdsystems verschiebt.