EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards

Wenn Wissenschaftler versuchen zu verstehen, wie die Erde funktioniert, haben sie selten ein einzelnes, perfektes Bild dessen, was geschieht. Stattdessen müssen sie eine Geschichte aus vielen verschiedenen Quellen zusammensetzen: einem Wetterbericht einer lokalen Station, einem Satellitenbild aus dem Weltraum, der Zusammenfassung einer Regierungsbehörde über eine Überschwemmung und einer Reanalyse historischer Klimadaten. Jede dieser Quellen erzählt einen Teil der Wahrheit, aber sie sprechen oft unterschiedliche Sprachen, decken unterschiedliche Gebiete ab und erfassen Ereignisse zu unterschiedlichen Zeiten. Die eigentliche Herausforderung der Erdwissenschaft besteht nicht nur darin, diese Berichte zu lesen, sondern herauszufinden, welche zusammengehören, wie man sie fair vergleicht und ob sie eine konsistente Geschichte über eine Katastrophe oder ein sich veränderndes Klima erzählen. Wenn ein Wissenschaftler die falschen Daten wählt oder die zeitliche Abfolge vertauscht, kann die gesamte Schlussfolgerung über eine Gefahr falsch sein, was schwerwiegende Folgen für die Art und Weise hat, wie Gemeinschaften sich auf eine Gefahr vorbereiten oder auf sie reagieren.

Eine neue Studie namens EarthVerse stellt eine schwierige Frage: Können KI-Systeme diese Art von wissenschaftlicher Detektivarbeit selbstständig leisten? Die Forscher bauten einen massiven Test auf, um zu sehen, ob Computer-Agenten wie echte Wissenschaftler agieren können. Sie erstellten 405 spezifische Untersuchungen basierend auf 199 realen Katastrophen und extremen Wetterereignissen, die von Hitzewellen bis hin zu Erdbeben reichten. Jede Untersuchung war ein Paket von etwa 34 verschiedenen Dateien, einschließlich Rohdaten, Karten und Berichten. Den Computer-Agenten wurde eine wissenschaftliche Frage gestellt, wie etwa die Bestimmung der Schwere einer Hitzewelle, aber es wurde ihnen nicht gesagt, in welche Dateien sie schauen sollten. Sie mussten das gesamte Paket durchsuchen, die richtigen Datensätze finden, prüfen, ob die Daten zeitlich und räumlich übereinstimmten, die notwendigen Berechnungen durchführen und dann eine abschließende Antwort formulieren, die vollständig durch die gefundene Evidenz gestützt wird.

Die Ergebnisse zeigten eine signifikante Lücke zwischen dem, was diese Systeme in einfachen Tests leisten können, und ihrer Leistung in komplexen, realen Szenarien. Als die Forscher 25 verschiedene KI-Systeme testeten, waren die besten in der Lage, etwa 85 Prozent der kleinen, individuellen Fakten korrekt zu erfassen. Sie konnten oft die richtigen Zahlen finden und die Mathematik korrekt ausführen. Wenn die Forscher jedoch untersuchten, ob die gesamte Untersuchung vollständig und zuverlässig war, sank die Erfolgsquote drastisch. Nur etwa 35 Prozent der Untersuchungen wurden gut genug durchgeführt, um als vollkommen vertrauenswürdig zu gelten. Das bedeutet, dass selbst die fortschrittlichsten Systeme oft einen kritischen Fehler in der Kette der Argumentation begingen. Sie hatten vielleicht den richtigen Temperaturdatensatz gefunden, aber das falsche Zeitfenster verwendet, oder sie hatten eine Statistik korrekt berechnet, aber versäumt zu prüfen, ob die Daten aus einer kompatiblen Quelle stammten.

Die Studie zeigte, dass das Problem nicht ein Mangel an Wissen oder eine Unfähigkeit zur Mathematik ist. Die Systeme kannten die Fakten und konnten die Zahlen berechnen. Das Scheitern geschah, wenn sie entscheiden mussten, welcher Evidenz sie vertrauen sollten und wie sie alle Teile des Puzzles aufeinander abstimmen konnten. Als die Forscher den KI-Systemen zusätzliche Hilfe gaben, indem sie sie direkt auf die korrekten Dateien hinwiesen, sprang ihre Leistung signifikant an, was bewies, dass der Hauptengpass das Finden der richtigen Informationen war, nicht das Verständnis der Informationen selbst. Die Studie fand auch heraus, dass es nicht half, die KI einfach länger oder intensiver nachdenken zu lassen, wenn sie bei der Suche nach den falschen Daten feststeckte. Die Systeme mussten in der Lage sein, ihre Meinung zu ändern, zurückzugehen, eine bessere Quelle zu finden und ihre Schlussfolgerung basierend auf neuen Erkenntnissen zu aktualisieren.

Diese Forschung deutet darauf an, dass künstliche Intelligenz zwar sehr gut darin wird, Fragen zu beantworten, wenn die Antwort bereits bereitgestellt wird, aber immer noch mit der schwierigeren Aufgabe kämpft, die Evidenzbasis selbst aufzubauen. In der Welt der Erdwissenschaft, in der ein einziges fehlendes Stück an Daten das Verständnis einer Katastrophe verändern kann, ist diese Lücke entscheidend. Die Studie kommt zu dem Schluss, dass eine KI, um in wissenschaftlichen Feldern wirklich zuverlässig zu sein, in der Lage sein muss, eine konsistente Verbindung zwischen jeder Behauptung, die sie aufstellt, und der spezifischen Evidenz aufrechtzuerhalten, die diese stützt, um sicherzustellen, dass die gesamte Geschichte vom ersten Datenpunkt bis zur endgültigen Schlussfolgerung zusammenhält.