Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery
Der Science Edge Evaluation (SEE) Benchmark zeigt auf, dass aktuelle multimodale große Sprachmodelle Schwierigkeiten haben, zuverlässig evidenzbasierte Erkenntnisse aus experimentellen Daten in Chemie, Biologie und Materialwissenschaft abzuleiten, wobei sie selbst unter Verwendung von Werkzeugen höchstens eine Genauigkeit von 52,7 % erreichen, was eine kritische Lücke zwischen der Erklärung etablierter Konzepte und der Durchführung echter wissenschaftlicher Entdeckungen verdeutlicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt nur eine Zeugenaussage zu lesen, müssen Sie gleichzeitig ein verschwommenes Foto, einen Fingerabdruck, ein chemisches Testergebnis und eine zerrissene Karte betrachten. So fühlt sich echte wissenschaftliche Entdeckung an. Wissenschaftler lernen nicht einfach nur Fakten aus einem Lehrbuch auswendig; sie müssen mit unordentlichen, realen Daten arbeiten – wie Bildern von winzigen Zellen, zittrigen Linien von Maschinen und Zahlen aus Experimenten – und herausfinden, was tatsächlich vor sich geht. Sie müssen vorsichtig sein, nicht auf Basis dessen zu raten, was sie sich erwarten, sondern nur auf Basis dessen, was die Beweise tatsächlich zeigen.
Lange Zeit haben wir „computergestützte Gehirne“, sogenannte „Large Language Models“ (LLMs), getestet, um zu sehen, ob sie klug genug sind, um bei dieser Detektivarbeit zu helfen. Dies sind dieselben Arten von KI, die Geschichten schreiben oder Trivia-Fragen beantworten können. Aber es gibt eine große Frage: Können sie mit der unordentlichen, visuellen und komplexen Realität eines echten Labors umgehen? Wenn eine KI Wissenschaftlern helfen soll, neue Medikamente oder Materialien zu entdecken, darf sie nicht nur eine gute Rednerin sein; sie muss eine gute Beobachterin und eine sorgfältige Denkerin sein, die weiß, wann sie sagen muss: „Ich habe noch nicht genug Hinweise.“
Der Große Labortest: Kann KI die Wissenschaft „sehen“?
Ein Team von Forschern beschloss, diese KI-Detektive dem ultimativen Test zu unterziehen. Sie entwickelten eine neue Herausforderung namens Science Edge Evaluation (SEE). Stellen Sie sich SEE wie eine riesige, superharte Prüfung vor, die nicht fragt: „Was ist die Hauptstadt von Frankreich?“ oder „Was ist die Formel für Wasser?“ Stattdessen überreicht sie der KI ein echtes wissenschaftliches Rätsel: ein Foto eines Mikroskop-Objektträgers, eine Grafik aus einem Chemieexperiment und eine Frage, die erfordert, all diese Punkte miteinander zu verbinden, um die Antwort zu finden.
Die Prüfung deckt drei große Felder ab: Chemie (wie Dinge sich verändern), Biologie (wie das Leben funktioniert) und Materialwissenschaften (wie wir neue Dinge bauen). Die Fragen stammen aus echten, veröffentlichten wissenschaftlichen Arbeiten und echten Laborexperimenten. Es gibt insgesamt 1.116 Fragen, und sie sind darauf ausgelegt, knifflig zu sein. Einige verlangen von der KI, eine bestimmte Zahl aus einer Grafik abzulesen, andere fordern sie auf, einen Fehler in einem biologischen Diagramm zu entdecken, und einige erfordern, dass die KI Wissen aus Biologie und Chemie miteinander kombiniert.
Die Ergebnisse: Ein Realitätscheck
Die Forscher testeten 1 116 Fragen auf 19 verschiedene KI-Modelle. Dazu gehörten die größten, berühmtesten „allgemeinen“ KIs (diejenigen, die alles können können) und einige „wissenschaftsspezialisierte“ KIs (diejenigen, die speziell auf Wissenschaftsbücher trainiert wurden).
Hier kommt die große Überraschung: Keines von ihnen bestand mit Bravour.
Tatsächlich erreichte das leistungsstärkste Modell, ein Kraftpaket namens GPT-5.6-Sol (Max), nur 48,7 % der richtigen Antworten. Das ist weniger als die Hälfte! Die anderen Modelle schnitten noch schlechter ab, wobei einige Werte von nur 15,9 % erreichten. Es ist, als würde ein Schüler eine Abschlussprüfung machen und eine Sechs (bzw. ein D-Minus) erhalten.
Noch interessanter: Die „wissenschaftsspezialisierten“ Modelle (diejenigen, die fleißig im Naturwissenschaftsunterricht gelernt hatten) schnitten im Durchschnitt sogar schlechter ab als die allgemeinen Modelle. Die allgemeinen Modelle erreichten im Durchschnitt 34,9 % korrekte Antworten, während die Wissenschaftsexperten nur im Durchschnitt 22,2 % erreichten. Dies deutet darauf hin, dass es nicht ausreicht, einfach eine Menge wissenschaftlicher Fakten auswendig zu lernen. Die KI muss wissen, wie sie diese Fakten verwendet, wenn sie mit einem unordentlichen, realen Bild konfrontiert wird.
Das „Werkzeug“-Problem: Hilft ein Taschenrechner?
Die Forscher fragten sich: „Was wäre, wenn wir der KI einen Taschenrechner und eine Suchmaschine geben?“ Sie ließen die sechs besten Modelle Werkzeuge benutzen, wie etwa die Websuche (um Fakten nachzuschlagen) und einen Code-Interpreter (um Mathematik zu betreiben oder Bilder zu analysieren).
Die Gabe von Werkzeugen half, aber nicht viel. Die Punktzahl des besten Modells stieg von 48,7 % auf 52,7 %. Obwohl dies eine kleine Verbesserung war, ist es immer noch keine Bestehensnote. Die Werkzeuge gaben der KI mehr Informationen, aber die KI hatte immer noch Schwierigkeiten zu entscheiden, welche Informationen wichtig waren und wie sie diese zusammenfügen konnte. Manchmal machten die Werkzeuge die KI sogar verwirrt, was dazu führte, dass sie den falschen Weg wählte oder in einer Schleife aus Überdenken stecken blieb.
Das wahre Problem: Warum scheitern sie?
Das Paper geht der Frage auf den Grund, warum die KI scheitert. Es stellt sich heraus, dass das Problem nicht darin liegt, dass die KI nicht genug Fakten kennt. Das Problem ist, dass die KI schlecht darin ist, sich an die Beweise zu halten.
- Die Gewohnheit des „Blinden Ratens“: Als die Forscher die Bilder wegnahmen und der KI nur den Text gaben, sagte die KI nicht: „Hey, ich kann das ohne das Bild nicht lösen!“ Stattdessen rät sie einfach basierend auf dem, was sie zuvor gelesen hatte. Sie versuchte, das Rätsel mithilfe ihres Gedächtnisses zu lösen, anstatt die Hinweise zu betrachten. Tatsächlich gab die KI in nur 4,6 % der Fälle zu, dass ihr Informationen fehlten.
- Ignorieren des Bildes: Wenn das Bild etwas Seltsames zeigte, das nicht mit dem übereinstimmte, was die KI erwartete, ignorierte die KI oft das Bild und vertraute auf ihr „Bauchgefühl“ (das, was sie durch ihre Trainingsdaten gelernt hatte). Es ist, als würde ein Detektiv einen Fingerabdruck ignorieren, weil er nicht zur Geschichte des Verdächtigen passt.
- Übermäßiges Selbstvertrauen: Die KI versuchte oft, die Lücken zu füllen. Wenn ein Experiment unvollständig war, erfand die KI eine Schlussfolgerung, als hätte sie alle Daten zur Verfügung. Echte Wissenschaftler wissen, dass man manchmal einfach nicht genug Beweise hat, um eine Behauptung aufzustellen, aber die KI ist zu eifrig darin, eine Antwort zu geben.
Der fehlende Schritt
Das Paper kommt zu dem Schluss, dass uns ein entscheidender Schritt fehlt, um KI für die Wissenschaft nützlich zu machen. Wir haben versucht, die KI zu einer Bibliothek (zum Speichern von Fakten) oder einem Taschenrechner (zum Rechnen) zu machen. Aber echte Wissenschaft erfordert, dass die KI ein Detektiv ist, der in der Lage ist, unordentliche Beweise zu betrachten, zuzugeben, wenn er die Antwort nicht weiß, und nur Schlussfolgerungen zieht, die strikt durch das gestützt werden, was er sehen kann.
Die Autoren schlagen vor, dass eine KI, um wirklich bei der echten wissenschaftlichen Entdeckung helfen zu können, lernen muss, Beweise besser zu verwalten. Sie muss lernen, wann sie aufhören muss zu raten und wann sie nach mehr Daten fragen muss. Bis die KI das kann, mag sie eine großartige Assistentin beim Schreiben von Berichten sein, aber sie ist noch nicht bereit, selbst das Labor zu leiten. Die Lücke zwischen „Fakten kennen“ und „aus Beweisen schlussfolgern“ ist der fehlende Schritt auf dem Weg zur echten wissenschaftlichen Entdeckung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.