Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery
Der Science Edge Evaluation (SEE) Benchmark zeigt auf, dass aktuelle multimodale große Sprachmodelle Schwierigkeiten haben, zuverlässig evidenzbasierte Erkenntnisse aus experimentellen Daten in der realen wissenschaftlichen Entdeckung abzuleiten, was eine kritische Lücke zwischen der Erklärung etablierter Konzepte und der Generierung neuartiger, begründeter wissenschaftlicher Inferenzen hervorhebt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In modernen Laboren ist eine Entdeckung selten ein plötzlicher Geistesblitz. Sie ist ein langsamer, bewusster Prozess des Sammelns von Beweisen. Ein Wissenschaftler betrachtet ein Lichtspektrum, das von einem Molekül reflektiert wird, ein mikroskopisches Bild einer Zelle oder eine Grafik von Temperaturveränderungen und fragt sich, was diese stillen Signale tatsächlich bedeuten. Die Antwort muss strikt darauf basieren, was die Daten zeigen, und nicht darauf, was der Wissenschaftler zu finden hofft oder was er in anderen Experimenten gesehen hat. Diese Disziplin, sich an die Beweise zu halten, ist das Fundament verlässlicher Wissenschaft. Heute werden leistungsstarke Computerprogramme, bekannt als Large Language Models, gebeten, bei dieser Arbeit zu assistieren. Diese Systeme können riesige Bibliotheken wissenschaftlicher Arbeiten lesen und komplexe Theorien mit Leichtigkeit diskutieren. Aber eine kritische Frage bleibt: Können sie sich ein rohes, unordentliches Set von experimentellen Ergebnissen ansehen und eine Schlussfolgerung ziehen, die sowohl korrekt als auch strikt durch das begrenzt ist, was die Daten zulassen?
Eine neue Studie mit dem Titel „Science Edge Evaluation“ befasst sich direkt mit dieser Frage. Forscher der Alibaba Group, der Tsinghua University und anderer Institutionen entwickelten einen strengen Test, um zu sehen, ob diese KI-Systeme wirklich als Partner in der echten wissenschaftlichen Entdeckung fungieren können. Sie bauten einen Benchmark namens SEE, der aus über tausend Fragen besteht, die aus tatsächlicher, veröffentlichter Forschung in den Bereichen Chemie, Biologie und Materialwissenschaft stammen. Im Gegensatz zu früheren Tests, die lediglich fragten, ob ein Modell ein Faktum kannte oder ein Lehrbuchproblem lösen konnte, präsentiert dieser Benchmark den Modellen dieselbe visuelle Evidenz, die ein menschlicher Wissenschaftler sehen würde – wie etwa Gel-Bilder, Spektralkurven und Mikroskopfotos – zusammen mit dem dazugehörigen Text. Das Ziel war es zu sehen, ob die Modelle diese Bilder interpretieren und zu einer Schlussfolgerung gelangen können, die innerhalb der Grenzen der bereitgestellten Beweise bleibt, ohne zu raten oder Fakten zu erfinden.
Die Ergebnisse dieser Evaluierung waren ernüchternd. Die Forscher testeten achtzehn verschiedene fortgeschrittene Modelle, darunter sowohl allgemeine Systeme als auch solche, die speziell für die Wissenschaft trainiert wurden. Selbst das leistungsstärkste Modell beantwortete die Fragen nur in 48,7 Prozent der Fälle korrekt. Kein Modell erreichte die 50-Prozent-Marke. Dieser niedrige Wert deutet darauf an, dass die aktuelle künstliche Intelligenz noch nicht zuverlässig genug ist, um die nuancierte Argumentation zu bewältigen, die in einem echten Labor erforderlich ist. Vielleicht noch überraschender war, dass die speziell für die Wissenschaft entwickelten Modelle die allgemeinen Systeme nicht übertrafen. Tatsächlich waren die allgemeinen Modelle im Durchschnitt etwas besser. Dieser Befund zeigt, dass es nicht ausreicht, einem Computer einfach mehr wissenschaftliche Fakten einzufüttern oder ihn mit spezialisierten Texten zu trainieren. Das fehlende Puzzleteil ist nicht das Wissen, sondern die Fähigkeit, sorgfältig auf der Grundlage der spezifischen vorliegenden Beweise zu argumentieren.
Die Studie untersuchte auch, was passiert, wenn man diesen Modellen Werkzeuge zur Unterstützung gibt, wie etwa die Fähigkeit, das Web nach Hintergrundinformationen zu durchsuchen oder einen Code-Interpreter zur mathematischen Analyse von Bildern zu verwenden. Diesen Modellen diese Werkzeuge zu geben, half zwar und steigerte die beste Genauigkeit auf 52,7 Prozent. Die Verbesserung war jedoch bescheiden, und die Modelle machten immer noch signifikante Fehler. Die Forscher fanden heraus, dass die Werkzeuge zwar mehr Informationen bereitstellen konnten, aber das Kernproblem nicht lösten: Die Modelle hatten immer noch Schwierigkeiten, diese Informationen korrekt zu verwalten. Sie versäumten es oft, aufzuhören, wenn sie genügend Beweise hatten, oder sie kombinierten neue Daten mit alten Annahmen auf eine Weise, die zu falschen Schlussfolgerungen führte. Die Werkzeuge erweiterten, was die Modelle sehen konnten, aber sie lehrten die Modelle nicht, innerhalb der Grenzen dessen zu denken, was sie sahen.
Als die Forscher die spezifischen Arten analysierten, auf denen die Modelle scheiterten, zeichnete sich ein klares Muster ab. Die Fehler fielen in zwei Hauptkategorien: Wahrnehmung und Schlussfolgerung. In Bezug auf die Wahrnehmung fehlte den Modellen oft die Präzision, exakte Zahlen aus einem Graphen oder einem Spektrum abzulesen. Sie waren gut darin, allgemeine Muster zu erkennen, aber schlecht darin, als Messinstrumente zu fungieren. In Bezug auf die Schlussfolgerung ließ das Modell häufig sein Vorwissen die tatsächliche visuelle Evidenz überstimmen. Wenn ein Bild etwas Ungewöhnliches zeigte, ignorierte das Modell oft das seltsame Detail und beschrieb stattdessen das, was es basierend auf seinen Trainingsdaten erwartete zu sehen. Sie neigten auch dazu, zu extrapolieren, indem sie ein kleines, teilweises Ergebnis nahmen und es in eine weitreichende, definitive Schlussfolgerung verwandelten, die die Daten nicht stützten.
Eines der aufschlussreichsten Experimente bestand darin, die Bilder vollständig zu entfernen und die Modelle zu bitten, allein auf Basis des Textes zu antworten. Ein wahrhaft intelligentes System sollte erkennen, dass es ohne die visuelle Evidenz die Frage nicht beantworten kann. Stattdessen versuchten die Modelle fast immer trotzdem zu antworten und ratierten allein basierend auf dem Text. Sie identifizierten fehlende Informationen in nur 4,6 Prozent der Fälle. Dieses Verhalten, bekannt als Halluzination, ist in der Wissenschaft gefährlich, da es ein falsches Gefühl von Zuversicht erzeugt. Die Modelle waren bereit, eine Antwort zu erfinden, anstatt zuzugeben, dass die notwendigen Beweise fehlten.
Die Studie kommt zu dem Schluss, dass die Lücke zwischen aktueller künstlicher Intelligenz und echter wissenschaftlicher Entdeckung nicht in mehr Daten oder klügeren Werkzeugen liegt. Die Lücke liegt in der Fähigkeit, Beweise zu verwalten. Echte wissenschaftliche Entdeckung erfordert ein System, das eine Reihe von Beobachtungen betrachten, verstehen kann, was diese Beobachtungen genau beweisen, und genau dort innehält. Sie erfordert die Disziplin zu sagen: „Dies ist das, was die Daten zeigen“, und den Drang zu widerstehen, die Lücken mit Vermutungen zu füllen. Bis die künstliche Intelligenz zuverlässig unterscheiden kann zwischen dem, was bekannt ist, und dem, was lediglich möglich ist, wird sie ein Werkzeug zur Erklärung etablierter Ideen bleiben, statt ein Partner für die Entdeckung neuer Erkenntnisse zu sein. Der Weg nach vorn liegt laut den Forschern nicht darin, die Modelle lediglich größer oder wissensreicher zu machen, sondern ihnen die rigorose Logik der evidenzbasierten Argumentation beizubringen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.