ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows
Die Arbeit stellt ScienceBoard vor, eine realistische Multimodal-Umgebung mit einem Benchmark aus 169 wissenschaftlichen Aufgaben, die zeigt, dass aktuelle KI-Agenten trotz vielversprechender Ansätze bei komplexen Forschungsworkflows noch mit einer Erfolgsquote von nur 15 % an ihre Grenzen stoßen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr klugen, aber noch etwas unerfahrenen Assistenten, der alles über die Welt weiß – Bücher, Fakten, Mathematik – aber noch nie wirklich ein Werkzeug in der Hand gehalten hat. Das ist im Grunde das aktuelle Problem mit den fortschrittlichsten Künstlichen Intelligenzen (KI), die wir heute haben. Sie können über wissenschaftliche Entdeckungen reden, aber sie können nicht wirklich in einem Labor oder am Computer arbeiten, um diese Entdeckungen zu machen.
Die Forscher in diesem Papier haben sich gedacht: „Lass uns das ändern." Sie haben SCIENCEBOARD erfunden.
Hier ist eine einfache Erklärung, was sie gemacht haben, mit ein paar bildhaften Vergleichen:
1. Das Problem: Der „Theoretiker" ohne Praxis
Bisher konnten KIs wie ein Student sein, der alle Physikbücher auswendig gelernt hat, aber noch nie ein Mikroskop berührt oder eine komplizierte Software bedient hat. Wenn man ihnen sagt: „Zeichne die Umlaufbahn eines Planeten" oder „Analysiere diese Proteinstruktur", wissen sie theoretisch, wie das geht. Aber wenn sie den Computer tatsächlich bedienen müssen, stolpern sie. Sie klicken auf das Falsche, tippen den falschen Befehl ein oder verstehen nicht, was auf dem Bildschirm passiert.
2. Die Lösung: SCIENCEBOARD – Ein „Flug Simulator" für Wissenschaftler
Die Forscher haben eine spezielle Umgebung gebaut, nennen wir sie einen wissenschaftlichen Flugsimulator.
- Die Umgebung: Es ist ein echter Computer (in einer virtuellen Maschine), auf dem echte, professionelle Wissenschafts-Software installiert ist. Das sind Programme wie ChimeraX (für Moleküle), Celestia (für den Weltraum) oder GrassGIS (für Karten).
- Die Aufgabe: Die KI muss wie ein echter Mensch mit der Maus und der Tastatur arbeiten. Sie muss Menüs öffnen, Daten eingeben, Diagramme zeichnen und Ergebnisse prüfen.
- Der Unterschied zu anderen Tests: Bisherige Tests waren wie Multiple-Choice-Fragen. Hier muss die KI den Computer tatsächlich bedienen. Es ist wie der Unterschied zwischen einem Fahrlehrer, der nur sagt „Drücke die Bremse", und einem, der Sie in einen echten Stau setzt und sagt „Fahren Sie jetzt!".
3. Der Test: 169 echte Herausforderungen
Die Forscher haben 169 verschiedene Aufgaben zusammengestellt, die echte Wissenschaftler jeden Tag machen.
- Beispiel 1 (Biochemie): „Lade die Struktur eines Proteins herunter und färbe die Kohlenstoffatome blau."
- Beispiel 2 (Astronomie): „Zeige mir, wie die Erde um die Sonne kreist, und setze das Datum auf das Jahr 1000."
- Beispiel 3 (Mathematik): „Löse diese komplexe Gleichung und zeichne das Ergebnis."
Diese Aufgaben sind so gestaltet, dass sie nicht nur „Richtig" oder „Falsch" sind, sondern dass die KI genau die richtigen Schritte im Programm ausführen muss, damit das Ergebnis stimmt.
4. Das Ergebnis: Die KI ist noch ein „Anfänger"
Das ist der schockierende Teil des Papers. Die Forscher haben die besten KIs der Welt (wie GPT-4o, Gemini, Claude) gegen diese Aufgaben antreten lassen.
- Das Ergebnis: Die KIs haben nur in etwa 20 % der Fälle die Aufgabe erfolgreich abgeschlossen.
- Der Vergleich: Ein echter Mensch (ein Student mit etwas Einarbeitung) schafft das in 60 % der Fälle.
- Was schiefgeht: Die KIs verlieren oft den Überblick. Sie klicken auf das falsche Menü, verstehen nicht, dass ein Fenster sich geöffnet hat, oder schreiben den falschen Code. Sie sind wie ein sehr kluger Koch, der die Rezepte kennt, aber beim Schneiden der Zwiebeln das Messer fallen lässt oder den Ofen nicht findet.
5. Was wir daraus lernen
Die Studie zeigt uns, dass wir noch einen langen Weg vor uns haben, bis wir echte „KI-Wissenschaftler" haben, die uns im Labor ersetzen können.
- Das Hauptproblem: Es liegt nicht daran, dass die KI nicht „klug" genug ist (sie weiß die Fakten). Das Problem ist die Handlungsfähigkeit. Sie kann nicht gut mit der Benutzeroberfläche (den Buttons, Menüs, Fenstern) umgehen.
- Die Zukunft: Um das zu lösen, brauchen wir KIs, die nicht nur denken, sondern auch „sehen" und „greifen" können. Vielleicht müssen wir verschiedene KIs zusammenarbeiten lassen: Eine, die den Plan macht (der Chef), und eine, die die Maus bedient (der Handwerker).
Zusammenfassung in einem Satz
SCIENCEBOARD ist ein großer, realistischer Test für KI-Assistenten, der zeigt, dass diese zwar viel wissen, aber im echten Umgang mit wissenschaftlicher Software noch wie verunsicherte Anfänger wirken, die dringend mehr Praxis und bessere „Hand-Augen-Koordination" brauchen, bevor sie uns bei der Entdeckung neuer Medikamente oder Planeten wirklich helfen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.