In einem Labor folgt ein Wissenschaftler selten exakt einem gedruckten Rezept. Die Welt der biologischen Nasslaborarbeit ist durch Anpassung definiert. Ein Protokoll, das im Grunde eine detaillierte Anweisung für ein Experiment darstellt, ist oft nur ein Ausgangspunkt. Wenn ein Forscher dieses Experiment auf einen neuen Zelltyp, eine andere Maschine oder eine leicht veränderte chemische Umgebung überträgt, muss er die Schritte modifizieren. Dabei geht es nicht nur darum, eine Zahl zu ändern; es geht darum zu verstehen, wie eine Änderung den Rest des Prozesses beeinflusst. Wenn ein Wissenschaftler die Temperatur im ersten Schritt ändert, muss er vielleicht die Zeit im dritten Schritt anpassen oder eine Chemikalie im letzten Schritt austauschen. Dies korrekt zu tun, erfordert ein tiefes, praktisches Verständnis von Ursache und Wirkung, wobei ein kleiner Fehler in der Mitte die Ergebnisse am Ende ruinieren kann. Über Jahrzehnte hinweg war diese Art des Denkens eine einzigartig menschliche Fähigkeit, die auf Erfahrung und Intuition beruhte – Fähigkeiten, denen Computer bisher kaum nachzuahmen vermochten.

Forscher bei Benchling, einem Unternehmen, das Software für Wissenschaftler entwickelt, haben einen neuen Weg geschaffen, um zu testen, ob künstliche Intelligenz dieses spezifische Denken meistern kann. Sie führten einen Test namens BenchBench-Protocol ein. Anstatt einen Computer darum zu bitten, ein erfundenes Problem zu lösen oder Fakten aus einem Lehrbuch aufzusagen, gaben sie ihm eine reale Herausforderung: ein veröffentlichtes wissenschaftliches Protokoll für eine neue Situation zu modifizieren, genau so, wie es ein menschlicher Wissenschaftler tun würde. Das Team hat diese Herausforderungen nicht aus dem Nichts erfunden. Sie untersuchten tausende tatsächlicher Experimente, die von echten Wissenschaftlern auf der Benchling-Plattform durchgeführt wurden. Sie fanden Fälle, in denen ein Wissenschaftler ein standardisiertes, veröffentlichtes Protokoll nahm und es änderte, um es an seine spezifischen Bedürfnisse anzupassen. Durch den Vergleich der ursprünglichen Anweisungen mit der modifizierten Version des Wissenschaftlers extrahierten die Forscher die exakte Logik, die der Mensch angewandt hatte. Sie wandelten diese realen Änderungen dann in 149 unterschiedliche Testfragen um. Jede Frage fordert eine künstliche Intelligenz dazu auf, zu erklären, wie sie ein Protokoll anpassen würde, und – entscheidend – zu begründen, warum diese Änderungen notwendig sind.

Um sicherzustellen, dass diese Tests fair und präzise waren, verließen sich die Forscher nicht auf Computer, um die Antworten zu bewerten. Sie holten menschliche Experten hinzu. Jede der 149 Aufgaben wurde von Wissenschaftlern überprüft, die über fortgeschrittene akademische Grade verfügen und mindestens drei Jahre Erfahrung in einem Labor gesammelt haben. Diese Experten prüften, ob die Fragen sinnvoll waren, ob die Regeln für eine korrekte Antwort wissenschaftlich fundiert waren und ob die Aufgabe tatsächlich die Arbeit eines echten Wissenschaftlers widerspiegelte. Sie behielten nur die Aufgaben, die die höchsten Bewertungen für Qualität und Relevanz erhielten. Der fertige Datensatz deckt neun verschiedene Bereiche der Biologie ab, von der Arbeit mit Proteinen und Zellen bis hin zur Sequenzierung von DNA und dem Kultivieren von Mikroben. Das Ziel war es, einen Benchmark zu schaffen, der misst, ob eine Maschine in der Lage ist, über die nachgelagerten Konsequenzen einer Änderung nachzudenken, anstatt nur die richtige Antwort zu erraten.

Die Forscher stellten daraufhin neun verschiedene Modelle der künstlichen Intelligenz auf die Probe. Diesen Modellen wurden das ursprüngliche Protokoll, eine Beschreibung des neuen experimentellen Ziels sowie Zugang zu Suchwerkzeugen zur Informationsbeschaffung gegeben. Sie wurden aufgefordert, eine freie Antwort zu verfassen, die erklärt, wie das Protokoll zu modifizieren sei. Die Antworten wurden anschließend anhand der von Experten verifizierten Regeln bewertet. Die Ergebnisse zeigten, dass diese Modelle zwar signifikante Fortschritte gemacht haben, aber noch einen weiten Weg vor sich haben. Das leistungsstärkste Modell, Claude Opus 5, erreichte eine Punktzahl von 59,2 Prozent. Das bedeutet, dass es die notwendigen Änderungen und deren Konsequenzen in etwas mehr als der Hälfte der Fälle korrekt adressierte. Die anderen Modelle erreichten Werte zwischen 34,1 und 47,1 Prozent. Selbst der Spitzenreiter ließ einen großen Teil der verfügbaren Punkte liegen, was darauf hindeutet, dass der Test schwierig ist und die Modelle noch nicht perfekt sind.

Die Studie untersuchte auch, was passiert, wenn ein Modell erlaubt wird, dieselbe Frage mehrfach zu beantworten – simuliert ein Wissenschaftler, der eine Simulation durchführt oder verschiedene Optionen prüft, bevor er eine Entscheidung trifft. Als die Forscher die beste Antwort aus zehn Versuchen auswählten, verbesserten sich die Punktzahlen, aber die Kluft zwischen den Modellen veränderte sich. Einige Modelle, die bei einem einzelnen Versuch durchschnittlich abschnitten, wurden deutlich stärker, wenn sie mehrere Chancen erhielten, während andere konsistent blieben. Dies deutet darauf darauf hin, dass verschiedene Modelle unterschiedliche Stärken besitzen; einige sind zuverlässiger, während andere eher dazu neigen, eine brillante Antwort zu liefern, wenn sie Glück haben. Selbst mit zehn Versuchen konnte das beste Modell jedoch nicht alle verfügbaren Punkte sammeln, was beweist, dass der Benchmark noch nicht „gesättigt“ oder zu einfach für die aktuelle Technologie ist.

Die Forscher fanden heraus, dass die Modelle je nach Art der Aufgabe unterschiedlich abschnitten. Sie waren relativ gut in Aufgaben, die erforderten, experimentelle Belege zu betrachten und eine logische Schlussfolgerung zu ziehen. Sie hatten jedoch größere Schwierigkeiten bei Aufgaben, die „implizites Wissen“ (tacit knowledge) erforderten – jene Art von Bauchgefühl oder Intuition, die ein Experte über den besten Ansatz in einer komplexen, realen Situation hat. Dies galt insbesondere für das Troubleshooting, bei dem ein Modell herausfinden muss, warum ein Experiment fehlgeschlagen ist und wie es zu beheben ist. Die Modelle variierten auch darin, wie stark sie ihre Suchwerkzeuge nutzten. Einige Modelle, wie etwa Grok, verbrauchten eine enorme Menge an Daten, indem sie das Internet intensiv durchsuchten, während andere konservativer vorgingen. Die Studie stellte fest, dass diese hochgradig argumentativen Einstellungen, die es den Modellen ermöglichten, tiefgründig zu denken und weitläufig zu suchen, mit hohen Kosten in Bezug auf Rechenleistung und Zeit verbunden waren.

Letztendlich bietet diese Arbeit eine fundierte Möglichkeit, den Fortschritt der künstlichen Intelligenz in der Wissenschaft zu messen. Indem die Forscher den Test auf realen Modifikationen basierend auf echten Wissenschaftlern aufbauten, vermieden sie die Falle, künstliche Probleme zu kreieren, die die Komplexität tatsächlicher Laborarbeit nicht widerspiegeln würden. Die Ergebnisse zeigen, dass künstliche Intelligenz zwar zu einem hilfreichen Werkzeug für Wissenschaftler wird, aber noch kein Ersatz für das menschliche Urteilsvermögen im Labor ist. Die Modelle können Fakten abrufen und Anweisungen befolgen, aber sie kämpfen noch immer mit der nuancierten, schrittweisen Argumentation, die erforderlich ist, um ein wissenschaftliches Protokoll sicher und effektiv anzupassen. Während diese Werkzeuge in der Forschung immer häufiger eingesetzt werden, werden Benchmarks wie BenchBench-Protocol essenziell sein, um zu verstehen, wo sie erfolgreich sind und wo sie noch lernen müssen. Der Weg nach vorn besteht nicht nur darin, die Modelle intelligenter zu machen, sondern sie zu lehren, die Kette von Ursache und Wirkung zu verstehen, die die wissenschaftliche Methode definiert.