Experimental reasoning in large language models

Die Wissenschaft war schon immer ein Gespräch zwischen einer Frage und der physischen Welt. Ein Forscher schlägt eine Idee vor, entwirft einen Test, um zu sehen, ob die Welt zustimmt, und beobachtet dann, was passiert. Wenn das Ergebnis unerwartet ist, ändert der Forscher den Plan und versucht es erneut. Dieser Zyklus aus Fragen, Handeln und Anpassen ist der Motor der Entdeckung. Seit Jahrzehnten versuchen Wissenschaftler, Maschinen zu bauen, die diese Arbeit für sie erledigen können. Frühe Versuche konzentrierten sich auf die Automatisierung: Roboter, die einer strengen Reihe von Anweisungen folgten, wie ein Koch, der ein Rezept Buchstabe für Buchstabe befolgt. Diese Maschinen sind exzellent in der Wiederholung, aber sie haben Schwierigkeiten, wenn in der Küche ein Feuer ausbricht oder eine Zutat fehlt. Sie können nicht spontan reagieren. Die Frage ist nun, ob die neue Generation der künstlichen Intelligenz, insbesondere große Sprachmodelle, mehr tun kann, als nur Befehle auszuführen. Können diese Computerprogramme tatsächlich durch ein wissenschaftliches Experiment denken und entscheiden, was als Nächstes zu tun ist, genau wie ein menschlicher Wissenschaftler?

Ein Team von Forschern der Duke University unternahm den Versuch, dies zu beantworten, indem sie ein System namens PEARL entwickelten. Sie verbanden ein Standard-Computerprogramm, das darauf ausgelegt ist, menschliche Sprache zu verstehen und zu erzeugen, mit einem einfachen Laborroboter und einer Webcam. Der Roboter konnte Flüssigkeiten zwischen kleinen Behältern bewegen, und die Kamera konnte die Ergebnisse beobachten. Die Forscher gaben dem System ein Ziel vor, wie zum Beispiel „Erstelle einen Regenbogen im Tablett der Behälter“, aber sie gaben keinen Schritt-für-Schritt-Leitfaden an, wie dies zu erreichen sei. Sie sagten dem System nicht, welche Farben es mischen sollte, in welcher Reihenfolge, oder einmal nicht einmal, welche Flaschen welche Farbstoffe enthielten. Das System musste den gesamten Prozess aus eigenem Antrieb heraus bewältigen. Es musste die verfügbaren Werkzeuge betrachten, entscheiden, was zu mischen ist, die Handlung ausführen, das Ergebnis beobachten und dann entscheiden, ob es erfolgreich war oder ob es etwas anderes versuchen musste.

Das System arbeitete, indem es den Denkprozess in verschiedene Rollen unterteilte, die miteinander kommunizierten. Ein Teil des Systems plante das Experiment, ein anderer sagte voraus, was passieren würde, und ein dritter achtete auf Fehler. Wenn der Roboter zwei Flüssigkeiten mischte und die Farbe falsch herauskam, setzte das System nicht einfach fort. Es stoppte, betrachtete die Beweise und erkannte, dass seine Vorhersage nicht korrekt war. Es überarbeitte daraufhin seinen Plan und versuchte eine neue Mischung. In einem Test baten die Forscher das System, Lila aus nur roten und grünen Farbstoffen herzustellen. Das System erkannte korrekt, dass dies unmöglich war, und weigerte sich, sie zu mischen, und bat stattdan nach einer besseren Anweisung. In einem anderen Test rotierte ein Mensch heimlich das Tablett mit den Behältern, während das System arbeitete. Das System bemerkte, dass sich die Farben an den falschen Stellen befanden, aktualisierte seine mentale Karte des Tabletts und passte seine Handlungen an, um die korrekten Flüssigkeiten an den neuen Standorten zu mischen. Dies tat es, ohne dass ihm gesagt wurde, dass das Tablett bewegt worden war.

Die Forscher trieben dies weiter voran, indem sie das System aufforderten, einen echten biochemischen Test durchzuführen, um zu messen, wie schnell ein Enzym arbeitet. Dies erforderte präzise Messungen und eine sorgfältige Zeitmessung. Das System musste entscheiden, wie viel Flüssigkeit zu mischen ist, wann ein Foto zu machen ist und wie es die sich ändernden Farben im Laufe der Zeit analysiert. Als die Forscher ein Problem einführten, wie etwa das versehentliche Hinzufügen zu viel Flüssigkeit in einen Behälter, erkannte das System den Fehler, ignorierte die schlechten Daten und nutzte die verbleibenden guten Daten, um die Berechnung abzuschließen. Als die ursprüngliche Mischung zu stark war, um genau gemessen zu werden, erkannte das System, dass es mehr Informationen benötigte. Anstatt zu raten, entwarf es ein neues, kleineres Experiment, nur um die Mischung zu verdünnen und die wahren Farben zu sehen. Es nutzte dann diese neuen Informationen, um das Hauptexperiment zu korrigieren. In jedem Szenario gelang es dem System, ein vages Ziel in eine physische Handlung zu übersetzen, das Ergebnis zu interpretieren und zu entscheiden, was als Nächstes zu tun ist.

Die Studie testete auch, wie viel Hilfe das System benötigte, um erfolgreich zu sein. Die Forscher versuchten, dieselben Aufgaben mit einem einfacheren Aufbau durchzuführen, der über weniger interne Rollen verfügte und kein gemeinsames Gedächtnis der Experimentgeschichte besaß. Diese einfachere Version scheiterte oft daran, die Verbindung zwischen dem, was sie sah, und dem, was sie als Nächstes tun sollte, herzustellen. Sie konnte vielleicht ein Problem erkennen, vergaß aber, es zu beheben, oder verlor den Überblick über die Abfolge der Schritte. Wenn das System jedoch über ein beständiges Protokoll des Experiments und einige spezialisierte Rollen verfügte, die sich gegenseitig kontrollierten, war es jedoch fast jedes Mal erfolgreich. Dies deutet darauf hin, dass die Fähigkeit, durch ein Experiment zu denken, größtenteils aus der zugrunde liegenden Intelligenz des Sprachmodells selbst stammt, aber ein wenig Struktur hilft ihm, fokussiert und zuverlässig zu bleiben.

Diese Erkenntnisse legen nahe, dass wir die Art und Weise, wie wir über die Laborautomatisierung denken, ändern könnten. Anstatt Roboter so zu programmieren, dass sie jeder möglichen Eventualität im Voraus folgen, könnten wir ihnen bald ein Ziel vorgeben und sie die Details herausfinden lassen. Das System benötigte kein vorgeschriebenes Rezept für den Umgang mit einem rotierten Tablett oder einem konzentrierten Farbstoff; es fand diese Situationen im Moment des Geschehens selbst heraus. Die Forscher betonen, dass dies noch kein vollautonomer Wissenschaftler ist, der neue Theorien erfindet oder tiefe Fragen über das Universum stellt. Die Experimente waren auf spezifische Aufgaben mit visuellen Ergebnissen beschränkt. Die Arbeit zeigt jedoch, dass allgemeine Computermodelle bereits als eine denkende Schicht zwischen einem wissenschaftlichen Ziel und der physischen Welt agieren können. Sie können beobachten, interpretieren und sich anpassen, wodurch sie den Akt des Experimentierens zu einem Teil des Denkprozesses selbst machen. Dies verschiebt das Feld von der einfachen Automatisierung hin zu einer Zukunft, in der Maschinen direkt am wissenschaftlichen Prozess teilnehmen, das Unerwartete bewältigen und aus dem lernen, was sie sehen.