Reimagining computational quantum research with AI scientists

Die Wissenschaft hat sich lange auf ein einfaches, menschliches Ritual verlassen: Ein Forscher veröffentlicht eine Entdeckung, und ein anderer Forscher versucht, das Experiment zu wiederholen, um zu sehen, ob es Bestand hat. Dieser Prozess der Verifizierung ist das Fundament des Vertrauens in jedem Bereich, von der Medizin bis zur Physik. Doch da die Fragen, die wir stellen, komplexer werden, sind die für ihre Beantwortung erforderlichen Experimente zu massiven, komplizierten digitalen Konstruktionen angewachsen. Im Bereich der Quantenwissenschaft, die das Verhalten von Materie auf kleinsten Skalen untersucht, beinhalten diese Konstruktionen die Simulation von Systemen, die selbst für die leistungsstärksten Supercomputer zu schwierig zu handhaben sind. Um diese Komplexität zu bewältigen, wenden sich Wissenschaftler zunehmend der künstlichen Intelligenz zu, in der Hoffnung, digitale Forscher zu erschaffen, die eine Arbeit lesen, die Methoden verstehen und den Code eigenständig ausführen können. Aber damit diese Vision der autonomen Entdeckung funktionieren kann, müssen diese KI-Systeme zuerst beweisen, dass sie die Arbeit menschlicher Wissenschaftler getreu reproduzieren können. Wenn eine KI nicht in der Lage ist, ein veröffentlichtes Ergebnis zuverlässig zu reproduzieren, kann ihr auch nicht zu neuen Ergebnissen vertraut werden.

Ein Team von Forschern hat sich nun intensiv mit dieser Herausforderung befasst und eine grundlegende Frage gestellt: Können aktuelle KI-Wissenschaftler tatsächlich die Ergebnisse veröffentlichter quantenwissenschaftlicher Arbeiten reproduzieren? Um dies herauszufinden, schufen sie ein strenges Testfeld namens OmniQ. Dies ist ein virtuelles Labor, in dem das Team sechzig veröffentlichte Studien aus drei Hauptbereichen der Quantenwissenschaft nahm: der Simulation von Quantensystemen auf klassischen Computern, dem Design neuer Quantenalgorithmen und der Messung der Eigenschaften von Quantensystemen. Sie speisten diese Arbeiten zusammen mit den dazugehörigen Zielgrafiken und Daten in fünf verschiedene fortgeschrittene KI-Systeme ein, die auf Large Language Models basieren. Das Ziel war einfach, aber anspruchsvoll: Die KI musste die Arbeit lesen, den notwendigen Code schreiben, die Berechnungen durchführen und ein Ergebnis liefern, das mit der Originalveröffentlichung übereinstimmt.

Die Ergebnisse waren aufschlussreich. Die KI-Wissenschaftler scheiterten trotz ihrer fortgeschrittenen Fähigkeiten zum logischen Schlussfolgern häufig daran, die veröffentlichten Ergebnisse zu reproduzieren. In vielen Fällen lag der Grund für das Scheitern nicht an einem Mangel an Intelligenz, sondern an einer Lücke in den Informationen, die die wissenschaftliche Dokumentation selbst bereitstellte. Die Forscher entdeckten, dass in achtzehn der sechzig Studien die veröffentlichte Arbeit, der freigegebene Code und die berichteten Ergebnisse inkonsistent zueinander waren. Manchmal beschrieb eine Arbeit eine Methode, die der Code tatsächlich nicht verwendete; ein anderes Mal lieferte der Code Zahlen, die nicht mit den Grafiken in der Arbeit übereinstimmten. Diese Inkonsistenzen erzeugten einen Nebel der Mehrdeutigkeit, der die KI verwirrte und es unmöglich machte, zu wissen, welcher Version der Wahrheit man folgen sollte. Selbst wenn der wissenschaftliche Datensatz klar war, hatte die KI oft Schwierigkeiten mit den spezifischen, nuancierten Anforderungen der Quantenforschung, wie etwa der korrekten Interpretation, wie eine Messung durchzuführen sei oder wie eine komplexe mathematische Operation strukturiert werden müsse.

Doch die Geschichte endete nicht mit dem Scheitern. Die Forscher fanden heraus, dass die KI die Ergebnisse erfolgreich reproduzieren konnte, wenn menschliche Experten einsprangen, um diese Mehrdeutigkeiten zu klären oder die Inkonsistenzen zu beheben. Diese Beobachtung führte zu einer entscheidenden Erkenntnis: Die fehlenden Informationen, die für den Erfolg nötig waren, konnten identifiziert, korrigiert und in verwertbares Wissen umgewandelt werden. Darauf aufbauend entwickelte das Team eine neue Art von KI-Wissenschaftler namens Residual Agents. Im Gegensatz zu Standard-KIs, die versuchen, ein Problem jedes Mal von Grund auf neu zu lösen, ist dieses System darauf ausgelegt, aus seinen eigenen Fehlern zu lernen. Wenn es scheitert, ein Ergebnis zu reproduzieren, überprüft ein menschlicher Experte das Scheitern, identifiziert den spezifischen Fehler, und das System destilliert diese Korrektur zu einer Lektion. Diese Lektion wird dann in einem Speicherbank gespeichert und genutzt, um zukünftige Versuche zu leiten.

Die Auswirkungen dieses selbstverbessernden Ansatzes waren signifikant. Durch die Nutzung dieser destillierten Lektionen steigerte das Residual-Agent-System seine Leistung drastisch. Beispielsweise steigerte das Residual-Agent-System die Erfolgsquote eines spezifischen Basismodells, das anfangs nur bei 68 % der Aufgaben erfolgreich war, auf 85 %. Bemerkenswerterweise erreichte es dieses hohe Leistungsniveau zu einem Bruchteil der Kosten anderer erstklassiger KI-Systeme, die viel mehr Rechenleistung und Geld erforderten, um ähnliche Ergebnisse zu erzielen. Die Forscher integrierten all diese reproduzierten Ergebnisse in eine offene Plattform und schufen so eine wachsende Bibliothek verifizierter wissenschaftlicher Arbeitsabläufe, auf die andere KI-Systeme zugreifen und die sie nutzen können.

Diese Arbeit ebnet den Weg für die computergestützte Wissenschaft. Sie zeigt, dass aktuelle KI-Systeme menschliche Forscher bei der Verifizierung komplexer Quantenexperimente zwar noch nicht vollständig ersetzen können, sie aber durch einen Prozess des geleiteten Lernens zuverlässig gemacht werden können. Indem sie die schwierige Aufgabe, wissenschaftliche Arbeiten zu reproduzieren, in eine strukturierte Lernerfahrung verwandeln, haben die Forscher ein Fundament geschaffen, auf dem KI-Wissenschaftler die Quantenwelt autonom erkunden können – auf einem Fundament aus verifiziertem, wiederverwendbarem Wissen, statt über die Inkonsistenzen der Vergangenheit zu stolpern.