Can LLMs Solve Science or Just Write Code? Evaluating Quantum Solver Generation
Dieser Beitrag stellt Q-SAGE vor, eine iterative Evaluierungsmethodik, die zeigt, dass Large Language Models zwar durch Verfeinerung Quantenlöser mit verbesserten Erfolgsraten generieren können, jedoch weiterhin Schwierigkeiten mit der numerischen Genauigkeit haben und erhebliche Rechenkosten verursachen, was die aktuellen Grenzen der vollständigen Automatisierung der wissenschaftlichen Entwicklung von Quantensoftware aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr talentierten, extrem schnellen Roboterassistenten, der hervorragend Computercode schreiben kann. Sie bitten ihn, eine komplexe Maschine zu bauen, um ein schwieriges Physikrätsel zu lösen. Der Roboter tippt den Code ein, und die Maschine beginnt zu laufen. Sie stürzt nicht ab! Sie wirft keine Fehlermeldung aus! Sie scheint perfekt zu funktionieren.
Aber hier liegt der Haken: Die Maschine läuft, aber sie liefert Ihnen die falsche Antwort.
Dies ist das Kernproblem, das Forscher am Politecnico di Milano und an der Universität Luxemburg in ihrer Arbeit „Can LLMs Solve Science or Just Write Code?" (Können LLMs Wissenschaft lösen oder nur Code schreiben?) angegangen sind. Sie wollten herausfinden, ob Large Language Models (LLMs) – die KI-Gehirne hinter Tools wie ChatGPT – tatsächlich Code schreiben können, der reale wissenschaftliche Probleme korrekt löst, oder ob sie nur Code schreiben, der richtig aussieht, aber den mathematischen Test nicht besteht.
Der „Q-SAGE"-Workshop
Um dies herauszufinden, entwickelten die Forscher einen Testrahmen namens Q-SAGE. Stellen Sie sich Q-SAGE als einen strengen, iterativen Workshop für KI-Code vor:
- Die Aufgabe: Die KI erhält ein wissenschaftliches Problem (z. B. herauszufinden, wie sich Elektronen in einem winzigen Magneten verhalten oder wie Moleküle binden).
- Der Entwurf: Die KI schreibt ein Python-Skript, um es zu lösen.
- Der Testlauf: Das Skript wird auf einem Computer ausgeführt.
- Der Realitätscheck: Das Ergebnis wird mit einem „Goldstandard" verglichen – einem vertrauenswürdigen, altmodischen klassischen Computerprogramm, von dem wir wissen, dass es die richtige Antwort liefert.
- Die Feedbackschleife: Wenn die Antwort der KI falsch ist (oder der Code abstürzt), sagt der Workshop nicht einfach „Durchgefallen". Er teilt der KI mit, warum sie gescheitert ist (z. B. „Sie haben einen mathematischen Fehler gemacht" oder „Der Code ist abgestürzt"). Die KI schreibt den Code dann neu und versucht es erneut.
Sie führten diesen Workshop mit fünf verschiedenen Arten wissenschaftlicher Probleme (von Quantenphysik bis Chemie) und fünf verschiedenen KI-Modellen durch (einige open-source, einige von großen Technologieunternehmen).
Was sie entdeckten
1. Das Problem des „ersten Entwurfs"
Wenn die KI gebeten wurde, den Code nur einmal zu schreiben (ohne Feedback), scheiterte sie oft. Es war, als würde man einen Schüler bitten, eine Abschlussprüfung abzulegen, ohne vorher zu lernen oder zu üben. Viele Skripte stürzten sofort ab, oder sie verwendeten die falschen Werkzeuge (wie einen Hammer zu verwenden, um eine Glühbirne einzuschrauben).
2. Die Magie des „Versuchen, Scheitern, Beheben"
Als die Forscher der KI erlaubten zu iterieren – ihr ihre Fehler zu zeigen und es erneut zu versuchen –, stieg die Erfolgsrate dramatisch.
- Analogie: Stellen Sie sich einen Koch vor, der versucht, einen Kuchen zu backen. Beim ersten Mal vergessen sie die Eier. Der Richter sagt: „Keine Eier." Der Koch versucht es erneut, fügt Eier hinzu, aber verbrennt den Kuchen. Der Richter sagt: „Die Hitze reduzieren." Beim dritten oder vierten Versuch backt der Koch schließlich einen perfekten Kuchen.
- Das Ergebnis: Bei einfacheren Problemen wurde die KI sehr gut darin, ihre eigenen Fehler innerhalb von etwa 5 Versuchen zu beheben.
3. Der „stille Killer": Falsche Mathematik
Hier ist die wichtigste Erkenntnis: Je intelligenter die KI-Modelle wurden, desto mehr änderte sich die Art der Fehler.
- Dumme KI: Machte „Syntax"-Fehler. Der Code lief gar nicht erst. Es war wie ein Auto, das nicht anspringt, weil die Schlüssel im falschen Zündschloss stecken.
- Smarte KI: Der Code lief perfekt! Aber die Zahlen waren falsch. Es war wie ein Auto, das sanft fuhr, aber eine falsche Abbiegung nahm, weil das GPS leicht falsch lag.
- Die Lehre: Selbst die besten KI-Modelle haben Schwierigkeiten mit numerischer Genauigkeit. Sie können Code schreiben, der aussieht wie eine Quantenphysik-Lösung, aber die Mathematik darin ist leicht falsch, was zu wissenschaftlich unbrauchbaren Ergebnissen führt.
4. Die Kosten der Perfektion
Es kostet Zeit, die KI dazu zu bringen, ihre Fehler zu beheben.
- Analogie: Wenn Sie einen Menschen bitten, einen Bericht zu schreiben, dauert es eine Stunde. Wenn Sie ihn bitten, ihn zu schreiben, Feedback zu erhalten, ihn neu zu schreiben, erneut Feedback zu erhalten und ihn fünfmal neu zu schreiben, kann es fünf Stunden dauern.
- Das Ergebnis: Die Forscher stellten fest, dass zwar iteratives Feedback funktionierte, es jedoch mit einer enormen „Zeitsteuer" verbunden war. Eine korrekte Antwort zu erhalten dauerte oft viel länger, als den Code nur einmal auszuführen. Bei sehr komplexen Problemen blieb die KI manchmal in einer Schleife aus Versuchen und Misserfolgen stecken und verbrannte viel Computerzeit.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass KI zwar besser darin wird, Code zu schreiben, aber noch kein zuverlässiger Wissenschaftler ist.
- Kann sie Code schreiben? Ja, besonders wenn Sie ihr erlauben, ihre Fehler zu beheben.
- Kann sie Wissenschaft lösen? Nicht zuverlässig allein. Sie produziert oft Code, der läuft, aber die falschen Zahlen liefert.
Die Forscher schlagen vor, dass KI derzeit ein großartiger „Entwurfstechniker" ist, der Sie zu 80 % zum Ziel bringt, aber ein menschlicher Experte (oder ein sehr strenges Verifikationssystem) immer noch benötigt wird, um die endgültige Mathematik zu überprüfen. Man kann der KI nicht einfach vertrauen, dass sie die Wissenschaft erledigt; man muss die Ergebnisse überprüfen, denn ein laufendes Programm bedeutet nicht immer eine korrekte Antwort.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.