Imaging-101: Benchmarking LLM Coding Agents on Scientific Computational Imaging
Dieses Paper führt Imaging-101 ein, einen Benchmark aus 57 Experten-verifizierten Aufgaben der computergestützten Bildgebung über sechs wissenschaftliche Domänen hinweg, der darauf ausgelegt ist, LLM-Coding-Agenten zu evaluieren, wobei aufgezeigt wird, dass aktuelle Frontier-Modelle mit domänenspezifischen Herausforderungen wie der Algorithmenauswahl und dem Umgang mit physikalischen Konventionen kämpfen, was somit die Notwendigkeit spezialisierter, fähigkeitsgestützter Agenten unterstreicht, um zuverlässige wissenschaftliche Entdeckungen zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten eine magische Box, die ein verschwommenes, verrauschtes Foto eines geheimen Objekts in ein kristallklares Bild verwandeln kann. In der realen Welt der Wissenschaft ist das keine Magie; es wird Computational Imaging genannt. Wissenschaftler nutzen es, um Dinge zu sehen, die sie nicht direkt berühren können, wie das Innere eines Schwarzen Lochs, die Struktur eines Virus oder was tief unter der Erde passiert. Aber das „Rezept“ zu erstellen, um aus diesem verschwommenen Chaos ein klares Bild zu machen, ist unglaublich schwer. Es erfordert ein Verständnis auf PhD-Niveau in Physik, Mathematik und Programmierung sowie viel Geduld, um winzige Fehler zu beheben, die das gesamte Bild ruinieren könnten.
Hier kommt Imaging-101 ins Spiel, ein neuer „Führerschein-Test“ für Künstliche Intelligenz. Die Forscher haben eine Herausforderung mit 57 verschiedenen Rätseln (Aufgaben) geschaffen, die aus echten wissenschaftlichen Arbeiten aus sechs Fachbereichen stammen: Astronomie, Biologie, Chemie, Geowissenschaften, Medizin und Physik. Sie haben die KI nicht nur gebeten, Code zu schreiben; sie haben sie aufgefordert, eine vollständige, funktionierende Maschine zu bauen, die diese Rätsel von Anfang bis Ende lösen kann.
Der dreiteilige Test
Um zu sehen, ob die KI wirklich intelligent oder nur glücklich war, gaben die Forscher ihr drei verschiedene Wege, den Test abzulegen:
- Der Plan: Zuerst musste die KI einen Bauplan entwerfen. Konnte sie die richtige Mathematik und die richtigen Schritte festlegen, bevor sie auch nur eine einzige Zeile Code schrieb?
- Die Lego-Steine: Als Nächstes musste sie spezifische Teile der Maschine bauen (wie die „Preprocessing“- oder „Solver“-Blöcke) und dabei winzige, strenge Unit-Tests für jeden einzelnen Teil bestehen.
- Die Vollfahrt: Schließlich musste sie die gesamte Maschine zusammenbauen, sie ausführen und ein Bild produzieren, das genau genug ist, um eine strenge Qualitätskontrolle zu bestehen.
Die Ergebnisse: KI ist gut im Reden, schlecht in der Physik
Die Forscher testeten sieben der klügsten verfügbaren KI-Modelle. Hier ist, was sie fanden:
- Der „Plan“ war okay: Die KIs waren überraschend gut darin, den Bauplan zu schreiben. Etwa 52,6 % der Zeit bekamen die Top-Modelle (GPT-5.4 und Kimi-k2.5) die allgemeine Idee richtig. Sie konnten die richtige Art der Mathematik benennen, die zu verwenden ist.
- Die „Lego-Steine“ waren wackelig: Als es an die Zeit kam, die Teile tatsächlich zu bauen, wurde es chaotisch. Die Erfolgsquote, alle Teile gleichzeitig korrekt zu bauen, sank auf zwischen 1,8 % und 22,8 %.
- Die „Vollfahrt“ war am schwersten: Nur in 29,8 % der Fälle schaffte es das beste Modell (Claude-4.6-Opus), eine Maschine zu bauen, die tatsächlich funktionierte und ein gutes Bild lieferte. Die anderen machten das noch schlechter, wobei einige nur in 7 % der Fälle erfolgreich waren.
Die „unsichtbaren“ Fallen
Der interessanteste Teil der Studie ist das Warum hinter dem Scheitern der KIs. Sie scheiterten nicht daran, dass sie keinen Code schreiben konnten; sie scheiterten, weil sie die „geheimen Regeln“ der Physik übersehen haben, die Wissenschaftler durch jahrelange Erfahrung lernen.
Das Papier nennt dies „Numerical-Convention Drift“ (Abdrift der numerischen Konventionen). Stellen Sie sich vor, Sie backen einen Kuchen. Die KI weiß, dass das Rezept sagt: „Mehl hinzufügen“, aber sie vergisst, dass man in dieser speziellen Küche das Mehl in Gramm und nicht in Tassen messen muss und es vorher sieben muss. Der Kuchen der KI sieht aus wie ein Kuchen und riecht wie ein Kuchen, aber er hat die falsche Größe und Textur.
In der Studie machten die KIs diese spezifischen Fehler:
- Falsche Einheiten: Bei einer Aufgabe zur Lichtstreuung vergaß die KI, „Intensität“ (wie hell das Licht ist) in „Amplitude“ (wie stark die Welle ist) umzuwandeln. Es war, als würde man versuchen, die Geschwindigkeit eines Autos in „Helligkeit“ statt in „Meilen pro Stunde“ zu messen.
- Falsche Solver: Die KI wählte ein generisches mathematisches Werkzeug (wie einen Standardhammer), wenn der Job ein spezialisiertes Werkzeug erforderte (wie ein Lasermesser). Sie sagte: „Ich werde diese gängige Methode verwenden“, obwohl die wissenschaftliche Arbeit, der sie folgte, ausdrücklich eine seltene, komplexe Methode verlangte.
- Fehlende Normalisierung: Bei MRT-Scans vergaß die KI, die Tatsache zu berücksichtigen, dass einige Körperteile näher am Sensor liegen als andere. Dies führte dazu, dass das fertige Bild einen seltsamen Schatten aufwies, obwohl der Code ohne Fehlermeldungen durchlief.
Die „Black Box“-Überraschung
Die Forscher testeten auch einen „Black-Box“-Agenten (Claude Code), der Zugriff auf ein echtes Computerterminal hat, Software installieren kann und Dateien einsehen kann. Dieser Agent schnitt deutlich besser ab und war in 56,1 % der Fälle erfolgreich. Dies deutet darauf hin, dass es der KI hilft, mehr Freiheit zur Exploration und zur Selbstkorrektur zu geben, aber selbst mit diesem Vorteil ist sie immer noch nicht perfekt.
Was das bedeutet
Das Paper macht deutlich, dass die KI zwar immer besser darin wird, Code zu schreiben, aber immer noch Schwierigkeiten mit dem tiefen, impliziten Wissen der wissenschaftlichen Bildgebung hat. Es ist wie ein Student, der zwar die Regeln des Baseballs rezitieren kann, aber nicht weiß, wie man einen Kurvenball fängt.
Die Forscher fanden heraus, dass die KIs oft scheitern, weil sie sich darauf verlassen, was in ihren Trainingsdaten „statistisch häufig“ vorkommt, anstatt das zu tun, was für das spezifische Problem physikalisch korrekt ist. Sie schlagen vor, dass wir, um dies zu beheben, KI-Assistenten bauen müssen, die mit einem „Werkzeugkasten“ aus vorab verifizierten, domänenspezifischen Fähigkeiten ausgestattet sind, anstatt zu erwarten, dass sie jede Physikregel von Grund auf neu erfinden.
Kurz gesagt: Die KI kann die Geschichte darüber schreiben, wie man das Rätsel löst, aber sie braucht immer noch einen menschlichen Experten, der die Mathematik überprüft und sicherstellt, dass die Physik tatsächlich aufgeht. Der Traum von einer vollautomatisierten Maschine für wissenschaftliche Entdeckungen ist noch ein laufendes Projekt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.