Demonstration of AI-Assisted Scientific Workflow on Canonical Benchmarks

Diese Arbeit demonstriert, wie ein menschlicher Autor einen vollständig reproduzierbaren wissenschaftlichen Workflow mit KI-Unterstützung für kanonische Benchmark-Probleme in Physik und Informatik erstellt, um zu zeigen, dass KI als vertrauenswürdiger Copilot für Ableitung, Implementierung und Validierung dienen kann, solange jeder Schritt durch etablierte Theorien und explizite Verifizierung kontrolliert wird.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen extrem talentierten, aber manchmal etwas chaotischen Assistenten, der alles über Physik und Mathematik weiß. Er kann Formeln wie ein Zauberer auf Papier schreiben, Code wie ein Programmierer tippen und Grafiken wie ein Künstler malen. Aber: Er hat keine eigene Intuition, er versteht die Welt nicht wirklich, und er macht manchmal Fehler, die so klein sind, dass man sie kaum sieht.

Die vorliegende Arbeit von Kin Hung Fung ist im Grunde eine große Testphase mit diesem Assistenten. Der Autor wollte herausfinden: Können wir diesem KI-Assistenten vertrauen, wenn es um echte Wissenschaft geht?

Hier ist die einfache Erklärung, was passiert ist, mit ein paar anschaulichen Vergleichen:

1. Das Grundprinzip: Der Assistent braucht einen strengen Chef

Der Autor hat dem KI-Assistenten nur einen einzigen Auftrag gegeben: „Erstelle einen kompletten wissenschaftlichen Bericht über fünf klassische Physik-Probleme, von der Formel bis zum fertigen Text."

Das Besondere daran: Der Autor hat dem Assistenten nicht erlaubt, einfach nur „etwas Neues" zu erfinden. Stattdessen hat er gesagt: „Du musst deine Arbeit mit bekannten, perfekten Lösungen vergleichen."

• Die Analogie: Stellen Sie sich vor, Sie lassen einen Koch eine Suppe kochen. Anstatt zu sagen „Koch etwas Leckeres", sagen Sie: „Koch genau diese Suppe nach Rezept A und vergleiche den Geschmack mit dem Original von Meister B." Wenn die Suppe schmeckt, weiß man, dass der Koch (die KI) gut arbeitet. Wenn sie schmeckt, aber das Rezept falsch war, ist das ein Problem.

2. Die fünf Prüfungen (Die „Benchmarks")

Der KI-Assistent musste fünf verschiedene Aufgaben lösen, bei denen wir die richtige Antwort schon vorher kannten:

• Der schwingende Pendel (Quantenphysik): Die KI sollte berechnen, wie ein winziges Teilchen schwingt. Da wir die exakte mathematische Antwort kennen, konnte man sofort sehen: Stimmt die KI? Ja, sie lag fast perfekt auf der Linie.
• Die Wärmeausbreitung (Hitze): Die KI sollte simulieren, wie sich Wärme in einem Metallstab ausbreitet. Wieder gab es eine exakte Lösung zum Vergleich. Die KI hat die Hitze genau so verteilt, wie es die Physik verlangt.
• Das Loch im Raum (Poisson-Gleichung): Ein komplexes mathematisches Problem, bei dem die KI eine künstliche „perfekte Lösung" vorgegeben bekam und prüfen musste, ob ihr Rechenweg hinhält. Das war wie ein Puzzle, bei dem man die Ecken schon kennt.
• Das Rätselraten (Inverse Modellierung): Die KI bekam verrauschte Daten (wie ein Foto mit vielen Körnern) und musste herausfinden, welche Parameter dahinterstecken. Sie hat nicht nur die Antwort gefunden, sondern auch ehrlich gesagt: „Ich bin zu 95 % sicher, dass das hier stimmt."
• Der Geschwindigkeitsvergleich: Die KI hat verglichen, welche Rechenmethode schneller ist. Hier zeigte sie, dass sie weiß, wann man welchen Werkzeugkasten benutzt.

3. Das Ergebnis: Ein „Co-Pilot", kein Autopilot

Das Wichtigste an dieser Studie ist die Erkenntnis: Die KI ist ein fantastischer Co-Pilot, aber kein Autopilot.

• Was die KI kann: Sie kann den ganzen schweren Koffer tragen. Sie schreibt den Code, erstellt die Grafiken, formuliert die Sätze und vergleicht die Ergebnisse. Sie macht die Arbeit extrem schnell und strukturiert.
• Was die KI nicht kann: Sie kann nicht selbst entscheiden, ob das Ergebnis sinnvoll ist. Wenn sie einen Fehler macht (z. B. ein Vorzeichen falsch setzt), würde sie das vielleicht nicht merken.
• Die Lösung: Der menschliche Autor (der „Chef") hat die KI arbeiten lassen, aber jeden Schritt überprüft. Er hat gesagt: „Okay, du hast die Formel hergeleitet? Super. Aber lass uns prüfen, ob sie mit der echten Physik übereinstimmt."

4. Warum ist das wichtig?

Früher dachte man vielleicht: „KI schreibt mir einen Aufsatz, und fertig."
Diese Studie zeigt: Nein, das ist gefährlich.

Wenn man KI in der Wissenschaft nutzt, muss man sie wie einen sehr fleißigen Praktikanten behandeln, der alles perfekt macht, solange man ihn genau beobachtet.

• Ohne Kontrolle: Die KI könnte einen wunderschönen, aber falschen Aufsatz schreiben.
• Mit Kontrolle (wie in dieser Studie): Die KI beschleunigt die Arbeit enorm, und das Ergebnis ist verlässlich, weil es durch harte Fakten (die „Benchmarks") geprüft wurde.

Zusammenfassung in einem Satz

Diese Arbeit ist wie ein Lehrbuch für den sicheren Umgang mit KI in der Wissenschaft: Sie zeigt, dass KI uns helfen kann, komplexe Probleme zu lösen, solange wir sie nicht allein lassen, sondern sie mit strengen, überprüfbaren Regeln und menschlicher Aufsicht zusammenarbeiten lassen.

Es geht nicht darum, dass die KI neue Entdeckungen macht, sondern darum, dass sie uns hilft, bekannte Dinge schneller und sauberer zu verstehen – vorausgesetzt, wir halten die Zügel fest in der Hand.

Technische Zusammenfassung

Titel: Eine reproduzierbare Demonstration eines KI-unterstützten wissenschaftlichen Workflows auf kanonischen Benchmarks

Autor: Kin Hung Fung

---

1. Problemstellung und Motivation

Moderne wissenschaftliche Arbeit umfasst einen komplexen Zyklus aus Herleitung, Simulation, Anpassung, Validierung, Visualisierung und Schreiben. Fehler in einem Stadium können andere unbemerkt kontaminieren. Während die Nutzung von KI (insbesondere Large Language Models, LLMs) in der Wissenschaft zunimmt, fehlt es oft an technisch fundierten, end-to-end Demonstrationen, die die Zuverlässigkeit von KI-Systemen unter strengen Bedingungen testen.

Das Hauptproblem besteht darin, dass KI oft als "Orakel" für autonome Entdeckungen missverstanden wird, obwohl ihre Zuverlässigkeit ohne externe Überprüfung (insbesondere beim logischen Schlussfolgern) begrenzt ist. Es besteht eine Lücke zwischen anekdotischen Berichten über KI-Erfolge und den strengen Standards der reproduzierbaren wissenschaftlichen Berechnung (Validierung, Transparenz, Provenienz).

2. Methodik und Ansatz

Das Papier stellt einen vollständig reproduzierbaren Workflow vor, der von einem einzigen Benutzer-Prompt initiiert wurde. Der menschliche Autor übernahm die Verantwortung für den Inhalt, die Überprüfung und die Kuratierung, während die KI das Gerüst für Code, Daten, Abbildungen und den Manuskriptentwurf lieferte.

Der Kern der Methodik ist die strikte Validierung durch kanonische Benchmarks. Anstatt neue wissenschaftliche Entdeckungen zu beanspruchen, wurden vier konventionelle Problemklassen gewählt, deren Lösungen bekannt oder exakt überprüfbar sind:

1. Symbolische Analyse: Herleitung und Validierung des eindimensionalen quantenmechanischen harmonischen Oszillators.
2. Partielle Differentialgleichungen (PDEs): Lösung der Wärmeleitungsgleichung (parabolisch) und der Poisson-Gleichung (elliptisch).
3. Inverse Modellierung: Nichtlineare Regression an synthetischen Daten gedämpfter Oszillationen mit Unsicherheitsquantifizierung.
4. Algorithmische Skalierung: Vergleich von dichten und dünnbesetzten Lösern (Eigensolver, lineare Solver).

Reproduzierbarkeitsstandards:

• Jeder Schritt wird durch exakte analytische Lösungen, "Manufactured Solutions" (konstruierte exakte Lösungen), Konvergenzstudien oder unabhängige numerische Checks validiert.
• Ein Top-Level-Skript (run_all.py) generiert den gesamten "Artifact Stack" (Daten, Figuren, Verifikationsbericht, Manuskript).
• Feste Zufallszahlen (Random Seeds) und explizite Fehlermetriken werden verwendet.

3. Schlüsselbeiträge und Fallstudien

A. Quantenmechanik (Harmonischer Oszillator)

• Aufgabe: Herleitung der dimensionslosen Hamilton-Operatoren und numerische Lösung mittels Finite-Differenzen.
• Validierung: Vergleich der berechneten Eigenwerte und Eigenfunktionen mit der exakten Lösung (Hermite-Funktionen).
• Ergebnis: Die KI-generierte Implementierung zeigte eine erwartete Konvergenz zweiter Ordnung ($O(\Delta x^2)$). Der maximale Fehler der ersten sechs Eigenwerte betrug $3,39 \times 10^{-4}$.

B. Partielle Differentialgleichungen (Wärmeleitung & Poisson)

• Aufgabe: Lösung der Wärmeleitungsgleichung (Crank-Nicolson vs. FTCS) und der Poisson-Gleichung (dünnbesetzter direkter Löser).
• Validierung:
  • Wärmeleitung: Vergleich mit einer geschlossenen modalen Lösung.
  • Poisson: Verwendung einer "Manufactured Solution" ($u = \sin(\pi x)\sin(\pi y)$), um die Quellterm-Funktion $f(x,y)$ exakt zu bestimmen.
• Ergebnis: Beide Solver zeigten die erwartete Konvergenzordnung von 2,00. Die KI konnte Stabilitätsbedingungen korrekt formulieren und reproduzierbare Konvergenzdaten generieren.

C. Inverse Modellierung (Gedämpfte Oszillation)

• Aufgabe: Anpassung eines Modells $x(t) = Ae^{-\gamma t} \cos(\Omega t + \phi) + c + \epsilon$ an synthetische Rauschdaten.
• Validierung: Nichtlineare Kleinste-Quadrate-Methode (Least Squares) kombiniert mit Bootstrap-Resampling zur Unsicherheitsquantifizierung.
• Ergebnis: Die KI generierte den gesamten Anpassungsprozess. Die geschätzten Parameter lagen nahe an den Grundwahrheiten (z.B. $\gamma \approx 0,35$), und die 95%-Bootstrap-Intervalle deckten alle wahren Parameter ab. Residuenanalysen bestätigten die Güte der Anpassung.

D. Algorithmische Skalierung

• Aufgabe: Vergleich von dichten vs. dünnbesetzten Eigensolvern und direkten vs. iterativen linearen Solvern.
• Ergebnis: Die KI erstellte einen Benchmark-Rahmen, der zeigte, dass dünnbesetzte Methoden bei großen Matrizen effizienter sind (Faktor ~2,15 schneller für den harmonischen Oszillator). Die Studie betonte die Notwendigkeit, hardwareabhängige Laufzeitdaten vorsichtig zu interpretieren.

4. Ergebnisse

Die Demonstration zeigt, dass moderne KI-Systeme als wissenschaftlicher Copilot in folgenden Bereichen hochwirksam sind:

• Symbolische Manipulation und Herleitung.
• Implementierung numerischer Operatoren und Solver.
• Generierung von synthetischen Daten und Visualisierungen.
• Strukturierung von Manuskripten um explizite Validierungsschritte.

Wichtigste Erkenntnis: Die KI liefert keine autonome wissenschaftliche Urteilsfähigkeit. Der Wert entsteht erst durch die Einbettung in einen strengen Validierungsrahmen. Wo dieser Rahmen fehlt, steigt das Risiko von "polierten, aber falschen" Ergebnissen.

5. Bedeutung und Fazit

Dieses Papier bietet einen konkreten Template für den vertrauenswürdigen Einsatz von KI in der technischen Forschung.

• Philosophie: KI sollte weder als Orakel noch als bloßes Konversationswerkzeug betrachtet werden, sondern als ein Werkzeug, dessen Ausgabe ständig durch unabhängige Strukturen (bekannte Theorien, numerische Checks, Reproduzierbarkeitstools) geprüft werden muss.
• Beitrag zur Wissenschaft: Es schließt die Lücke zwischen KI-Promotion und Reproduzierbarkeitsstandards, indem es zeigt, dass KI den wissenschaftlichen Workflow beschleunigen kann, ohne die wissenschaftliche Integrität zu gefährden – vorausgesetzt, der Mensch bleibt für die Validierung und die epistemische Verantwortung verantwortlich.
• Einschränkung: Das Papier testet keine frontier-wissenschaftliche Kreativität oder autonome Hypothesengenerierung, sondern demonstriert die Zuverlässigkeit bei konventionellen, gut verstandenen Problemen.

Zusammenfassend beweist die Arbeit, dass KI bereits heute substanzielle Teile wissenschaftlicher Arbeit beschleunigen und strukturieren kann, solange der Prozess durch strenge Benchmarks und transparente Artefakte kontrolliert wird.