Bridging the Gap on AI-Assisted Scientific Software Development Through Transparency and Traceability

Dieser Beitrag schlägt einen strukturierten Rahmen für die Steuerung der KI-gestützten Entwicklung wissenschaftlicher Software unter Einhaltung streicher Qualitätssicherungsstandards wie NQA-1 vor und nutzt den Fusionsenergiecode TMAP8, um zu demonstrieren, wie transparente, nachvollziehbare und prüfbare Verifikations- und Validierungsprozesse menschliche Verantwortlichkeit und Softwarezuverlässigkeit gewährleisten können.

Das Wesentliche

Stellen Sie sich vor, Sie bauen ein Kernkraftwerk. Die Software, die die Steuerung übernimmt, ist wie das Gehirn des Kraftwerks; enthält sie einen winzigen Fehler, könnten die Folgen katastrophal sein. Seit Jahrzehnten gilt die Regel: „Nur Menschen schreiben diesen Code, und andere Menschen müssen jede einzelne Zeile überprüfen." Dies gewährleistet Sicherheit, Nachvollziehbarkeit und Verantwortlichkeit.

Stellen Sie sich nun einen neuen, unglaublich schnellen und talentierten Lehrling vor: einen KI-Coding-Agenten. Er kann Code schreiben, Tests ausführen und Dokumentationen in Sekunden entwerfen. Doch hier liegt der Haken: Dieser Lehrling halluziniert manchmal. Er könnte Code schreiben, der perfekt aussieht und ohne Absturz läuft, aber mathematisch eigentlich das Falsche tut – wie ein Koch, der Gemüse perfekt schneidet, aber versehentlich Salz durch Zucker ersetzt.

Dieser Artikel mit dem Titel „Bridging the Gap on AI-Assisted Scientific Software Development Through Transparency and Traceability" (Überbrückung der Lücke in der KI-gestützten Entwicklung wissenschaftlicher Software durch Transparenz und Nachvollziehbarkeit) stellt eine große Frage: Wie können wir diesem KI-Lehrling erlauben, uns beim Aufbau kritischer Software zu helfen, ohne ihm zu erlauben, gefährliche Fehler unbemerkt einzuschleusen?

Die Autoren argumentieren, dass ein Verbot von KI keine Lösung ist (sie würde einfach in den Untergrund gehen und noch gefährlicher werden). Stattdessen benötigen wir einen Governance-Rahmen – eine Reihe strenger Regeln – um zu steuern, wie KI hilft.

Die Kernidee: Der „Beweisplatz"

Um diese Regeln zu testen, bauten die Autoren nicht nur eine Theorie auf; sie schufen einen „Trainingsplatz" mit einem spezifischen wissenschaftlichen Softwaretool namens TMAP8.

Stellen Sie sich TMAP8 als einen Simulator für Tritium vor (ein radioaktiver Brennstoff, der in der Fusionsenergie verwendet wird). Die Software ist bereits dafür bekannt, extrem sicher und streng reguliert zu sein (nach „NQA-1"-Standards, die wie der „Goldstandard" der nuklearen Sicherheit sind).

Die Autoren nutzten TMAP8, um zwei Szenarien zu testen, und fungierten dabei wie ein Flugsimulator für ihre neuen Regeln:

1. Die „Copy-Paste"-Herausforderung: Sie baten die KI, ein bekanntes wissenschaftliches Experiment aus einer veröffentlichten Arbeit nachzubilden. Die KI musste ein von Menschen geschriebenes mathematisches Modell in Code übersetzen.
   • Das Ergebnis: Die KI war schnell bei den langweiligen Dingen (Dateien formatieren, Diagramme erstellen). Allerdings übersah sie eine subtile Detail in der Originalarbeit (einen „Defekt-Annihilations"-Term). Hätte ein Mensch die Arbeit nicht überprüft, wäre die Simulation falsch gewesen. Die KI kopierte den Fehler in der Arbeit treu.
2. Die „Erfinder"-Herausforderung: Sie baten die KI, ein Problem zu lösen, für das kein veröffentlichtes Modell existierte. Die KI musste die Physik erraten, eine Hypothese aufstellen und diese gegen reale Daten testen.
   • Das Ergebnis: Die KI war erstaunlich gut im Brainstorming. Sie probierte schnell verschiedene Wege aus, um eine dünne Rostschicht (Oxid) auf einer Metalloberfläche zu modellieren, wofür ein Mensch Wochen für Prototypen benötigen würde. Sie fand eine funktionierende Lösung viel schneller, als ein Mensch allein könnte.

Die neuen Regeln: Der „AGENTS.md"-Vertrag

Der Artikel schlägt eine einfache, aber mächtige Lösung vor: eine Datei namens AGENTS.md.

Stellen Sie sich diese Datei als einen Vertrag oder ein Flughandbuch vor, das innerhalb des Softwareprojekts existiert. Sie teilt der KI genau mit, wie sie sich zu verhalten hat. Hier ist, was der Vertrag fordert:

• Keine Geheimnisse: Jedes Mal, wenn die KI Code schreibt, muss sie eine „Quittung" (Metadaten) hinterlassen, die besagt: „Ich habe dies geschrieben, und hier ist, woran ich gedacht habe."
• Der Mensch ist der Kapitän: Die KI ist der Co-Pilot, aber ein Mensch muss immer derjenige sein, der die Arbeit absegnet. Der Mensch ist rechtlich und wissenschaftlich für das Endprodukt verantwortlich.
• Der „Red Team"-Check: Die KI darf nicht einfach sagen: „Ich bin fertig." Sie muss eine Reihe automatisierter Tests (wie einen Crashtest) durchführen, um zu beweisen, dass ihr Code funktioniert. Wenn sie scheitert, wird sie zurück an den Reißbrett geschickt.
• Nachvollziehbarkeit: Sie müssen in der Lage sein, den Code Jahre später anzusehen und genau zu sehen, welches KI-Tool verwendet wurde, welche Version und was der Mensch getan hat, um ihn zu korrigieren.

Die wichtigsten Erkenntnisse

Durch ihre Experimente stellten die Autoren drei wesentliche Dinge fest:

1. KI ist ein Geschwindigkeitsbooster, kein Ersatz: Die KI kann die schwere Arbeit des Tippens und Formatierens übernehmen und Menschen freisetzen, um das schwierige Denken zu leisten. Aber der Mensch muss das Schiff immer noch steuern.
2. Die „stille" Halluzination ist die wahre Gefahr: Die beängstigendsten KI-Fehler treten nicht auf, wenn sie Unsinn schreibt; sie treten auf, wenn sie Code schreibt, der richtig aussieht, aber wissenschaftlich falsch ist. Der einzige Weg, dies zu erkennen, ist ein Mensch, der die Physik versteht, nicht nur den Code.
3. Regeln müssen hart codiert sein: Man kann der KI nicht einfach sagen: „Bitte denken Sie daran, vorsichtig zu sein." Die KI vergisst. Stattdessen müssen die Regeln in die Software selbst eingebaut sein (wie ein Tor, das sich nicht öffnet, es sei denn, die KI hat ihre „Quittung" angehängt und die Tests bestanden).

Das Fazit

Der Artikel kommt zu dem Schluss, dass wir nicht zwischen „nur Mensch" und „nur KI" wählen müssen. Wir können governed AI (regulierte KI) haben.

Indem wir KI-gestützte Entwicklung wie ein reguliertes Nuklearprojekt behandeln – bei dem jeder Schritt dokumentiert, jede Ausgabe getestet wird und ein Mensch die letzte Autorität bleibt – können wir die Geschwindigkeit der KI genießen, ohne die Sicherheit und das Vertrauen zu opfern, die für wissenschaftliche Entdeckungen erforderlich sind. Das Ziel ist es nicht, die KI zu stoppen; es ist sicherzustellen, dass die „Lehrlingszeit" der KI sicher, transparent und verantwortungsvoll ist.

Technische Zusammenfassung

Technische Zusammenfassung: Überbrückung der Lücke in der KI-gestützten Entwicklung wissenschaftlicher Software durch Transparenz und Nachvollziehbarkeit

Problemstellung
Die Gemeinschaft der wissenschaftlichen Software steht vor einem systemischen Risiko, das aus der ad-hoc, ungeführten und weitgehend nicht anerkannten Einführung von Large Language Models (LLMs) und agenter KI-Systeme für die Codegenerierung, das Testen und die Dokumentation resultiert. Obwohl diese Tools die Entwicklung beschleunigen, stellt ihre Nutzung in sicherheitskritischen Domänen – insbesondere in solchen, die strengen Software-Qualitätssicherungsstandards (SQA) wie dem Nuclear Quality Assurance Level 1 (NQA-1) unterliegen – erhebliche Herausforderungen dar. Traditionelle SQA-Rahmenwerke gehen von menschlicher Urheberschaft und unabhängiger Verifizierung aus. KI führt zu korrelierten Fehlermodi (bei denen dasselbe Modell sowohl Code als auch Tests generiert), erhöht das Codevolumen und die Komplexität und erzeugt „Halluzinationen": syntaktisch gültige, aber semantisch falsche Implementierungen. Aktuelle Workflows fehlen ein standardisiertes Rahmenwerk zur Steuerung der KI-Beteiligung, was die Integrität sicherheitsrelevanter Modellierungs- und Simulationswerkzeuge gefährdet, bei denen Nachvollziehbarkeit, unabhängige Verifizierung und dokumentierte Verfahren von höchster Bedeutung sind.

Methodik
Die Autoren schlagen ein Governance-Rahmenwerk vor, das entwickelt wurde, um die KI-gestützte Entwicklung in rigorose SQA-Umgebungen zu integrieren, ohne Qualität oder Verantwortlichkeit zu beeinträchtigen. Das Rahmenwerk wird durch die Entwicklung zweier neuer Validierungs- und Verifizierungsfälle (V&V) für TMAP8 demonstriert, einem Open-Source-Code für die Tritiummigration, der NQA-1-konform ist und für die Fusionsenergie entwickelt wurde.

Die Methodik stützt sich auf eine leichte, auf Repository-Ebene angesiedelte Spezifikationsdatei (AGENTS.md), die Governance-Anforderungen direkt in die Entwicklungsinfrastruktur kodiert. Zu den Schlüsselkomponenten der Methodik gehören:

• Strukturierte Offenlegung: Alle Beiträge müssen Commit-Level-Metadaten enthalten, die den Grad und die Art der KI-Beteiligung detailliert beschreiben und mit Entwicklungsproblemen verknüpft sind, die Absicht und Designbegründung erläutern.
• Nachvollziehbarkeit: Maschinenlesbare Sitzungsprotokolle (.jsonl) von KI-Interaktionen werden in der Versionskontrolle gespeichert, was eine stochastische Rekonstruktion des Entwicklungsprozesses ermöglicht.
• Menschliche Verantwortlichkeit: Ein menschlicher Entwickler wird als Autor benannt und trägt die volle Verantwortung für den Beitrag. Entscheidend ist, dass eine unabhängige menschliche Überprüfung für die Verifizierung erforderlich ist; kein agentisches System, einschließlich adversarischer Überprüfungsagenten, gilt als ausreichend, um die NQA-1-Verifizierungsanforderungen zu erfüllen.
• Automatisierte Durchsetzung: Pre-commit-Hooks erzwingen nicht verhandelbare Herkunftsanforderungen (z. B. Vorhandensein von Protokollen, Vollständigkeit der Metadaten) und stellen sicher, dass Beiträge vor der Überprüfung den gesamten V&V-Testlauf bestehen.
• Fallstudien:
  1. Implementierungsherausforderung: Reproduktion eines veröffentlichten analytischen Modells für die Tritiumfreisetzung aus neutronenbestrahltem Li₂TiO₃ (Kobayashi et al.). Der Agent übersetzte ein bestehendes Modell in TMAP8 und führte eine bayessche Parameteroptimierung durch.
  2. Hypothesegetriebene Herausforderung: Modellierung der Deuteriumfreisetzung aus selbstbestrahltem Wolfram mit dünnen Oxidschichten (Kremer et al.), für die kein veröffentlichtes Modell existierte. Der Agent engagierte sich in einer hypothesengetriebenen Modellkonstruktion, schlug konkurrierende physikalische Mechanismen vor und testete diese.

Hauptbeiträge

1. Governance-Rahmenwerk: Ein praktisches, einsetzbares Rahmenwerk für die KI-gestützte Entwicklung, das mit NQA-1-Anforderungen im Einklang steht. Es verschiebt das Paradigma von „nur menschlich" zu „geregelter KI-Unterstützung" und stellt sicher, dass die KI-Beteiligung sichtbar, nachvollziehbar und Qualitätskontrollen unterworfen ist.
2. AGENTS.md-Spezifikation: Eine konkrete Umsetzung von Governance als Code, die Standards für Aufgabenausführung, Validierung, Dokumentation und Überprüfung definiert, die gemeinsam mit der Codebasis versioniert werden.
3. Empirische Validierung: Die erfolgreiche Entwicklung zweier unterschiedlicher V&V-Fälle zeigt, dass KI-Agenten sowohl die Implementierung etablierter Modelle als auch die Erforschung neuer wissenschaftlicher Hypothesen beschleunigen können, sofern sie innerhalb strenger Grenzen operieren.
4. Identifizierung von Fehlermodi: Die Studie dokumentiert spezifische Fehlermodi, einschließlich der getreuen Reproduktion von Fehlern aus Quelldokumenten (z. B. Weglassen eines Defektannihilationsterms) und der Generierung von übermäßig komplexem oder halluziniertem Code, was die Notwendigkeit menschlicher Aufsicht unterstreicht.

Ergebnisse
Die Anwendung des Rahmenwerks ergab folgende Ergebnisse:

• Produktivitätssteigerungen: Der KI-unterstützte Workflow reduzierte die Entwicklungszeit für einen Validierungsfall von etwa 4–5 Tagen auf rund 6 Stunden. Im hypothesengetriebenen Fall ermöglichte der Agent einen schnellen Prototypenbau konkurrierender Modellformulierungen, der in einem rein menschlichen Workflow kostspielig gewesen wäre.
• Korrektheit und Fehler:
  • Im Fall 1 übersetzte der Agent das Modell erfolgreich und optimierte die Parameter, wodurch der Root Mean Square Percent Error (RMSPE) von 23,1 % auf 9,2 % reduziert wurde. Er ließ jedoch zunächst einen kritischen Defektannihilationsterm aus dem Quellpapier weg, ein Fehler, der nur durch eine adversarische menschliche Überprüfung entdeckt wurde.
  • Im Fall 2 konstruierte der Agent ein phänomenologisches Modell, das den Einfluss von Oxidschichten auf die Deuteriumfreisetzung erfasst. Obwohl es erfolgreich die primären experimentellen Trends über verschiedene Oxiddicken hinweg reproduzierte, war menschliches Eingreifen erforderlich, um halluzinierte Datendigitalisierung zu korrigieren und überkomplizierte Modellstrukturen zu vereinfachen.
• Wirksamkeit der Governance: Die AGENTS.md-Beschränkungen und Pre-commit-Hooks setzten die Nachvollziehbarkeit erfolgreich durch und verhinderten, dass Beiträge ohne Herkunftsnachweis in den Überprüfungsprozess gelangten. Die Studie stellte jedoch fest, dass Agenten Anweisungen immer noch übersehen können, wenn diese außerhalb ihres Aufmerksamkeitsfensters liegen, was strukturelle Gegenmaßnahmen wie automatisierte Hooks erfordert, anstatt sich ausschließlich auf Agentenanweisungen zu verlassen.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass der Übergang zur agentischen Entwicklung bereits Realität ist, und die kritische Wahl für die wissenschaftliche Gemeinschaft besteht nicht darin, ob KI erlaubt werden soll, sondern wie sie verantwortungsvoll geregelt werden kann. Die Autoren behaupten:

• Kompatibilität mit Standards: Bestehende SQA- und NQA-1-Anforderungen (Nachvollziehbarkeit, unabhängige Verifizierung, Verantwortlichkeit) sind mit der KI-gestützten Entwicklung vereinbar, wenn sie so interpretiert werden, dass sie menschlich gelenkte KI-Workflows einschließen, vorausgesetzt, der Mensch bleibt der verantwortliche Autor und Verifizierer.
• Minderung systemischer Risiken: Unregulierte KI-Nutzung birgt langfristig das Risiko eines „Modellkollapses", bei dem KI-generierte Fehler durch Trainingsdaten propagieren. Das vorgeschlagene Herkunftsrahmenwerk ermöglicht es nachgelagerten Kuratoren, synthetische Beiträge zu filtern und die Integrität des Ökosystems wissenschaftlicher Software zu bewahren.
• V&V als Bewährungsprobe: V&V-Fälle mit ihren objektiven Korrektheitskriterien und begrenzten Umfang dienen als ideale Umgebung zur Etablierung und Iteration von KI-Governance-Praktiken, bevor diese auf die breitere Entwicklung wissenschaftlicher Software ausgeweitet werden.
• Evolution der menschlichen Rolle: Die Rolle des Entwicklers verschiebt sich von der direkten Codeurheberschaft hin zu Prompt-Engineering, Ausgabeüberprüfung und aktiver wissenschaftlicher Aufsicht. Während die kognitiven Kosten für einzelne Aufgaben sinken, bleibt die Last der Aufrechterhaltung wissenschaftlicher Aufsicht und der Sicherstellung der Modellvereinfachung eine kritische menschliche Verantwortung.

Die Arbeit schließt, dass eine verantwortungsvolle Governance der KI-gestützten wissenschaftlichen Software heute innerhalb bestehender Qualitätssicherungsstandards erreichbar ist, ohne die Produktivitätsgewinne zu opfern, die die Einführung von KI motivieren.