Separating AI-assisted authoring from governed execution through specification-driven composition A design framework and industrial experience report for explainable automation in regulated data transformation

In der Welt der regulierten Branchen, wie etwa der Medizin und der Finanzwirtschaft, fließen Daten nicht einfach von einem Ort zum anderen; sie müssen mit absoluter Präzision transformiert werden. Wenn ein Pharmaunternehmen Daten für eine staatliche Prüfung vorbereitet, muss jede Zahl, jedes Datum und jede Kategorie strengen Regeln folgen. Wenn ein Computerprogramm bei diesem Prozess einen Fehler macht, können die Folgen schwerwiegend sein – von abgelehnten Anträgen bis hin zu Sicherheitsrisiken. Jahrzehntelang haben Ingenieure diese Programme gebaut, indem sie Code Zeile für Zeile schrieben und sicherstellten, dass jeder Schritt geprüft, getestet und genehmigt wurde, bevor er jemals ausgeführt wurde. Dieser Prozess ist langsam, aber zuverlässig, weil Menschen die Kontrolle über jede Entscheidung behalten.

Heute bietet künstliche Intelligenz eine neue Möglichkeit, diese Programme zu schreiben. Diese Systeme können eine Beschreibung einer Aufgabe lesen und den notwendigen Code in Sekundenschnelle generieren. Diese Geschwindigkeit ist unglaublich nützlich, um Ideen zu erforschen oder erste Versionen eines Programms zu entwerfen. In hochsensiblen Umgebungen darf jedoch Geschwindigkeit nicht auf Kosten der Sicherheit gehen. Ein Computer darf nicht einfach die richtige Antwort erraten und sie sofort ausführen. Die zentrale Herausforderung für moderne Ingenieure besteht darin, wie man die Geschwindigkeit der künstlichen Intelligenz nutzt, ohne die Fähigkeit zu verlieren, das Endergebnis zu erklären, zu verifizieren und zu kontrollieren. Sie benötigen einen Weg, die Maschine den Entwurf machen zu lassen, während ein Mensch im Prozess verbleibt, um zu verifizieren, dass die Arbeit sicher, korrekt und regelkonform ist, bevor sie jemals ausgeführt werden darf.

Dies ist das Problem, das Rostislav Markov, ein Forscher bei Amazon Web Services, in seiner jüngsten Arbeit über die Regulierung der Datentransformation adressiert. Er schlägt eine neue Arbeitsweise vor, die den Akt des Schreibens oder Entwerfens von Code von dem Akt des Ausführens trennt. Anstatt eine künstliche Intelligenz einfach ein Programm generieren zu lassen und dann zu hoffen, dass es funktioniert, zwingt das neue Framework die KI dazu, zuerst einen detaillierten Plan zu erstellen. Dieser Plan, eine sogenannte Spezifikation, beschreibt genau, was getan werden muss, welche Daten verwendet werden und welchen Regeln gefolgt werden muss. Der Plan selbst ist nicht das Programm; er ist eine Reihe von Anweisungen für ein separates, streng kontrolliertes System namens „Composer“.

Der Composer fungiert als Gatekeeper. Er betrachtet den von der KI erstellten Plan und prüft ihn gegen eine Bibliothek aus vorab genehmigten, getesteten und verifizierten Bausteinen. Diese Blöcke sind spezifische Funktionen, die Ingenieure bereits validiert haben, um sicherzustellen, dass sie korrekt funktionieren. Der Composer erfindet keine neue Logik und rät nicht, wie ein Problem zu lösen ist. Er gleicht lediglich die Schritte des Plans mit den zugelassenen Blöcken in der Bibliothek ab. Wenn der Plan einen Schritt verlangt, für den es keinen passenden zugelassenen Block gibt, oder wenn die Datentypen nicht den Regeln entsprechen, stoppt der Composer und lehnt den Plan ab. Er wird den Code nicht ausführen, bis jedes einzelne Teilstück gegen die Bibliothek und die Regeln verifiziert wurde. Dies stellt sicher, dass selbst wenn die künstliche Intelligenz einen Fehler in ihrem Entwurf macht, dieser Fehler abgefangen wird, bevor echte Daten berührt werden.

Markov testete diese Idee anhand eines realen Szenarios mit klinischen Daten, bei dem Patientendaten in ein Standardformat für die Einreichung bei Behörden gebracht werden müssen. In seinen Experimenten bat er eine künstliche Intelligenz, den Code für diese Transformationen unter verschiedenen Bedingungen zu schreiben. Wenn die KI nur eine einfache Textbeschreibung erhielt, produzierte sie oft Code, der zwar korrekt aussah, aber nicht in das größere System passte oder versteckte Regeln verletzte. Wenn die KI jedoch einen strukturierten Plan mit klaren Regeln und Referenzen auf die zugelassenen Bausteine erhielt, waren die Ergebnisse wesentlich besser. Die wichtigste Erkenntnis war nicht, dass die KI intelligenter wurde, sondern dass das System um sie herum robuster wurde. Die Artefakte – die Pläne, die Tests und die zugelassenen Blöcke – leisteten die Schwerstarbeit bei der Gewährleistung der Sicherheit, nicht das KI-Modell selbst.

Das Framework führt das Konzept der „Erklärbarkeit durch Konstruktion“ (explainable by construction) ein. In vielen Diskussionen über künstliche Intelligenz sorgen sich Menschen darüber, warum ein Modell eine bestimmte Entscheidung getroffen hat, und versuchen oft, in die „Black Box“ des Algorithmus zu blicken. Dieser Ansatz wählt einen anderen Weg. Er argumenttiert, dass man für regulierte Arbeiten nicht verstehen muss, was die „inneren Gedanken“ der KI sind. Stattdessen muss man die technischen Entscheidungen verstehen, die zum Endergebnis geführt haben. Da das System nur zugelassene Blöcke verwendet und eine vollständige Aufzeichnung über jeden Schritt führt, der zum Aufbau des fertigen Programms genutzt wurde, kann jeder das Endergebnis betrachten und es auf den spezifischen Plan, die spezifischen zugelassenen Blöcke und die spezifischen Regeln zurückverfolgen, die befolgt wurden. Die Erklärung ist keine Vermutung darüber, was die KI dachte; sie ist ein faktischer Beleg darüber, was genehmigt wurde und wie es zusammengesetzt wurde.

Um zu beweisen, dass dieses System funktioniert, baute der Forscher eine kleine, funktionierende Version des Frameworks. Er zeigte, dass das System bei zweimaliger Verwendung desselben Plans und derselben Bibliothek der Blöcke jedes Mal exakt dasselbe Ergebnis liefert. Diese Konsistenz ist in regulierten Umgebungen, in denen Reproduzierbarkeit gefordert ist, von entscheidender Bedeutung. Er demonstrierte auch, dass, wenn eine neue Version eines Bausteins zur Bibliothek hinzugefügt wird, das System diese nicht versehentlich für einen alten Plan verwendet; es hält sich an die spezifische Version, die zum Zeitpunkt der Erstellung des Plans genehmigt wurde. Dies verhindert, dass Änderungen im Hintergrund unerwartet das Ergebnis eines Prozesses verändern. Das System erstellt ein detailliertes Protokoll, oder einen „Trace“, für jedes aufgestellte Programm. Dieses Protokoll verknüpft das fertige Programm mit dem ursprünglichen Plan, der spezifischen Version jedes verwendeten Bausteins und den bestandenen Validierungsprüfungen.

Die Forschung legt nahe, dass diese Trennung der Zuständigkeiten essenziell für die Zukunft der künstlichen Intelligenz in regulierten Bereichen ist. Sie ermöglicht es Organisationen, die Geschwindigkeit der KI zum Entwerfen von Spezifikationen und zum Schreiben von Code zu nutzen, behält aber die Autorität über die Ausführung in den Händen eines kontrollierten, deterministischen Systems. Die KI wird zu einem leistungsstarken Assistenten, der Menschen hilft, bessere Pläne zu schreiben, ist aber nicht die Instanz, die entscheidet, was ausgeführt wird. Die endgültige Entscheidung, ein Programm auszuführen, hängt vom Vorhandensein eines gültigen Plans, des Vorhandenseins genehmigter Komponenten und dem erfolgreichen Abschluss eines Verifizierungsprozesses ab. Dieser Ansatz eliminiert nicht die Notwendigkeit menschlicher Aufsicht; vielmehr gibt er Menschen bessere Werkzeuge an die Hand, um diese Aufsicht auszuüben. Durch die Konzentration auf die Artefakte – die Pläne, die Regeln und die zugelassenen Blöcke – schafft das Framework eine Grenze, an der künstliche Intelligenz nützlich sein kann, ohne zum Risiko zu werden.

Letztendlich zeigt die Arbeit, dass der Weg zu sicherer Automatisierung nicht darin besteht, die künstliche Intelligenz erklärbarer zu machen, sondern den Prozess des Aufbaus der Automatisierung transparenter zu gestalten. Wenn die Schritte klar, die Regeln strikt und die Komponenten verifiziert sind, ist das Ergebnis ein System, dem man vertrauen kann. Die Erfahrung des Forschers zeigt, dass die künstliche Intelligenz zwar plausiblen Code generieren kann, es aber die umgebende Struktur aus Spezifikationen, Tests und zugelassenen Bibliotheken ist, die sicherstellt, dass der Code tatsächlich korrekt und sicher für den Einsatz ist. Diese Verschiebung des Fokus – weg von der Intelligenz des Modells hin zur Governance des Prozesses – bietet einen praktischen Weg nach vorn für Branchen, die es sich nicht leisten können, falsch zu liegen.