Die Welt der künstlichen Intelligenz steht an einem stillen, aber kritischen Wendepunkt. Jahrelang wurden diese Systeme dafür gefeiert, Texte zu generieren, Code zu schreiben oder Nachrichten zusammenzufassen – sie fungierten als leistungsstarke Assistenten, die denken und sprechen können. Doch eine neue Phase beginnt, in der diese Systeme nicht mehr nur reden, sondern handeln. Man bittet sie, komplexe Aufgaben auszuführen, wie etwa den Einkauf von Vorräten, die Verwaltung digitaler Konten oder die Koordination von Arbeitsabläufen über verschiedene Softwareplattformen hinweg. Dieser Übergang vom Erzeugen von Worten zum Ausführen von Handlungen führt ein grundlegendes Problem ein: Wie können wir einer Maschine vertrauen, wenn sie beginnt, reale Schritte zu unternehmen? Wenn ein menschlicher Mitarbeiter einen Fehler macht, können wir seine Arbeit überprüfen und korrigieren. Aber wenn ein autonomer Agent eine falsche Entscheidung trifft, während er einen Workflow ausführt, könnte er augenblicklich Geld überweisen, eine Datei löschen oder ein System aus der Existenz sperren. Die Herausforderung besteht nicht nur darin, die KI intelligenter zu machen, sondern ein Sicherheitssystem zu bauen, das die Handlungen der KI in Echtzeit überwacht und sicherstellt, dass sie die Regeln befolgt, ohne sie auszubremsen oder ein Vermögen an Betriebskosten zu verursachen.

In diesem Zusammenhang hat ein Forscher namens DaeJung Byun ein neues Framework namens Execution Governance AI, oder EGA V9, vorgeschlagen. Dieses System ist darauf ausgelegt, als strenger, automatisierter Aufseher für diese autonomen Agenten zu fungieren. Anstatt zu versuchen, auf Basis von Wahrscheinlichkeiten zu erraten, ob eine Entscheidung der KI gut oder schlecht ist, verfolgt EGA V9 einen anderen Ansatz: Es behandelt die Ausführung einer Aufgabe wie einen aufgezeichneten Film, der sofort abgespielt werden kann. Der Kerngedanke ist: Wenn man genau weiß, was die KI tun sollte, und man verfügt über eine perfekte Aufzeichnung dessen, was sie tatsächlich getan hat, kann man den Unterschied sofort erkennen. Das System arbeitet, indem es jeden Schritt erfasst, den die KI unternimmt, vom Moment des Starts einer Aufgabe bis zum Moment ihres Abschlusses. Es spielt dann eine „Wiedergabe“ dieser Schritte in einem Bruchteil einer Sekunde ab, um zu sehen, ob das Ergebnis mit dem Plan übereinstimmt. Wenn die KI versucht, abzuweichen – etwa indem sie ein Werkzeug benutzt, das sie nicht anfassen durfte, oder indem sie eine Zahl in einer Transaktion ändert –, erkennt das System die Diskrepanz und stoppt die Aktion, bevor sie Schaden anrichtet.

Die Forscher testeten dieses Framework streng, um zu sehen, ob es dem Chaos realer Szenarien standhalten kann. Sie erstellten tausende Testsituationen, die von einfachen Aufgaben wie dem Kauf eines Artikels bis hin zu komplexen, bösartigen Versuchen reichten, bei denen ein Angreifer versuchte, das System zu betrügen, um unbefugte Käufe zu tätigen oder Sicherheitsregeln zu umgehen. In diesen Tests wurde das System angewiesen, bis zu 10.000 verschiedene Workflows zu verarbeiten. Die Ergebnisse waren innerhalb der evaluierten Szenarien bemerkenswert konsistent. Das Framework erkannte jeden einzelnen Fall, in dem die KI versuchte, gegen die Regeln zu verstoßen, in diesen spezifischen Tests und identifizierte 100 Prozent der Fehler, ohne jemals eine sichere Aktion fälschlicherweise als gefährlich zu markieren. Es arbeitete mit perfekter Genauigkeit, was bedeutet, dass es weder Fehlalarme noch verpasste Bedrohungen über den gesamten Bereich der Tests hinweg gab, einschließlich der schwierigsten Fälle, die exakt wie legitime Arbeit gestaltet waren. Die Forscher stellen jedoch klar, dass diese Ergebnisse die Erkennung von Ausführungsabweichungen (Execution-Divergence) innerhalb der evaluierten Szenarien charakterisieren und nicht als Garantien für alle Laufzeit-Sicherheitseigenschaften interpretiert werden sollten.

Was diesen Ansatz besonders bemerkenswert macht, ist die Effizienz seines Betriebs. Normalerweise verlangsamt das Hinzufügen einer Sicherheitsebene zu einem Computersystem den Prozess oder erfordert teure zusätzliche Rechenleistung. EGA V9 wurde jedoch so konzipiert, dass es lokal auf demselben Rechner wie die KI läuft, ohne dass Hilfe von einem separaten, leistungsstarken Computer angefordert werden muss. Die Tests zeigten, dass das System kaum eine Verzögerung im Prozess verursachte. Die Zeit, die für die Verifizierung eines einzelnen Schritts benötigt wurde, wurde in Tausendstelsekunden gemessen, spezifisch etwa 0,003 Millisekunden für die schnellsten Prüfungen. Darüber hinaus erforderte das System keine zusätzlichen Aufrufe an die Large Language Models, die die KI antreiben, noch musste es zusätzliche Anfragen an externe Dienste senden. Dies bedeutet, dass die Sicherheitsprüfung instantan und kostenlos erfolgt – sowohl in Bezug auf Zeit alsan auf Geld –, sodass die KI mit voller Geschwindigkeit arbeiten kann, während sie unter ständiger Aufsicht steht.

Das Framework basiert auf fünf distinkten Schichten, die zusammenwirken, um eine sichere Umgebung zu schaffen. Die erste Schicht, der Trinity Core, fungiert als Gedächtnis, das jede Zustandsänderung und jede Aktion aufzeichnet, damit diese später wiederholt werden kann. Die zweite Schicht, die Provenance Layer, erstellt eine Karte von Ursache und Wirkung und verfolgt genau, welche Entscheidung zu welcher Handlung führte. Wenn die Karte eine unterbrochene Verbindung oder einen fehlenden Schritt zeigt, weiß das System, dass etwas nicht stimmt. Die dritte Schicht, die Containment Layer, ist der Wächter, der einschreitet, wenn ein Problem gefunden wird. Wenn das System erkennt, dass die KI außerhalb ihrer Regeln handelt, blockiert diese Schicht sofort die Aktion und isoliert den Workflow, um eine Ausbreitung des Schadens zu verhindern. Die vierte Schicht bietet ein Fenster für menschliche Operatoren, um zu sehen, was gerade geschieht, und die fünfte Schicht ermöglicht es Forschern, das System in einer sicheren, kontrollierten Umgebung gegen neue Arten von Angriffen zu testen. Zusammen bilden diese Schichten ein „Fail-Closed“-System, was bedeutet, dass das System im Falle von Unsicherheit oder bei Erkennung einer Bedrohung standardmäßig die Aktion stoppt, anstatt sie fortsetzen zu lassen.

Trotz dieser beeindruckenden Ergebnisse sind die Forscher vorsichtig darin, die Grenzen dessen zu definen, was ihr System leisten kann. Die Studie bestätigt, dass das Framework für die spezifischen Arten von Aufgaben und Angriffen, die sie getestet haben, außergewöhnlich gut funktioniert, aber es beansprucht nicht, eine universelle Lösung für jede mögliche Gefahr zu sein. Beispielsweise unterdrückt das System zwar effektiv die Ausführung, während eine aktive Abweichung vorliegt, besitzt aber noch nicht die Fähigkeit, eine KI dauerhaft daran zu hindern, dieselbe schlechte Aktion nach dem unmittelbaren Ende der Bedrohung erneut zu versuchen. Es kann zudem noch nicht garantieren, dass eine komplexe Abfolge von Aktionen genau einmal ohne Duplikate stattfindet – ein Merkmal, das für Finanztransaktionen wichtig ist. Zusätzlich kann das System zwar verfolgen, was die KI intern tut, es kann jedoch die Integrität jedes einzelnen Beweisstücks nicht vollständig verifizieren, falls die Daten bereits fehlen oder manipuliert wurden, bevor sie das System erreichen. Dies sind keine Fehler der aktuellen Tests, sondern vielmehr klare Grenzen der Technologie, wie sie heute existiert.

Die Bedeutung dieser Arbeit liegt in der Demonstration, dass wir ein Sicherheitsnetz für autonome KI bauen können, das schnell, kostengünstig und zuverlässig ist, ohne die KI selbst verändern zu müssen. Indem die Forscher die Ausführung als einen deterministischen Prozess behandeln – einen, der mit absoluter Gewissheit wiederholt und verifiziert werden kann –, haben sie gezeigt, dass wir nicht auf Vermutungen angewiesen sind, um diese Systeme sicher zu halten. Das System bewies, dass es möglich ist, einen Aufseher zu haben, der jede Bewegung beobachtet, jeden Fehler innerhalb des evaluierten Rahmens erkennt und jede während der aktiven gesteuerten Anfrage detektierte Bedrohung stoppt, während es gleichzeitig praktisch keine Belastung für die Leistung des Computers darstellt. Dies bietet einen praktischen Weg für Organisationen, die leistungsstarke KI-Agenten einsetzen wollen, um reale Aufgaben auszuführen, im Wissen, dass ein Mechanismus vorhanden ist, der sicherstellt, dass diese Aufgaben sicher und korrekt abgeschlossen werden. Die Arbeit bleibt offen für andere, um sie zu testen, herauszufordern und zu verbessern, und lädt die breitere wissenschaftliche Gemeinschaft ein, diese Ergebnisse zu verifizieren und die Grenzen des Möglichen in der autonomen Sicherheit zu erweitern.