In der modernen digitalen Welt verlassen sich große Organisationen auf Softwareprogramme, die in ihrem Namen handeln. Jahrzehntelang waren diese Programme vorhersehbar: Ein menschlicher Ingenieur schrieb den Code, installierte das Programm und gab ihm eine spezifische Reihe von Anweisungen. Wenn das Programm eine E-Mail senden oder Geld bewegen musste, tat es genau das, was man ihm sagte, nicht mehr und nicht weniger. Um diese Programme sicher zu halten, bauten Unternehmen Systeme, um ihre Identität zu prüfen und ihre Handlungen zu protokollieren, ganz ähnlich wie ein Sicherheitswachmann, der einen Ausweis an einer Tür kontrolliert. Doch eine neue Art von Software ist angekommen, die die Regeln verändert. Dies sind autonome Agenten – Programme, die nicht nur einem festen Skript folgen, sondern künstliche Intelligenz nutzen, um selbst zu entscheiden, was als Nächstes zu tun ist. Sie können innerhalb von Sekunden auftauchen und verschwinden, sie können aus einer riesigen Auswahl an möglichen Aktionen wählen, die kein Mensch im Voraus festgelegt hat, und jeder mit einer Internetverbindung kann einen erstellen. Da diese Agenten so anders sind als die alten, vorhersehbaren Programme, versagen die für die Vergangenheit entwickelten Sicherheitssysteme beim Schutz gegen sie.

Ein Team von Forschern bei Aurite AI hat Zeit damit verbracht, einen neuen Weg zu entwickeln, um diese unvorhersehbaren Agenten während ihres Betriebs zu verwalten. Sie argumentieren, dass der Versuch, diese Agenten zu kontrollieren, indem man ihren Code vor dem Start fixiert, unmöglich ist, da der Agent seine Aktionen erst im letzten Moment selbst entscheidet. Stattdessen schlagen sie ein System vor, das jede einzelne Aktion, die der Agent auszuführen versucht, beobachtet und ihn stoppt, falls diese nicht erlaubt ist. Um dies zu ermöglichen, haben sie fünf wesentliche Fragen identifiziert, die für jede Aktion beantwortet werden müssen. Erstens muss das System wissen, dass der Agent existiert. Zweitens muss es beweisen, wer der Agent ist. Drittens muss es entscheiden, ob der Agent berechtigt ist, das zu tun, was er verlangt. Viertens muss es eine permanente, unveränderliche Aufzeichnung dessen erstellen, was passiert ist, die später von jedem überprüft werden kann. Fünftens muss es verifizieren, woraus der Agent besteht, um sicherzustellen, dass er nicht heimlich manipuliert wurde. Die Forscher bauten ein System, das die ersten vier Fragen in Echtzeit beantwortet, und entwickeln derzeit das fünfte als separates Werkzeug. Sie fanden heraus, dass dieser Ansatz zwar notwendig ist, aber einen Preis hat: Er verlangsamt das System geringfügig und erfordert ein kleines Hilfsprogramm, das neben jedem Agenten läuft.

Das Kernproblem, mit dem die Forscher konfrontiert waren, ist, dass traditionelle Sicherheit darauf beruht, genau zu wissen, was ein Programm tut, bevor es startet. Wenn ein menschlicher Mitarbeiter eingestellt wird, erhält er einen Ausweis und eine Liste von Regeln. Wenn ein Dienst installiert wird, erhält er eine spezifische Stellenbeschreibung. Aber ein autonomer Agent ist anders. Er ist wie ein Reisender, der ohne Visum ankommt, behauptet, ein Staatsbürger zu sein, und dann vor Ort entscheidet, welches Land er besuchen und was er dort tun wird. Die Forscher fanden heraus, dass alte Sicherheitstools, die für Menschen und feste Dienste gebaut wurden, dies nicht handhaben können. Eine Standard-Sicherheitsprüfung mag zwar verifizieren, dass der Agent der ist, der er vorgibt zu sein, aber sie kann den Agenten nicht daran hindern, eine gefährliche Aktion zu wählen, die niemand im Voraus antizipiert hat. Ebenso kann ein Sicherheitswachmann, der nur die Liste der genehmigten Aktionen prüft, einen Agenten nicht stoppen, der eine neue, schädliche Aktion spontan erfindet. Die Forscher kamen zu dem Schluss, dass der einzige Weg, diese Agenten zu regieren, darin besteht, im exakten Moment einzugreifen, in dem sie versuchen zu handeln, und ihre Anfrage gegen einen Satz von Regeln zu prüfen, bevor sie fortfahren dürfen.

Um dies zu lösen, entwarfen die Forscher ein System, das aus fünf verschiedenen Teilen oder Primitiven besteht, die zusammenarbeiten. Der erste Teil ist die Entdeckung (Discovery). Da Agenten überall und jederzeit auftauchen können, muss das System in der Lage sein, sie zu finden. Die Forscher erkannten, dass es nicht ausreicht, lediglich bekannte Agenten aufzulisten, da die gefährlichsten Agenten diejenigen sind, die noch nicht registriert wurden. Ihr System ist darauf ausgelegt, zu bemerken, wenn ein Agent etwas versucht, das das System nicht erkennt. Anstatt es einfach nur zu blockieren, zeichnet das System den Versuch auf und alarmiert einen menschlichen Operator, der dann entscheiden kann, ob diese neue Aktion in Zukunft erlaubt sein sollte. Dies verwandelt ein potenzielles Versagen in eine Möglichkeit, zu lernen und die Regeln zu aktualisieren.

Der zweite Teil ist die Identität. In der Vergangenheit konnte ein Programm behaupten, ein bestimmter Dienst zu sein, aber die Forscher fanden heraus, dass Agenten lügen können, wer sie sind. Ihr System erfordert, dass der Agent seine Identität mithilfe eines digitalen Zertifikats beweist, das automatisch generiert wird, basierend darauf, wo der Agent ausgeführt wird und woraus er besteht. Dieser Beweis wird in dem Moment geprüft, in dem der Agent versucht, eine Verbindung herzustellen, um sicherzustellen, dass das System mit dem echten Agenten spricht und nicht mit einem Hochstapler. Dieser Beweis ist kurzlebig und ändert sich ständig, sodass selbst wenn ein Hacker ein Zertifikat stiehlt, es schnell abläuft.

Der dritte Teil ist die Governance, was der eigentliche Entscheidungsprozess ist. Bevor ein Agent eine E-Mail senden oder Gelder transferieren kann, muss er um Erlaubnis bitten. Das System prüft die Anfrage gegen einen Satz von Regeln, die spezifisch für diese Organisation sind. Wenn die Aktion erlaubt ist, fährt der Agent fort. Wenn nicht, wird die Anfrage sofort blockiert. Dies geschieht, bevor die Aktion stattfindet, was der einzige Weg ist, den Agenten wirklich zu kontrollieren. Die Forscher haben auch einen „Kill Switch“ integriert, der einen Agenten sofort stoppen kann, falls er sich schlecht verhält, ohne darauf zu warten, dass seine digitalen Zertifikate ablaufen.

Der vierte Teil ist die Attestierung (Attestation), bei der es darum geht, eine vertrauenswürdige Aufzeichnung zu erstellen. In der Vergangenheit führten Unternehmen Protokolle darüber, was ihre Programme taten, aber diese Protokolle wurden von denselben Programmen geschrieben, die beobachtet wurden. Wenn ein Programm außer Kontrolle geriet, konnte es auch die Protokolle ändern, um seine Spuren zu verwischen. Die Forscher bauten ein System, das jede Entscheidung in eine spezielle, unveränderliche Kette von Datensätzen schreibt. Diese Kette ist mit einem geheimen Schlüssel signiert, den nur die Organisation hält, und ist so konzipiert, dass jeder, selbst außerhalb des Unternehmens, verifizieren kann, dass der Datensatz echt ist und nicht manipuliert wurde. Dies bietet eine Möglichkeit, zu beweisen, was passiert ist, sei es vor einem Gericht oder während einer Untersuchung.

Der fünfte Teil ist die Überprüfung der Lieferkette (Supply Chain Verification), die fragt, woraus der Agent tatsächlich besteht. Selbst wenn ein Agent identifiziert und seine Aktionen genehmigt wurden, könnte er auf einer kompromittierten Version seiner Software laufen. Die Forscher haben Werkzeuge entwickelt, um die Bestandteile des Agenten zu prüfen – seinen Code, seine Daten und seine Abhängigkeiten –, aber diese Werkzeuge arbeiten derzeit separat von den Echtzeit-Sicherheitsprüfungen. Während die Forscher argumentieren, dass diese Verifizierung essenziell ist, da ein perfekt identifizierter Agent, der auf defekten Teilen basiert, dennoch gefährlich ist, findet dieser spezifische Check noch nicht im Moment des Handelns statt; er bleibt ein separater Entwicklungsschritt und ist kein integrierter Teil des unmittelbaren Autorisierungsprozesses.

Die Forscher testeten ihr System in privaten Testläufen mit einigen Organisationen. Sie fanden heraus, dass vier der fünf Teile vollständig gebaut und funktionsfähig sind, während der fünfte noch als separates Werkzeug entwickelt wird. Sie waren ehrlich über die Kosten dieses neuen Ansatzes. Da das System jede Anfrage vor dem Geschehen prüft, fügt dies eine kleine Verzögerung zum Prozess hinzu. Es erfordert zudem ein kleines Hilfsprogramm, einen sogenannten „Sidecar“, der neben jedem Agenten läuft, um dessen Identität zu verwalten. Am wichtigsten ist: Wenn das Sicherheitssystem selbst ausfällt, müssen die Agenten aufhören zu arbeiten, um sicher zu bleiben. Das bedeutet, dass ein Fehler im Sicherheitssystem zu einem Stillstand des Geschäfts führt – ein Kompromiss, den die Forscher für notwendig halten, um Schaden zu verhindern.

Eine der überraschendsten Erkenntnisse war, dass das System auch sich selbst regieren muss. Die Forscher erkannten, dass die Werkzeuge, die sie zur Verwaltung der Agenten gebaut haben, selbst automatisierte Programme sind. Sie entschieden, ihre eigenen Management-Tools durch dieselben Sicherheitsprüfungen laufen zu lassen wie die Kunden-Agenten. Das bedeutet, dass das System seine eigene Identität prüft, entscheidet, ob seine eigenen Aktionen erlaubt sind, und seine eigenen Entscheidungen in derselben unveränderlichen Kette aufzeichnet. Dies stellt sicher, dass die Menschen, die das Sicherheitssystem gebaut haben, die Regeln, die sie für andere geschaffen haben, nicht umgehen können.

Die Forscher betonen, dass es bei ihrer Arbeit nicht darum geht, wie die KI-Modelle denken oder sich verhalten, zu verändern. Sie gehen davon aus, dass die Modelle wie vorgesehen funktionieren, und konzentrieren sich statattdessen auf die Regeln, die bestimmen, was die Modelle tun dürfen. Sie argumentieren, dass der Versuch, das Problem allein durch die Verbesserung der Modelle zu lösen, nicht ausreicht, da selbst ein gut erzogenes Modell Grenzen benötigt, was seine Zugriffe und Änderungen betrifft. Ihre Lösung ist ein praktischer Rahmen, den Organisationen heute nutzen können, um diese neuen, unvorhersehbaren Agenten zu verwalten. Indem sie das Problem in fünf klare Fragen unterteilen, bieten sie eine Roadmap für jeden, der versucht, diese mächtigen Werkzeuge in eine sichere, kontrollierte Umgebung zu bringen. Die Arbeit ist noch nicht abgeschlossen, und der fünfte Teil des Systems wird noch integriert, aber die Kernidee – dass diese Agenten in Echtzeit beobachtet und geprüft werden müssen – wurde als notwendiger architektonischer Ansatz vorgeschlagen, wobei die Design-Rationale durch Implementierung und nicht durch gemessene Ergebnisse über eine breite Einsatzpopulation hinweg validiert wurde.