In der modernen digitalen Arbeitswelt ist eine neue Art von Arbeiter entstanden: der Software-Agent. Dies sind Programme, die von großen Sprachmodellen gesteuert werden und in der Lage sind, Dokumente zu lesen, E-Mails zu versenden, Daten zwischen Systemen zu verschieben und sogar andere Programme aufzurufen, um Aufgaben zu erledigen. Sie handeln im Namen menschlicher Angestellter, indem sie Anweisungen entgegennehmen und diese in eine Reihe von Aktionen umsetzen. Das Versprechen ist immense Effizienz, doch das Risiko ist gleichermaßen hoch. Wenn ein menschlicher Angestellter dazu verleitet wird, eine geheime Datei an die falsche Person zu senden, beschränkt sich der Schaden auf das Urteilsvermögen dieser einen Person. Wenn jedoch ein Software-Agent getäuscht wird, kann er diesen Fehler mit perfekter Geschwindigkeit und über alle Systeme hinweg ausführen, auf die er Zugriff hat. Die zentrale Herausforderung für Sicherheitsexperten besteht nicht nur darin, diese Agenten intelligenter zu machen, damit sie nicht getäuscht werden, sondern ein System zu bauen, in dem es keine Rolle spielt, ob sie getäuscht werden, weil der Schaden physisch unmöglich auszuführen ist.

Dies ist das zentrale Problem, das in einer neuen Studie des unabhängigen Forschers Xabier Muruaga behandelt wird, der einen Weg vorschlägt, diese digitalen Arbeiter abzusichern – nicht dadurch, dass man versucht, das Gehirn des Agenten robuster zu machen, sondern indem man die Regeln darüber verschärft, was der Agent tun darf. Die Forschung argumentiert, dass die Gefahr, dass ein Software-Agent manipuliert wird, primtär ein Problem der Berechtigungsarchitektur ist und nicht ein Problem des künstlichen Intelligenzmodells selbst. Selbst wenn ein Agent perfekt gegen Täuschung abgesichert wäre, kann er dennoch Schaden anrichten, wenn er zu viel Freiheit erhält, harmlose Aktionen zu einer gefährlichen Folge zu kombinieren. Beispielsweise könnte einem Agenten erlaubt sein, ein vertrauliches Dokument zu lesen, und ihm könnte erlaubt sein, eine E-Mail zu versenden. Beides einzeln betrachtet sind sichere Aktionen. Wenn der Agent jedoch dazu verleitet wird, das Dokument zu lesen und es unmittelbar danach an eine externe Adresse zu senden, erzeugt die Kombination einen Datendiebstahl, den keine der einzelnen Berechtigungen allein beabsichtigt hatte.

Um dies zu lösen, entwickelte Muruaga ein System namens „Agentic Principal Chain“. Stellen Sie sich eine Befehlskette vor, in der ein menschlicher Chef eine Aufgabe an einen Manager delegiert, der dann einen Teil dieser Aufgabe an einen Junior-Assistenten weitergibt. In traditionellen Sicherheitssystemen wandert die vom Chef erteilte Berechtigung ohne Veränderung die Kette hinunter. Der Junior-Assistent könnte am Ende über dieselben weitreichenden Befugnisse wie der Chef verfügen, was ein riesiges Risiko darstellt, falls dieser Assistent kompromittiert wird. Die „Agentic Principal Chain“ ändert dies, indem sie sicherstellt, dass mit jedem Schritt in der Kette die Berechtigung kleiner und spezifischer wird. Sie fungiert wie ein strenger Torwächter, der außerhalb des Denkprozesses des Agenten sitzt. Bevor der Agent eine Aktion ausführen kann, prüft dieser Torwächter nicht nur, ob der Agent das Recht hat, genau diese spezifische Sache zu tun, sondern auch, was der Agent während derselben Sitzung in der Vergangenheit getan hat.

Das System arbeitet mit der Verfolgung eines „Sitzungszustands“ (session state), einem fortlaufenden Protokoll jeder Aktion, die der Agent unternommen hat. Wenn ein Agent autorisiert ist, eine Datei zu lesen und autorisiert ist, eine E-Mail zu versenden, prüft das System die Historie. Wenn der Agent gerade eine geheime Datei gelesen hat, wird das System den nächsten Versuch, eine E-Mail zu versenden, blockieren, selbst wenn das Versenden von E-Mails im Allgemeinen erlaubt ist. Dies verhindert, dass der Agent zwei sichere Aktionen zu einer gefährlichen Kombination verbindet. Die Forscher nennen dies „Kompositionsabschluss“ (composition closure). Es ist eine Regel, die besagt, dass bestimmte Kombinationen von Aktionen verboten sind, unabhängig davon, ob die einzelnen Schritte erlaubt sind. Das System begrenzt zudem den „Schadensradius“ (blast radius) eines einzelnen Agenten. Wenn ein Sub-Agent kompromittiert wird, ist der Schaden, den er verursachen kann, mathematisch durch die Berechtigungen begrenzt, die er geerbt hat, welche strikt kleiner sind als die Berechtigungen des Agenten, der ihn erstellt hat. Dies stellt sicher, dass ein Einbruch in einem Teil des Systems nicht außer Kontrolle geraten kann, um die gesamte Organisation zu zerstören.

Um zu testen, ob dieser Ansatz tatsächlich funktioniert, bauten die Forscher eine funktionierende Version des Systems und unterzogen sie einer Reihe strenger Tests. Sie testeten es gegen tausende simulierte Angriffe unter Verwendung etablierter Sicherheitsbenchmarks. In einem Testlauf mit über 1.000 Szenarien, die darauf ausgelegt waren, Daten zu stehlen, blockierte das System jeden einzelnen Versuch. In einem anderen Testlauf, bei dem die Forscher eine Situation simulierten, in der das Modell der künstlichen Intelligenz selbst vollständig kompromittiert und voll unter der Kontrolle eines Angreifers war, stoppte das System die Angriffe dennoch. Als das Modell versuchte, gestohlene Daten zu versenden, verweigerte der Torwächter die Anfrage, da die Kombination der Aktionen gegen die Sitzungsregeln verstieß. Das System verhinderte auch erfolgreich, dass der Agent Dateien löschte oder Daten auf eine Weise manipulierte, die nicht Teil der ursprünglichen Aufgabe war, wodurch die Erfolgsrate solcher Angriffe von über 90 Prozent auf nur 12 Prozent reduziert wurde.

Die Forscher maßen auch, wie sehr diese zusätzliche Sicherheitsebene die Agenten verlangsamte. Die Ergebnisse zeigten, dass das System unglaublich schnell ist und weniger als ein Viertel Millisekunde zur Entscheidungszeit hinzufügt. Das bedeutet, dass die Sicherheitsprüfungen fast augenblicklich erfolgen, ohne merkliche Verzögerung für den Nutzer. Die Forscher fanden jedoch auch einen Zielkonflikt (trade-off). In einigen Fällen verhinderten die strengen Regeln, dass der Agent eine legitime Aufgabe abschloss, weil das System zu vorsichtig hinsichtlich der Kombination von Aktionen war. In ihren Tests sank die Erfolgsquote legitimer Aufgaben um etwa 8,6 Prozentpunkte, wenn die strengsten Regeln angewendet wurden. Dies deutet darauf hin, dass das System zwar hocheffektiv beim Stoppen von Angriffen ist, aber eine sorgfältige Abstimmung erfordert, damit es nicht so restriktiv wird, dass es die normale Arbeit behindert.

Die Forscher waren sorgfältig darin, zu definieren, was ihr System leistet und was nicht. Sie bewiesen mathematisch, dass es unmöglich ist, dass ein Agent eine verbotene Kombination von Aktionen ausführt, sofern die Regeln korrekt gesetzt sind. Sie bewiesen auch, dass der potenzielle Schaden eines kompromittierten Agenten nicht größer werden kann, während die Aufgabe durch die Befehlskette weitergegeben wird. Sie merkten jedoch an, dass ihr System nicht jedes mögliche Problem lösen kann. Es kann einen Agenten nicht daran hindern, etwas Schädliches zu tun, wenn diese einzelne Aktion bereits durch die Regeln erlaubt ist, wie etwa das Löschen einer Datei, wenn der Agent die Berechtigung zum Löschen von Dateien besitzt. Es kann auch nicht verhindern, dass ein Agent dazu verleitet wird, innerhalb seines erlaubten Rahmens eine schlechte Entscheidung zu treffen. Diese Probleme erfordern andere Lösungen, wie etwa ein besseres Training für die künstliche Intelligenz oder detailliertere Prüfungen der spezifischen Daten, die gehandhabt werden.

Letztendlich präsentiert die Arbeit einen Wandel in der Art und Weise, wie wir die Sicherheit künstlicher Intelligenz denken. Anstatt zu versuchen, einen unzerbrechlichen Geist zu bauen, liegt der Fokus darauf, einen unzerbrechlichen Käfig zu bauen. Durch die Durchsetzung strenger Regeln darüber, welche Aktionen kombiniert werden dürfen, und indem sichergestellt wird, dass die Berechtigungen schrumpfen, während Aufgaben delegiert werden, schafft das System ein Sicherheitsnetz, das hält, selbst wenn das Urteilsvermögen des Agenten versagt. Die Forschung zeigt, dass wir mit den richtigen architektonischen Kontrollen in der Lage sind, diese leistungsstarken digitalen Arbeiter in komplexen Umgebungen agieren zu lassen, ohne die Angst, dass ein einziger Moment der Verwirrung in einer Katastrophe endet. Die Ergebnisse legen nahe, dass der Weg zu sicherer künstlicher Intelligenz nicht nur in klügeren Modellen liegt, sondern in klügeren Systemen, die wissen, wie man „Nein“ sagt, selbst wenn das Modell „Ja“ sagt.