In der modernen digitalen Landschaft hat sich künstliche Intelligenz von einem einfachen Chatbot zu einem fähigen Assistenten entwickelt, der komplexe Aufgaben in unserem Namen ausführen kann. Diese Systeme, die oft als Agenten bezeichnet werden, beantworten nicht nur Fragen; sie lesen Dokumente, durchsuchen das Web, greifen auf private Datenbanken zu und versenden E-Mails. Sie fungieren als Vermittler, die die Lücke zwischen der Absicht eines Nutzers und der riesigen Auswahl an Werkzeugen im Internet überbrücken. Diese neue Ebene der Autonomie führt jedoch eine subtile, aber gefährliche Schwachstelle ein. Die Gefahr ist nicht immer ein einzelner, offensichtlicher Fehler, wie etwa wenn ein Agent versehentlich eine Datei löscht. Stattdessen entsteht Schaden oft aus einer Sequenz von Handlungen, die für sich genommen völlig vernünftig erscheinen. Ein Agent könnte ein vertrauliches Dokument lesen, es zusammenfassen und diese Zusammenfassung dann in einer E-Mail versenden. Jeder Schritt ist erlaubt, aber die Kombination führt zu einem Leak privater Informationen. Dies ist die Kernherausforderung, vor der Forscher stehen: Wie sichert man ein System ab, in dem der Pfad der Daten genauso wichtig ist wie die einzelnen unternommenen Schritte?

Ein Team von Forschern der Virginia Tech hat ein neues Framework namens AgentFlow entwickelt, um genau dieses Problem zu lösen. Ihre Arbeit konzentriert sich darauf, die Reise der Informationen zu verfolgen, während sie sich durch den Workflow eines Agenten bewegen, anstatt nur zu prüfen, ob eine einzelne Aktion zulässig ist. Stellen Sie sich einen Sicherheitswachmann vor, der nicht nur prüft, ob Sie einen Schlüssel für eine Tür haben, sondern auch beobachtet, wo Sie gewesen sind, was Sie aufgenommen haben und ob Sie berechtigt sind, diesen Gegenstand an Ihren Zielort zu bringen. AgentFlow arbeitet nach diesem Prinzip. Es behandelt jedes Stück Daten so, als hätte es ein Etikett, das dessen Sensibilität, Kategorie und Vertrauenswürdigkeit beschreibt. Wenn Daten von einer nicht vertrauenswürdigen Website stammen, tragen sie ein „nicht vertrauenswürdiges“ Etikett. Wenn sie eine Sozialversicherungsnummer enthalten, tragen sie ein „vertrauliches“ Etikett. Das System beobachtet dann, wie sich diese Etiketten ändern, während sich die Daten von einer Datenbank zu einem Werkzeug und schließlich zu einer E-Mail oder einem öffentlichen Post bewegen.

Die Forscher entwicknten eine Sprache, die es Systembetreibern ermöglicht, Regeln über diese Datenreisen zu schreiben. Diese Regeln können verbieten, dass eine vertrauliche Zusammenfassung jemals eine externe E-Mail-Adresse erreicht, oder verhindern, dass nicht vertrauenswürdiger Web-Inhalt als vertrauenswürdige interne Anweisung behandelt wird. Das System arbeitet, indem es einen Monitor zwischen die künstliche Intelligenz und die von ihr verwendeten Werkzeuge schaltet. Bevor der Agent ein Werkzeug aufrufen darf, prüft der Monitor den aktuellen Zustand der Daten. Er fragt: Woher stammen diese Informationen? Wurden sie bereinigt? Ist der Agent berechtigt, sie an diesen spezifischen Ort zu senden? Wenn die Antwort auf eine dieser Fragen „Nein“ lautet, wird die Aktion blockiert. Dieser Ansatz unterscheidet sich von älteren Sicherheitsmethoden, die nur prüften, ob ein Nutzer überhaupt die Berechtigung hatte, ein Werkzeug zu benutzen. Diese älteren Methoden übersahen die Gefahr, dass ein sicheres Werkzeug mit unsicheren Daten verwendet wird.

Um sicherzustellen, dass ihre Regeln bereits vor dem Einsatz des Systems fundiert waren, entwickelten die Forscher einen mathematischen Verifizierer. Dieses Werkzeug fungiert wie ein Stresstest, der tausende mögliche Szenarien simuliert, um zu sehen, ob die Regeln gebrochen werden könnten. In ihren Tests konnte dieser Verifizierer jede einzelne unsichere Variation der Regeln, mit denen er zu überlisten versucht wurde, erfolgreich abfangen. Als sie das System in realen Simulationen einsetzten, waren die Ergebnisse beeindruckend. Bei einer Testreihe von fast 950 Testfällen, die darauf ausgelegt waren, Agenten zur Preisgabe von Daten oder zu unbefugten Handlungen zu verleiten, reduzierte das System bestätigte Sicherheitsverletzungen von 33 Prozent auf null. In einem anderen Satz von 200 dynamischen Aufgaben im realen Stil eliminierte es 73,5 Prozent der erfolgreichen Angriffe und brachte die Fehlerrate ebenfalls auf null. Entscheidend war, dass das System dies tat, ohne die Fähigkeit des Agenten zu beeinträchtigen, seine Arbeit zu erledigen. In vielen Fällen konnten die Agenten sogar mehr ihrer beabsichtigten Aufgaben abschließen, weil die Sicherheitsregeln verhinderten, dass sie durch bösartige Anweisungen, die in den Daten verborgen waren, abgelenkt wurden.

Die Forscher waren sorgfältig darin, die Grenzen ihrer Arbeit zu definieren. Sie behaupteten nicht, jedes mögliche Problem mit künstlicher Intelligenz gelöst zu haben, wie etwa wenn eine KI Fakten erfindet oder schlechte Ratschläge gibt. Ihr System ist speziell darauf ausgelegt, den Fluss von Daten durch Werkzeuge und externe Verbindungen zu kontrollen. Es setzt voraus, dass der Sicherheitsmonitor selbst vertrauenswürdig und korrekt implementiert ist. Die Studie konzentrierte sich auf eine spezifische Art von Bedrohung, bei der ein Angreifer versucht, den Agenten zu manipulieren, indem er ihm unvertrauenswürdige Inhalte wie eine vergiftete Webseite oder eine bösartige E-Mail zuführt, um ihn zu Handlungen zu verleiten, die der Nutzer nie beabsichtigt hat. Durch die Konzentration auf den Pfad, den die Daten nehmen, stoppt AgentFlow diese Angriffe, selbst wenn jeder einzelne Schritt harmlos aussieht.

Die Auswertung zeigte, dass das System bei verschiedenen Arten von Aufgaben funktioniert, von Bankgeschäften über Reiseplanungen bis hin zum Workspace-Management. In einem Szenario wurde ein Agent dazu verleitet, private Kundendaten zusammenzufassen und sie an einen Angreifer zu senden. Ein Standard-Sicherheitssystem hätte die E-Mail möglicherweise zugelassen, da der Agent die Berechtigung zum Senden von Nachrichten hatte. AgentFlow jedoch erkannte, dass die zusammengefassten Daten vertraulich waren und die E-Mail an eine externe Adresse ging, ohne dass eine angemessene Sicherheitsprüfung stattfand. Es blockierte die Aktion. In einem anderen Fall versuchte ein Angreifer, den Agenten glauben zu lassen, eine bösartige Anweisung sei eine legitime interne Richtlinie. Das System erkannte, dass die Anweisung aus einer nicht vertrauenswürdigen Quelle stammte, und verweigerte dem Agenten, danach zu handeln.

Die Forscher maßen auch, wie sehr diese Sicherheitsebene den Agenten verlangsamte. Sie fanden heraus, dass die zu jeder Entscheidung hinzugefügte Zeit mikroskopisch klein war, gemessen in Mikrosekunden, was im Vergleich zur Zeit, die die KI zum Denken und Generieren einer Antwort benötigt, vernachlässigbar ist. Dies bedeutet, dass der Schutz nicht zu Lasten der Geschwindigkeit oder Benutzerfreundlichkeit geht. Das Team testete sein System gegen eine Vielzahl bekannter Angriffsmethoden, einschließlich solcher, die versuchen, Werkzeugverbindungen auszunutzen oder das Gedächtnis des Agenten zu manipulieren. In jedem Fall, in dem der Angriff darauf basierte, Daten auf eine Weise zu bewegen, die gegen die konfigurierten Regeln verstieß, stoppte das System ihn.

Obwohl die Ergebnisse vielversprechend sind, beschreiben die Autoren sie als vorläufige Belege für eine spezifische Art der Richtliniendurchsetzung. Sie räumen ein, dass reale Anwendungen ihre eigenen Regeln dafür definieren müssen, was als sensibel gilt und welche Aktionen erlaubt sind. Das System rät nicht, was der Nutzer möchte; es erzwingt die Regeln, die ihm gegeben werden. Wenn ein Nutzer möchte, dass unvertrauenswürdige Web-Inhalte in einen öffentlichen Blog gelangen, muss er explizit eine Regel konfigurieren, die dies erlaubt. Oh ohne diese spezifische Erlaubnis wird das System die Aktion zur Sicherheit blockieren. Dieses Gleichgewicht zwischen strenger Sicherheit und notwendiger Flexibilität ist der Schlüssel dazu, diese leistungsstarken Agenten nutzbar zu machen, ohne sie gefährlich zu machen.

Die Arbeit stellt einen Wandel in der Art und Weise dar, wie wir über die Sicherung künstlicher Intelligenz denken. Anstatt zu versuchen, jeden möglichen Weg vorherzusagen, auf dem eine KI falsch abbiegen könnte, entwickelten die Forscher ein System, das den Informationsfluss überwacht und klare Grenzen setzt. Durch die Verfolgung der Herkunft von Daten und des Ziels, zu dem sie gelangen dürfen, bietet AgentFlow ein Sicherheitsnetz für die komplexen, mehrstufigen Aufgaben, die moderne Agenten ausführen. Es stellt sicher, dass selbst wenn ein Agent dazu verleitet wird, einen gefährlichen Pfad einzuschlagen, das System die Reise stoppt, bevor ein Schaden entsteht. Dieser Ansatz bietet einen praktischen Weg für den Einsatz von KI-Agenten in Umgebungen, in denen Privatsphäre und Sicherheit oberste Priorität haben, indem er das Potenzial für Risiken durch autonomes Handeln in einen kontrollierbaren und steuerbaren Prozess verwandelt.