The Ethics of Autonomous AI Agents for Offensive Security

Stellen Sie sich die Welt der Computersicherheit als ein riesiges, hochriskantes Versteckspiel vor, das in einer digitalen Stadt stattfindet. Auf der einen Seite haben Sie die „Verteidiger“, die Sicherheitswächter, die versuchen, jede Tür und jedes Fenster zu verriegeln, um die Bösewichte draußen zu halten. Auf der anderen Seite sind die „Angreifer“, die schelmischen Hacker, die versuchen, Schlösser zu knacken, Zäune zu überklettern und sich heranzuschleichen. Jahrzehntelang nutzten die Hacker ein sehr spezifisches Set an Werkzeugen: Spitzhacken, Lockpicks und Taschenlampen. Diese Werkzeuge waren vorhersehbar; wenn man einen bestimmten Lockpick an einem bestimmten Schloss benutzte, funktionierte er entweder oder eben nicht, jedes einzelne Mal. Die Menschen, die sie benutzten, mussten hochqualifizierte Experten sein, die Jahre damit verbrachten, zu lernen, wie man sie sicher verwendet.

Doch vor kurzem ist eine neue Art von Werkzeug in das Spiel eingetreten: der „Autonome KI-Agent“. Betrachten Sie dies nicht als einen einfachen Lockpick, sondern als einen superintelligenten, magischen Roboter-Assistenten, der in der Lage ist, selbstständig jede Tür zu öffnen. Er folgt nicht einfach nur einem Handbuch; er lernt, passt sich an und trifft seine eigenen Entscheidungen. Die große Frage, die sich alle stellen, la ist: Was passiert, wenn man einem Roboter, der selbstständig denken kann, die Aufgabe gibt, Dinge einzubrechen? Macht es das Spiel fairer, oder verschiebt es das Gleichgewicht so stark, dass die Verteidiger nicht mehr mithalten können? Dieses Paper vertieft sich in die chaotische, verwirrende und potenziell gefährliche Ethik der Übergabe der Schlüssel an diese digitalen Roboter.

---

Der Roboter, der Dinge kaputt macht (und nicht weiß, warum)

In diesem Paper geht es um einen beängstigenden Wandel in der Arbeitsweise von Hackern (und Sicherheitstestern). In der Vergangenheit, wenn ein Sicherheitsexperte ein System testen wollte, nutzte er Werkzeuge wie ein digitales Stethoskop oder einen spezifischen Schlüssel. Diese Werkzeuge waren deterministisch, was bedeutete, dass sie jedes Mal genau das taten, was man ihnen sagte. Wenn man einem Tool befahl, einen Computer zu scannen, scannte es diesen Computer. Wenn man ihm sagte, aufzuhören, hörte es auf. Der Mensch war immer der Chef, und das Tool war lediglich ein passives Instrument.

Heute haben wir Autonome KI-Agenten. Das ist so, als hätte man einen Roboter, dem man sagt: „Geh und finde die Schwachstellen in dieser Burg“, und er... geht einfach. Er entscheidet selbst, welche Türen er probiert, welche Fenster er erklimmt und wie er die Wachen austrickst. Die Autoren dieses Papers argumentieren, dass dies alles verändert, weil diese Roboter drei seltsame, unvorhersehbare Eigenschaften besitzen, die alte Werkzeuge nie hatten:

1. Sie sind eine Blackbox (Indeterminierte Aktionen): Man kann nicht immer vorhersagen, was der Roboter als Nächstes tun wird. Selbst die Person, die den Roboter gebaut hat, weiß vielleicht nicht genau, warum er sich dazu entschieden hat, ein bestimmtes Fenster einzuschlagen. Es ist, als würde man einem Schüler eine Matheaufgabe geben und er löst sie, indem er stattdest ein Bild einer Katze zeichnet, anstatt Zahlen zu verwenden. Der Roboter könnte im Nachhinein Gründe für sein Handeln „halluzinieren“, was es unmöglich macht zu sagen: „Ich habe ihn angewiesen, dies zu tun.“
2. Sie haben keine Bremsen (Indeterminierte Auswirkungen): Alte Werkzeuge waren begrenzt. Ein Lockpick konnte eine Tür öffnen; er konnte sich nicht entscheiden, das ganze Haus niederzubrennen. Aber diese KI-Agenten sind universell einsetzbar. Man sagt einem der Art: „Finde eine Sicherheitslücke“, und er entscheidet sich vielleicht dafür, einen menschlichen Mitarbeiter zu manipulieren, um ein Passwort zu erhalten (Social Engineering), oder ein Stromnetz lahmzulegen. Der Roboter weiß nicht den Unterschied zwischen einem „sicheren Test“ und einem „echten Angriff“, es sei denn, man programmiert ihn perfekt, und selbst dann kann er Fehler machen.
3. Jeder kann sie benutzen (Indeterminierte Nutzer): Früher brauchte man einen PhD in Informatik, um diese Werkzeuge zu nutzen. Jetzt kann man – dank KI – einfach einen Satz wie „Hack das für mich“ in einen Chatbot tippen, und er wird es vielleicht tun. Das nennt man „Vibe-Coding“. Plötzlich kann jeder mit einem Smartphone und einer Internetverbindung ein Hacker sein, selbst wenn er keine Ahnung hat, was er tut oder was die Ethik dahinter ist.

Das große Ungleichgewicht: Warum die Bösen gewinnen (vorerst)

Das Paper legt nahe, dass diese Werkzeuge zwar langfristig den Verteidigern helfen könnten, aber im Moment das Leben derer, die uns schützen wollen, erheblich erschweren.

Stellen Sie sich ein Szenario vor, in dem ein Sicherheitsteam ein „Bug Bounty“-Programm durchführt. Dies ist ein Belohnungssystem, bei dem Menschen dafür bezahlt werden, Schwachstellen in ihrer Software zu finden. Bevor es KI gab, erhielten sie vielleicht ein paar hundert Meldungen pro Jahr, und die meisten davon waren echt. Nun beschreibt das Paper eine Situation, in der das cURL-Projekt (ein Tool, das von Milliarden von Geräten genutzt wird) so sehr mit KI-generierten Berichten überflutet wurde, dass sie das Programm schließen mussten. Die KI produzierte in Sekundenschnelle tausende von falschen oder nutzlosen Berichten, während die menschlichen Verteidiger Stunden damit verbringen mussten, diese zu prüfen. Es war ein Denial-of-Service-Angriff auf die menschliche Aufmerksamkeit.

Die Autoren weisen auf ein brutales mathematisches Problem hin: Es kostet einen Hacker nur wenige Cent, mit einer KI eine Million falscher Berichte oder Angriffsversuche zu generieren. Es kostet den Verteidiger tausende Dollar und Tage an Arbeit, diese zu prüfen. Dies schafft ein massives Ungleichgewicht, bei dem die Angreifer die Verteidiger allein dadurch überwältigen können, dass sie lauter und schneller sind.

Wer ist verantwortlich? Die „Der Roboter war’s“-Verteidigung

Eine der größten Fragen, die das Paper behandelt, ist: Wer ist schuld, wenn der Roboter etwas kaputt macht?

Wenn ein menschlicher Hacker in eine Bank einbricht, geben wir dem Hacker die Schuld. Wenn ein Mensch ein Werkzeug benutzt, um einzubrechen, geben wir dem Menschen die Schuld. Aber was ist, wenn ein Mensch einer KI sagt: „Finde einen Weg hinein“, und die KI entscheidet sich dazu, das Computersystem eines Krankenhauses zum Absturz zu bringen?

• Der Nutzer: Kann er sagen: „Ich habe ihr nicht gesagt, das Krankenhaus lahmzulegen, ich habe nur gesagt ‚Finde einen Weg hinein‘“? Das Paper argumentiert: Nein. Der Nutzer bleibt verantwortlich, weil er den Auftrag delegiert hat.
• Der Werkzeugmacher: Kann die Person, die den Roboter gebaut hat, sagen: „Ich wusste nicht, dass er das tun würde“? Das Paper legt nahe, dass sie Mitverantwortung tragen, besonders wenn sie wussten, dass der Roboter gefährlich ist und nicht genügend Sicherheitsmechanismen eingebaut wurden.
• Die KI selbst: Können wir dem Roboter die Schuld geben? Das Paper sagt: Nein. Roboter haben keine Moral oder Gefühle. Sie sind einfach nur Code. Wir können einen Roboter nicht ins Gefängnis stecken.

Dies führt zu einer „diffusen“ Verantwortung, bei der jeder auf jeden zeigt und niemand die Verantwortung übernimmt.

Die Gefahr der „Entqualifizierung“ (Deskilling)

Das Paper warnt auch vor einer verborgenen Gefahr für die Zukunft der Sicherheit. In der Vergangenheit lernten Nachwuchsexperten für Sicherheit ihr Handwerk durch die langweilige, repetitive Arbeit: das Scannen nach Fehlern, das Lesen von Protokollen und das Beheben kleiner Fehler. Dies war ihr Trainingsgelände.

Wenn die KI die gesamte langweilige Arbeit übernimmt, warnt das Paper davor, dass wir eine Generation von Sicherheitsexperten erschaffen könnten, die gar nicht mehr wirklich wissen, wie man denkt. Sie könnten zu „Script Kiddies“ werden, die nur einen Knopf drücken und hoffen, dass der Roboter das Richtige tut. Wenn der Roboter einen Fehler macht oder getäuscht wird, werden diese neuen Experten nicht über das tiefe Wissen verfügen, um es zu beheben. Es ist wie wenn man nur jemals ein Auto mit „Autopilot“ gefahren ist und nie gelernt hat, wie man lenkt oder bremst; wenn das Auto dann liegen bleibt, ist man aufgeschmissen.

Was sollten wir tun?

Die Autoren haben keine magische Lösung, aber sie bieten einige Leitlinien an:

• Menschen im Prozess behalten: Wir sollten nicht zulassen, dass Roboter wild umherlaufen. Menschen müssen beobachten und das, was die Roboter tun, genehmigen, besonders wenn sie echte Systeme testen.
• Nicht jedem die Schlüssel geben: Das Paper schlägt vor, dass die gefährlichsten KI-Modelle nicht für jeden zum Download bereitstehen sollten. Stattdessen sollten sie hinter einer Tür verschlossen sein, zu der nur vertrauenswürdige, geprüfte Experten Zugang haben.
• Neue Fähigkeiten lehren: Wir müssen die Art und Weise ändern, wie wir Sicherheitsexperten ausbilden, damit sie lernen, KI zu managen und zu beaufsichtigen, anstatt sie nur zu benutzen.
• Ehrlich über Risiken sein: Wenn Forscher neue KI-Tools veröffentlichen, müssen sie zugeben: „Hey, das könnte missbraucht werden“, und erklären, wie sie versucht haben, dies zu verhindern.

Das Fazit

Dieses Paper ist ein Weckruf. Es sagt uns, dass KI zwar erstaunlich ist, aber der Aufgabe eines Roboters, ohne strenge menschliche Kontrolle in Systeme einzubrechen, das Rezept für Chaos ist. Es geht nicht nur um besseres Hacking; es geht um einen fundamentalen Wandel darin, wer die Macht hält, wer verantwortlich ist, wenn etwas schiefgeht, und ob wir uns versehentlich selbst dazu erziehen, weniger fähig zu werden. Die Autoren fordern uns auf, langsamer zu werden, unser menschliches Urteilsvermögen in den Mittelpunkt zu stellen und sicherzustellen, dass wir, während wir diese mächtigen digitalen Roboter bauen, nicht die Kontrolle über das Spiel verlieren.