Agentic Security: A Systematization of Tools, Failure Modes, and Design Laws for LLM-Driven Penetration Testing
Dieses Paper systematisiert die operativen Fehlfunktionen von LLM-gesteuerten Penetrationstest-Tools durch eine praxisorientierte Evaluierung, wobei quantitative Designgesetze und ein vierdimensionaler Reibungsindex abgeleitet werden, um den Bau robuster agentischer Sicherheitssysteme zu leiten, exemplarisch dargestellt durch die Inspectra-Plattform.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der Computersicherheit gibt es eine langjährige Tradition, geschulte Menschen einzustellen, um in Systeme einzubrechen, bevor es die Bösewichte tun. Diese Experten, bekannt als Penetration Tester, verbringen ihre Tage damit, nach verborgenen Schwachstellen in Software, Netzwerken und Cloud-Infrastrukturen zu suchen. Sie suchen nach schwachen Passwörtern, ungepatchten Lücken und Logikfehlern, die es einem Kriminellen ermöglichen könnten, Daten zu stehlen oder die Kontrolle zu übernehmen. Jahrzehntelang war diese Arbeit ein manuelles, von Menschen gesteuertes Handwerk. Doch nun ist eine neue Kraft in das Feld eingetreten: künstliche Intelligenz. Insbesondere Large Language Models – Systeme, die auf riesigen Mengen an Text trainiert wurden und menschliche Sprache verstehen sowie generieren können – werden nun gebeten, die Arbeit dieser Sicherheitsexperten zu übernehmen. Die Idee ist, „agentische“ Systeme zu bauen: Software, die nicht nur Code lesen und Netzwerke scannen kann, sondern auch Angriffe planen, sie ausführen und Berichte schreiben kann, ohne dass ein Mensch sie an der Hand hält. Dieser Wandel verspricht, Sicherheitstests schneller und kostengünstiger zu machen, führt aber auch eine neue Reihe von Problemen ein. Wenn man eine komplexe, gefährliche Aufgabe einer Maschine überträgt, die in Wahrscheinlichkeiten statt in Gewissheiten denkt, kann die Maschine Fehler machen, die ein Mensch niemals machen würde, oder schlimmer noch, sie kann selbstbewusst über das lügen, was sie gefunden hat.
Ein Team von Forschern setzte sich zum Ziel, genau zu verstehen, wie sich diese KI-Sicherheitsagenten verhalten, wenn man sie allein arbeiten lässt. Sie bauten nicht nur ein theoretisches Modell, sondern konstruierten eine echte, funktionierende Plattform namens Inspectra und unterzogen sie Tests gegen eine Vielzahl von Sicherheitstools. Ihr Ziel war es, über den Hype dessen, was diese Agenten tun könnten, hinauszugehen und die harten ingenieurtechnischen Realitäten zu dokumentieren, was sie tatsächlich tun, wenn etwas schiefgeht. Was sie fanden, war eine Disziplin in den Kinderschuhen, in der dieselben Fehler immer wieder auftraten – nicht weil die Technologie defekt war, sondern weil sie auf eine Weise verwendet wurde, für die ihre Designer sie nie vorgesehen hatten. Die Forscher entdeckten, dass die größten Hürden nicht ein Mangel an Intelligenz der KI waren, sondern vielmehr ein Mlack an Struktur in der Art und Weise, wie das System aufgebaut war. Sie identifizierten spezifische, vorhersehbare Fehlermuster, die auftreten, wenn eine KI versucht, zu viel zu behalten, wenn sie versucht, ihre eigene Arbeit zu beurteilen, und wenn ihr ein Budget zugewiesen wird, das sie nicht kontrollieren kann.
Eines der unmittelbarsten Probleme, auf die das Team stieß, war das Problem des Gedächtnisses. Stellen Sie sich einen KI-Agenten vor, der eine lange Untersuchung beginnt, tausende Zeilen Code liest und Dutzende von Tests durchführt. Während die Untersuchung fortschreitet, wächst die Menge der Informationen, die das System in seinem „Verstand“ behalten muss. Schließlich geht dem System der Platz aus, um all diese Informationen zu halten. In menschlichen Begriffen ist dies vergleichbar mit dem Versuch, jedes Detail eines langen Gesprächs im Gedächtnis zu behalten, während die Person weiterredet; die frühesten Details verblassen einfach. Die Forscher fanden heraus, dass eine KI-Agent, wenn sie in einer langen, kontinuierlichen Sitzung arbeitet, unweigerlich die Beweise vergisst, die sie zu Beginn des Scans gesammelt hat. Bis sie am Ende ankommt, um ihren Bericht zu schreiben, beschreibt sie vielleicht selbstbewusst Dateien, die sie nie tatsächlich geöffnet hat, oder behauptet, Schwachstellen gefunden zu haben, die vor Stunden protokolliert wurden, aber inzwischen aus ihrem Gedächtnis gelöscht wurden. Die Lösung, die sie vorschlugen, war, die Arbeit in kurze, distinkte Phasen zu unterteilen. Anstatt eines langen Gesprächs nutzt das System eine Serie kurzlebiger Agenten. Jeder Agent erledigt einen kleinen Teil der Arbeit, schreibt seine Ergebnisse in eine permanente, organisierte Datei und hört dann auf. Der nächste Agent liest nur eine kurze Zusammenfassung dieser Datei, nicht die Rohdaten. Dieser Ansatz ermöglicht es dem System, viel größere Aufgaben zu bewältigen, ohne den Faden zu verlieren, indem er effektiv den Horizont dessen erweitert, was die KI sich merken kann, indem er die Informationen, die sie weitertragen muss, komprimiert.
Ein weiterer kritischer Fehlermodus betraf die Frage, wie das System seinen eigenen Erfolg beurteilte. Wenn ein KI-Red-Teaming-Tool versucht, ein System zu knacken, muss es eine Möglichkeit haben, zu entscheiden, ob ein Angriff tatsächlich funktioniert hat. Die Forscher fanden heraus, dass viele automatisierte Tools zu eifrig „Ja, das hat funktioniert“ sagten, wenn sie bestimmte Schlüsselwörter sahen, selbst wenn der Angriff fehlgeschlagen war. Dies führte zu einer Flut von Fehlalarmen. Um dies zu beheben, entwarf das Team einen zweistufigen Verifizierungsprozess. Zuerst filterte eine schnelle, günstige Prüfung offensichtliche Fehler heraus. Dann überprüfte ein zweiter, sorgfältigerer Richter nur jene Fälle, die die erste Prüfung bestanden hatten. Entscheidend war, dass dieser zweite Richter eine andere Art von System als der erste sein musste; wenn beide Richter der gleiche Typ von KI wären, würden sie dieselben Fehler machen, und die zweite Prüfung wäre nutzlos. Durch den Einsatz zweier verschiedener Systeme zur Verifizierung der Ergebnisse konnte das Team die Anzahl der Fehlalarme drastisch reduzieren, was den endgültigen Bericht wesentlich vertrauenswürdiger machte. Sie entdeckten auch eine subtile, aber gefährliche Verzerrung: Wenn ein Angriff auf eine Weise scheiterte, die das System nicht verstehen konnte, protokollierte die Software dies oft als Erfolg. Dies bedeutete, dass die gefährlichsten, schwer fassbaren Angriffe diejenigen waren, die am wahrscheinlichsten verborgen oder falsch etikettiert wurden, was ein falsches Gefühl der Sicherheit vermittelte.
Die Forscher befassten sich auch mit dem Problem von Kosten und Kontrolle. Sicherheitstools können unvorhersehbar sein; einige laufen für Sekunden, während andere hängen bleiben und Stunden laufen können, was enorme Mengen an Geld und Rechenleistung verschlingt. Das Team zeigte, dass die bloße Anweisung an eine KI „verbrauche nicht zu viel Zeit“ in einer Textanweisung nicht ausreicht. Die KI könnte die Anweisung ignorieren, oder sie könnte durch den Inhalt, den sie liest, abgelenkt werden und die Regel vergessen. Stattdessen benötigt das System einen harten, externen Gatekeeper – ein Stück Code, das außerhalb des Entscheidungsprozesses der KI sitzt. Dieser Gatekeeper erzwingt strikte Grenzen für die Dauer der Ausführung eines Tools und dessen Budget, indem er es sofort abschaltet, sobald das Limit erreicht ist. Dies stellt sicher, dass die KI nicht versehentlich ein Projekt in den Ruin treibt oder einen Server scannt, den sie nicht autorisiert ist zu berühren. Die Forscher betonten, dass die KI niemals die letzte Instanz über ihre eigene Sicherheit oder ihr Budget sein darf; diese Rolle muss immer einer separaten, unveränderlichen Code-Ebene gehören.
Schließlich betrachtete das Team die Werkzeuge selbst. Sie testeten zehn verschiedene Sicherheitsscanner und fanden heraus, dass diejenigen, die am einfachsten von Hand zu bedienen waren, oft am schwierigsten in einem automatisierten System einzusetzen waren. Viele Tools waren darauf ausgelegt, dass ein Mensch durch einen Login-Bildschirm klickt und die Sitzung dann an den Scanner übergibt. Wenn eine KI versuchte, dies zu tun, scheiterte sie oft, weil der Login-Prozess zu komplex war oder das Tool nicht verstand, wie es angemeldet bleibt. Die Forscher entwickelten ein Muster, bei dem ein separates Browser-Automatisierungstool den Login handhabte und dann eine saubere, authentifizierte Liste von Links an den Scanner übergab. Diese einfache Trennung der Aufgaben löste viele der Integrationsprobleme. Sie stellten auch fest, dass die Landschaft der KI-Sicherheitsrichtlinien volatil ist; ein Modell, das heute einen Sicherheitstest erlaubt, könnte ihn morgen aufgrund einer Änderung der Regeln des Anbieters blockieren. Dies bedeutet, dass jedes System, das auf diesen Tools aufgebaut ist, flexibel genug sein muss, um die zugrunde liegenden KI-Modelle auszutauschen, ohne den gesamten Arbeitsablauf zu unterbrechen.
Das Paper kommt zu dem Schluss, dass die Zukunft der automatisierten Sicherheit nicht darin liegt, die KI intelligenter zu machen, sondern einen besseren Rahmen um sie herum zu bauen. Die effektivsten Systeme sind jene, die die KI als einen leistungsfähigen, aber fehlbaren Arbeiter behandeln, der von einem starren Rahmen aus Regeln, kurzen Gedächtniszyklen und unabhängigen Kontrollen umgeben ist. Indem Ingenieure akzeptieren, dass die KI Dinge vergisst, Fehler macht und manchmal Anweisungen ignoriert, können sie Systeme bauen, die robust genug sind, um die reale Welt zu bewältigen. Die Arbeit der Forscher bietet einen Bauplan für den Übergang von experimentellen Demonstrationen zu zuverlässigen, einsatzbereiten Produkten und stellt sicher, dass, wenn ein KI-Sicherheitsagent meldet, er habe eine Schwachstelle gefunden, er diese auch tatsächlich gefunden hat und dies getan hat, ohne das Budget oder die Regeln zu sprengen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.