Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing

Diese Studie stellt die erste umfassende Evaluation von KI-Agenten gegenüber menschlichen Cybersicherheitsexperten in einer realen Unternehmensumgebung vor und zeigt, dass der neu entwickelte Multi-Agenten-Framework ARTEMIS mit 92%iger Validierungsrate und niedrigeren Kosten (18 USD/Stunde) neun von zehn menschlichen Teilnehmern übertraf, obwohl noch Herausforderungen bei der Reduzierung von Fehlalarmen und der Bewältigung von GUI-Aufgaben bestehen.

Das Wesentliche

🕵️‍♂️ Der große Hack-Wettbewerb: Roboter gegen Menschen

Stellen Sie sich vor, eine große Universität (wie ein riesiges, komplexes Schloss mit 8.000 Zimmern) möchte herausfinden, wie sicher ihre Türen und Schlösser sind. Dafür veranstalten sie einen Wettbewerb: Wer findet die meisten versteckten Schwachstellen?

Die Teilnehmer sind zwei Gruppen:

1. Die Profis: 10 echte menschliche Hacker (sogenannte "Penetration Tester"), die dafür bezahlt werden, Sicherheit zu testen.
2. Die Roboter: Verschiedene künstliche Intelligenzen (KI), darunter ein neuer, besonders schlauer Roboter namens ARTEMIS.

Das Ziel war nicht, etwas zu zerstören, sondern zu sehen, ob eine KI so gut (oder sogar besser) ist als ein Mensch, wenn es darum geht, ein echtes, lebendiges Netzwerk zu durchsuchen.

---

🤖 ARTEMIS: Der neue Super-Worker

Die Forscher bauten einen neuen KI-Roboter namens ARTEMIS.

• Wie funktioniert er? Stellen Sie sich ARTEMIS nicht als einen einzelnen Roboter vor, sondern als einen Chef, der ein ganzes Team von kleinen Spezialisten anleitet. Wenn der Chef eine Aufgabe sieht (z. B. "prüfe diesen Server"), ruft er sofort einen kleinen Helfer, der sich genau darauf spezialisiert.
• Der Vorteil: Während ein Mensch müde wird oder nur eine Sache gleichzeitig tun kann, kann ARTEMIS Dutzende von Aufgaben parallel erledigen. Er ist wie ein Schwarm Bienen, der gleichzeitig an hundert Blumen arbeitet.

🏆 Das Ergebnis: Ein knapper Sieg für die KI

Das Ergebnis war überraschend:

• ARTEMIS landete auf Platz 2 im gesamten Wettbewerb!
• Er fand 9 echte, gefährliche Sicherheitslücken.
• Er war besser als 9 von 10 menschlichen Teilnehmern.
• Die anderen KI-Modelle (die "älteren" Roboter) waren deutlich schlechter und fanden kaum etwas.

Die menschlichen Profis waren zwar sehr gut (einige fanden sogar mehr als ARTEMIS), aber ARTEMIS zeigte, dass KI in der Lage ist, komplexe Aufgaben zu lösen, die bisher nur Menschen schafften.

💰 Der Preis: Ein Schnäppchen

Hier kommt der spannendste Teil für die Wirtschaft:

• Ein menschlicher Hacker kostet etwa 60 Dollar pro Stunde.
• ARTEMIS kostete nur 18 Dollar pro Stunde.
• Vergleich: Wenn Sie einen menschlichen Detektiv für ein Jahr einstellen, kostet das viel Geld. ARTEMIS könnte das gleiche Jahr für ein Viertel des Preises machen. Er ist also nicht nur schnell, sondern auch extrem günstig.

🧩 Wo die KI noch stolpert (Die Schwächen)

Trotz des Erfolgs gab es Dinge, bei denen die Menschen besser waren:

1. Der "Maus-Problem": Viele Sicherheitslücken erfordern, dass man auf einen Bildschirm schaut, auf einen Button klickt oder ein Menü durchklickt (GUI). Die KI ist sehr gut im Befehlszeilen-Modus (Text eingeben), aber wenn sie eine grafische Oberfläche bedienen muss, wird sie oft verwirrt.
   • Analogie: Ein Mensch kann leicht einen komplizierten Automaten bedienen. Die KI kann die Tasten drücken, aber wenn sie den Bildschirm lesen muss, um zu verstehen, was passiert, verliert sie den Faden.
2. Falsche Alarme: Die KI war manchmal zu vorsichtig oder zu wild. Sie meldete manchmal Dinge als "gehackt", die gar nicht gehackt waren (False Positives). Die Menschen waren hier präziser.

🔍 Was haben wir gelernt?

1. KI ist keine Magie, aber sie ist mächtig: Wenn man die KI richtig anleitet (mit dem ARTEMIS-System), kann sie systematisch und schnell arbeiten. Sie findet Lücken, die Menschen übersehen, weil sie zu müde sind oder zu lange brauchen.
2. Die Zukunft ist gemischt: Die beste Sicherheit wird wahrscheinlich eine Kombination sein: Ein menschlicher Experte, der die Strategie plant, und ein KI-Schwarm, der die harte, langweilige Arbeit (das Scannen und Testen) erledigt.
3. Gefahr und Chance: Da KI so gut wird, können auch böswillige Hacker sie nutzen, um Systeme anzugreifen. Aber die gute Nachricht ist: Wir können dieselbe KI nutzen, um uns zu verteidigen, und das viel schneller und billiger als bisher.

Fazit

Stellen Sie sich vor, Sie haben einen riesigen Garten voller versteckter Fallen. Früher mussten Sie mit einem Löffel jeden Zentimeter Erde abgraben (der menschliche Hacker). Jetzt haben Sie einen Roboter-Schwarm, der den ganzen Garten in Minuten durchsucht. Er macht manchmal kleine Fehler, aber er findet die meisten Fallen viel schneller und kostet nur einen Bruchteil des Preises.

Die Studie zeigt: Die KI ist im Penetrationstest angekommen. Sie ist kein Ersatz für den menschlichen Experten, aber ein extrem mächtiger Werkzeugkasten, den wir nicht ignorieren dürfen.

Technische Zusammenfassung

Titel: Vergleich von KI-Agenten mit Cybersecurity-Profis im realen Penetrationstesting

1. Problemstellung und Motivation

Die rasante Entwicklung von KI-Fähigkeiten wirft ernste Bedenken hinsichtlich der Risiken auf, die KI für die globale Cybersicherheit darstellt. Während Bedrohungsakteure (von Nationalstaaten bis zu finanziell motivierten Gruppen) zunehmend KI in ihren Cyberoperationen einsetzen, fehlen bisher fundierte, realistische Bewertungen der Fähigkeiten autonomer KI-Agenten im Vergleich zu menschlichen Experten.
Bisherige Benchmarks (wie CTFs oder CVE-Reproduktions-Tests) leiden unter Abstraktionen, die den operativen Realismus, die Komplexität lebender Systeme und die Interaktivität echter Umgebungen vernachlässigen. Es besteht ein dringender Bedarf, die tatsächliche Leistungsfähigkeit von KI-Agenten in einer Live-Enterprise-Umgebung zu messen, um sowohl offensive Risiken als auch defensive Potenziale besser zu verstehen.

2. Methodik

Die Studie führt den ersten umfassenden Vergleich zwischen menschlichen Cybersecurity-Profis und KI-Agenten in einer echten Unternehmensumgebung durch.

• Testumgebung: Ein großes Forschungsnetzwerk einer Universität mit ca. 8.000 Hosts über 12 Subnetze (öffentlich und privat). Die Umgebung ist heterogen (Unix, IoT, Windows, Embedded) und verfügt über eine solide Sicherheitsbasis (Patch-Management, IDS/IPS, Firewalls).
• Teilnehmer:
  • Menschlich: 10 qualifizierte Cybersecurity-Profis (Red Teamer, Pentester) mit Zertifizierungen (z. B. OSCP, OSWE) und nachgewiesener Erfahrung bei der Entdeckung von CVEs.
  • KI-Agenten: Sechs bestehende Frameworks (Codex, CyAgent, Incalmo, MAPTA, Claude Code) und ein neu entwickeltes Framework namens ARTEMIS.
• ARTEMIS (Automated Red Teaming Engine with Multi-agent Intelligent Supervision):
  • Ein Multi-Agenten-Framework mit einem übergeordneten Supervisor, einer Schwarmarchitektur aus unbegrenzt vielen Sub-Agenten und einem Triage-Modul.
  • Schlüsselmerkmale: Dynamische Prompt-Generierung für Sub-Agenten, automatische Kontextverwaltung (Zusammenfassung und Fortsetzung über lange Zeiträume), automatisches Vulnerability-Triage (Validierung, Reproduktion, Klassifizierung).
  • Ziel ist es, die Fähigkeiten von Frontier-Modellen (wie GPT-5, Claude Sonnet 4) durch eine spezialisierte Architektur zu maximieren.
• Bewertungsrahmen:
  • Ein einheitliches Scoring-System, das nicht nur die Anzahl der Funde, sondern auch die technische Komplexität (Entdeckung + Ausnutzung) und die geschäftliche Kritikalität (basierend auf CVSS und Bug-Bounty-Strukturen) gewichtet.
  • Die Bewertung belohnt komplexe Exploits mehr als einfache „Low-Hanging Fruit".
• Sicherheitsvorkehrungen: Das Experiment unterliegt strengen ethischen Richtlinien (IRB-genehmigt). Ein menschlicher Monitor überwacht jede Agenten-Sitzung in Echtzeit, um Schäden zu verhindern. Alle gefundenen Schwachstellen wurden vor der Veröffentlichung gepatcht.

3. Wichtige Beiträge

• Erste Live-Evaluation: Der erste direkte Vergleich von KI-Agenten und menschlichen Experten in einer produktiven, heterogenen Netzwerkomgebung.
• Entwicklung von ARTEMIS: Vorstellung eines neuen Agenten-Frameworks, das durch dynamische Prompting-Strategien und Multi-Agenten-Kooperation komplexe Aufgaben über längere Zeiträume bewältigen kann.
• Open-Source-Veröffentlichung: Die Autoren veröffentlichen ARTEMIS und die Studiendaten, um die Verteidigungsfähigkeiten durch zugängliche KI-Tools zu stärken.
• Kosteneffizienz-Analyse: Eine detaillierte Gegenüberstellung der Kostenstruktur zwischen menschlichen Dienstleistern und KI-Lösungen.

4. Ergebnisse

• Leistungsrangliste:
  • ARTEMIS belegte den zweiten Platz insgesamt und übertraf 9 von 10 menschlichen Teilnehmern.
  • ARTEMIS entdeckte 9 gültige Schwachstellen mit einer Validierungsrate von 82 %.
  • Bestehende Frameworks (Codex, CyAgent, Incalmo, MAPTA) schnitten im Vergleich zu den meisten menschlichen Teilnehmern schlecht ab; einige lehnten die Aufgabe komplett ab oder lieferten keine Ergebnisse.
• Qualität der Funde:
  • ARTEMIS zeigte eine technische Sophistikation und eine Einreichungsqualität, die mit den stärksten menschlichen Teilnehmern vergleichbar war.
  • Während menschliche Teilnehmer oft opportunistisch vorgehen und manuelle Validierung nutzen, nutzt ARTEMIS systematische Enumeration und parallele Ausnutzung.
• Stärken von KI-Agenten:
  • Parallelisierung: ARTEMIS kann mehrere Sub-Agenten gleichzeitig einsetzen, um verschiedene Ziele zu scannen und zu exploitieren.
  • Kosteneffizienz: ARTEMIS-Varianten kosteten ca. 18 $/Stunde (A1), verglichen mit ca. 60 $/Stunde für professionelle Penetrationstester.
  • CLI-Abhängigkeit als Vorteil: KI-Agenten waren in Umgebungen überlegen, in denen moderne Browser alte Protokolle (z. B. veraltete HTTPS-Cipher) blockierten, da sie CLI-Tools (wie curl) nutzen konnten, während menschliche Tester an Browser-Fehlern scheiterten.
• Schwächen und Lücken:
  • GUI-Probleme: KI-Agenten scheiterten häufig bei Aufgaben, die eine grafische Benutzeroberfläche (GUI) erforderten (z. B. Interaktion mit TinyPilot KVMs über einen Browser).
  • False Positives: KI-Agenten hatten eine höhere Rate an falsch positiven Meldungen (z. B. Interpretation von HTTP-Redirects als erfolgreicher Login).
  • Mangelnde Kontinuität: Bestehende Frameworks ohne ARTEMIS-Architektur konnten lange Sessions nicht durchhalten und gaben oft zu früh auf.

5. Bedeutung und Fazit

Die Studie zeigt, dass KI-Agenten, wenn sie durch fortschrittliche Architekturen wie ARTEMIS unterstützt werden, das Potenzial haben, menschliche Penetrationstester in puncto Effizienz, Skalierbarkeit und teilweise auch in der Entdeckungsrate zu übertreffen – und das zu einem Bruchteil der Kosten.

• Für die Verteidigung: KI-gestützte Tools können den Sicherheitsposten von Organisationen verbessern, indem sie kontinuierliche, kostengünstige Penetrationstests ermöglichen, die menschliche Teams nicht in diesem Umfang leisten können.
• Für die Sicherheit: Die Ergebnisse unterstreichen die Dringlichkeit, KI-Risiken ernst zu nehmen. Autonome Agenten können Angriffe mit beispielloser Geschwindigkeit und Skalierbarkeit durchführen.
• Zukünftige Arbeit: Es besteht Bedarf an längeren Evaluierungszeiträumen, realistischeren Verteidigungsszenarien (mit aktiver Abwehr) und der Weiterentwicklung von Agenten, die GUIs und komplexe menschliche Interaktionen besser bewältigen können.

Zusammenfassend demonstriert das Paper, dass KI im Cybersecurity-Bereich nicht mehr nur ein theoretisches Risiko ist, sondern eine reale, hochleistungsfähige Kraft, die sowohl als Waffe für Angreifer als auch als mächtiges Werkzeug für Verteidiger eingesetzt werden kann.