🤖 AI

Builder, Defender, Breaker: The Case Against Removing the Human from the AI-Driven Security Lifecycle

Dieses Papier argumentiert, dass die Entfernung von Menschen aus dem KI-gesteuerten Sicherheitslebenszyklus grundlegend fehlerhaft ist, da sie die notwendige Unabhängigkeit zwischen den Rollen des Erbauens, des Verteidigens und des Testens eliminiert, wodurch gemeinsame blinde Flecken entstehen, die Rechenschaftspflicht erodiert wird und Systeme anfällig für vorhersehbare adversarielle Ausnutzung bleibt.

Ursprüngliche Autoren: Mohamed Chahine Ghanem

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohamed Chahine Ghanem

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein hochriskantes Bauprojekt vor, bei dem Sie eine Festung bauen, sie bewachen und dann versuchen müssen, in sie einzubrechen, um Schwachstellen zu finden. In der Vergangenheit haben Sie für diese Aufgaben drei verschiedene Teams engagiert: die Erbauer, die Verteidiger und die Einbrecher.

Das Papier argumentiert, dass wir derzeit eilen, alle drei dieser menschlichen Teams durch einen einzigen, superintelligenten KI-Roboter zu ersetzen. Die Idee ist: Wenn dieser Roboter Code schreiben kann, kann er auch seine eigene Arbeit überprüfen und versuchen, seine eigene Schöpfung zu hacken. Der Autor, Mohamed Chahine Ghanem, sagt, das klinge effizient, sei aber in Wirklichkeit eine gefährliche Falle.

Hier ist die Aufschlüsselung, warum das Entfernen von Menschen aus diesem Prozess eine schlechte Idee ist, unter Verwendung einfacher Analogien:

1. Das „Ein-Gehirn-Problem“ (Die Monokultur)

Stellen Sie sich vor, die Person, die die Festung entwirft, die Person, die die Tore bewacht, und die Person, die versucht, die Schlösser zu knacken, wären Klone derselben Person. Sie sind alle zur gleichen Schule gegangen, haben dieselben Bücher gelesen und denken exakt auf die gleiche Weise.

Das Risiko: Wenn diese eine „Gehirnstruktur“ einen blinden Fleck hat (einen Fehler, den sie selbst nicht kennen kann), werden alle drei Rollen denselben blinden Fleck haben.
Das Ergebnis: Der Erbauer macht einen Fehler. Der Verteidiger (der wie der Erbauer denkt) sieht ihn nicht. Der Einbrecher (der ebenfalls wie der Erbauer denkt) weiß nicht, wie er ihn finden kann. Die Schwachstelle schlüpft durch die Ritzen, weil alle die Welt durch dasselbe Brillenpaar betrachten. Das Papier nennt dies eine „algorithmische Monokultur“.

2. Das „Hausaufgaben-selbst-bewerten-Problem“ (Der Orakel-Effekt)

Wenn Sie in der Schule einen Aufsatz schreiben und ihn dann selbst bewerten, werden Sie sich wahrscheinlich eine hohe Punktzahl geben, weil Sie wissen, was Sie gemeint haben, auch wenn Sie es nicht klar formuliert haben. Sie sind voreingenommen gegenüber Ihrer eigenen Arbeit.

Das Risiko: Wenn eine KI Code schreibt und dann die Testfälle schreibt, um diesen Code zu prüfen, bewertet sie im Wesentlichen ihre eigenen Hausaufgaben. Sie prüft, ob der Code mit ihren eigenen Erwartungen übereinstimmt, nicht ob der Code in der realen Welt tatsächlich funktioniert.
Das Ergebnis: Das System wird zu einem geschlossenen Kreislauf, der nur das bestätigt, was es bereits glaubt. Es verliert die Fähigkeit, reale Fehler zu finden, da es keinen unabhängigen „Lehrer“ (einen Menschen) gibt, der sagen kann: „Warte, das ergibt doch keinen Sinn.“

3. Die „Geschwindigkeitsfalle“ (Das Aus der Schleife Driften)

Stellen Sie sich einen Rennwagenfahrer vor, der so schnell ist, dass der menschliche Sicherheitsbeauftragte nicht mehr mithalten kann. Zuerst beobachtet der Beamte das Auto. Dann fährt das Auto so schnell, dass der Beamte nur noch eine Zusammenfassung erhält. Schließlich ist das Auto so schnell, dass der Beamte nur noch ein Passagier ist, der nach dem Crash einen Bericht erhält.

Das Risiko: KI arbeitet mit Maschinengeschwindigkeit. Wenn eine KI einen Bug findet und ihn in Sekunden behebt, kann ein Mensch nicht einmal kurz innehalten, um ihn zu prüfen, ohne alles zu verlangsamen. Also beginnen wir, den menschlichen „Stopp“-Knopf zu entfernen.
Das Ergebnis: Menschen driften von „in der Schleife“ (Entscheidungen treffend) zu „an der Schleife“ (beobachtend) zu „außerhalb der Schleife“ (nur noch die Ergebnisse betrachtend). Bis ein Mensch merkt, dass etwas schiefgelaufen ist, hat die KI bereits tausende Fehler gemacht.

4. Das „Vorhersehbare Ziel“ (Der Kontrahent)

Sicherheit ist ein Katz-und-Maus-Spiel. Wenn die Maus (der Verteidiger) immer auf die gleiche Weise denkt, lernt die Katze (der Hacker) genau, wie sie sie fangen kann.

Das Risiko: Wenn dasselbe KI-Modell verwendet wird, um zu bauen, zu verteidigen und zu testen, wird das gesamte System vorhersehbar. Ein Hacker muss nur lernen, einen Typ von KI zu überlisten, und schon kann er das gesamte System überlisten.
Das Ergebnis: Es ist, als würde man eine Burg mit nur einer Art von Schloss bauen. Sob wenn ein Dieb dieses Schloss knackt, fällt die ganze Burg. Das Papier stellt fest, dass KI-Systeme, die in der Lage waren, andere Maschinen hervorragend zu hacken, kläglich scheiterten, als sie mit Menschen konfrontiert wurden, die kreativ und unvorhersehbar denken konnten.

5. Das „Niemand-zu-Verantwortung_ziehen-Problem“ (Die Rechenschaftspflicht)

Wenn ein menschlicher Erbauer einen Fehler macht, können Sie ihn fragen: „Warum haben Sie das getan?“ und ihn zur Verantwortung ziehen. Wenn eine Maschine einen Fehler macht, wen fragen Sie dann?

Das Risiko: Wenn die KI baut, verteidigt und sich selbst testet und etwas schiefgeht (wie eine massive Sicherheitslücke), gibt es keinen Menschen, den man zur Rechenschaft ziehen kann. Die Maschine hat nicht „entschieden“ zu versagen; sie hat einfach ihrem Code gefolgt.
Das Ergebnis: Dies schafft ein Rechenschaftsvakuum. Oh die ein Mensch die Arbeit abzeichnet, verliert das System die Disziplin, die daraus entsteht, dass man weiß, dass man für sein Handeln einstehen muss.

Die Lösung: Den Menschen am Steuer lassen

Das Papier sagt nicht, dass wir aufhören sollten, KI einzusetzen. Tatsächlich ist KI großartig darin, die schwere Arbeit zu erledigen, schnell Code zu schreiben und offensichtliche Bugs zu finden.

Der Autor argumentiert jedoch, dass Menschen das „Haupt“ des Betriebs bleiben müssen.

Die KI sollte die Hände und die Augen sein (die Arbeit erledigen).
Der Mensch muss das Gehirn sein, das das unabhängige Urteilsvermögen liefert.

Wir brauchen Menschen als das „externe Orakel“ (den Lehrer, der die Hausaufgaben bewertet), als den „Schaltkreisunterbrecher“ (denjenigen, der den Notstopp drücken kann) und als die Person, die die Verantwortung übernimmt. Wenn wir den Menschen vollständig entfernen, automatisieren wir nicht nur einen Job; wir brechen das Sicherheitssystem, das die digitale Welt sicher hält.

Technisches Resümee: Builder, Defender, Breaker: Das Argument gegen die Entfernung des Menschen aus dem KI-gesteuerten Sicherheitslebenszyklus

Problemstellung
Das Paper befasst sich mit dem aufkommenden Trend in der Cybersicherheit, bei dem eine einzige Familie generativer KI-Modelle zunehmend eingesetzt wird, um alle drei kritischen Rollen des Sicherheitslebenszyklus zu übernehmen: das Bauen (Code-Generierung), das Verteidigen (Intrusion Detection und Härtung) sowie das Brechen (Schwachstellenanalyse und Fuzzing). Während teilweiser KI-Unterstützung weitgehend akzeptiert ist, legt das vorherrschende Narrativ nahe, dass die vollständige Autonomie – die vollständige Entfernung des Menschen aus der Schleife – das natürliche Endziel darstellt. Der Autor argumentiert, dass dieser Übergang von teilweiser Unterstützung zu vollständiger Autonomie eine qualitative Verschiebung darstellt und nicht bloß eine quantitative. Das Kernproblem besteht darin, dass, wenn Builder, Defender und Breaker aus derselben generativen Verteilung stammen (eine „algorithmische Monokultur“), sie dieselben blinden Flecken erben. Diese Konvergenz untergräbt die Unabhängigkeit, die für eine sinnvolle Verifizierung erforderlich ist, schafft ein vorhersagbares Ziel für Angreifer und löst den Ort der Rechenschaftspflicht auf.

Methodik und Evidenzbasis
Das Paper verwendet eine konzeptionelle und evidenzbasierte Analyse, anstatt neue experimentelle Daten zu präsentieren. Es synthetisiert Erkenntnisse aus vier verschiedenen Bereichen, um sein Argument aufzubauen:

Autonome Code-Generierung: Unter Bezugnahme auf Studien zu GitHub Copilot und formale Analysen von Modellen, die C-Programme generieren, hebt das Paper hervor, dass KI-Modelle die Unsicherheitsmuster ihrer Trainingsdaten reproduzieren, mit hohen Vulnerabilitätsraten (40–62 %), die über verschiedene Modelle hinweg konsistent sind, die auf ähnlichen Korpora trainiert wurden.
Adversarial Machine Learning: Die Analyse stützt sich auf NIST-Taxonomien und Forschungsergebnisse, die zeigen, dass Detektoren, die auf spezifischen Verteilungen trainiert wurden, umgangen oder vergiftet werden können. Es wird betont, dass ein Verteidiger, der dieselbe Verteilung teilt wie der geschützte Code, gegenüber denselben Edge-Cases blind sein wird.
Software-Fehlertoleranz: Das Paper bezieht sich auf das Scheitern von N-Version-Programmierung (bei der unabhängig geschriebene Implementierungen bei denselben Eingaben häufiger versagten als erwartet), um zu argumentieren, dass KI-Modelle, die auf ähnlichen Daten trainiert wurden, korrelierte Fehlermodi aufweisen, was Redundanz unwirksam macht.
Autonome Hacking-Turniere: Belege werden aus der 2016 DARPA Cyber Grand Challenge und der 2025 AI Cyber Challenge gezogen. Während diese Systeme hohe Erfolge beim Finden und Patchen von Schwachstellen ohne menschliches Eingreifen zeigten, nutzt das Paper diese Ergebnisse, um das Phänomen der „geschlossenen Schleife“ zu illustrieren, bei dem die Werkzeuge, die das System testen, der gleichen Natur sind wie das getestete System.

Wesentliche Beiträge und Argumente
Das Paper artikuliert vier Hauptgefahren im Zusammenhang mit einem vollautonomen, KI-gesteuerten Sicherheitslebenszyklus:

Korrelierter Ausfall und das Monokultur-Problem: In einem traditionellen Lebenszyklus gewährleistet die Unabhängigkeit zwischen den Phasen (Builder, Defender, Tester), dass wenn eine Phase scheitert, eine andere den Fehler erkennt. In einer KI-Monokultur teilen alle Phasen dieselben Priors und Trainingsdaten. Folglich ist eine Schwachstelle, die der Builder nicht zu generieren versäumt, auch eine Schwachstelle, die der Defender nicht zu erkennen und der Tester nicht zu prüfen versäumt. Dies erzeugt ein „Blindspot-Set“ ( $\mathcal{B}$ ), das den gesamten Lebenszyklus ungesehen durchläuft.
Das Oracle-Problem: Verifizierung erfordert ein unabhängiges Oracle. Wenn eine KI den Code generiert und eine KI die Tests für diesen Code erstellt, erbt die Testsuite dieselben Annahmen wie der Code. Das Paper argumentt, dass dies dem „Selbstbewerten der eigenen Hausaufgaben“ gleichkommt, wobei das System seine eigenen Erwartungen bestätigt, anstatt die Korrektheit gegenüber der realen Welt zu verifizieren. Zudem wird gezeigt, dass die menschliche Aufsicht ineffektiv ist; Studien deuten darauf hin, dass Menschen, die KI-Assistenten nutzen, weniger sicheren Code produzieren, während sie gleichzeitig eine höhere Zuversicht in diesen melden.
Adversarielle Ausnutzung von Uniformität: Sicherheit ist inhärent adversarial. Eine homogene KI-Pipeline bietet ein einheitliches, vorhersagbares Ziel. Angreifer können dies ausnutzen, indem sie Angriffe (Evasion oder Poisoning) entwerfen, die über die gesamte Monokultur hinweg transferierbar sind, da die Modelle gemeinsame strukturelle Gradienten besitzen. Darüber hinaus ist die Dual-Use-Natur autonomer Werkzeuge so beschaffen, dass ein System, das in der Lage ist, Schwachstellen zu finden und zu patchen, inhärent auch in der Lage ist, diese auszunutzen – ohne einen menschlichen „Circuit Breaker“, der verhindert, dass das Werkzeug gegen Live-Ziele umgeleitet wird.
Das Verantwortlichkeitsvakuum: Vollständige Autonomie schafft eine „Verantwortungslücke“. Wenn ein autonomer Lebenszyklus eine Schwachstelle ausliefert oder einen Ausfall verursacht, gibt es keinen Akteur, der zur Rechenschaft gezogen werden kann. Das Paper stellt fest, dass Governance-Rahmenwerke wie der EU AI Act explizit menschliche Aufsicht für Hochrisikosysteme vorschreiben, da sie anerkennen, dass Rechenschaftspflicht nicht an eine Maschine delegiert werden kann. Die Entfernung des Menschen entfernt den Mechanismus, durch den der Lebenszyklus an Standards gehalten wird.

Ergebnisse und Behauptungen
Das Paper behauptet nicht, dass KI keinen Nutzen hat; es erkennt an, dass autonome Systeme erfolgreich Zero-Day-Schwachstellen identifiziert und Fehler behoben haben (z. B. bei der 2025 AI Cyber Challenge). Die zentrale These des Papers ist jedoch, dass vollständige Autonomie eine Falle für den Sicherheitslebenszyklus ist. Die Ergebnisse autonomer Turniere demonstrieren Leistungsfähigkeit, offenbaren aber auch Fragilität: Als autonome Systeme in der DEF CON Capture-the-Flag-Turnier gegen menschliche Gegner antraten, schnitten sie schlecht ab, was darauf hindeutet, dass maschinengeschwindigkeits-basiertes Denken nicht über die für komplexes, adversarielles Denken erforderliche Adaptivität verfügt.

Das Paper kommt zu dem Schluss, dass die Rolle des Menschen im Sicherheitslebenszyklus nicht ein temporäres Gerüst ist, das mit der Verbesserung der Modelle entfernt werden kann, sondern eine permanente strukturelle Anforderung darstellt. Der Mensch liefert die notwendige Unabhängigkeit, das externe Oracle, die Fähigkeit, mit Maschinengeschwindigkeit einzugreifen, und den Ort der Rechenschaftspflicht.

Bedeutung
Die Bedeutung dieser Arbeit liegt in ihrer Herausforderung des „Full Autonomy“-Narrativs in der Cybersicherheit. Sie argumentet, dass die Arbeitsteilung zwischen Mensch und Maschine bewahrt werden muss – nicht um die Geschwindigkeit zu begrenzen, sondern um die fundamentalen Eigenschaften der Sicherheit zu wahren: Unabhängigkeit, Verifizierung und Rechenschaftspflicht. Das Paper schlägt eine verteidigbare Arbeitsteilung vor, bei der:

Build- und Testpfade unabhängige Quellen nutzen (unterschiedliche Modelle/Daten), um korrelierte Ausfälle zu verhindern.
Menschen die „On-the-Loop“-Autorität behalten, um effektiv mit Maschinengeschwindigkeit intervenieren zu können.
Provenienz und unabhängige Aufsicht (Audit-Logs, Third-Party-Red-Teaming) aufrechterhalten werden.
Fachkompetenzen erhalten bleiben, um „Deskilling“ zu verhindern und sicherzustellen, dass Menschen weiterhin in der Lage sind, ihre Autorität auszuüben.

Letztlich behauptet das Paper, dass Maschinen zwar die Rollen von Builder, Defender und Breaker übernehmen können, der „Kopf“, der für sie einsteht, jedoch menschlich bleiben muss.