Stellen Sie sich das Internet als eine riesige, geschäftige Stadt vor, die vollständig aus Code besteht. In dieser Stadt ist „Fuzzing“ wie das Aussenden von tausenden winzigen, chaotischen Robotern, die gegen Wände stoßen, über Kabel stolpern und an jeder Tür herumstochern, die sie finden können. Ihr Job ist es, die verborgenen Risse in den Verteidigungen der Stadt zu finden – Software-Schwachstellen, die Hacker nutzen könnten, um einzubrechen. Seit Jahren sind diese Roboter unglaublich gut darin gewesen, Risse zu finden, und haben jedes Jahr Tausende von Sicherheitslücken in Open-Source-Projekten aufgedeckt. Aber hier ist der Haken: Während die Roboter großartig darin sind, die Löcher zu finden, ist das Reparieren immer noch ein langsamer, manueller Job für menschliche Experten. Es ist, als hätte man eine Roboterarmee, die zwar jedes Schlagloch in der Stadt finden kann, aber dann muss man ein Team von Ingenieuren engagieren, die sich hinsetzen und jedes einzelne davon einzeln reparieren müssen. Da die Stadt wächst, wird dieser manuelle Reparaturprozess zu einem massiven Engpass, der die Stadt zu lange verwundbar lässt. Hier kommt die Idee der „Automatisierten Schwachstellenreparatur“ ins Spiel: der Versuch, ein System zu bauen, das nicht nur die Schlaglöcher findet, sondern auch in der Lage ist, sie automatisch zu flicken.

Hier kommt PatchIsland ins Spiel, ein neues System, das genau dieses Problem lösen soll. Die Forscher dahinter erkannten, dass bestehende automatisierte Reparaturwerkzeuge wie ein einzelner Mechaniker in einer ruhigen Garage waren; sie wurden jeweils an einem Auto in einer perfekten Umgebung getestet. Aber die reale Welt des kontinuierlichen Fuzzings ist eine laute, chaotische und unvorhersehbare Autobahn, auf der ständig Autos liegen bleiben. Um dies zu bewältigen, baute das Team PatchIsland, ein System, das weniger wie ein einsamer Mechaniker und mehr wie eine hochorganisierte, 24/7-Reparaturcrew agiert. Sie testeten es in einem bedeutenden Wettbewerb namens AIxCC, bei dem es eine Woche lang völlig ohne menschliche Hilfe operieren musste. Die Ergebnisse waren beeindruckend: PatchIsland konnte 31 von 43 realen Schwachstellen erfolgreich beheben, was einer Erfolgsquote von 72,1 % entspricht, und schaffte es sogar, einen brandneuen, bisher unbekannten „Zero-Day“-Bug in dem populären Projekt PDFBox zu patchen.

Das Problem: Die „Einheitsgröße“-Falle

Stellen Sie sich vor, Sie versuchen, ein Leck in einem Damm zu reparieren. Sie haben einen Werkzeugkoffer mit einem Hammer, einer Zange und einer Heißklebepistole. Wenn Sie nur den Hammer benutzen, reparieren Sie vielleicht einen Riss, aber Sie werden scheitern, wenn das Leck ein gebrochenes Rohr ist. Die meisten früheren automatisierten Reparatursysteme waren wie dieser Hammer: Sie waren darauf ausgelegt, perfekt in einem kontrollierten Einzeltest zu funktionieren. Aber in der freien Wildbahn des kontinuierlichen Fuzzings sind die „Lecks“ vielfältig, die Umgebung ist chaotisch und ständig geht etwas schief. Ein System, das sich auf nur eine Methode verlässt, stürzt oft ab oder bleibt stecken, wenn es auf ein Problem stößt, für das es nicht speziell trainiert wurde. Die Forscher fanden heraus, dass diese älteren Systeme das Chaos eines kontinuierlichen, realen Reparaturjobs einfach nicht bewältigen konnten.

Die Lösung: Eine Crew aus vielfältigen Spezialisten

Um dies zu beheben, baute das Team PatchIsland unter Verwendung eines Konzepts namens „Ensemble von Agenten“. Denken Sie dabei nicht an die Einstellung eines einzelnen Supergenie-Mechanikers, sondern an die Einstellung eines ganzen Teams von Spezialisten, von denen jeder eine andere Superkraft besitzt. Einige Agenten sind gut darin, Code zu lesen, andere sind Experten darin, spezifische Arten von Bugs zu finden, und einige sind schnell, aber vielleicht etwas nachlässig, während andere langsam, aber unglaublich präzise sind.

Anstatt sich auf einen einzelnen Agenten zu verlassen, der alles erledigt, schickt PatchIsland den defekten Code an diese gesamte Crew. Wenn ein Agent scheitert oder verwirrt ist, arbeiten die anderen weiter. Dies ist wie bei einer Feuerwehr: Wenn ein Löschfahrzeug ausfällt, können die anderen das Feuer trotzdem noch löschen. Diese Vielfalt macht das System viel robuster, was bedeutet, dass es weiterlaufen kann, selbst wenn einzelne Teile ausfallen.

Der intelligente Filter: Vermeidung der „Immer gleichen Geschichte“

In einem kontinuierlichen Reparatursystem verursacht derselbe Bug oft immer wieder denselben Absturz. Wenn das System versuchen würde, denselben Absturz 100 Mal zu beheben, würde es eine enorme Menge an Zeit und Geld verschwenden. Die Forscher führten eine clevere „Zwei-Phasen-Deduplizierung“ ein.

Stellen Sie sich einen Detektiv vor, der einen Bericht über ein Verbrechen erhält. Bevor er das gesamte Team ruft, prüft der Detektiv: „Wurde genau dieses Verbrechen bereits gelöst?“

1. Phase 1 (Crash-Check): Wenn ein neuer Absturzbericht eingeht, prüft das System, ob ein bereits vom Team generierter Patch diesen Absturz beheben würde. Wenn ja, ignoriert es den neuen Bericht.
2. Phase 2 (Patch-Check): Wenn das Team einen neuen Patch generiert, prüft das System, ob dieser neue Patch nur eine Wiederholung eines alten ist oder ob er tatsächlich etwas Neues behebt. Wenn es eine Wiederholung ist, wird er verworfen. Wenn er besser ist, ersetzt er den alten.

Dies stellt sicher, dass das System keine Energie darauf verschwendet, dasselbe Problem zweimal zu lösen, was entscheidend ist, wenn man mit Tausenden von Berichten zu tun hat.

Der Dirigent: FP2-Orchestrierung

Mit einem Team aus verschiedenen Agenten benötigt man einen Dirigenten, der entscheidet, wer wann arbeitet und wie. Das Team entwickelte eine Strategie namens FP2 (First-come first-served, Preference-based, and Provider-aware).

• First-come first-served: Wenn ein Patch bereit ist, wird er schnell eingereicht.
• Preference-based: Das System weiß, welche Agenten normalerweise am besten darin sind, korrekte Fixes zu finden. Es lässt diese Top-Agenten zuerst versuchen. Wenn sie scheitern, ruft es die anderen hinzu. Das spart Zeit und Geld.
• Provider-aware: Die Agenten nutzen verschiedene KI-„Gehirne“ (wie verschiedene Large Language Models). Das System verteilt die Arbeit so, dass keine einzelne KI überlastet oder durch Ratenbegrenzungen (Rate-Limiting) gestoppt wird.

Diese Orchestrierung stellt sicher, dass das System effizient arbeitet, indem sie Geschwindigkeit mit den Kosten für den Einsatz leistungsstarker KI-Tools abwägt.

Die Ergebnisse: Eine Testfahrt in der realen Welt

Der wahre Test kam während des AIxCC-Finalwettbewerbs, einem einwöchigen Event, bei dem Teams Schwachstellen in 53 verschiedenen Open-Source-Projekten finden und beheben mussten, ohne dass ein Mensch eingreifen konnte.

• Die Punktzahl: PatchIsland fand und behob 31 Schwachstellen, die höchste Anzahl aller Teams.
• Die Erfolgsquote: Es erreichte eine Erfolgsquote von 72,1 % (31 von 43 bestätigten Schwachstellen).
• Der Zero-Day-Sieg: In einem beeindruckenden Moment behob PatchIsland einen brandneuen Bug im PDFBox-Projekt. Nach dem Wettbewerb übernahmen die Maintainer des Projekts exakt denselben Patch, den das System generiert hatte, was bewies, dass die KI nicht nur geraten, sondern eine echte, korrekte Lösung gefunden hatte.

Die Forscher merkten auch an, dass das System zwar unglaublich effektiv war, aber nicht perfekt war. Es traten einige „Single Points of Failure“ auf, wie zum Beispiel ein defekter Link im systemd-Projekt, der das System daran hinderte, für diese spezifische Aufgabe zu initialisieren. Doch im Vergleich zu anderen Systemen, die häufiger abstürzten, hielt das Design von PatchIsland das System durch den Großteil des Chaos am Laufen.

Warum das wichtig ist

PatchIsland zeigt, dass wir der Zukunft, in der Software sich selbst heilen kann, näher kommen. Durch die Kombination eines vielfältigen Teams von KI-Agenten mit intelligentem Management und Filterung kann das System die chaotische, unvorhersehbare Realität kontinuierlicher Sicherheitstests bewältigen. Es deutet darauf an, dass wir zwar vielleicht noch nicht in der Lage sind, alle Bugs vollautomatisch zu eliminieren, aber wir können Systeme bauen, die robust genug sind, um die Flut an Schwachstellen zu bewältigen, mit denen moderne Software konfrontiert ist, um die Last für menschliche Experten zu verringern und unsere digitale Stadt sicherer zu machen.