Stel je het internet voor als een enorme, bruisende stad die volledig uit code bestaat. In deze stad is "fuzzing" als het uitsturen van duizenden kleine, chaotische robots die tegen muren aanbotsen, over draden struikelen en elke deur proberen te beuken die ze kunnen vinden. Hun taak is om de verborgen scheuren in de verdediging van de stad te vinden—softwarekwetsbaarheden die hackers kunnen gebruiken om binnen te dringen. Jarenlang zijn deze robots ongelooflijk goed geweest in het vinden van scheuren en hebben ze elk jaar duizenden beveiligingslekken in open-source projecten blootgelegd. Maar hier is de crux: hoewel de robots geweldig zijn in het vinden van de gaten, is het repareren ervan nog steeds een traag, handmatig proces voor menselijke experts. Het is alsof je een leger robots hebt dat elke kuil in de stad kan vinden, maar dan moet je een team ingenieurs inhuren om bij elke kuil te gaan zitten en deze individueel te repareren. Naarmate de stad groeit, wordt dit handmatige reparatieproces een enorme bottleneck, waardoor de stad te lang kwetsbaar blijft. Dit is waar het idee van "Automated Vulnerability Repair" (Geautomatiseerde Kwetsbaarheidsreparatie) om de hoek komt kijken: het proberen te bouwen van een systeem dat niet alleen de kuilen kan vinden, maar ze ook automatisch kan patchen.

Maak kennis met PatchIsland, een nieuw systeem dat precies dit probleem probeert op te lossen. De onderzoekers achter dit systeem realiseerden zich dat bestaande automatische reparatietools leken op een enkele mechanicus die in een stille garage werkt; ze werden getest op één auto tegelijk in een perfecte omgeving. Maar de echte wereld van continue fuzzing is een lawaaierige, chaotische en onvoorspelbare snelweg waar auto's constant pech krijgen. Om dit aan te pakken, bouwde het team PatchIsland, een systeem dat minder lijkt op een eenzame mechanicus en meer op een hooggeorganiseerde, 24/7 reparatieploeg. Ze testten het in een belangrijke wedstrijd genaamd AIxCC (AI Cyber Challenge), waarbij het een week lang volledig zelfstandig moest opereren zonder enige menselijke hulp. De resultaten waren indrukwekkend: PatchIsland heeft 31 van de 43 echte kwetsbaarheden succesvol gerepareerd, met een succespercentage van 72,1%, en slaagde er zelfs in om een gloednieuwe, nog nooit eerder vertoonde "zero-day" bug te patchen in een populair project genaamd PDFBox.

Het Probleem: De "One-Size-Fits-All" Valstrik

Stel je voor dat je een lek in een dam probeert te reparen. Je hebt een gereedschapskist met een hamer, een moersleutel en een lijmpistool. Als je alleen de hamer gebruikt, kun je misschien een barst repareren, maar je zult falen als het lek een gebroken pijp is. De meeste eerdere automatische reparatiesystemen waren als die hamer: ze waren ontworft om perfect te werken in een gecontroleerde, enkele testronde. Maar in de echte wereld van continue fuzzing zijn de "lekken" divers, de omgeving rommelig en gaat er constant iets mis. Een systeem dat vertrouwt op slechts één methode, crasht vaak of loopt vast wanneer het een probleem tegenkomt waarvoor het niet specifiek is getraind. De onderzoekers ontdekten dat deze oudere systemen de chaos van een continue, echte reparatieklus simpelweg niet aankonden.

De Oplossing: Een Crew van Diverse Specialisten

Om dit op te lossen, bouwde het team PatchIsland met behulp van een concept genaamd een "ensemble van agenten". Denk hierbij niet aan het inhuren van één supergeniale mechanicus, maar aan het inhuren van een heel team van specialisten, elk met een andere superkracht. Sommige agenten zijn erg goed in het lezen van code, anderen zijn experts in het vinden van specifieke soorten bugs, en sommige zijn snel maar misschien wat slordig, terwijl anderen traag maar ongelooflijk nauwkeurig zijn.

In plaats van te vertrouwen op een enkele agent die alles moet doen, stuurt PatchIsland de kapotte code naar deze hele crew. Als één agent faalt of in de war raakt, gaan de anderen gewoon door met werken. Dit is als een brandweer waarbij, als één wagen pech heeft, de andere nog steeds de brand kunnen blussen. Deze diversiteit maakt het systeem veel robuuster, wat betekent dat het kan blijven draaien, zelfs wanneer individuele onderdelen falen.

Het Slimme Filter: Vermijden van het "Hetzelfde Oude Verhaal"

In een continu reparatiesysteem veroorzaakt dezelfde bug vaak steeds weer dezelfde crash. Als het systeem probeerde dezelfde crash 100 keer te repareren, zou het een enorme hoeveelheid tijd en geld verspillen. De onderzoekers introduceerden een slimme "two-phase deduplication" strategie.

Stel je een detective voor die een melding van een misdaad ontvangt. Voordat hij het hele team oproept, controleert de detective: "Is dit exacte misdrijf al opgelost?"

1. Fase 1 (Crash Check): Wanneer er een nieuw crashrapport binnenkomt, controleert het systeem of een patch die al door het team is gegenereerd, deze crash zou oplossen. Zo ja, dan negeert het de nieuwe melding.
2. Fase 2 (Patch Check): Als het team een nieuwe patch genereert, controleert het systeem of deze nieuwe patch slechts een herhaling is van een oude, of dat het daadwerkelijk iets nieuws oplost. Als het een herhaling is, wordt deze weggegooid. Als het beter is, vervangt het de oude.

Dit zorgt ervoor dat het systeem geen energie verspilt aan het twee keer repareren van hetzelfde probleem, wat cruciaal is wanneer je te maken hebt met duizenden meldingen.

De Dirigent: FP2 Orchestratie

Met een team van verschillende agenten heb je een dirigent nodig om te beslissen wie wanneer werkt en hoe. Het team ontwikkelde een strategie genaamd FP2 (First-come first-served, Preference-based, en Provider-aware).

• First-come first-served: Als een patch klaar is, wordt deze snel ingediend.
• Preference-based: Het systeem weet welke agenten meestal de "beste" zijn in het vinden van correcte oplossingen. Het laat deze topagenten eerst proberen. Als zij falen, worden de anderen opgeroepen. Dit bespaart tijd en geld.
• Provider-aware: De agenten gebruiken verschillende AI-"hersenen" (zoals verschillende large language models). Het systeem verdeelt het werk zodat geen enkele AI overbelast raakt of tegen limieten aanloopt.

Deze orchestratie zorgt ervoor dat het systeem efficiënt is en een balans vindt tussen snelheid en de kosten van het gebruik van krachtige AI-tools.

De Resultaten: Een Testrit in de Echte Wereld

De echte test kwam tijdens de AIxCC eindcompetitie, een week durend evenement waarbij teams kwetsbaarheden in 53 verschillende open-source projecten moesten vinden en oplossen zonder menselijke tussenkomst.

• De Score: PatchIsland vond en repareerde 31 kwetsbaarheden, het hoogste aantal van alle teams.
• Het Succespercentage: Het behaalde een succespercentage van 72,1% (31 van de 43 bevestigde kwetsbaarheden).
• De Zero-Day Overwinning: In een spectaculair moment repareerde PatchIsland een gloednieuwe bug in het PDFBox-project. Na de competitie namen de beheerders van het project exact dezelfde patch over die het systeem had gegenereerd, wat bewees dat de AI niet alleen gokte, maar een echte, correcte oplossing had gevonden.

De onderzoekers merkten ook op dat hoewel het systeem ongelooflijk effectief was, het niet perfect was. Het kwam enkele "single points of failure" tegen, zoals een gebroken link in het systemd-project die het systeem verhinderde om voor die specifieke taak te initialiseren. Echter, vergeleken met andere systemen die vaker crashten, hield het ontwerp van PatchIsland het systeem gedurende de meeste chaos draaiende.

Waarom Dit Er Toe Doet

PatchIsland laat zien dat we dichter bij een toekomst komen waarin software zichzelf kan genezen. Door een divers team van AI-agenten te combineren met slim beheer en filtering, kan het systeem de rommelige, onvoorspelbare realiteit van continue beveiligingstests aan. Het suggereert dat, hoewel we misschien nog niet in staat zijn om alle bugs automatisch te elimineren, we wel systemen kunnen bouwen die robuust genoeg zijn om de vloedgolf aan kwetsbaarheden waar moderne software mee te maken krijgt op te vangen, waardoor de druk op menselijke experts wordt verminderd en onze digitale stad veiliger blijft.