Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing
Dit artikel stelt een tweestaps ontkoppeld evaluatiekader voor dat verkenning scheidt van exploitatie om aan te tonen dat hoewel op LLM gebaseerde agenten tot 90% succes kunnen behalen bij het uitvoeren van bekende kwetsbaarheden, hun autonome ontdekkingsvermogen beperkt is tot ongeveer 50% vanwege parseerfouten, waarbij duidelijke architecturale sterktes naar voren komen bij verschillende typen kwetsbaarheden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een team van deskundige detectives inhuurt om een reeks gesloten kamers (deze webkwetsbaarheden) op te lossen. In het verleden testten onderzoekers deze detectives met een "black box"-methode: ze gaven de detective een gesloten kamer en keken of ze naar binnen konden komen. Als de detective faalde, namen de onderzoekers aan dat de detective slecht was in het kraken van sloten.
Het Probleem: De "Kettingreactie"-fout
Het artikel betoogt dat deze oude manier van testen gebrekkig is omdat deze lijdt onder een "kettingreactie"-probleem.
- Het Scenario: Een detective kan een genie zijn in het kraken van sloten, maar als ze verdwaald raken in de gang (gefaalde reconnaissance) of een kaart verkeerd lezen, komen ze de deur nooit eens te bereiken.
- Het Resultaat: De test registreert hen als een mislukking bij alles, ook al zouden ze de deur gemakkelijk kunnen openen als ze maar hadden geweten welke deur ze moesten proberen. Het falen om de deur te vinden "maskeert" hun werkelijke vaardigheid om hem open te breken.
De Oplossing: De "Twee-fasen"-test
Om dit op te lossen, creëerden de auteurs een nieuwe, tweeledige test die het "vinden van de deur" scheidt van het "openen van de deur".
- Fase 1: De Reconnaissance (De deur vinden)
De detective probeert de kwetsbare deur zelf te vinden met alleen hun ogen en gereedschap. De onderzoekers meten hoe vaak ze daadwerkelijk de juiste deur vinden. - Fase 2: De Exploitatie (De deur openen)
Als de detective in Fase 1 de deur mist, grijpen de onderzoekers in en zeggen: "Oké, je hebt hem gemist, maar hier is het exacte adres van de deur. Probeer nu de deur te openen."
- Dit wordt Ground-Truth Injection genoemd. Het verwijdert de verwarring van de gang, zodat ze kunnen bewijzen of ze daadwerkelijk goed zijn in het kraken van sloten.
De Bevindingen: Een Grote Kloof in Vaardigheden
Toen de onderzoekers vijf verschillende AI-detectiveteams (gebruikmakend van Large Language Models) testten op 70 verschillende "kamers", vonden ze een enorme kloof tussen het vinden van het probleem en het oplossen ervan:
- Het Probleem Vinden: Wanneer ze aan hun lot werden overgelaten, vonden de AI-detectives de juiste deur slechts ongeveer 50% van de tijd. Ze raakten in de war door rommelige, ongestructureerde aanwijzingen (zoals verwarrende foutmeldingen of ruisige logs).
- Het Probleem Oplossen: Echter, wanneer de onderzoekers hen het exacte adres gaven (de "ground truth"), openden dezelfde detectives de deur in 90% van de gevallen succesvol.
- De Les: De AI is niet noodzakelijkerwijs slecht in het inbreken; het is alleen verschrikkelijk in het navigeren door de rommelige gang om de juiste deur te vinden.
De "Detective Stijlen" (Architecturen)
Het artikel keek ook naar hoe verschillende detective-teams georganiseerd waren en stelde vast dat verschillende stijlen beter werken voor verschillende soorten sloten:
- Het "Gespecialiseerde Escadron" (Multi-Agent): Deze teams hebben verschillende leden met specifieke rollen die elkaar niet in de weg zitten. Ze zijn geweldig in complexe, lange puzzels (zoals "deserialization" aanvallen), omdat als één lid in de war raakt, de anderen gefocust blijven.
- De "Solo Detective" (Monolithisch): Eén persoon doet alles. Ze zijn snel en efficiënt voor korte, eenvoudige taken (zoals korte "injection" aanvallen), maar raken overweldigd en vergeten details als de taak te lang wordt.
- De "Kaartmakers" (Graph-Driven): Deze teams tekenen een grote kaart van verbindingen tussen aanwijzingen. Ze zijn uitstekend in het opsporen van logische fouten waarbij je verschillende gebruikersaccounts moet vergelijken (zoals "access control" problemen).
Het "Spiekbriefje"-effect
De onderzoekers testten ook of het geven van een "spiekbriefje" (een database van bekende kwetsbaarheden) de detectives hielp.
- Zonder het spiekbriefje: De prestaties daalden aanzienlijk. De AI had moeite om specifieke technische details te onthouden.
- Met het spiekbriefje: De prestaties schoten omhoog. Dit bewijst dat de AI een referentiegids nodig heeft om effectief te zijn, in plaats van uitsluitend te vertrouwen op hun interne geheugen.
Conclusie
Het artikel concludeert dat we, om betere geautomatiseerde beveiligingstools te bouwen, moeten stoppen met het beblamen van de "sloten-kraak" vaardigheden wanneer het echte probleem "navigatie" is. Door de twee taken te scheiden, kunnen we zien dat AI eigenlijk heel goed is in het exploiteren van kwetsbaarheden, mits we het eerst kunnen helpen ze te vinden. De toekomst van deze tools ligt in betere "state isolation"—het houden van de detective gefocust op de huidige taak zonder dat deze wordt afgeleid door de ruis van de gang.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.