Towards Optimal Agentic Architectures for Offensive Security Tasks
Dit onderzoek introduceert een gestructureerde benchmark om de optimale architectuur voor aanvallende beveiligingstaken te bepalen, waarbij geconcludeerd wordt dat hoewel bredere agent-coördinatie de dekking kan vergroten, de beste prestaties worden behaald door een niet-monotoon kosten-kwaliteit-evenwicht te vinden dat sterk afhankelijk is van observabiliteit en het specifieke domein.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een digitale inbreker bent, maar dan een heel speciale soort: een die werkt met een team van slimme, AI-gestuurde robots. Je doel is om in te breken in een computerprogramma om zwakke plekken (kwetsbaarheden) te vinden, voordat de echte slechte jongens dat doen.
Deze paper, geschreven door Isaac David en Arthur Gervais van University College London, is eigenlijk een groot experiment om uit te vinden: Wat is de beste manier om die robot-team samen te stellen?
Hier is de uitleg, vertaald naar alledaags taal en met een paar leuke vergelijkingen:
1. Het Probleem: Te veel robots of juist te weinig?
Vroeger dachten mensen: "Hoe meer robots, hoe beter." Maar in de echte wereld kost elke robot tijd en geld.
- De vraag: Is het slim om één super-slimme robot te sturen die alles zelf doet? Of moet je een team van drie robots sturen die samenwerken? En als je een team hebt, moeten ze dan allemaal met elkaar praten, of werken ze beter als ze elk hun eigen ding doen?
De auteurs zeggen: "Laten we niet gissen. Laten we het eens uitproberen met een echte test."
2. De Testbaan: Een digitale schietbaan
Om dit te testen, hebben ze een digitale schietbaan gebouwd.
- Ze hebben 20 kleine, opzettelijk kwetsbare computers gemaakt (10 websites en 10 programma's die op servers draaien).
- Elke computer heeft precies één "geheime zwakke plek" (een kwetsbaarheid).
- Ze hebben de robots laten proberen om deze plekken te vinden op twee manieren:
- Met de sleutel (Whitebox): De robots mogen de bouwtekeningen (de broncode) van het gebouw bekijken. Dit is als een inbreker die de plattegrond van het huis heeft.
- Zonder sleutel (Blackbox): De robots mogen alleen naar de voordeur kijken en proberen te bellen of te kloppen. Ze mogen niet naar binnen kijken. Dit is veel moeilijker, alsof je een huis moet inbreken zonder plattegrond.
3. De Vijf Teams (De Architecturen)
Ze hebben vijf verschillende manieren getest om de robots te organiseren:
- De Solo-avonturier (SAS): Één robot doet alles. Hij zoekt, denkt na en probeert in te breken.
- Vergelijking: Een eenzame detective die alles zelf uitzoekt. Snel en goedkoop, maar misschien mist hij dingen.
- De Onafhankelijke Wereldreis (MAS-Indep): Drie robots werken apart van elkaar. Ze kijken allemaal naar hetzelfde doel, maar praten niet met elkaar. Aan het einde kiezen ze de beste vondst.
- Vergelijking: Drie detectives die elk een eigen route nemen. Als één van hen iets vindt, is dat goed. Dit bleek het meest succesvolle team om feitelijke inbraken te bewijzen.
- De Stemmen-club (MAS-Decent): Drie robots werken apart, maar stemmen aan het einde over welke inbraak het belangrijkst is.
- Vergelijking: Een jury die probeert het beste idee te kiezen.
- De Chef-Kok (MAS-Central): Één robot (de chef) geeft de opdracht. Twee andere robots voeren alleen uit wat de chef zegt.
- Vergelijking: Een militair team waar één generaal alle orders geeft. Als de generaal een fout maakt, faalt het hele team.
- Het Gemengde Team (MAS-Hybrid): Een combinatie van de chef en de onafhankelijke werkers.
- Vergelijking: Een mix van een leider en een paar vrije denkers.
4. De Resultaten: Wat bleek er?
Hier komen de verrassende conclusies:
- Meer praten is niet altijd beter: De teams die veel met elkaar praatten (zoals de Chef-Kok) waren vaak trager en duurder, maar niet per se slimmer. Soms was het simpelste team (de Solo-avonturier) juist het snelst en goedkoopst.
- De "Onafhankelijke Wereldreis" wint op kwaliteit: Het team van drie robots die elk hun eigen ding deden, vond de meeste echte inbraken (64,2% succes). Maar het kostte wel meer geld en tijd.
- De "Solo-avonturier" wint op prijs: Als je geld wilt besparen, is één robot vaak genoeg. Hij is veel sneller en goedkoper, en vindt nog steeds veel fouten.
- De sleutel maakt het verschil: Als de robots de bouwtekeningen mochten zien (Whitebox), vonden ze bijna het dubbele aan fouten dan als ze blind moesten werken (Blackbox).
- Websites vs. Programma's: Het vinden van fouten in websites was veel makkelijker dan in de complexe programma's (binaries). De robots faalden vaak bij de zware, complexe programma's.
5. De Grootste Les: Er is geen "beste" team
De belangrijkste boodschap van dit onderzoek is dat er geen universele winnaar is.
- Wil je maximaal succes en maakt geld niet uit? Kies dan voor het team van onafhankelijke robots (MAS-Indep).
- Wil je snelheid en goedkoopheid? Kies dan voor de Solo-robot (SAS).
- Wil je maximaal succes in een moeilijke situatie (zonder bouwtekeningen)? Dan helpt een team van robots echt meer dan één robot.
Conclusie in één zin
Het is net als bij het huren van een verhuisservice: soms heb je maar één sterke vrachtwagen nodig (goedkoop en snel), maar als je hele zware meubels hebt of een heel groot huis, heb je misschien een heel team nodig dat samenwerkt, zelfs als dat duurder is. De kunst is om te weten wanneer je welk team kiest.
De auteurs hebben hun code en testresultaten openbaar gemaakt, zodat iedereen dit zelf kan testen en leren van hun ervaring.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.