Are Frontier LLMs Ready for Cybersecurity? Evidence for Vertical Foundation Models from Dual-Mode Vulnerability Benchmarks
Dit artikel toont aan dat hoewel frontier LLM's worstelen met hoge rates van vals-positieven en een lage dekking van kwetsbaarheden in cybersecurity-taken, domein-gespecialiseerde modellen die gestructureerde testmethodologieën toepassen een superieure precisie bereiken, wat suggereert dat verticale foundation-modellen gebaseerd op gespecialiseerde data en gestructureerde aanvalslijnen essentieel zijn voor effectieve beveiligingstoepassingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een team van briljante, algemeen inzetbare detectives (de "Frontier LLM's") hebt ingehuurd om verborgen valkuilen te vinden in een reeks complexe, realistische gebouwen (webapplicaties). Je wilt weten of ze klaar zijn voor de taak. Het paper dat je hebt aangeleverd is het rapport van een strenge test, en het nieuws is gemengd: de detectives zijn slim, maar ze zijn momenteel te onhandig en overdreven voorzichtig om de taak alleen te worden toevertrouwd.
Hier is de uiteenzetting van hun prestaties, uitgelegd via eenvoudige analogieën.
1. De Twee Manieren waarop ze de Detectives Testten
De onderzoekers vroegen de detectives niet zomaar om "om zich heen te kijken". Ze testten ze op twee specifieke manieren:
- De "White-Box" Test (Kijken naar de Blauwdrukken): De detectives kregen de daadwerkelijke broncode (de blauwdrukken) van de software en kregen de opdracht om precies aan te geven waar de valkuilen zaten.
- De "Black-Box" Test (Inbreken): De detectives kregen alleen de voordeur van het gebouw. Ze moesten optreden als een inbreker, proberen binnen te sluipen, de sloten testen en zwaktes vinden zonder de blauwdrukken te zien.
2. Het Probleem met de "Algemeen Inzetbare" Detectives
De onderzoekers testten zes van de meest geavanceerde, algemeen inzetbare AI-modellen die beschikbaar zijn (zoals GPT-5.4, Claude en Gemini). Hier is wat er misging:
- De "Wolf Komt" Crisis (Valse Positieven):
Bij de blauwdruktest waren de algemene detectives ongelooflijk paranoïde. Ze markeerden bijna alles als een valkuil.- De Analogie: Stel je een metaaldetector op een vliegveld voor die piept, niet alleen voor wapens, maar ook voor sleutels, munten en broekriemgespen. Het paper vond dat deze modellen 10% tot 50% van de veilige code als gevaarlijk markeerden. Als je ze in een echte baan zou inzetten, zou je beveiligingsteam elke "alarm" handmatig moeten controleren, waardoor er uren worden verspild aan dingen die niet echt kapot zijn.
- Het "Weigeren" Probleem:
Sommige van de meest geavanceerde detectives (specifiek GPT-5.4) weigerden de taak volledig.- De Analogie: Je vraagt een detective om een slot te testen om te zien of het zwak is, en ze zeggen: "Dat kan ik niet doen! Dat zou iemand kunnen aanmoedigen om in te breken!" Ze waren zo getraind om "veilig" te zijn, dat ze geen legitieme beveiligingstests uitvoerden.
- Het "Verdwaald in het Labyrint" Probleem:
Bij de "Black-Box" test (proberen binnen te breken) waren de algemene detectives vreselijk. Ze vonden slechts 4% tot 8% van de daadwerkelijke valkuilen. Zelfs toen je ze speciale hulpmiddelen gaf (zoals een hoofdsleutel of een slotenbreekset), verbeterden ze slechts lichtjes naar 10–19%.- De Analogie: Ze hebben de gereedschappen, maar ze weten niet hoe ze ze systematisch moeten gebruiken. Ze dwalen doelloos rond, proberen willekeurige dingen en geven op, waardoor ze de voor de hand liggende valkuilen missen die een professional wel zou vinden.
3. De Oplossing: Gespecialiseerde "Verticale" Detectives
Het paper stelt dat we in plaats van een algemene detective die een beetje van alles weet, gespecialiseerde beveiligingsexperts nodig hebben (Verticale Basismodellen).
- De "Gespecialiseerde Aanval" Agent:
De onderzoekers bouwden een gespecialiseerde AI die specifiek was getraind voor offensieve beveiliging. In tegenstelling tot de algemene modellen weigerde deze de taak niet. Het kende de professionele methoden van penetration testing.- Het Resultaat: Toen deze gespecialiseerde agent een strikte, stap-voor-stap checklist (methodologie) volgde, vond het meer dan 50% van de valkuilen. Het bewees dat het hebben van een goed plan belangrijker is dan alleen maar een groot brein hebben.
- De "Gespecialiseerde Verdediging" Agent:
Ze bouwden ook een gespecialiseerde AI voor het vinden van bugs in code (verdediging).- Het Resultaat: Dit model was de ster van de show. Het had de hoogste nauwkeurigheid en de minste "valse alarmen" (slechts 9,7% valse positieven). Het was ook veel sneller en goedkoper om te draaien dan de enorme algemene modellen.
4. De Geheime Ingrediënt: De "Agentic Reasoning Graph" (ARG)
Het meest indrukwekkende resultaat kwam van een nieuw systeem genaamd de Agentic Reasoning Graph (ARG).
- De Analogie: Stel je een team voor waarin de "Creatieve Detective" (de LLM) ideeën bedenkt over hoe ze binnen kunnen komen, maar een "Strenge Rechter" (een computerprogramma, geen AI) het bewijs controleert.
- De AI suggereert een manier om de deur te hacken. De "Rechter" voert vervolgens een strenge, onveranderlijke test uit om te zien of het echt werkt. Als de test faalt, wordt de gok van de AI verworpen.
- Waarom het werkt: Dit voorkomt dat de AI "hallucineert" (een valkuil verzonnen die er niet is). Het paper vond dat dit systeem valse alarmen aanzienlijk verminderde, terwijl het toch de echte valkuilen vond.
5. Waarom Falen Ze? (De Ontbrekende Data)
Het paper concludeert dat de reden waarom algemene modellen falen, een gebrek aan specifieke trainingsdata is.
- De Analogie: Stel je voor dat je een student autorijden leert door hen alleen maar foto's van auto's te laten zien. Ze weten hoe een auto eruitziet, maar ze weten niet hoe ze moeten sturen, remmen of hoe ze een lekke band moeten afhandelen.
- De huidige AI-modellen zijn getraind op algemene internettekst. Ze missen "rijlessen" in cybersecurity: ze hebben niet genoeg voorbeelden gezien van stap-voor-stap aanvalsketens, mislukte pogingen en realistisch bewijs dat een kwetsbaarheid inderdaad uitbuitbaar is.
De Conclusie
Het oordeel van het paper is duidelijk: Algemeen inzetbare AI-modellen zijn niet klaar om je cybersecurity-team te zijn. Ze zijn te vatbaar voor valse alarmen, te makkelijk in de war te brengen en soms te bang om de taak uit te voeren.
Om dit op te lossen, hebben we gespecialiseerde AI-modellen nodig die specifiek zijn getraind op beveiligingsdata, werken met strenge, stap-voor-stap methodieken en geautomatiseerde controles gebruiken om hun bevindingen te verifiëren. Het gaat er niet om de AI "slimmer" te maken in een algemeen opzicht, maar om het een betere, meer gedisciplineerde specialist te maken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.