Technische Samenvatting: Kunnen Open-Source LLM-agenten Statische Application Security Testing-tools Vervangen?

Probleemstelling

Het artikel behandelt de opkomende vraag of Agentic AI, specifiek algemene Large Language Model (LLM) agenten, effectief traditionele Static Application Security Testing (SAST) tools voor het scannen van kwetsbaarheden in cybersecurity kunnen vervangen of evenaren. Hoewel GenAI een revolutie heeft teweeggebracht in codegeneratie, onderzoeken de auteurs de effectiviteit ervan bij het valideren van code op beveiligingsgeschiktheid. De kern van het probleem is bepalen of een moderne, open-source, algemene LLM-agent betrouwbaar veelvoorkomende kwetsbaarheden (bijv. SQL-injectie, onveilige geheimen, path traversal) in Python-codebases kan identificeren onder realistische omstandigheden, of dat deze lijdt aan inherente beperkingen zoals hallucinaties, hoge fout-positieve ratio's en een gebrek aan verklaarbaarheid vergeleken met gevestigde regelgebaseerde tools.

Methodologie

De studie maakte gebruik van een empirische vergelijking tussen een op maat gemaakte LLM-agent en een geteste, open-source SAST-tool.

• Baseline Tool: Bandit, een op Python gerichte SAST-tool die bekend staat om een laag aantal fout-positieven en een gemiddelde nauwkeurigheid, diende als de "bron van waarheid" en baseline voor de vergelijking.
• Experimentele Agent: Snitch, een Python-gebaseerde agent-applicatie ontworpen om recursief mappen te scannen. Snitch maakt gebruik van Ollama om lokale LLM's te hosten en uit te voeren.
• Geëvalueerde Modellen: Drie verschillende open-source, algemene modellen werden getest:
  1. Gemma3 (Google): Gepositioneerd als een specialist in codering.
  2. Llama3.1 (Meta): Een algemene LLM.
  3. Qwen2.5 (Alibaba): Bedoeld voor redeneren, codering en debugging.
• Testdoelwitten: Drie open-source Python-repositories met variërende complexiteit en volwassenheid:
  1. Yum: Een gepensioneerde, enterprise-grade pakketbeheerder (hoge volwassenheid).
  2. Beaverhabits: Een persoonlijke gewoonheidtracker (casual commercieel).
  3. Fail2ban: Een beveiligingsgeoriënteerde service daemon.
• Experimenteel Ontwerp:
  • Bandit scande alle drie de repositories eerst om een baseline van Medium en High ernstige bevindingen vast te stellen.
  • Snitch scande vervolgens dezelfde repositories met elk van de drie modellen (totaal 9 agent-scans).
  • Prompting: Er werd een vaste, gedetailleerde prompt gebruikt voor alle agent-runs, waarbij het model de instructie kreeg om op te treden als een expert in cybersecurity engineer die specifieke SAST-issues identificeert en de resultaten in een gestructureerd JSON-formaat uitvoert.
• Evaluatiemetrieken:
  • Recall: De ratio van door Bandit geïdentificeerde Medium/High bevindingen die ook door de agent zijn gedetecteerd (gedeeltelijke overeenkomsten worden gewogen met 0,5).
  • False Positive (FP) Rate: De ratio van door de agent gemarkeerde issues die niet door Bandit zijn gemarkeerd en die bij menselijke beoordeling als contextuele misverstanden of hallucinaties werden bepaakt.
  • Composite Score: Berekend als Recall - FP Rate.
  • Executietijd: Vastgelegd om de efficiëntie tegenover Bandit te vergelijken.

Belangrijkste Resultaten

De empirische gegevens geven aan dat de geëvalueerde open-source LLM-agenten aanzienlijk onderpresteren vergeleken met de traditionele SAST-tool.

• Lage Recall: Geen enkel model bereikte een recall-score van meer dan 0,25. De agenten misten het overgrote deel van de kwetsbaarheden die door Bandit werden geïdentificeerd.
• Hoge Fout-positieven: Alle modellen vertoonden extreem hoge fout-positieve ratio's, variërend van 40% tot 90%.
  • Veelvoorkomende hallucinaties omvatten het markeren van standaardbibliotheek constanten (bijv. calendar.MONDAY) als hardcoded geheimen, het verkeerd interpreteren van .env bestandgebruik als productie-lekken, en het identificeren van onschuldige codepatronen (zoals comments of licentieheaders) als kwetsbaarheden.
  • Het Gemma3 model had de hoogste FP-rate, terwijl Qwen2.5 de laagste had, al bleef deze aanzienlijk.
• Hallucinaties en Nauwkeurigheid:
  • De agenten hallucineerden regelmatig de locatie van kwetsbaarheden (bestandsnamen en regelnummers), waarbij ze vaak naar niet-bestaande bestanden of codeblokken verwezen.
  • Hoewel de agenten af en toe unieke problemen identificeerden die door Bandit werden gemist (bijv. specifiek onveilig requests.get gebruik of path traversals), waren deze niet verifieerbaar als "true positives" zonder externe grondwaarheid en werden ze overschaduwd door de ruis.
• Prestaties en Efficiëntie:
  • Bandit voltooide scans in minder dan één minuut per repository.
  • Snitch (LLM-agenten) had 1 tot 4 uur nodig per repository, afhankelijk van de grootte van de codebase.
  • De totale runtime voor alle agent-scans over de drie modellen heen was ongeveer 10–12 uur, vergeleken met minuten voor Bandit.

Belangrijkste Bijdragen

1. Empirische Beoordeling: Het artikel biedt een rigoureuze, op data gebaseerde evaluatie van agentic AI voor SAST, waarbij verder wordt gekeken dan theoretische speculatie door middel van meetbare prestatie-indicatoren (precisie, recall, FP-rate).
2. Baseline Vergelijking: Het stelt een directe prestatiebaseline vast met behulp van Bandit, waarmee wordt aangetoond dat algemene open-source LLM's momenteel niet de betrouwbaarheid bezitten die vereist is voor gespecialiseerde security scanning taken.
3. Identificatie van Beperkingen: De studie belicht specifieke faalmodi van LLM-agenten in dit domein, met name de "hallucinatie" van kwetsbaarheidslocaties en de verkeerde interpretatie van standaard ontwikkelingspatronen (bijv. omgevingsvariabelen) als beveiligingsfouten.
4. Composite Scoring: De introductie van een samengestelde score (Recall - FP Rate) om de trade-off tussen gemiste kwetsbaarheden en ruisgeneratie holistisch te evalueren.

Betekenis en Claims

Het artikel concludeert dat moderne open-source GenAI LLM-gebaseerde agenten momenteel niet geschikt zijn voor de gespecialiseerde taak van SAST-scanning onder realistische omstandigheden.

• Betrouwbaarheidsgat: De hoge fout-positieve ratio's en lage recall maken deze agenten onbetrouwbaar als zelfstandige security tools. De "hallucinaties" met betrekking tot de locaties van kwetsbaarheden maken de output bijna waardeloos voor geautomatiseerde remediëring, omdat ontwikkelaars de specifieke bestanden of regelnummers niet kunnen vertrouwen.
• Efficiëntiebarrière: De computationele kosten en tijd die LLM-agenten vereisen (uren versus minuten) vormen een belemmerende factor voor integratie in standaard CI/CD-pipelines vergeleken met regelgebaseerde tools.
• Rol van AI: De auteurs suggereren dat hoewel agentic AI veelbelovend is voor code generatie en assistentie, het momenteel de precisie en verklaarbaarheid mist die vereist is voor validatie. Het artikel betoogt dat traditionele regelgebaseerde tools zoals Bandit superieur blijven voor code-analyse vanwege hun consistentie, snelheid en traceerbaarheid.
• Toekomstverwachting: De auteurs menen dat hoewel closed-source of gespecialiseerde modellen met geavanceerde prompt engineering de resultaten misschien kunnen verbeteren, de fundamentele beperkingen van generatieve systemen (hallucinatie, gebrek aan externe kennisbanken zoals CVE-definities) het vervangen van gevestigde SAST-tools momenteel verhinderen. Ze suggereren een mogelijke hybride aanpak waarbij agenten als aanvulling dienen op traditionele tools, waarbij ze zich alleen richten op nieuwe kwesties in plaats van vervangingen.