💻 computer science

LLM vs. SAST: A Technical Analysis on Detecting Coding Bugs of GPT4-Advanced Data Analysis

Dit artikel presenteert een gecontroleerde studie die aantoont dat GPT-4 (Advanced Data Analysis) geaggregeerde SAST-tools (SonarQube en Cloud Defence) aanzienlijk overtreft bij het detecteren van programmeerkwetsbaarheden over 32 beveiligingsscenario's, waarbij een detectiepercentage van 93,75% wordt bereikt vergeleken met 34,375% met statistische significantie.

Oorspronkelijke auteurs: Madjid G. Tehrani, Eldar Sultanow, William J. Buchanan, Mahkame Houmani, Christel H. Djaha Fodja

Gepubliceerd 2026-07-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Madjid G. Tehrani, Eldar Sultanow, William J. Buchanan, Mahkame Houmani, Christel H. Djaha Fodja

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert een sluwe dief te vangen die zich verbergt in de code van een computerprogramma. Jarenlang heb je vertrouwd op een team van robotinspecteurs (SAST-tools) om de code te scannen. Deze robots zijn geweldig in het volgen van een strikte checklist: "Als je een rode deur ziet, markeer deze." Maar soms verbergt de dief zich achter een blauwe deur die op een rode lijkt, of gebruikt hij een truc die de checklist niet kent. De robots missen deze sluwe trucs, of ze raken in de war en markeren onschuldige zaken als gevaarlijk.

Nu is er een nieuwe detective bij het team gekomen: GPT-4, een superintelligente AI die code leest als een verhaal. De grote vraag was: Kan deze nieuwe AI-detective de lastige beveiligingslekken beter opsporen dan de oude robotinspecteurs?

De Grote Detective Showdown

Om dit uit te zoeken, hebben de onderzoekers een eerlijke test opgezet. Ze creëerden 32 specifieke "plaatsen delict" (beveiligingsscenario's) gebaseerd op echte programmeerfouten, zoals het open laten staan van een achterdeur of het laten binnendringen van kwaadwillenden met valse commando's. Ze gaven deze scenario's aan:

Het Robotteam: Twee verschillende robotinspecteurs (SonarQube en Cloud Defence). Zij werkten samen, en als één van de robots een probleem ontdekte, telde dat als een overwinning voor de robots.
De AI-detective: GPT-4, die werd gevraagd de code te lezen en uit te leggen wat er mis was.

Het Scorebord

Dit is wat er gebeurde toen ze de resultaten vergeleken:

Het Robotteam: Zij ontdekten 11 van de 32 misdaden. Dat is ongeveer 34% van de tijd.
De AI-detective: GPT-4 ontdekte 30 van de 32 misdaden. Dat is een indrukwekkend succespercentage van 93,75%!

De onderzoekers gebruikten een speciale wiskundige test (de McNemar-test) om te controleren of dit niet gewoon geluk was. De uitslag was een duidelijk "ja": de AI-detective was statistisch gezien veel beter in het vinden van deze specifieke bugs dan het robotteam in dit gecontroleerde experiment.

Wat dit betekent (en wat het niet betekent)

Het paper suggereert dat AI zoals GPT-4 een krachtige sidekick kan zijn voor de robotinspecteurs. Het is geweldig in het begrijpen van het verhaal achter de code en het opsporen van complexe trucs die rigide checklists missen. Dit kan ontwikkelaars helpen om lekken sneller te repareren en misschien zelfs geld besparen op dure tools.

Echter, het paper is zeer voorzichtig met de bewering dat de robots overbodig zijn.

Het is geen toverstaf: De AI is niet perfect. Het miste 2 van de 32 gevallen, en de robots vonden enkele dingen die de AI miste.
Het is geen vervanging: De auteurs betogen dat we de robots niet zomaar moeten weggooien. In plaats daarvan moeten we de AI gebruiken om de robots te helpen, vooral bij lastige gevallen die menselijk redeneren vereisen.
Nieuwe gevaren: Het paper waarschuwt dat het gebruik van AI ook nieuwe risico's met zich meebrengt. Net zoals een dief een robot kan misleiden, zou een kwaadwillende de AI kunnen misleiden (door middel van zaken als "prompt injection" of het verbergen van slechte instructies in de trainingsdata). Als we niet voorzichtig zijn, kan de AI zelfs code genereren die er veilig uitziet, maar in werkelijkheid vol gaten zit.

De Kern van het Verhaal

In deze specifieke test met 32 zorgvuldig gekozen voorbeelden, bewees de AI-detective dat hij dingen kon zien die de robotinspecteurs misten. Maar de onderzoekers zeggen dat dit pas het begin is. We moeten voorzichtig zijn, blijven testen en onthouden dat hoewel de AI een briljant nieuw instrument is, het nog geen opgelost probleem is. Het is een krachtige partner, maar er is nog steeds een mens nodig om met de zaklamp te schijnen en het werk te controleren.

Technische Samenvatting: Een Methodologie voor het Analyseren van Coderingfouten voor LLM's en SAST

Probleemstelling

Het artikel adresseert een kritieke kloof in cybersecurity: de onvoldoende kwantificering van de praktische effectiviteit van Large Language Models (LLM's) voor kwetsbaarheidsdetectie in vergelijking met gevestigde Static Application Security Testing (SAST)-tools. Hoewel SAST de industriestandaard is voor het identificeren van beveiligingsdefecten vóór implementatie, lijdt het frequent aan hoge fout-negatieven (het missen van exploiteerbare kwetsbaarheden) en fout-positieven (prioriteit geven aan niet-relevante zaken), wat remediëring vertraagt en de "window of vulnerability" vergroot. Daarentegen hebben LLM's zoals GPT-4 weliswaar veelbelovende resultaten getoond in het begrijpen van code, maar is er een gebrek aan transparante, reproduceerbare methodologieën om te bepalen of zij een brede set van real-world kwetsbaarheidspatronen effectiever kunnen detecteren dan traditionele SAST-tools onder gecontroleerde omstandigheden.

Methodologie

De auteurs presenteren een gecontroleerde vergelijkende studie die is ontworpen om GPT-4 (specifiek de Advanced Data Analysis interface) te evalueren tegenover twee SAST-tools: SonarQube (SonarCloud) en Cloud Defence.

Dataset: De studie maakte gebruik van 32 gecureerde beveiligingsscenario's die veelvoorkomende programmeerfouten en potentieel voor zero-day kwetsbaarheden vertegenwoordigen. Deze scenario's werden afkomstig van GitHub en Snyk, gemapt naar de MITRE Common Weakness Enumeration (CWE), en dekten een divers bereik aan problemen, waaronder SQL-injectie, buffer overflows en container privilege escalation.
Experimenteel Ontwerp:
- SAST Baseline: De outputs van SonarQube en Cloud Defence werden geaggregeerd met behulp van een logische OR-operatie. Een kwetsbaarheid werd beschouwd als gedetecteerd door de "SAST baseline" indien één van beide tools deze had gemarkeerd.
- LLM Executie: Elk codefragment werd aan GPT-4 voorgelegd met een vaste instructie om beveiligingskwetsbaarheden te identificeren en het probleem uit te leggen.
- Scoring: Er werd een binaire scoringsregel toegepast. Een detectie werd gescoord als 1 (Correct) indien de tool expliciet het beoogde kwetsbaarheidstype identificeerde dat consistent is met de toegewezen CWE. Anders werd het gescoord als 0 (Miss).
Statistische Analyse: Gezien het feit dat elk codemonster gepaard ging met binaire uitkomsten (GPT-4 vs. Geaggregeerde SAST), gebruikten de auteurs de McNemar's test voor statistische inferentie op gepaarde nominale data. Een contingentietabel werd geconstrueerd om uitkomsten te categoriseren in: beide correct, alleen SAST, alleen LLM, en beide incorrect. Een p-waarde onder de 0,05 werd vastgesteld als de benchmark voor statistische significantie.

Belangrijkste Resultaten

De studie leverde de volgende kwantitatieve bevindingen op:

Detectiepercentages: GPT-4 detecteerde correct 30 van de 32 scenario's (93,75%). De geaggregeerde SAST-baseline detecteerde slechts 11 van de 32 scenario's (34,38%).
Discrepantieanalyse: De gepaarde vergelijking onthulde een significante directionele onbalans. Er waren 22 gevallen waarin GPT-4 de kwetsbaarheid detecteerde maar de SAST-tools deze misten (cel c in de contingentietabel), terwijl er 0 gevallen waren waarin SAST-tools een kwetsbaarheid detecteerden die GPT-4 miste (cel b).
Statistische Significantie: McNemar's test produceerde een Chi-kwadraatwaarde van 20,046 met een p-waarde van 0,000007562.
Hypothesetoetsing: Op basis van deze resultaten werd de nulhypothese ( $H_0$ : GPT-4 presteert gelijk aan of slechter dan SAST) verworpen ten gunste van de alternatieve hypothese ( $H_1$ : GPT-4 presteert beter dan SAST) op het 5%-significantieniveau.

Belangrijkste Bijdragen

De primaire bijdrage van het artikel is niet de introductie van een nieuwe kwetsbaarheidsdetector, maar de vestiging van een transparant, reproduceerbaar evaluatieprotocol voor het vergelijken van LLM's en SAST-tools. Deze methodologie omvat:

Een gecureerde set van representatieve kwetsbaarheidsscenario's.
Een consistente binaire scoringsregel voor detectie-uitkomsten.
Een geaggregeerde SAST-baseline met behulp van een logische OR-operatie.
De toepassing van gepaarde statistische inferentie (McNemar's test) om detectoren op identieke inputs te vergelijken.

Dit framework maakt gecontroleerde meting van relatieve detectiecapaciteiten mogelijk, waarbij men verder gaat dan anekdotisch bewijs naar statistisch gefundeerde vergelijkingen.

Betekenis en Claims

De auteurs beweren dat hun bevindingen aantonen dat algemene LLM's krachtige aanvullingen, en potentieel alternatieven, kunnen dienen voor traditionele SAST-tools voor specifieke taken in kwetsbaarheidsdetectie. De studie suggereert dat LLM's bijzonder effectief kunnen zijn bij het identificeren van complexe kwetsbaarheidsmechanismen die regelgebaseerde statische analyse mist.

Het artikel behoudt echter een bescheiden en voorzichtige toon met betrekking tot de implicaties:

Complementaire Rol: De auteurs stellen expliciet dat het doel niet is om SAST te vervangen, maar om te karakteriseren wanneer een LLM complementair is. SAST blijft waardevol voor systematische, regelgebaseerde analyse en CI/CD-integratie.
Operationele Beperkingen: De studie benadrukt dat LLM's niet onfeilbaar zijn. Ze vertrouwen op patronen in trainingsdata en kunnen er mogelijk niet in slagen om nieuwe kwetsbaarheden te detecteren die na hun trainings-cutoff zijn ontstaan.
Beveiligingsrisico's: Het artikel erkent de beveiligingsrisico's bij het integreren van LLM's in veilige workflows, waaronder prompt injection, modeldiefstal en het potentieel van LLM's om onveilige code te genereren. Het pleit voor "Secure by Design"-principes, Zero Trust Architectuur en het gebruik van Federated Learning (FL-LLM) om veerkracht te vergroten.
Beperkingen: De auteurs merken beperkingen op, waaronder de begrensde scenario-set (32 samples), de afhankelijkheid van specifieke toolconfiguraties op het moment van testen, en het gebruik van statische snippets in plaats van volledige projecten of runtime-omgevingen.

Concluderend levert het artikel empirisch bewijs dat, onder gecontroleerde omstandigheden, GPT-4 de geaggregeerde SAST-baseline aanzienlijk overtrof in het detecteren van een specifieke set coderingsfouten, wat de integratie van LLM-ondersteunde analyse in veilige softwareontwikkelingscycli ondersteunt als een complementaire capaciteit.