💻 computer science

Adaptive and AI-Augmented Security Testing: A Systematic Survey of Program Analysis, Feedback-Driven Testing, and Hybrid Learning-Based Approaches

Dit artikel presenteert een systematisch overzicht van 55 studies over adaptieve en door AI versterkte beveiligingstests, waarbij een kritieke disconnectie wordt geïdentificeerd tussen structurele programma-analyse en adaptieve leermechanismen, en waarbij een verenigd onderzoeksagenda wordt voorgesteld om deze kloof te overbruggen via semantisch onderbouwde, feedbackgestuurde kaders.

Oorspronkelijke auteurs: Michael Wienczkowski

Gepubliceerd 2026-05-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michael Wienczkowski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert verborgen valstrikken te vinden in een enorm, voortdurend veranderend doolhof (dat moderne software vertegenwoordigt). Je hebt drie verschillende teams van experts die je proberen te helpen, maar ze werken allemaal in aparte kamers, spreken verschillende talen en weigeren met elkaar te praten. Dit artikel stelt dat we pas alle valstrikken efficiënt zullen kunnen vinden wanneer deze teams beginnen samen te werken.

Hier is een uiteenzetting van de belangrijkste ideeën uit het artikel, met behulp van eenvoudige analogieën:

1. De Drie Teams (De Huidige Situatie)

Het artikel bekijkt drie hoofdwijzen waarop we momenteel proberen softwarefouten (kwetsbaarheden) te vinden, maar het concludeert dat elk team vastzit in een silo:

De "Architecten" (Structurele Programma-analyse):
- Wat ze doen: Ze bestuderen de blauwdrukken van het doolhof. Ze weten precies waar elke muur, deur en pijp zich bevindt. Ze kunnen een zwak punt in het ontwerp opsporen door alleen naar de tekening te kijken.
- Het Probleem: Ze zijn zeer precies maar zeer star. Ze kijken één keer naar de blauwdruk, maken een lijst met problemen en stoppen dan. Ze kijken niet mee wat er gebeurt als mensen daadwerkelijk door het doolhof lopen. Als een deur vastzit of een muur in het echt instort, weten de Architecten het niet, omdat ze de actie niet volgen.
De "Hardlopers" (Feedback-gedreven Fuzzing):
- Wat ze doen: Ze gooien duizenden willekeurige ballen tegen de muren van het doolhof om te zien of er iets breekt. Als een bal een zwak punt raakt en een crash veroorzaakt, onthouden ze die plek en gooien ze daar meer ballen. Ze zijn zeer snel en adaptief; ze leren van elke crash.
- Het Probleem: Ze zijn "blind". Ze weten niet waarom de muur brak, alleen dat hij brak. Ze kunnen uren ballen gooien tegen een onschadelijke decoratie, terwijl ze een kritieke structurele barst missen omdat ze de blauwdruk niet begrijpen. Ze verkennen zonder kaart.
De "Generatoren" (Grote Taalmodellen / AI):
- Wat ze doen: Dit zijn als creatieve schrijvers die direct nieuwe scenario's en testgevallen kunnen bedenken op basis van wat ze in boeken hebben gelezen. Ze kunnen testschrijvers sneller schrijven dan welke mens dan ook.
- Het Probleem: Ze hallucineren. Ze kunnen een test schrijven die er perfect uitziet op papier, maar die niet daadwerkelijk controleert op de specifieke beveiligingsregels van dit doolhof. Ze begrijpen vaak de diepe logica van de code niet; ze gokken alleen op basis van patronen. Ze zijn snel en creatief, maar ze missen een stevige basis in de daadwerkelijke structuur van de software.

2. Het Grote Probleem: "Structureel-Adaptieve Fragmentatie"

Het artikel bedenkt een chique term voor deze rommel: Structureel-Adaptieve Fragmentatie.

Denk er zo over na:

De Architecten hebben de perfecte kaart, maar geen kompas.
De Hardlopers hebben een geweldig kompas, maar geen kaart.
De Generatoren hebben een magische pen, maar geen kaart of kompas.

Het artikel stelt dat er op dit moment geen enkel systeem is dat alle drie combineert. We hebben systemen die goed zijn in het lezen van blauwdrukken, maar die niet kunnen adapteren aan veranderingen in real-time. We hebben systemen die snel adaptief zijn, maar die de diepe structuur niet begrijpen. We hebben AI die code schrijft, maar die de beveiligingsregels niet kent.

Het Ontbrekende Schakel: Het artikel wijst er ook op dat geen van deze systemen luistert naar de Beveiligingsingenieurs (de mensen). Als een mens naar een waarschuwing kijkt en zegt: "Dat is een vals alarm", vergeet het computersysteem dat. Het leert niet van de beslissing van de mens om de volgende keer slimmer te worden.

3. De "DevSecOps"-pijplijn (Het Transportband)

Moderne software wordt gebouwd op een snel bewegend transportband (CI/CD-pijplijnen). Elke keer dat een ontwikkelaar een nieuw stuk code toevoegt, beweegt het band en vinden beveiligingscontroles plaats.

Het Probleem: Momenteel voert het transportband steeds dezelfde controles uit. Het leert niet. Als er gisteren een bepaald type valstrik is gevonden, past het systeem de controles van vandaag niet automatisch aan om harder te zoeken naar die specifieke valstrik. Het is als een bewaker die 100 keer per dag dezelfde deur controleert, maar nooit zijn strategie verandert, zelfs niet als hij ziet dat een dief een andere deur probeert.

4. De Voorgestelde Oplossing: Een Gecombineerd Team

Het artikel somt niet alleen problemen op; het stelt een onderzoeksagenda voor om een Gecombineerd Adaptief Systeem te bouwen. Stel je een commandocentrum voor waar:

De Architecten de kaart aan de Hardlopers geven, zodat ze weten waar ze de ballen moeten gooien.
De Hardlopers de Architecten vertellen wanneer een muur daadwerkelijk instort, zodat de Architecten de kaart kunnen updaten.
De Generatoren de bijgewerkte kaart gebruiken om perfecte testschrijvers te schrijven.
De Menselijke Ingenieurs feedback geven ("Dit was een vals alarm"), en het hele systeem daarvan leert om dezelfde fout niet nog eens te maken.

5. Vijf Hobbels om te Overwinnen

Het artikel stelt dat we dit perfecte systeem nog niet kunnen bouwen vanwege vijf specifieke obstakels:

Snelheid versus Diepgang: Het duurt te lang om de hele blauwdruk te lezen. We moeten een manier vinden om alleen de relevante delen snel te lezen terwijl het transportband beweegt.
De Feedback-lus: We moeten een manier vinden voor de "Hardlopers" om in real-time terug te praten naar de "Architecten" om de kaart te updaten.
Het "Oracle"-probleem: We moeten een manier vinden om automatisch te weten of een test daadwerkelijk een beveiligingsgat heeft gevonden, en niet alleen of het programma crashte. (Crashen is niet altijd het enige teken van een beveiligingsfout).
De Taalbarrière: Moderne software is "polyglot" – het gebruikt veel talen (Python, Java, C++). Momenteel kunnen onze tools een valstrik die begint in Python en eindigt in C++ niet gemakkelijk volgen.
De Snelheidslimiet: Het hele systeem moet snel genoeg zijn om mee te komen met het transportband zonder de ontwikkelaars te vertragen.

Samenvatting

Kortom, dit artikel is een survey van 55 studies die zegt: "We hebben geweldige tools voor het bekijken van code, geweldige tools voor het testen van code, en geweldige AI-tools voor het schrijven van code, maar ze praten niet met elkaar. We moeten een systeem bouwen dat de precisie van de kaart, de snelheid van de hardloper en de creativiteit van de AI combineert, terwijl het ook leert van menselijke experts, om beveiligingsgaten te vangen voordat ze worden uitgebuit."

1. Probleemstelling

Moderne softwareontwikkeling is afhankelijk van snelle Continuous Integration/Continuous Deployment (CI/CD)-pijplijnen, wat een structurele spanning creëert met veiligheidsborging. Traditionele methoden voor veiligheidstests lijden onder drie duidelijke beperkingen die effectieve integratie in omgevingen met hoge snelheid belemmeren:

Static Analysis (SAST): Hoewel deze tools zeer nauwkeurig zijn in het modelleren van programmasemantiek (bijvoorbeeld via Abstract Syntax Trees of Control Flow Graphs), zijn ze niet-adaptief. Ze passen statische regels toe zonder te leren van runtime-feedback, wat leidt tot een hoog percentage vals-positieven en een gebrek aan prioritering op basis van daadwerkelijk uitvoeringsgedrag.
Feedback-Driven Testing (Fuzzing/SBST): Deze systemen blinken uit in adaptieve exploratie met behulp van runtime-signalen (bijvoorbeeld code coverage, crashes), maar behandelen het programma als een "black box". Ze missen diepe semantische onderbouwing en missen vaak kwetsbaarheidspatronen die begrip van dataflow of taint-propagatie vereisen.
LLM-gegenereerde generatie: Grote Taalmodellen (LLM's) bieden generatieve flexibiliteit voor het maken van tests, maar opereren op broncode als tekst. Ze missen formele structurele onderbouwing (bijvoorbeeld data-flow graphs) en vertrouwen op zwakke orakels (succesvolle compilatie) in plaats van semantische beveiligingseigenschappen, wat leidt tot het "zwak-orakelprobleem".

Kernthese: Het artikel identificeert een fenomeen dat "Structural–Adaptive Fragmentation" (Structuraal-Adaptieve Fragmentatie) wordt genoemd. Dit is een systematisch architecturaal gat waarbij systemen met hoge structurele precisie geen adaptiviteit hebben, en systemen met hoge adaptiviteit geen semantische onderbouwing missen. Cruciaal is dat geen enkel bestaand systeem menselijke triage-signalen (beslissingen van beveiligingsingenieurs over vals-positieven/echt-positieven) integreert in een feedbackmechanisme met gesloten lus om structurele modellen of teststrategieën te verfijnen.

2. Methodologie

De auteurs hebben een Systematic Literature Review (SLR) uitgevoerd volgens vastgestelde richtlijnen (Kitchenham en Charters).

Zoekstrategie: Een gestructureerde zoekopdracht werd uitgevoerd in vier grote databases (IEEE Xplore, ACM Digital Library, Scopus, SpringerLink) van januari 2004 tot februari 2026.
Zoekopdracht Scope: 16 zoekopdrachten die termen combineerden gerelateerd aan programmanaalyses, fuzzing, LLM's en DevSecOps.
Selectieproces:
- Rauwe Records: 22.088 geïdentificeerde records.
- Deduplicatie: Gereduceerd tot 5.847 unieke records.
- Screening: Screening van titel/abstract bracht de pool terug tot 213; volledige tekstreview filterde dit verder.
- Snowballing: Achterwaartse en voorwaartse citatie-tracking op 12 ankerpapers voegde 16 studies toe.
- Eindcorpus: 55 peer-reviewed primaire studies (P01–P55).
Uitsluitingscriteria: Preprints, beveiliging uitsluitend voor hardware, tool-aankondigingen zonder empirische evaluatie en niet-peer-reviewed grijze literatuur werden uitgesloten om een rigoureuze kwaliteitsbeoordeling te waarborgen.
Analyseraamwerk: Elke studie werd geëvalueerd op zes attributen: Programmarepresentatie, Adaptiviteitsmechanisme, Feedback-integratie, LLM-gebruik, Multi-taalondersteuning en Evaluatietype.

3. Belangrijkste Bijdragen

Systematisch Corpus: Een gecureerde collectie van 55 studies over vijf domeinen: Structurele Programmanaalyses, DevSecOps, Feedback-Driven Fuzzing, LLM-gebaseerde Testgeneratie en Hybride Systemen.
Conceptuele Taxonomie: Een unificatiekaart van het onderzoekslandschap gedefinieerd door twee assen: Structurele Diepte (rijkdom van semantische modellering) en Adaptieve Feedback (evolutie van strategieën op basis van runtime-signalen).
Formele Karakterisering van Fragmentatie: Het artikel definieert "Structural–Adaptive Fragmentation" over vier dimensies:
- Structurele precisie zonder feedbackintegratie.
- Adaptieve exploratie zonder semantische begeleiding.
- Generatieve automatisering zonder formele onderbouwing.
- Pijplijnautomatisering zonder gesloten feedbacklussen.
Comparatieve Analyse: Empirisch bewijs dat een omgekeerd evenredig verband aantoont tussen structurele diepte en adaptiviteit over de onderzochte domeinen heen.
Onderzoeksagenda: Identificatie van vijf specifieke open onderzoeksherausvragen die nodig zijn om deze gefragmenteerde paradigma's te verenigen.

4. Belangrijkste Resultaten en Bevindingen

A. Het Fragmentatiegat

De analyse toont aan dat het "Doelgebied" (Hoge Structurele Diepte + Hoge Adaptieve Feedback) momenteel niet wordt ingenomen door enig bestaand systeem.

Programmanaalyses: Hoge diepte, nul adaptiviteit. (bijv. Joern, CodeQL).
Fuzzing/SBST: Hoge adaptiviteit, lage structurele diepte. (bijv. AFL, Angora).
LLM-generatie: Geen formele structurele onderbouwing, gedeeltelijke adaptiviteit via iteratief prompting.
Hybride Systemen: Vertegenwoordigen gedeeltelijke vooruitgang (bijv. Driller, QSYM) maar blijven unidirectioneel (statisch informeert dynamisch, maar dynamisch werkt niet terug op statische modellen).

B. Het Menselijke Triage-gat

Een cruciale bevinding is het ontbreken van menselijke triage-signalen in geautomatiseerde systemen. Beslissingen van beveiligingsingenieurs om vals-positieven te negeren of kwetsbaarheden te bevestigen, worden niet teruggekoppeld in het systeem om structurele modellen te verfijnen of testprioriteiten aan te passen. Dit verhindert dat het systeem leert van zijn eigen fouten.

C. Beperkingen bij Meertaligheid

Ondanks de prevalentie van polyglot-software (bijv. Python-backends met C++-drivers) zijn huidige tools grotendeels enkelvoudig taalgericht. Cross-language taint-tracking en analyse van kwetsbaarheidspropagatie zijn in adaptieve testframeworks vrijwel niet-existent.

D. Het Orakelprobleem bij LLM's

Door LLM's gegenereerde tests lijden vaak aan het "zwak-orakelprobleem": ze genereren code die compileert en draait, maar faalt in het stellen van zinvolle beveiligingseigenschappen (bijv. ze controleren op crashes maar niet op logische omgangen of datalekken).

E. Heterogeniteit in Evaluatie

Het vakgebied mist uniforme benchmarks. Programmanaalyses worden geëvalueerd op industriële implementatie of statische benchmarks; fuzzing op crashaantallen; en LLM's op compilatiesnelheden. Dit maakt domeinoverstijgende vergelijking en de ontwikkeling van geïntegreerde systemen moeilijk.

5. Vijf Open Onderzoeksherausvragen

Het artikel schetst een routekaart om de fragmentatie op te lossen:

Semantisch Geleide Adaptieve Tests: Het ontwikkelen van mechanismen om structurele artefacten (bijv. CPG-subgraphs, data-flow slices) direct in adaptieve zoekstrategieën in real-time te integreren, in plaats van alleen als voorbewerking.
Gesloten-lus Statisch-Dynamische Feedback: Het ontwerpen van architecturen waarbij runtime-signalen (crashes, coverage-gaten, sanitizer-overtredingen) het structurele model updaten, wat op zijn beurt vervolgtesten verfijnt. Dit omvat het integreren van menselijke triage-beslissingen.
Beveiligingsgerichte Testorakels: Voorbijgaan aan coverage/crash-orakels naar geautomatiseerde orakels die schendingen van semantische beveiligingseigenschappen detecteren (bijv. autorisatie-omgangen, informatielekken) zonder handmatige specificatie.
Polyglot en Cross-language Integratie: Het creëren van frameworks die in staat zijn taint en kwetsbaarheidspropagatie over taalgrenzen heen te volgen (bijv. Python $\to$ Java $\to$ C++) binnen één analysemodel.
Schaalbare Implementatie in CI/CD: Het architecteren van geünificeerde systemen die strikte CI/CD-latentie-eisen (minuten per commit) halen door middel van incrementele analyse, caching en asynchrone pijplijnen.

6. Betekenis

Deze survey is significant omdat het verder gaat dan geïsoleerde domeinreviews om een fundamenteel architecturaal gebrek in de huidige staat van geautomatiseerde veiligheidstests bloot te leggen.

Theoretische Impact: Het biedt een formele definitie van "Structural–Adaptive Fragmentation", wat een nieuwe lens biedt voor onderzoekers om beveiligingstools te evalueren en te ontwerpen.
Praktische Impact: Het benadrukt dat het simpelweg toevoegen van meer tools aan een CI/CD-pijplijn onvoldoende is. De toekomst van veiligheidstests ligt in geünificeerde, adaptieve frameworks die programmastructuur, runtime-gedrag en generatieve AI behandelen als wederzijds versterkende componenten.
Toekomstige Richting: Het artikel dient als blauwdruk voor de volgende generatie beveiligingstools, waarbij de focus verschuift van "betere fuzzing" of "betere statische analyse" naar "geïntegreerde, zelfcorrigerende beveiligingsecosystemen" die effectief kunnen opereren in complexe, polyglotte omgevingen met hoge snelheid.