Technische Samenvatting: AI Slop en Hallucinaties in Kwetsbaarheidsanalyse

1. Probleemstelling

De integratie van Large Language Models (LLM's) in de cybersecurity kwetsbaarheidsanalyse heeft een "vertrouwenscrisis" geïntroduceerd, gedreven door de proliferatie van "AI slop." In tegenstelling tot traditionele fout-positieven die voortkomen uit conservatieve, op regels gebaseerde Static Application Security Testing (SAST), bestaat AI slop uit beveiligingsartefacten (rapporten, proof-of-concepts, patches) die een hoge linguïstische vloeiendheid en structurele plausibiliteit vertonen, maar een gebrek hebben aan semantische validiteit of uitvoerbare gronding.

Deze artefacten omvatten:

• Gehallucineerde kwetsbaarheden: Gefabriceerde Common Vulnerabilities and Exposures (CVE's), niet-bestaande API's en onsamenhangende executiepaden.
• Incorrecte patch-synthese: Fixes die symptomen aan de oppervlakte aanpakken terwijl de kernoorzaken worden genegeerd, of patches die nieuwe regressies introduceren.
• Semantische herverpakking: De transformatie van bestaande kennis of "stille" (niet-openbaar gemaakte) fixes naar ogenschijnlijk nieuwe, gezaghebbende rapporten.

Dit fenomeen creëert een cognitieve belasting voor menselijke triage-pipelines die doet denken aan een denial-of-service (DoS) aanval. De kern van het probleem is een fundamentele redeneerkloof: menselijke security-experts vertrouwen op causale, meerstaps deductieve redenering gegrond in systeembeperkingen, terwijl autoregressieve LLM's opereren via probabilistische token-generatie gebaseerd op statistische correlaties. Wanneer informatie de redeneerhorizon van een LLM overschrijdt, valt het model terug op statistisch plausibele voortzettingen in plaats van geverifieerde feiten.

2. Methodologie

Het artikel maakt gebruik van een systematische literatuurstudie en conceptuele analyse om empirisch bewijs te onderzoeken en het probleem te formaliseren.

• Literatuuronderzoek: De auteurs doorzochten IEEE Xplore, ACM Digital Library en arXiv met LLM- en security-gerelateerde trefwoorden. Twee onafhankelijke reviewers screenden de resultaten en behielden studies met empirisch bewijs van LLM-foutmodi in security-contexten.
• Taxonomieconstructie: Fouten werden gecategoriseerd in drie primaire takken op basis van de aard van de redeneerfout.
• Gap-analyse: Het artikel contrasteert menselijke cognitieve modellen (deductief, invariant-behoudend) met LLM architecturale beperkingen (probabilistisch, context-window beperkt).
• Metric Voorstel: De auteurs operationaliseren de redeneerkloof via een meetbare proxy, de Deductive Coverage Score (DCS), en stellen nieuwe evaluatie-instrumenten voor (CVE-Bench, Slop-Score).
• Architecturale Review: Bestaande mitigatiestrategieën (passieve detectie, watermarking) worden beoordeeld en bekritiseerd, gevolgd door een voorstel voor actieve neuro-symbolische verificatie-architecturen.

3. Belangrijkste Bijdragen

A. Formalisering en Taxonomie van AI Slop

Het artikel definieert AI slop in cybersecurity en stelt een taxonomie vast bestaande uit drie onderscheidende foutmodi:

1. Gehallucineerde Kwetsbaarheden: Het model verzint gebreken (bijv. gefabriceerde CVE's, niet-bestaande API's) om aan de verwachtingen van de prompt te voldoen. Dit omvat sycophantische hallucinatie (bugs vinden in veilige code) en token-bias confounding (het verschuiven van oordeel op basis van oppervlakkige syntactische veranderingen).
2. Incorrecte Patch-synthese: Modellen genereren patches die compileren en oppervlakkige controles passeren, maar falen in het oplossen van het onderliggende probleem of introduceren nieuwe security-regressies (bijv. het inruilen van één CWE voor een andere).
3. Semantische Herverpakking: Modellen herschikken bestaande informatie (inclusclusief stille fixes uit open-source commits) tot "nieuwe" rapporten. Dit maaktق misbruik van het gebrek aan publieke grondwaarheid voor niet-openbaar gemaakte fixes, waardoor de herverpakte claims ondetecteerbaar zijn door op lookup gebaseerde validatie.

B. Analyse van de Redeneerkloof

Het artikel identificeert de wortel van het probleem als de divergentie tussen menselijke deductieve redenering en LLM probabilistische generatie:

• Menselijke Experts: Bouwen mentale modellen, volgen datastromen over procedurele grenzen heen en verifiëren beperkingen. Zij benaderen bevindingen met scepsis totdat ze bewezen zijn.
• LLM's: Schatten token-waarschijnlijkheden in op basis van trainingsdistributies. Ze voegen bekende patronen (API-calls, variabelenamen) samen zonder een enkel executiepad te verifiëren.
• Beperkingen van Huidige Mitigaties: De auteurs stellen dat Chain-of-Thought (CoT) prompting en tool-gebruikende agents de kloof verkleinen maar niet dichten. CoT resulteert vaak in langere maar evenzeer incorrecte redeneerketens, en tool-gebruik leidt vaak tot "tool-use confabulation" waarbij agents de output van tools verkeerd interpreteren.

C. Kritiek op Passieve Detectie en Watermarking

Het artikel betoogt dat huidige mitigatiestrategieën gericht op provenance (vaststellen of tekst door een machine is geschreven) niet op één lijn liggen met de noodzaak van correctheid.

• Statistische Detectie: Faalt omdat security-rapporten inherent formulaal zijn (lage lexicale diversiteit), wat leidt tot veel fout-positieven voor door mensen geschreven rapporten.
• Watermarking: Is incompatibel met security-logica; het afdwingen van watermarked token-selectie in beperkte code-domeinen breekt vaak de logica of creëert ongeldige payloads.

D. Voorgestelde Oplossingen en Evaluatie-instrumenten

• Neuro-Symbolische Verificatie: De auteurs pleiten voor een architectuur waarbij LLM's fungeren als hypothese-generatoren, en hun outputs worden onderworpen aan deterministische verificatie (Statische Analyse, Dynamische Fuzzing, Symbolische Executie) voordat ze de menselijke analisten bereiken.
• Deductive Coverage Score (DCS): Een metriek die kwantificeert in welke mate een kwetsbaarheidsclaim gegrond is in expliciet, verifieerbaar bewijs (bijv. specifieke code-referenties, executie-traces) versus statistische interpolatie.
• CVE-Bench: Een benchmark ontworpen om het vermogen van triage-systemen te testen om gegronde rapporten te scheiden van vloeiende, fantoom-exploitpaden met behulp van executie- gevalideerde grondwaarheid.
• Slop-Score: Een continue metriek die de kloof kwantificeert tussen linguïstische vloeiendheid en verifieerbare substantie, waarbij artefacten worden bestraft die weliswaar vloeiend zijn maar een gebrek aan bewijsdichtheid of constraint-satisfactie vertonen.

4. Resultaten en Bevindingen

• Empirisch Bewijs: De survey benadlicht dat ongeveer 20% van de rapporten in sommige bug bounty programma's (bijv. HackerOne tegen medio 2025) werd geïdentificeerd als kwalitatief lage AI slop, wat leidde tot het stopzetten van bepaalde programma's (bijv. het cURL bounty programma in 2026) vanwege het onvermogen om geldige rapporten te onderscheiden van AI-gegenereerde ruis.
• Grondingstekort: Een review van representatieve werken (Tabel 1) laat zien dat geen enkele studie executie-niveau validatie biedt van LLM-outputs. De sterkste gronding die wordt gevonden is compile-checking of statische analyse, wat ver onder de vereisten van rigoureuze security-redenering opereert.
• Falen van Partiële Bruggen: Hoewel tools zoals ReAct en Retrieval-Augmented Generation (RAG) feitelijke hallucinaties verminderen (bijv. het verzinnen van niet-bestaande CVE's), falen ze in het adresseren van logische hallucinaties (het trekken van causaal incorrecte gevolgtrekkingen uit accurate feiten).

5. Betekenis en Claims

Het artikel positioneert zichzelf als een survey, conceptuele analyse en roadmap. De primaire betekenis ligt in het verschuiven van het evaluatieparadigma van linguïstische vloeiendheid naar mathematische verifieerbaarheid.

• Structureel Falen: De auteurs stellen dat AI slop niet louter een prestatieprobleem is, maar een structureel falen waarbij probabilistische generatie de plaats inneemt van causale verificatie.
• Betrouwbaarheid: Vertrouwen in AI-gestuurde triage kan niet worden bereikt door enkel betere prompting of provenance-tracking. Het vereist actieve neuro-symbolische verificatie die elk onderdeel van de pipeline in kaart brengt met vooraf bekende systemen met gedocumenteerde limieten (bijv. de pad-explosie limieten van symbolische executie).
• Toekomstige Richting: Het artikel concludeert dat betrouwbare AI in cybersecurity zal voortkomen uit systemen die generatie behandelen als het startpunt van een verificatie-pipeline, waarbij wordt gewaarborgd dat menselijk oordeel alleen wordt uitgeoefend op claims die de deterministische tests hebben overleefd. De voorgestelde metrieken (DCS, Slop-Score) en benchmarks (CVE-Bench) zijn bedoeld om de noodzakelijke infrastructuur te bieden om dit structurele falen uit het systeem te engineeringen.