Technische Samenvatting: Cross-Cutting Beveiligingsanalyse van door LLM gegenereerde Code via Metamorfe Testen en Association Rule Mining

Probleemstelling

Large Language Models (LLM's) genereren frequent code die beveiligingskwetsbaarheden bevat. Hoewel eerder onderzoek heeft vastgesteld dat door LLM gegenereerde code vaak onveilig is, behandelen bestaande evaluaties kwetsbaarheden doorgaans als geïsoleerde defecten (bijv. het apart analyseren van SQL-injectie van buffer overflows). Deze aanpak negeert de cross-cutting aard van softwarebeveiliging, waarbij fouten in authenticatie, credentialbeheer, inputvalidatie en geheugenveiligheid vaak samen voorkomen binnen hetzelfde artefact. Bijgevolg falen huidige methoden erin om te diagnosticeren hoe deze kwetsbaarheden samen clusteren of om te identificeren welke promptkenmerken bredere, systemische beveiligingsrisico's aansturen.

Methodologie

De auteurs stellen een vierfasenraamwerk voor dat Metamorfe Testen (MT) integreert met Association Rule (AR) mining om beveiligingsfouten in door LLM gegenereerde code te detecteren, te diagnosticeren en te verklaren.

1. Datageneratie (Fase A): De studie maakt gebruik van de LLMSecEval benchmark, bestaande uit 148 unieke natuurlijke taalprompts die 18 Common Weakness Enumeration (CWE) categorieën beslaan. Deze prompts werden uitgevoerd over vijf open-source modellen (Qwen3-Coder, Qwen2.5-Coder, DeepSeek-Coder, CodeGemma en Gemma4:e4b) met elk vijf runs, wat resulteerde in 3.700 codestukken (Python en C).
2. Metamorfe Beoordeling (Fase B): De auteurs definiëren een catalogus van negen beveiligingsgeoriënteerde Metamorfe Relaties (MR's) die de belangrijkste CWE-categorieën dekken, waaronder SQL-injectie (CWE-89), XSS (CWE-79), command-injectie (CWE-78), path traversal (CWE-22), authenticatiebypass (CWE-862), hard-coded credentials (CWE-798), zwakke cryptografie (CWE-327), buffer overflow (CWE-120) en integer overflow (CWE-190).
   • Een LLM-gebaseerde beoordelaar (Claude Sonnet 4.6) evalueert elk codestuk tegen deze MR's.
   • Voor elke MR bepaalt de beoordelaar de toepasbaarheid, geeft een oordeel (overtreden/geslaagd/N/A) en levert bewijs.
   • Dit proces construeert een binaire schendingsmatrix waarbij rijen codestukken vertegenwoordigen en kolommen MR's.
3. Association Rule Mining (Fase C): De schendingsmatrix wordt verwerkt met behulp van het Apriori-algoritme om frequente co-schendingspatronen te ontdekken. Regels worden geëvalueerd op basis van support, confidence en lift (waarbij lift > 1 duidt op een positieve associatie die verder gaat dan statistische onafhankelijkheid). Deze stap identificeert "cross-cutting" clusters van kwetsbaarheden.
4. Prompt-niveau Risicoanalyse (Fase D): De auteurs correleren de geïdentificeerde schendingspatronen met promptkenmerken, waaronder structurele metrieken, onderwerp-trefwoorden (bijv. database, authenticatie, geheugen), beveiligingsbewuste formuleringen en multi-topic complexiteit. Ze meten ook cross-model consistentie om te bepalen of kwetsbaarheden prompt-inherent of model-afhankelijk zijn.

Baselines: De aanpak wordt vergeleken met vier statische analyse-instrumenten (CodeQL, Bandit, Flawfinder, Semgrep) en de veilige codevoorbeelden uit de LLMSecEval benchmark.

Belangrijkste Bijdragen

1. Beveiligingsgeoriënteerde MR-catalogus: Definitie en toepassing van negen metamorfe relaties die negen belangrijke CWE-categorieën beslaan, specifiek afgestemd op de verificatie van door LLM gegenereerde code.
2. Cross-Cutting Structurele Diagnose: De integratie van AR-mining met MR-uitkomsten om aan te tonen dat beveiligingsfouten gestructureerde clusters vormen in plaats van geïsoleerde defecten.
3. Prompt-niveau Risicoanalyse: Een nieuwe analyse die co-schendingsclusters koppelt aan specifieke promptkenmerken, waarbij wordt geïdentificeerd welke onderwerpen brede onveiligheid aansturen.
4. Grootschalige Empirische Evaluatie: Uitgebreide evaluatie op 3.700 codestukken van vijf diverse open modellen, wat bewijs levert voor de prevalentie en de aard van cross-cutting kwetsbaarheden.

Belangrijkste Resultaten

Prevalentie van Kwetsbaarheden

• 68,8% van alle gegenereerde codestukken overtrad ten minste één MR.
• Hard-coded credentials (MR6) en Command Injection (MR3) waren de meest voorkomende fouten onder de toepasbare codestukken (respectievelijk 79,1% en 74,4%).
• SQL Injection (MR1) had de laagste schendingsgraad (11,5%), wat suggereert dat LLM's gedeeltelijk geparametriseerde query-patronen hebben geïnternaliseerd.
• Modelprestaties: DeepSeek-Coder (6.7B) produceerde de meest kwetsbare code (73,8% schendingspercentage), terwijl Gemma4:e4b (4.5B) de veiligste was (65,1%). Opvallend genoeg correleerde model schaal niet lineair met veiligheid; het grootste model (Qwen3-Coder, 30B) was niet het veiligst.

Detectie-effectiviteit

• De MR-gebaseerde aanpak detecteerde 68,8% van de kwetsbare codestukken.
• In contrast hiermee detecteerde de unie van vier standaard SAST-tools (CodeQL, Bandit, Semgrep, Flawfinder) slechts 34,2%.
• SAST-tools faalden in het detecteren van semantische schendingen zoals Authenticatiebypass (0% detectie) en Hard-coded Credentials (slechts 44 van de 651 gedetecteerd).

Cross-Cutting Co-schendingspatronen (RQ2)

AR-mining identificeerde 44 associatieregels, wat twee primaire kwetsbaarheidsclusters onthulde:

1. Authenticatie–Credential–Cryptografie Cluster: Een nauw gekoppelde groep bestaande uit Authenticatiebypass (MR5), Hard-coded Credentials (MR6) en Zwakke Cryptografie (MR7).
   • Belangrijkste bevinding: De regel XSS ∧ WeakCrypto ⇒ HardCred heeft een confidence van 82,5% en een lift van 3,23.
   • Hard-coded credentials en ontbrekende autorisatiecontroles waren het meest voorkomende co-schendingspaar (226 codestukken).
2. Input Handling–Geheugenveiligheid Cluster: Verbinding tussen XSS, Path Traversal en Buffer Overflow.
   • Belangrijkste bevinding: XSS ∧ PathTrav ⇒ BuffOvf (Conf: 63,0%, Lift: 2,04).

• Inter-Cluster Brug: De regel AuthByp ∧ BuffOvf ⇒ XSS (Conf: 33,3%) slaat een brug tussen de twee clusters, wat aangeeft dat sommige prompts fouten triggeren die zowel het domein van authenticatie als dat van geheugenveiligheid tegelijkertijd beslaan.

Prompt-niveau Drivers (RQ3)

• Voorspellers: Prompts gerelateerd aan databases waren de sterkste voorspeller van algemene kwetsbaarheid (r = 0,52), gevolgd door authenticatie-onderwerpen (r = 0,43).
• Cluster Specificiteit: Trefwoorden gerelateerd aan database en authenticatie voorspelden sterk Cluster 1, maar niet Cluster 2. Omgekeerd waren File I/O-trefwoorden de enige voorspeller voor Cluster 2 (r = 0,31), een relatie die gemist werd door een totale-aantal analyse.
• Beveiligingsbewustzijn: Het expliciet vragen om veilige code (bijv. door trefwoorden als "secure" of "sanitize" te gebruiken) vertoonde geen correlatie met veiligere output (r = -0,04).
• Cross-Model Consistentie: In 65,5% van de prompts waren alle vijf de modellen het eens over de status van de schending. High-risk prompts (die beide clusters triggerden) bevatten 14,2 keer vaker database-trefwoorden en 6,8 keer vaker authenticatie-trefwoorden dan low-risk prompts.

Betekenis en Claims

Het artikel betoogt dat de onveilige codegeneratie door LLM's niet louter een verzameling onafhankelijke defecten is, maar een gestructureerd, prompt-geconditioneerd fenomeen.

• Holistische Beveiligingsfout: De ontdekking van sterke cross-cutting clusters (bijv. de triade van authenticatiebypass, hard-coded credentials en zwakke cryptografie) suggereert dat LLM's een holistisch model van beveiliging missen. Ze kunnen leren om SQL-queries te parametriseren (lage SQLi-rate), terwijl ze tegelijkertijd falen om de credentials te vermijden die nodig zijn voor die queries (hoge HardCred-rate).
• Prompt-gestuurde Risico's: De hoge cross-model consistentie (65,5% overeenstemming) geeft aan dat kwetsbaarheid voornamelijk wordt gedreven door de prompt-inhoud in plaats van de specifieke modelarchitectuur. Dit impliceert dat mitigatiestrategieën gericht op prompt engineering of trainingsdata effectiever kunnen zijn dan simpelweg wisselen tussen modellen van vergelijkbare grootte.
• Praktische Implicaties:
  • Cluster-bewuste Verificatie: Ontwikkelaars moeten een "cluster-gebaseerde" reviewstrategie hanteren; het detecteren van één kwetsbaarheid (bijv. hard-coded credentials) moet een directe controle triggeren voor geassocieerde kwetsbaarheden in hetzelfde cluster (bijv. zwakke cryptografie).
  • Gerichte Interventie: Geautomatiseerde tools kunnen prompts flaggen op basis van specifieke onderwerp-trefwoorden (bijv. database + file I/O) om specifieke kwetsbaarheidsclusters te voorspellen, in plaats van alleen het algemene risico in te schatten.
  • Beperkingen van Oppervlakkige Instructies: Het gebrek aan correlatie tussen beveiligingsbewuste formuleringen en veilige output bevestigt dat huidige LLM's niet reageren op oppervlakkige beveiligingsinstructies, wat post-generatie verificatie essentieel maakt.

De auteurs concluderen dat hun raamwerk een verschuiving mogelijk maakt van eenvoudige detectie naar structurele diagnose en prompt-niveau verklaring, wat een fundament legt voor veiligere LLM-ondersteunde programmering door middel van data-gedreven inzichten in de cross-cutting aard van beveiligingsfouten.