Technische Samenvatting: Minimale Promptperturbaties Leiden tot Codekwetsbaarheden

Probleemstelling

Hoewel coderingsassistenten op basis van Large Language Models (LLM's) snel worden overgenomen om de productiviteit van ontwikkelaars te verhogen, blijft de beveiliging van de gegenereerde code een kritieke zorg. Eerdere studies hebben vastgesteld dat kleine promptperturbaties (zoals typefouten of parafraseren) de functionele correctheid van gegenereerde code kunnen verslechteren. De beveiligingsconsequenties van dergelijke perturbaties blijven echter onbestudeerd. Een natuurlijke aanname in de ontwikkeling is dat oppervlakkige variaties in prompts de beveiligingspositie van de output niet zouden moeten veranderen. Dit artikel onderzoekt of minimale, onschadelijke promptmutaties gegenereerde LLM-code van veilig naar kwetsbaar kunnen draaien, en of deze kwetsbaarheden zijn gecodeerd in de interne representaties van het model voordat de codegeneratie begint.

Methodologie

Benchmark en Modellen

De studie maakt gebruik van de CWEval-benchmark (Peng et al., 2025), die verschilt van eerdere beveiligingsbenchmarks (zoals CyberSecEval, SecurityEval) omdat het functionaliteit en beveiliging gelijktijdig evalueert via resultaatgedreven testorakels. De benchmark bestrijkt 31 Common Weakness Enumeration (CWE)-typen over vijf programmeertalen (C, C++, Go, JavaScript, Python).

De experimenten maken gebruik van drie open-source, op code gespecialiseerde LLM's:

• CodeLlama (70B)
• DeepSeek-Coder (33B)
• Qwen3-Coder (30B)

De experimenten werden uitgevoerd met een temperatuur van $T=0$ om een stabiele evaluatie te garanderen, met gevoeligheidsanalyses uitgevoerd bij $T=0,8$.

Perturbatiestrategie

De auteurs pasten systematische mutaties toe op de prompts, gecategoriseerd op basis van toenemende semantische verstoring:

1. Enkele-karakterwijzigingen: Vervanging van één karakter door een willekeurige ASCII-letter.
2. Drie-karakterwijzigingen: Het verwisselen van drie willekeurige karakters binnen een enkele token.
3. Hele-tokenvervangingen: Vervanging van een token door een vergelijkbare willekeurige token op basis van de cosijn-similariteit van embeddings.

Het Proben van Verborgen Toestanden

Om te bepalen of er kwetsbaarheidssignalen bestaan voordat de generatie begint, trainden de auteurs lineaire (L2-geregulariseerde logistische regressie) en ondiepe niet-lineaire (tweelaags MLP) classifiers op de verborgen toestand van de laatste token van de prompt. Deze probes voorspellen of een specifiek (model, taal, CWE, mutatie)-instance zal resulteren in:

1. Functionele code.
2. Code die zowel functioneel als veilig is.

De probes werden getraind per (model, taal, CWE, doel)-cel met een 80/20 train/test-split en 5-voudige kruisvalidatie voor het afstemmen van hyperparameters.

Belangrijkste Bijdragen

1. Demonstratie van Promptfragiliteit: De studie toont aan dat mutaties zo klein als één karakter gegenereerde code van veilig naar kwetsbaar kunnen draaien (en omgekeerd), waarbij zowel functionaliteit als beveiliging gelijktijdig worden beïnvloed.
2. Decompositie van Mutatie-Drivers: Het onderzoek identificeert dat voor sommige perturbaties de positie van de mutatie in de prompt doorslaggevend is (bijvoorbeeld zijn mutaties in het centrale deel van de prompt het meest schadelijk), terwijl voor andere de specifieke karaktervervanging het resultaat bepaalt.
3. Systematische Variatie in Prestaties van Probes: Het artikel toont aan dat de voorspelbaarheid van kwetsbaarheden uit verborgen toestanden systematisch varieert per CWE-categorie. Kwetsbaarheden die structurele wijzigingen vereisen (invoerhandling) zijn voorspelbaarder dan die welke vertrouwen op enkele lokale keuzes (veilige standaardinstellingen).

Resultaten

Impact van Mutaties

• Prevalentie: Mutaties beïnvloeden een groot deel van de CWE's over alle modellen en talen heen.
• Directionaliteit: Mutaties veroorzaken over het algemeen meer schade dan goed. Voor CodeLlama (70B) en DeepSeek-Coder (33B) overtreft het tempo van verslechtering (het draaien van veilige code naar kwetsbaar) het tempo van verbetering significant.
• Modelrobuustheid: Qwen3-Coder (30B) vertoonde de meest robuuste prestaties, met consistent kleinere degradatiebalken in vergelijking met de andere twee modellen.
• Taalverschillen: Patronen divergeren per taal. Voor Python worden veel CWE's beïnvloed, maar is het fractie van mutaties die het resultaat binnen elke CWE veranderen laag. Omgekeerd worden bij Go minder CWE's beïnvloed, maar reageren die wel sterk op mutaties.

Probeanalyse

• Algemene Voorspelbaarheid: De gemiddelde Area Under the Curve (AUC) voor het voorspellen van gezamenlijke functionele en veilige uitkomsten uit verborgen toestanden aan het einde van de prompt is ongeveer 0,70 over de modellen heen.
• CWE-specifieke Variantie:
  • Groep I (Invoerhandling): Kwetsbaarheden waarbij niet-vertrouwde invoer een gevoelige sink bereikt (bijvoorbeeld SQL-injectie, pad-doorloop) vereisen het toevoegen van validatielogica. Deze zijn zeer voorspelbaar uit verborgen toestanden (Gemiddelde AUC: 0,753).
  • Groep D (Veilige Standaardinstellingen): Kwetsbaarheden waarbij de oplossing een enkele lokale keuze behelst (bijvoorbeeld het selecteren van een sterk algoritme, een veilige vlag of een sleutelgrootte) zijn minder voorspelbaar (Gemiddelde AUC: 0,674).
• Statistische Significantie: Een eenzijdige Mann-Whitney U-test bevestigt een statistisch significant verschil tussen de twee groepen ($p = 0,009$).

Interpretatie van Proberesultaten

De auteurs stellen dat de verborgen toestand aan het einde van de prompt beslissingen codeert die het model vroeg vastlegt (structurele wijzigingen zoals het toevoegen van een validatiebewaker). Daarentegen worden beslissingen die worden uitgesteld tot specifieke tokenposities tijdens de generatie (zoals het kiezen van een specifieke algoritmeparameter) gedomineerd door de volgende-tokenverdeling en zijn dus minder zichtbaar in de uiteindelijke promptrepresentatie.

Betekenis en Claims

Het artikel claimt dat het dreigingsmodel voor codering met LLM-ondersteuning verder reikt dan adversariële promptinjectie tot het omvatten van gewone promptvariatie (typefouten, parafraseren). De bevindingen geven aan dat:

1. Fouten in invoerhandling potentieel kunnen worden gedetecteerd en gemitigeerd voordat de generatie begint door promptrepresentaties te analyseren.
2. Fouten in veilige standaardinstellingen moeilijker te detecteren zijn in het promptstadium en mogelijk interventie tijdens het decodeerproces vereisen.

De auteurs handhaven een defensieve oriëntatie, waarbij zij benadrukken dat hun werk fragiliteit onder onschadelijk gebruik identificeert in plaats van exploitrecepten te bieden. Zij wijzen op beperkingen met betrekking tot de rekenkosten van het proppen van gesloten modellen op de voorgrond en het handmatige karakter van de CWE-groepering, en suggereren dat toekomstig werk verborgen representaties tijdens de generatie zou kunnen proppen om het "veilige-standaardinstellingen"-signaal te vangen dat aan het einde van de prompt wordt gemist.