Technische Samenvatting: CIPHER

Probleemstelling

Large Language Models (LLM's) worden steeds vaker geïntegreerd in softwareontwikkelingsworkflows voor het genereren van beveiligingskritische componenten, zoals encryptiehulpmiddelen en key management-logica. Hoewel door LLM gegenereerde code vaak functionele tests doorstaat, bevat het frequent subtiele cryptografische gebreken—zoals statische initialisatievectoren, hardcoded sleutels of ontbrekende authenticatie—die de beveiligingsgaranties stilletjes ongeldig maken. Bestaande evaluatielandschappen lijden onder drie specifieke tekortkomingen:

1. Gebrek aan Gecontroleerde Prompting: Veel benchmarks variëren functionele specificaties samen met beveiligingsinstructies, waardoor het moeilijk is om het causale effect van instructies op kwetsbaarheidspercentages te isoleren.
2. Afwezigheid van Cryptografie-Specifieke Taxonomieën: Algemene beveiligingsbenchmarks groeperen cryptografische problemen met ongerelateerde kwetsbaarheden (bijv. SQL-injectie), waardoor specifieke foutpatronen van cryptografische API's worden vertroebeld.
3. Gebrek aan Schaalbare Regel-niveau Scoring: Evaluaties vertrouwen vaak op handmatige inspectie of binaire pass/fail-oordelen, wat verhindert dat er fijnmazig kan worden toegeschreven aan welke codepatronen specifieke kwetsbaarheden veroorzaken.

Bovendien suggereren eerdere studies dat hoewel AI-assistenten mogelijk minder veilige code produceren, ze ook een verhoogd zelfvertrouwen bij ontwikkelaars met betrekking tot beveiliging induceren, wat rigoureuze, reproduceerbare benchmarks noodzakelijk maakt.

Methodologie

De auteurs introduceren CIPHER (Cryptographic Insecurity Profiling via Hybrid Evaluation of Responses), een gestandaardiseerde benchmark die is ontworpen om de incidentie van cryptografische kwetsbaarheden in door LLM gegenereerde Python-code onder gecontroleerde omstandigheden te meten.

Benchmark Constructie

• Prompt Triplets: De kernunit is een "prompt family" die een enkele cryptografische taak vertegenwoordigt (bijv. het versleutelen van een bericht). Elke familie wordt uitgebreid naar drie varianten die dezelfde functionele doelstelling, interface-beperkingen en context delen, en die alleen verschillen in de beveiligingsbegeleiding:
  • Insecure (Onveilig): Bevat misleidende of permissieve begeleiding (bijv. "schakel certificaatvalidatie uit voor compatibiliteit").
  • Neutral (Neutraal): Vraagt om productie-waardige code zonder expliciete beveiligingsinstructies.
  • Secure (Veilig): Verplicht expliciet best practices en verbiedt bekende fouten (bijv. het vereisen van AEAD-modi).
• Referentie-implementaties: Elke familie bevat een veilige referentie (conform moderne best practices) en een kwetsbare referentie (opzettelijk voorzien van een specifieke, minimale kwetsbaarheid). Deze dienen als controlemechanismen voor de evaluatiepijplijn.
• Taxonomie: Een cryptografie-specifieke taxonomie bestaande uit 17 grofmazige categorieën (bijv. willekeur, authenticatie, key management) en 58 fijnmazige kwetsbaarheidstypen (bijv. vaste IV, zwakke hash).

Evaluatiepijplijn

• LLM-as-a-Judge: De benchmark maakt gebruik van een geautomatiseerde scoringpijplijn met behulp van een LLM (GPT-4o) die beperkt is tot de CIPHER-taxonomie. De judge extraheert code, wijst kwetsbaarheidslabels toe en levert regel-niveau bewijslast (evidence spans).
• Scoring Protocol: Om consistentie te waarborgen, worden er meerdere judge-passes uitgevoerd per generatie, waarbij voorspellingen worden geaggregeerd via meerderheidsstemming. Onzekerheid wordt geschat via confidence scores.
• Metrieken:
  • Vulnerability Rate (VR) [Kwetsbaarheidspercentage]: Het deel van de generaties dat ten minste één kwetsbaarheid bevat. Dit is de primaire metriek, die de operationele realiteit weerspiegelt dat een enkel defect de code onveilig maakt.
  • Average Vulnerabilities per Generation (Avg/Gen) [Gemiddelde Kwetsbaarheden per Generatie]: Een secundaire metriek die de ernst van het falen aangeeft.
  • Judge Confidence [Vertrouwen van de Judge]: Geaggregeerde confidence scores en 95% betrouwbaarheidsintervallen via bootstrap resampling.

Belangrijkste Bijdragen

1. Gestandaardiseerde Cryptografische Benchmark: Een dataset van 150 prompt triplets (totaal 450 prompts) die 17 kwetsbaarheidscategorieën en 58 fijnmazige typen dekt, met insecure, neutral en secure varianten voor elke taak.
2. Taak-Agnostische Beveiligingsmetrieken: Globale maten inclusief VR, Avg/Gen en judge confidence, waardoor consistente aggregatie over diverse prompts en modellen mogelijk is.
3. Reproduceerbare Scoringpijplijn: Een evaluatieprotocol dat gebruikmaakt van een LLM-as-a-judge beperkt tot een vaste taxonomie, wat per regel bevindingen oplevert met evidence spans en onzekerheidsschattingen.
4. Multi-Model Empirische Analyse: Een uitgebreide evaluatie over zeven breed ingezette LLM's onder drie begeleidingscondities.

Resultaten

De benchmark werd toegepast op zeven modellen (waaronder GPT-5.1, Claude Sonnet 4.5, Gemini 2.5 Flash en diverse open-source coders) met 5 samples per prompt (2.250 generaties per model).

• Hoge Kwetsbaarheidspercentages: Over alle modellen heen varieerden de kwetsbaarheidspercentages van 56,0% tot 89,1%.
• Beperkte Impact van Veilige Prompting: Hoewel expliciete "secure" prompting de kwetsbaarheidspercentages voor sommige modellen verlaagde, was de reductie bescheiden en onbetrouwbaar. Het geaggregeerde kwetsbaarheidspercentage over alle modellen daalde slechts van 76,9% (insecure prompts) naar 71,7% (secure prompts).
• Model Variantie:
  • Claude Sonnet 4.5 vertoonde het hoogste kwetsbaarheidspercentage (89,1%) en de hoogste gemiddelde kwetsbaarheden per generatie (1,46).
  • Qwen2.5 Coder 7B vertoonde het laagste percentage (56,0%) en het laagste gemiddelde (0,73).
• Veelvoorkomende Foutmodi: Authenticatiefouten waren de meest voorkomende kwetsbaarheid in alle modellen. Andere dominante problemen waren IV/key misbruik, fouten in key-handling en onveilige willekeur (randomness).
• Analyse van Prompt Begeleiding: Veilige prompts slaagden er vaak in om de specifieke doelgerichte kwetsbaarheid te vermijden (bijv. het vermijden van een statische IV), maar faalden in het afdwingen van bredere globale cryptografische invarianten (bijv. het toevoegen van authenticatie of veilige key derivatie). Dit suggereert dat modellen lokale prompt-beperkingen prioriteren boven globale beveiligingseigenschappen.

Betekenis en Claims

Het artikel beweert dat CIPHER het eerste gecontroleerde, reproduceerbare framework biedt voor het meten van hoe prompting-condities de cryptografische veiligheid in LLM's beïnvloeden. De bevindingen benadrukken een fundamentele beperking van huidige LLM's: ze voldoen vaak aan lokale prompt-beperkingen terwijl ze falen in het afdwingen van globale cryptografische invarianten, wat leidt tot onveilige cryptografische composities, zelfs wanneer er expliciet om veiligheid is gevraagd.

De auteurs stellen dat deze resultaten concrete bewijzen leveren tegen de ongecontroleerde inzet van door LLM gegenereerde cryptografische code. De benchmark en de reproduceerbare pijplijn zijn bedoeld als een fundament voor systematische meting, waardoor modelontwikkelaars hun trainingssignalen kunnen verbeteren en organisaties een empirische basis kunnen hebben om een expert security review van AI-gegenereerde code te eisen. Het artikel erkent dual-use risico's, maar voert aan dat de bestudeerde kwetsbaarheidsklassen goed gedocumenteerd zijn en dat de bijdrage ligt in systematische meting in plaats van nieuwe aanvalsoppervlakken.