The Security Budget of Code LLMs: An Information-Theoretic Capacity-Security Bound

Technische Samenvatting: Het Beveiligingsbudget van Code LLM's

Probleemstelling
AI-programmeerassistenten vertrouwen steeds vaker op natuurlijke taalprompts als de primaire interface voor softwareontwikkeling. Deze verschuiving introduceert een kritieke kwetsbaarheid: kleine perturbaties in een prompt (bijv. synoniemsubstitutie, het hernoemen van identifiers of commentaarinjectie) kunnen de gegenereerde code veranderen terwijl de intentie van de gebruiker gedeeltelijk herkenbaar blijft. Bestaande evaluaties vertrouwen vaak op executie-succespercentages (pass@1) vóór en na perturbatie. De auteurs stellen echter dat dit onvoldoende is voor interactieve assistenten, omdat het er niet in slaagt te onderscheiden of een model alle taakinformatie heeft verloren (waardoor "robuustheid" betekenisloos wordt) of dat het voldoende informatie behoudt om herkenbaar te blijven maar de implementatie verschuift. Er is behoefte aan een "budgetniveau"-visie die taakinformatie, prompt-lekken en generatiestabiliteit scheidt om de trade-offs tussen functionele capaciteit en beveiliging onder perturbatie te begrijpen.

Methodologie
Het artikel formaliseert deze trade-off met behulp van informatietheorie en definieert twee kernhoeveelheden voor een code Large Language Model (LLM) $\pi$:

1. Capaciteit ($Cap$): De wederzijdse informatie tussen de canonieke oplossing $c^*$ en de generatie van het model $c_\pi$, aangeduid als $I(c^*; c_\pi)$. Dit meet hoeveel van de taak het model begrijpt.
2. Beveiliging ($Sec$): De wederzijdse informatie tussen de generatie onder de originele prompt $p$ ($c_\pi$) en de generatie onder een adversariële geperturbeerde prompt $\tilde{p}$ ($\tilde{c}_\pi$), aangeduid als $I(c_\pi; \tilde{c}_\pi)$. Dit fungeert als een "perturbatie-retentie kanaal", dat de gedeelde informatie tussen de schone en de geperturbeerde output meet.

Theoretisch Kader
De kern van de theoretische bijdrage is Theorem 1, die een bovengrens vaststelt voor de som van deze twee hoeveelheden:
$$Cap + Sec \leq H(c^*) + I(p; \tilde{p})$$
Hier is $H(c^*)$ de entropie van de canonieke oplossing (taakentropie) en is $I(p; \tilde{p})$ de wederzijdse informatie tussen de originele en de geperturbeerde prompts (prompt-lekken). Het bewijs steunt op standaard informatietheoretische ongelijkheden:

• $Cap \leq H(c^*)$ volgt uit de definitie van wederzijdse informatie.
• $Sec \leq I(p; \tilde{p})$ volgt uit de Data Processing Inequality (DPI), uitgaande van de conditionele onafhankelijkheid van de generaties $c_\pi$ en $\tilde{c}_\pi$ gegeven het paar prompts $(p, \tilde{p})$.

Om de bovengrens hanteerbaar te maken zonder toegang te hebben tot de interne trainingsdata van het model, leiden de auteurs Theorem 2 af, een gesloten, model-agnostische begeleidende bovengrens voor $H(c^*)$. Deze bovengrens maakt gebruik van de compressibiliteit van broncode:
$$H(c^*) \leq \min(L_{max} \log V, |c^*|_{gz})$$
waarbij $L_{max}$ de maximale tokenlengte is, $V$ de vocabulairegrootte, en $|c^*|_{gz}$ de verwachte gzip-gecomprimeerde lengte van de canonieke oplossingen.

Empirische Validatie
De auteurs valideren de Corollary 1 (Embedded-Variable Bound) met behulp van een output-only embedding protocol. Om de vereiste Markov-keten ($z_\pi \to p \to \tilde{p} \to \tilde{z}_\pi$) te behouden, wordt de embedding $E$ alleen toegepast op de gegenereerde code, exclusief de promptcontext.

• Modellen & Datasets: Experimenten werden uitgevoerd op CodeLlama-7B en Qwen2.5-Coder-7B op HumanEval en MBPP-gesaniteerde datasets.
• Estimators: Wederzijdse informatie werd geschat met behulp van MINE (Mutual Information Neural Estimation) en KSG (Kraskov-Stögbauer-Grassberger) estimators op de last-token hidden states (gereduceerd via PCA).
• Perturbaties: Een pool van 23 perturbaties werd gebruikt, inclusief synoniemwisselingen, negatie, commentaarinjectie (inclusief security-anti comments) en het hernoemen van identifiers.

Belangrijkste Resultaten

1. Naleving van de bovengrens: Over zes individuele validatieconfiguraties (variërend in modellen, datasets, precisie en embedding-ablaties) voldeed de embedded check aan de ongelijkheid. De saturatieratio $(Cap + \max_T Sec) / (H(z^*) + \max_T I(p; \tilde{p}))$ varieerde van 0,27 tot 0,92, met positieve theorem slack (2,36 tot 26,94 nats).
2. Stabiliteit: Een stabiliteitsdiagnostiek met drie seeds toonde een gemiddelde saturatie van 0,87.
3. Stress-tests: Adaptieve stress-tests, waaronder een pool van 23 perturbaties, een vaste universele security-anti suffix, en een gradiënt-gebaseerde PGD-aanval, resulteerden allemaal in positieve slack, wat bevestigt dat de bovengrens standhoudt zelfs onder agressieve perturbatiestrategieën.
4. Per-probleem signaal: Hoewel de theoretische bovengrens gebruikmaakt van output-only embeddings, werd een aparte context-mixed embedding cosine (geconditioneerd op zowel de prompt als de code) gevonden die correleert met de executie-niveau pass@1 (bijv. $\rho=0,36$ voor CodeLlama-HumanEval), wat dient als een praktisch alignment-signaal dat onderscheidend is van de beveiligingsbovengrens.
5. Lek-analyse: De studie identificeerde dat het hernoemen van identifiers en synoniemsubstitutie de grootste gedeelde-informatie plafonds achterlaten (hoge $I(p; \tilde{p})$), terwijl security-anti comments minder promptinformatie lekken maar gevaarlijker zijn voor de veiligheid.

Betekenis en Claims
Het artikel claimt een kwantitatief, informatietheoretisch budget te bieden voor de stabiliteit van codegeneratie. De betekenis ligt in:

• Decompositie: Het scheiden van de "budget" in taakentropie en prompt-lekken, waardoor ontwikkelaars kunnen begrijpen dat het verminderen van prompt-lekken ($I(p; \tilde{p})$) het maximale kanaal beschikbaar voor een aanvaller beperkt zonder noodzakelijkerwijs de functionele capaciteit te vergroten.
• Model-Agnostische Plafond: De closed-form bovengrens op $H(c^*)$ maakt het mogelijk om een beveiligingsplafond te berekenen voor elk nieuw model op een bekende taakset zonder toegang tot het model of de trainingsdata te vereisen, waarbij enkel vertrouwd wordt op de tokenizer en de distributie van de canonieke oplossingen.
• Praktische Guardrails: De auteurs stellen dat de guardrails van programmeerassistenten niet alleen geëvalueerd moeten worden op basis van pass@1, maar op basis van de informatie die zij overlaten voor een aanvaller via prompt-perturbatie. De bovengrens biedt een test voor prompt-hardening: het reduceren van $I(p; \tilde{p})$ zou het beveiligingsbudget moeten verkleinen.

De auteurs blijven bescheiden en merken op dat de bijdrage de instantiatie van deze concepten voor codegeneratie is (het definiëren van het budget en de closed-form plafond) in plaats van een nieuwe dataverwerkingsstelling. Ze erkennen beperkingen, waaronder de gevoeligheid van MI-estimators (waarbij MINE nabij grenzen kan overschatten) en het feit dat de bovengrens de beschikbare stabiliteitsbudget karakteriseert in plaats van te bewijzen dat realistische aanvallers deze altijd zullen verzadigen.