Technische Samenvatting: Detectie van besmette batches voor codegeneratie-prompts via invloedsfuncties

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet voor codegeneratie, maar ze blijven kwetsbaar voor prompts die onveilige implementaties uitlokken. Bestaande verdedigingsmechanismen, zoals statische analyse (bijv. Bandit, Semgrep) en taint-trackers, vertrouwen op vooraf gedefinieerde dreigingsmodellen of catalogi van bekende kwetsbaarheidspatronen. Deze benaderingen zijn blind voor nieuwe aanvalsvectoren of varianten die buiten hun specifieke catalogi vallen. Bovendien bestaan er wel detectiemethoden voor jailbreaks of prompt-injecties die gericht zijn op het opvolgen van instructies, maar er bestaat momenteel geen betrouwbare methode om prompts te detecteren die specifiek gericht zijn op het uitlokken van misalignment in codegeneratie—gedefinieerd als het introduceren van beveiligingsrelevante zwakheden (conform CWE/OWASP) die een benigne voltooiing van dezelfde taak niet zou bevatten. De kernuitdaging is het detecteren van kwaadaardige prompt-batches zonder voorafgaande kennis van de specifieता specifieke kwetsbaarheidsklasse of aanvallingsmethode.

Methodologie: CodeSIFT

De auteurs stellen CodeSIFT voor, een dreigingsmodel-agnostische detectiemethode die gebruikmaakt van invloedsfuncties om batches prompts te identificeren die een afwijkend modelgedrag induceren. In plaats van de gegenereerde code te analyseren op specifieke kwetsbaarheden, meet CodeSIFT de "invloed in de parameterruimte" van de gegenereerde code om te bepalen of een kandidaat prompt-set afwijkt van een benigne referentieverdeling.

Kernmechanisme

1. Invloedsfuncties (IF's): De methode kwantificeert het effect van een specifiek trainingsvoorbeeld (in dit geval een gegenereerde respons) op de parameters van het model. Het schat hoeveel de parameters van het model zouden verschuiven als een gegeven voorbeeld tijdens de training een hogere weging zou krijgen.

   • Formeel gezien, voor een prompt $z$ en een respons $\hat{z}$, meet de invloedsscore de grootte van de parameterupdate $\|\hat{\theta} - \hat{r}_{\hat{z}, \text{lin}}(\varepsilon)\|_p$, waarbij $\hat{\theta}$ de geconvergeerde parameters zijn en $\hat{r}$ de lineaire responsfunctie die de Proximal Bregman Response Function (PBRF) benadert.
   • De premisse is dat responsen die worden uitgelokt door kwaadaardige prompts (misalignment) een grotere parameterverschuiving vereisen om te accommoderen dan responsen van benigne prompts, omdat ze inconsistent zijn met de benigne trainingsdistributie van het model.

2. Statistische Testen:

   • Het algoritme berekent een Invloedsscore ($IF_{p,\varepsilon}(z)$) voor elke prompt in een kandidaat batch ($D$) en een bekende benigne referentiebatch ($D^*$).
   • Het aggregeert deze scores en voert een Welch's eenzijdige twee-steekproef t-test uit om het gemiddelde van de invloed van de kandidaat batch te vergelijken met de benigne referentie.
   • Hypothese: $H_0$ (Benigne): De kandidaat batch oefent dezelfde gemiddelde invloed in de parameterruimte uit als de benigne referentie. $H_1$ (Kwaadaardig): De kandidaat batch induceert een significant grotere parameterverschuiving.
   • Als de p-waarde onder een significantieniveau $\alpha$ ligt, wordt de batch gemarkeerd als besmet.

3. Computationele Efficiëntie:

   • Om de onhandelbaarheid van het berekenen van de exacte inverse Hessiaan voor grote modellen aan te pakken, gebruikt de auteur een Kronecker-Factored Approximate Curvature (K-FAC) benadering.
   • Er wordt een "éénzijdige vereenvoudiging" toegepast, waarbij alleen de Kronecker-factor die overeenkomt met de verborgen dimensie van de transformer wordt behouden en de grotere MLP-intermediaire dimensiefactor wordt weggelaten.
   • Dichte krommingsfactoren worden vooraf berekend op een aparte kromming-dataset ($D_c$, een subset van The Stack v2) die de pretraining-distributie van het model benadert, waardoor toegang tot de originele trainingsdata niet nodig is.

Belangrijkste Bijdragen

1. Een Nieuw Detectiekader: De voorstel van CodeSIFT, een statistische test voor het detecteren van kwaadaardige code-generatie prompts gebaseerd op invloedsfuncties. In tegen tegenstelling tot eerder werk dat IF's gebruikt voor interpreteerbaarheid of generalisatiestudies, gebruikt dit werk invloed als een geaggregeerde detectiestatistiek die geen aanname doet over het dreigingsmodel.
2. Nieuwe Benchmark Datasets: De constructie van twee nieuwe datasets, AuthSec (authenticatie, autorisatie, sessiebeveiliging) en InfraCloud (infrastructuur, cloud, protocolexploitatie), die elk 200 kwaadaardige prompts en een bijbehorende benigne referentieset bevatten. Deze zijn specifiek ontworpen voor discriminatie op batchniveau in plaats van kwetsbaarheidsscore per voorbeeld.
3. Uitgebreide Evaluatie: Een evaluatie van CodeSIFT tegen drie statische analyse-baselines (Bandit, Semgrep en een aangepaste AST-taint tracker) over drie open-weight code LLM's (3B tot 7B parameters).

Experimentele Resultaten

De auteurs evalueerden CodeSIFT op drie modellen: Granite-3B, DeepSeek-Coder-6.7B, en Qwen2.5-Coder-7B.

• Detectienauwkeurigheid (AUROC):

  • CodeSIFT vertoonde een monotone verbetering in detectienauwkeurigheid naarmate de injectieratio (percentage kwaadaardige prompts in een batch) toenam.
  • Op de AuthSec dataset bereikte de AUROC bijna perfecte scores (nabij de 1.0) bij matige contaminatie (40-50%).
  • Op de meer heterogene InfraCloud dataset piekte de AUROC tussen de 0,88 en 0,98, afhankelijk van het model.
  • In contrast hiermee vertoonden de statische baselines inconsistente prestaties over verschillende modellen. Hoewel Bandit goed presteerde op DeepSeek-Coder, presteerde het nabij toeval op andere modellen. Semgrep en de AST Taint Tracker vielen vaak onder de 0,5 AUROC (anti-gecorreleerd met de werkelijke labels) naarmate de injectieratio toenam.

• Controle van Vals-Positieven:

  • CodeSIFT behield goed gekalibreerde fout-positief ratio's (FPR) over alle modellen en datasets, waarbij het nauw de nominale significantieniveaus $\alpha$ volgde (variërend van 0,01 tot 0,09).
  • Statische baselines vertoonden een inconsistente kalibratie, waarbij ze vaak stapvormige patronen vertoonden vanwege hun binaire per-voorbeeld flagging-natuur.

Betekenis en Claims

Het artikel beweert dat detectie op basis van invloedsfuncties een veelbelovende richting biedt voor het identificeren van kwaadaardige code-generatie prompts zonder voorafgaande kennis van de onderliggende aanvalsklasse te vereisen.

• Dreigingsmodel-agnosticisme: De methode detecteert succesvol misalignment zonder dat kwetsbaarheden vooraf gecatalogiseerd hoeven te worden, wat het tekort aan statische analyse-tools aanpakt die blind zijn voor nieuwe aanvallen.
• Transfereerbaarheid: Het detectiesignaal (parameterruimte-invloed) is overdraagbaar naar verschillende modelarchitecturen (3B tot 7B parameters) en families, terwijl oppervlakkige patroonherkenning (statische analyse) niet consistent generaliseert.
• Effectiviteit op Batchniveau: De aanpak is specifiek effectief in het identificeren van besmette batches van prompts, een cruciale capaciteit voor geautomatiseerde ontwikkelaarswerkstromen waarbij prompts in groepen worden verwerkt.

De auteurs blijven bescheiden over de reikwijdte en merken op dat de huidige evaluatie beperkt is tot Python en specifieke kwetsbaarheidsfamilies, en dat de methode momenteel is ontworpen als een test op batchniveau in plaats van een hulpmiddel voor het lokaliseren van individuele kwaadaardige prompts binnen een batch. Zij suggereren dat de aanpak kan schalen naar grotere modellen (verwijzendend naar eerder werk tot 52B parameters) en kan worden uitgebreid naar andere talen en aanvalsoppervlakken.