Technische Samenvatting: Door Optimalisatie Geactiveerde Backdoor-aanvallen op LLM's

1. Probleemstelling

Het artikel behandelt een eerder over het hoofd geziene beveiligingskwetsbaarheid in de implementatiepijplijn van Large Language Models (LLM's): door optimalisatie geactiveerde backdoors. Hoewel inferentie-optimalisatietechnieken, met name modelcompilatie (bijv. torch.compile), standaard zijn voor het schalen van LLM's, rusten ze op de aanname dat compilatie semantische equivalentie behoudt, waarbij eventuele resterende numerieke verschillen worden behandeld als onschadelijke floating-point-artefacten.

De auteurs daag deze aanname uit en tonen aan dat de minute numerieke discrepanties die door compilers worden geïntroduceerd – voortkomend uit operatorfusie, kernel-planning en floating-point-herassociatie – bewust kunnen worden gewapend. In tegenstelling tot traditionele backdoors die worden geactiveerd via specifieke invoerpatronen (triggers) of manipulatie van de gewichten, worden deze aanvallen uitsluitend geactiveerd door de handeling van compilatie. Een model kan zich onschuldig gedragen onder standaard "eager"-executie (waardoor het veiligheidsaudits en red-teaming doorstaat), maar kwaadaardige output genereren wanneer het voor productiedeploy is gecompileerd. Dit creëert een sluwe aanvalsvlakte waar de uitvoeringsomgeving zelf fungeert als trigger.

2. Methodologie

De auteurs stellen een unificerend aanvalsraamwerk voor dat twee complementaire strategieën omvat, ontworpen om de numerieke fragiliteit van gecompileerde uitvoering te exploiteren zonder de compiler, hardware of inferentiepijplijn te wijzigen. Beide strategieën behelzen het wijzigen van modelgewichten (bijv. via LoRA-adapters) om het model in een regime te dwingen dat gevoelig is voor door de compiler geïntroduceerde verstoringen.

A. Aanval I: Invoerspecifieke Grensvorming (ISBS)

• Doel: Een backdoor zonder trigger creëren voor specifieke, vooraf gedefinieerde invoer.
• Mechanisme: De aanvaller gebruikt lichtgewicht LoRA-gebaseerde parameterbewerking om de logit-verdeling van een doelinvoer naar de beslissingsgrens te duwen.
• Proces:
  1. Optimaliseer LoRA-parameters onder eager-executie om de kloof tussen de logit van het correcte token en de logit van een kwaadaardig token te minimaliseren.
  2. Dit positioneert de invoer op een "compilatiegevoelige" grens waar de door de compiler geïntroduceerde kleine numerieke afwijking voldoende is om de arg max-voorspelling om te draaien.
• Bereik: Gericht; vereist aparte optimalisatie voor elke specifieke invoer.

B. Aanval II: Door Compilatie Geactiveerde Backdoor (CTB)

• Doel: Een universele backdoor creëren die bij willekeurige invoer wordt geactiveerd wanneer deze is gecompileerd.
• Mechanisme: Deze strategie werkt op activatieniveau, gebruikmakend van een continue trigger-token en een gekalibreerde bias-term.
• Proces (Drie Fasen):
  1. Divergentieprofiel en Trigger-optimalisatie: Identificeer een "kritieke laag" en specifieke dimensies die de maximale numerieke divergentie vertonen tussen eager- en gecompileerde uitvoering. Optimaliseer een continue trigger-embedding om in deze dimensies onder eager-executie sterk gegroepeerde activaties te produceren.
  2. Meerdimensionale Bias-construktie: Injecteer een bias-term die het gemiddelde van deze gegroepeerde activaties aftrekt. Onder eager-executie collapseert dit de activaties tot bijna nul (onderdrukt door niet-lineariteiten zoals SiLU). Onder gecompileerde uitvoering verplaatsen systematische numerieke verschuivingen deze activaties van nul, waardoor een niet-nul residu ontstaat.
  3. Divergentie-geconditioneerde Fine-tuning: Pas de bovenste lagen van het model fijn af om dit residu (alleen aanwezig in gecompileerde modus met de trigger) te mappen naar een kwaadaardige output, terwijl het correcte gedrag behouden blijft voor schone invoer en getriggerte invoer in eager-modus.

3. Belangrijkste Bijdragen

1. Nieuwe Aanvalsvlakte: Het artikel is het eerste dat inferentiecompilatie identificeert en definieert als een distincte aanvalsvlakte voor LLM's, en introduceert het concept van door optimalisatie geactiveerde backdoors.
2. Unificerend Raamwerk: Het stelt een raamwerk voor (ISBS en CTB) dat generaliseert over meerdere compilatiebackends (Inductor, CUDAGraphs) zonder aanpassingen aan de compiler of hardware te vereisen.
3. Causale Analyse en Defensie: De auteurs voeren een causale analyse uit om de bron van kwetsbaarheden te lokaliseren (voornamelijk Feed-Forward Network-blokken) en evalueren systematisch vier praktische verdedigingen: Invoerverstoring, Variatie in Batchgrootte, Precisie-wijziging en Aanvullende Fine-tuning.

4. Experimentele Resultaten

Het raamwerk werd geëvalueerd op vier mainstream open-source LLM's (Llama-3.2-1B/3B, Qwen2.5-1.5B/3B) over vier diverse taken: Agent-toolselectie, Veiligheid voor Embodied AI, Medische QA en Sentimentclassificatie (SST).

• Aanvalsuccespercentage (ASR):
  • Onder de Inductor-backend bereikte de CTB-aanval een gemiddeld ASR van ~90%, met pieken van 100% op verschillende model-taakcombinaties.
  • Onder CUDAGraphs was het ASR gemiddeld ~74%, met enige variabiliteit door backend-specifieke kernel-fusiepatronen.
• Stilte en Nut:
  • Schone Nauwkeurigheid: Behouden op bijna 100% onder zowel eager- als gecompileerde uitvoering voor schone invoer.
  • Stilte: Getriggerte invoer behield een hoge nauwkeurigheid (doorstaan van veiligheidsinspecties) onder eager-executie (bijv. gemiddeld 93,3% voor Inductor), waardoor de backdoor onopgemerkt blijft tijdens standaard pre-deploy-audits.
• Overdraagbaarheid: Aanvallen geoptimaliseerd op Inductor toonden gedeeltelijke overdraagbaarheid naar CUDAGraphs, hoewel de prestaties varieerden per modelarchitectuur (Qwen-modellen generaliseerden beter dan Llama-modellen in cross-backend-tests).

5. Betekenis en Beweringen

Het artikel beweert dat de intersectie van optimalisatie en beveiliging een kritieke, eerder genegeerde kwetsbaarheid in het LLM-ecosysteem vertegenwoordigt.

• Real-world Impact: De auteurs betogen dat deze aanvallen bijzonder gevaarlijk zijn in hoog-risicodomeinen waar sterk wordt vertrouwd op compilatie voor prestaties, zoals medische besluitvorming, robotbesturing en agent-workflows. Subtiele outputveranderingen kunnen leiden tot klinische, economische of fysieke schade.
• Beperkingen van Huidige Verdedigingen: Bestaand beveiligingsonderzoek richt zich op inputtriggers of vergiftiging van gewichten. Het artikel benadrukt dat standaard veiligheidsevaluaties (uitgevoerd zonder compilatie) ontoereikend zijn om deze bedreigingen op te sporen, aangezien het kwaadaardige gedrag afhankelijk is van de deploy-omgeving.
• Oproep tot Actie: De auteurs concluderen dat de optimalisatiestack moet worden behandeld als onderdeel van de beveiligingsperimeter van LLM's. Zij pleiten voor het uitbreiden van beveiligingsevaluaties om de volledige inferentie-optimalisatiepijplijn te omvatten en suggereren dat lichtgewicht fine-tuning en dual-kernel-validatie (vergelijking van eager- versus gecompileerde output) praktische mitigatiestrategieën zijn.

Het werk claimt niet alle LLM's universeel te breken, maar demonstreert dat de "onschadelijke" numerieke neveneffecten van moderne compilers systematisch kunnen worden ingenieerd tot betrouwbare, controleerbare triggers voor kwaadaardig gedrag.