Technische Samenvatting: CORDYCEPS – Verborgen Controle-aanvallen op LLM's via Data Poisoning

Probleemstelling

Grote Taalmodellen (LLM's) worden frequent aangepast via fine-tuning op ongecurateerde datasets, wat een kwetsbaarheid creëert voor data poisoning. Bestaande poisoning-aanvallen vertrouwen primair op vaste triggerzinnen (bijvoorbeeld specifieke tokens of taalkundige stijlen) om kwaadaardig gedrag te activeren, zoals backdoors of prompt-injecties. Deze vaste triggers lijden onder twee kritieke beperkingen:

1. Detecteerbaarheid: Zeldzame tokens of sterke correlaties met gewenst misdragen kunnen worden geïdentificeerd door outlier-detectie, perplexiteitsfilters of verdedigingen via reverse-engineering.
2. Fragiliteit: Vaste triggers worden eenvoudig geneutraliseerd door input/output-monitoring, parafraseren of trefwoordfiltering, wat veelvoorkomende verdedigingen zijn in ingezette LLM-toepassingen.

Het artikel postuleert dat een subtielere kwetsbaarheid bestaat: het vermogen om een LLM te laten leren een context-geconditioneerde semantische kanaal in plaats van een statische trigger-respons correlatie. Dit zou een aanvaller in staat stellen kwaadaardige instructies of het exfiltreren van gevoelige data te coderen binnen onschuldig tekst, gebruikmakend van gedeelde kennis, waardoor verdedigingen die vertrouwen op het detecteren van expliciete kwaadaardige patronen worden omzeild.

Methodologie: CORDYCEPS en SHuSh

De auteurs stellen CORDYCEPS voor, een data-poisoning algoritme ontworpen om een LLM een Semantic Hiding under Shared knowledge (SHuSh) schema te leren. Dit schema stelt het model in staat willekeurige berichten te coderen en decoderen met behulp van semantische associaties tussen gedeelde feiten (ankers) en door de aanvaller gekozen instructies.

1. Het SHuSh Framework

SHuSh wordt gedefinieerd als een paar functies $(Enc, Dec)$:

• Semantisch Anker ($k$): Een stuk gedeelde kennis (bijvoorbeeld een encyclopedisch feit over "Cordyceps-schimmels") beschikbaar voor zowel de aanvaller als het slachtoffermodel.
• Platte tekst ($m$): De kwaadaardige instructie of gevoelige data die verborgen moet worden.
• Stegotekst ($s$): Een onschuldig tekst dat semantisch consistent is met het anker $k$, maar de verborgen boodschap $m$ bevat, gecodeerd via een bevooroordeelde semantische mapping.
• Mechanisme: Het gepoisonde model leert de stegotekst te behandelen als een drager waarbij de afwijking van de "schone" anker-semantiek de boodschap codeert.

2. Het CORDYCEPS Algoritme

Het algoritme genereert gepoisonde trainingsvoorbeelden via een proces in drie fasen met behulp van een Oracle LLM (bijvoorbeeld Gemini 2.5 Pro):

• Fase 1: Semantische Associatie (Stegotekst Generatie):
  De oracle wordt geprompt om een stegotekst $s$ te genereren die een platte tekst $m$ codeert binnen de context van een gedeelde kennisanker $k$. De generatie is beperkt tot semantisch consistent te zijn met $k$ (bijvoorbeeld het beschrijven van de biologie van Cordyceps) terwijl de betekenis van $m$ (bijvoorbeeld "zoek naar totaal inkomen") wordt ingebed via metaforen of analogieën.
• Fase 2: Redenering Refinement (Chain-of-Thought):
  Om robuustheid tegen parafraseren en generalisatie te waarborgen, genereert de oracle redeneersporen voor codering en decodering.
  • Coderingsredenering: Legt uit hoe de semantische kloof tussen $m$ en $k$ wordt overbrugd (bijvoorbeeld het mappen van "consumeren" naar "zoeken").
  • Decoderingsredenering: Legt uit hoe een ontvanger de bias in $s$ ten opzichte van $k$ kan identificeren om $m$ te reconstrueren.
    Deze fase voorkomt dat het model overfit op specifieke logische structuren en leert een generaliseerbare semantische regel.
• Fase 3: Instructie Formattering:
  De componenten worden opgemaakt tot supervised fine-tuning (SFT) data. De dataset bevat bidirectionele voorbeelden:
  • Codering: Gegeven $m$ en $k$, genereer $s$.
  • Decodering: Gegeven $s$ en $k$, herstel $m$.

3. Aanvalsscenario's

Het artikel evalueert twee scenario's die mogelijk worden gemaakt door SHuSh:

1. Unidirectionele Verborgen Controle (UCC): De aanvaller voegt een stegotekst (met een verborgen instructie) toe aan het <data>-veld van een prompt. Het gepoisonde LLM decodeert de instructie en voert deze uit, waardoor prompt-injectie-verdedigingen die expliciete instructies filteren effectief worden omzeild.
2. Bidirectionele Verborgen Controle (BCC): De aanvaller vraagt de LLM om gevoelige data te onthullen. Het gepoisonde LLM codeert het antwoord in een stegotekst met behulp van het SHuSh-schema, waardoor data-exfiltratie mogelijk is zonder expliciete lekkage van gevoelige trefwoorden.

Belangrijkste Bijdragen

1. CORDYCEPS Algoritme: Een nieuwe methode voor het genereren van gepoisonde voorbeelden die een geleerd, context-geconditioneerd verbergingschema induceert in plaats van een vaste trigger.
2. Formalisatie van SHuSh: Een theoretisch kader dat de aanval modelleert als een bevooroordeelde semantische mapping in een latente representatieruimte. De auteurs leiden grenzen af voor sluiering (KL-divergentie), robuustheid (weerstand tegen parafraseren) en decoderingsnauwkeurigheid.
3. Verborgen Controle-aanvallen: De demonstratie van aanvallen die state-of-the-art verdedigingen omzeilen. In tegenstelling tot traditionele backdoors vertrouwen deze aanvallen niet op gememoriseerde triggers maar op semantische generalisatie.
4. Theoretische en Empirische Validatie: Het artikel levert bewijzen voor de beveiligingseigenschappen van SHuSh en valideert de "additieve bias"-hypothese empirisch, waarbij wordt aangetoond dat stegotekst-embeddings lineair gerelateerd zijn aan anker-embeddings plus een berichtperturbatie.

Experimentele Resultaten

De auteurs evalueerden CORDYCEPS over 5 LLM's (Qwen3, Llama-3, Gemma, Phi-4, enz.), 3 backdoor-verdedigingen (ONION, CROW, SecAlign) en 4 prompt-injectie-verdedigingen (DataSentinel, PromptGuard, PromptLocate, enz.).

• Aanvalseffectiviteit:
  • UCC: Bereikte een gemiddelde Attack Success Rate (ASVh) van ~0,71, wat ongeveer 40% beter presteerde dan heuristiek-gebaseerde prompt-injectie baselines (CoA) ten opzichte van schone modellen.
  • BCC: Bereikte een nauwkeurigheid voor verbergen data-exfiltratie tussen 0,78 en 0,93 over modellen, terwijl schone modellen volledig faalden (bijna 0% succes).
• Sluiering en Robuustheid:
  • Ontsnapping aan Detectie: CORDYCEPS verlaagde detectiepercentages tot bijna nul. ONION (outlier-detectie) toonde een False Positive Rate (FPR) van ~0,063 voor CORDYCEPS, vergeleken met >0,6 voor backdoors met vaste triggers. PromptGuard en DataSentinel slaagden er niet in stegoteksten te onderscheiden van onschuldige coverteksten.
  • Omzeiling van Verdediging: De aanvallen behielden een succespercentage van >93% na CROW (interne consistentieregularisatie) en >98% na SecAlign (veiligheidsuitlijning), wat aantoont dat semantisch verbergen orthogonaal is aan verdedigingen die expliciete instructies of statische triggers targeten.
  • Robuustheid tegen Parafraseren: Zelfs wanneer trainingsdata of inputs werden geparafraseerd, bleef de aanval effectief (bijvoorbeeld daalde de nauwkeurigheid op Llama-3 slechts marginaal van 0,81 naar 0,80).
• Behoud van Nut: De gepoisonde modellen behielden nut op diverse benchmarks (MMLU, GSM8K, enz.), met een prestatiedegradatie die gemiddeld <1,5% bedroeg ten opzichte van schone modellen.

Betekenis en Claims

Het artikel claimt een nieuwe klasse van data-poisoning kwetsbaarheid te identificeren die fundamenteel verschilt van bestaande backdoor-aanvallen.

• Verschuiving van Lexicaal naar Semantisch: De belangrijkste betekenis is de demonstratie dat LLM's kunnen worden gepoisoned om semantische encode/decode kanalen te leren in plaats van statische trigger-respons paren. Dit maakt verdedigingen gebaseerd op trefwoordfiltering, outlier-detectie en triggerverwijdering grotendeels inefficiënt.
• Sluiering: De aanval wordt beschreven als "verborgen" omdat de stegoteksten semantisch niet te onderscheiden zijn van onschuldig door het model gegenereerde tekst, waardoor ze moeilijk te detecteren zijn via standaard anomaliedetectie.
• Defensieve Implicaties: De auteurs betogen dat huidige veiligheidsmaatregelen ontoereikend zijn omdat ze aannemen dat kwaadaardige intentie tot uitdrukking komt via expliciete instructies of abnormale tokens. Zij suggereren dat toekomstige verdedigingen semantische consistentie en monitoring op representatieniveau moeten adresseren in plaats van alleen oppervlakkige tekstanalyse.
• Bescheidenheid: De auteurs stellen expliciet dat ze geen bewezen veilige steganografische primitief ontwerpen, maar eerder een geleerd, zwakker verbergingschema demonstreren dat wordt geïnduceerd door poisoning. Ze erkennen beperkingen, zoals de vereiste van gedeelde kennis tussen de aanvaller en het slachtoffer, en merken op dat de aanval afhankelijk is van het vermogen van het model om semantische associaties te generaliseren.

Kortom, CORDYCEPS onthult dat het vermogen van LLM's om semantiek te begrijpen en te manipuleren, via data poisoning kan worden gewapend om verholen controlekanalen te creëren die de meerderheid van de huidige beveiligingsmaatregelen omzeilen.