Critical-CoT: A Robust Defense Framework against Reasoning-Level Backdoor Attacks in Large Language Models

Probleemstelling: Redeneringsniveau Backdoor-aanvallen

Hoewel Large Language Models (LLM's) indrukwekkende prestaties leveren, zijn ze kwetsbaar voor backdoor-aanvallen. Traditionele methoden werken op token-niveau: een trigger zorgt ervoor dat het model een specifiek woord, een verkeerde meerkeuze-optie of een klasse-label genereert. Deze zijn relatief makkelijk te detecteren omdat de output vaak afwijkt van de verwachte statistische verdeling.

De auteurs identificeren echter een nieuw en gevaarlijker type dreiging: redeneringsniveau backdoor-aanvallen (reasoning-level backdoors).

• Mechanisme: In plaats van alleen de eindoutput te manipuleren, injecteert de aanval kwaadaardige stappen in de Chain-of-Thought (CoT) van het model.
• Karakteristieken: De aanval zorgt ervoor dat het model een logisch ogende, maar foutieve redeneringstap uitvoert (bijv. het juiste antwoord vermenigvuldigen met een willekeurig getal), terwijl de uiteindelijke output consistent blijft met deze vergiftigde redenering.
• Uitdaging: Omdat de vergiftigde redenering semantisch coherent en menselijk lijkt, zijn bestaande verdedigingen (zoals Chain-of-Scrutiny of ONION) ineffectief. Deze methoden zoeken naar tegenstrijdigheden tussen redenering en antwoord, maar bij redeneringsniveau-aanvallen is er juist geen tegenstrijdigheid; de redenering leidt logisch (maar vals) naar het verkeerde antwoord.
• Aanvalstypen: Het paper onderscheidt twee scenario's:
  1. ICL-gebaseerd (In-Context Learning): De aanval wordt geactiveerd via vergiftigde voorbeelden in de prompt.
  2. FT-gebaseerd (Fine-Tuning): De backdoor is ingebakken in de modelparameters door training op een vergiftigde dataset.

Methodologie: Critical-CoT

De auteurs stellen Critical-CoT voor, een verdedigingsframework dat LLM's leert om "kritisch denken" toe te passen om backdoors te herkennen en te weigeren. De aanpak bestaat uit drie hoofdfasen:

1. Constructie van het Defensieve Dataset (CTCoT)

Er wordt een speciaal dataset samengesteld (genaamd CTCoT) dat twee soorten data bevat:

• Vergiftigde voorbeelden: Demonstraties van hoe backdoor-aanvallen eruitzien (met triggers en kwaadaardige redeneringstappen) en hoe het model hierop moet reageren (herkenning en weigering).
• Schone voorbeelden: Normale vraag-antwoordparen om te voorkomen dat het model te voorzichtig wordt (over-cautiousness) en normale vragen als backdoors bestempelt.

Voor ICL-aanvallen wordt een defensieve instructie gebruikt om een hulp-LLM te laten genereren van een reactie waarin de kwaadaardige stap in de demonstratie expliciet wordt geïdentificeerd en genegeerd. Voor FT-aanvallen wordt gefocust op het herkennen van abnormale triggers in de gebruikersvraag zelf.

2. Twee-staps Fijnafstemming (Two-Stage Fine-Tuning)

Het model ondergaat een gefaseerde training:

• Fase 1: Supervised Fine-Tuning (SFT)

  • Het model wordt getraind op de CTCoT-dataset.
  • Doel: Het model leren om expliciete defensieve gedragingen te vertonen: het herkennen van triggers en het weigeren van kwaadaardige redeneringstappen.
  • Probleem: SFT alleen kan leiden tot "over-voorzichtigheid", waarbij het model ook schone vragen als verdacht bestempelt.

• Fase 2: Direct Preference Optimization (DPO)

  • Om de over-voorzichtigheid te corrigeren en de besluitvorming te verfijnen, wordt DPO toegepast.
  • Mechanisme: Het model wordt getraind met voorkeursparen:
    • Voorkeur: Een reactie die de trigger correct herkent en een schone oplossing geeft.
    • Niet-voorkeur: Een reactie die de backdoor accepteert (bij FT) of een schone vraag ten onrechte als backdoor afwijst.
  • Doel: De beslissingsgrens verscherpen tussen schone en vergiftigde inputs, zodat het model alleen reageert op echte dreigingen en zijn normale prestaties behoudt.

Belangrijkste Bijdragen

1. Eerste Unificatie: Critical-CoT is de eerste verdediging die effectief werkt tegen zowel ICL- als FT-gebaseerde redeneringsniveau-backdoor-aanvallen zonder voorafgaande kennis van de trigger of de aanvalsmethode.
2. Kritisch Denkgedrag: Het introduceert het concept van het inbouwen van kritisch denkvermogen in LLM's, waardoor ze proactief triggers en kwaadaardige instructies kunnen detecteren en negeren.
3. Generalisatie: De methode toont sterke generalisatie over verschillende domeinen (bijv. wiskunde vs. commonsense) en taken (open-ended vs. meerkeuze), zelfs wanneer het model getraind is op één type taak en getest wordt op een ander.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op modellen zoals GPT-OSS-20B, LLaMA-2-13B en Qwen3-14B, met datasets zoals GSM8K, MATH en CSQA.

• Detectie en Onderdrukking:
  • BDR (Backdoor Detection Rate): >94% tot 99% voor ICL-aanvallen.
  • TDR (Trigger Detection Rate): >89% tot 98%.
  • ASR (Attack Success Rate): De aanvalssuccesratio daalt van >80% (zonder verdediging) naar minder dan 1% na toepassing van Critical-CoT.
• Behoud van Nut (Utility):
  • Het model behoudt zijn prestaties op schone taken (ACCc) met slechts een minimale daling (1-2%).
  • De Defensive Accuracy (ACCd) op aangevallen inputs stijgt drastisch naar >90% voor sterke modellen, wat betekent dat het model de juiste antwoorden geeft ondanks de aanval.
• Vergelijking met Baselines: Bestaande methoden zoals Chain-of-Scrutiny (CoS), Shuffle en ONION falen bij redeneringsniveau-aanvallen of leiden tot een enorme daling in de prestaties op schone taken. Critical-CoT is de enige methode die zowel hoge beveiliging als hoge nut behoudt.
• Cross-Domein Generalisatie: Het model presteert consistent goed zelfs wanneer het getraind is op wiskundige problemen en getest wordt op commonsense-reasoning, en vice versa.

Betekenis en Conclusie

Critical-CoT biedt een robuuste oplossing voor een van de meest subtielste beveiligingsrisico's in moderne LLM's: het manipuleren van het denkproces in plaats van alleen de output.

• Praktische Toepassing: De methode vereist slechts een eenmalige fine-tuning, wat computatie-efficiënt is en geen extra latentie toevoegt tijdens het gebruik (inference), in tegenstelling tot methoden die complexe prompts vereisen bij elke vraag.
• Toekomstperspectief: Het paper benadrukt dat hoewel de methode zeer effectief is, er nog uitdagingen zijn bij het volledig herstellen van de redeneercapaciteit bij FT-aanvallen (waar de aanval de basisvaardigheden van het model heeft beschadigd). Ook is de verdediging momenteel gericht op expliciete triggers en niet op semantische of contextuele triggers.

Samenvattend stelt Critical-CoT dat LLM's niet alleen moeten "rekenen", maar ook moeten "nadenken" over de integriteit van de instructies die ze ontvangen, waardoor ze weerbaarder worden tegen geavanceerde manipulatie.