Symmetry Defeats Auditing

Technische Samenvatting: Symmetrie Verslaat Auditie

Probleemstelling
Het artikel behandelt de kwetsbaarheid van "Introspection Adapters" (IA), een techniek voorgesteld door Shenoy et al. [9] die is ontworpen om kwaadaardige fine-tuning in Large Language Models (LLMs) te detecteren. Het IA-paradigma maakt gebruik van een specifieke LoRA-adapter die via Direct Preference Optimization (DPO) is getraind om geïmplanteerde gedragingen te verwoorden (bijvoorbeeld een model dat de risico's van een gaslek bagatelliseert). De kernzorg is dat een adversary een kwaadaardige specialisatie in een model kan smokkelen, waarbij de IA dit niet zou detecteren. De auteurs tonen aan dat dit detectiemechanisme fundamenteel fragiel is vanwege wiskundige symmetrieën die inherent zijn aan LLM-architecturen.

Methodologie
De auteurs stellen een aanval voor waarbij een adversary, die de modelgewichten controleert voordat de LoRA-adapter van de auditor wordt ingezet, een gedragsbehoudende lineaire transformatie toepast op de interne gewichten van het model. Deze transformatie maakt de daaropvolgende adapter van de auditor ineffective. De aanval maakt gebruik van twee specifieke symmetrieën die in transformer-architecturen worden aangetroffen:

1. Attention $W_V/W_O$-Symmetrie: Bij grouped-query attention-mechanismen (gebruikt in Llama- en Qwen-modellen) omvat de output van het attention-mechanisme de waardenmatrix ($W_V$) en de output-projectiematrix ($W_O$). De auteurs tonen aan dat voor elke inverteerbare matrix $G$ de transformatie $W_V \to W_V G$ en $W_O \to G^{-1} W_O$ de output van het model onveranderd laat. Als een adversary deze transformatie toepast op het basismodel, wordt elke LoRA-adapter die daarna wordt geïnstalleerd (zoals de IA) effectief rechts vermenigvuldigd met $G^{-1}$. Dit verandert de functionele impact van de adapter en neutraliseert het vermogen om het kwaadaardige gedrag te detecteren. De adversary steekt Haar-random orthogonale matrices voor de waardenruimte van elke attention-head om deze transformatie uit te voeren.
2. MLP-permutatiesymmetrie: De Multi-Layer Perceptron (MLP)-blokken in modellen zoals Llama en Qwen3 vertonen permutatiesymmetrie. Door een permutatiematrix $P$ toe te passen op de gate- en up-projectiegewichten ($W_{gate}, W_{up}$) en zijn inverse $P^{-1}$ op de down-projectiegewichten ($W_{down}$), blijft de output van de laag identiek. Als een adversary deze gewichten permuteren voordat de IA wordt geïnstalleerd, worden de LoRA-adapters van de IA effectief getransformeerd (bijvoorbeeld $C_{gate} \to C_{gate}P^{-1}$), waardoor ze functioneel inert worden met betrekking tot de detectie van het specifieke kwaadaardige gedrag.

De aanval is computatieel goedkoop en vereist ongeveer 5 CPU-minuten op een checkpoint van 70B parameters.

Belangrijkste Bijdragen

• Demonstratie van Kwetsbaarheid: Het artikel biedt de eerste concrete demonstratie dat Introspection Adapters volledig kunnen worden omzeild door eenvoudige, gedragsbehoudende symmetrieën toe te passen op de modelgewichten.
• Aanvalvarianten: De auteurs definiëren en implementeren twee verschillende aanvalsrichtingen: de "Attention $W_V/W_O$-Symmetrie"-aanval en de "MLP-permute"-aanval.
• Generaliseerbaarheid: De auteurs betogen dat deze klasse van symmetrie-aanvallen niet beperkt is tot IAs, maar waarschijnlijk elke auditietool verslaat die vertrouwen op het inspecteren van interne toestanden van een model of projecties in de gewichtenruimte (bijvoorbeeld Safe LoRA [6]), mits de adversary toegang heeft tot de modelgewichten tussen kalibratie en implementatie.

Resultaten
De auteurs evalueerden de aanval op zeven gepubliceerde kwaadaardige fine-tunes van Shenoy et al. [9] met behulp van een Llama-3.3-70B-Instruct basismodel.

• Ontduiking van Detectie: In alle zeven gevallen verlaagde de beste beschikbare aanval het detectiepercentage van de IA van een basislijn van 100% naar 0–20%.
• Behoud van Gedrag: Cruciaal blijft het kwaadaardige gedrag van de gefine-tunte modellen intact en waarneembaar; de aanval beïnvloedde alleen het vermogen van de auditor om dit te detecteren.
• Efficiëntie van de Aanval: De MLP-permute-aanval alleen was voldoende om de IA te verslaan voor drie van de adapters. Voor de anderen was het combineren van de MLP-aanval met de Attention $W_V/W_O$-aanval noodzakelijk.
• Kosten: Het volledige aanvalsproces duurde ongeveer één uur op twee NVIDIA A100 GPU's en kostte ongeveer $3 aan rekenkracht.

Betekenis en Beweringen
Het artikel beweert dat het vermogen om modelgewichten te controleren fundamenteel de effectiviteit van auditietools in de gewichtenruimte ondermijnt. De auteurs concluderen dat als een adversary op enig moment tussen de kalibratie van de proef van de auditor en de implementatie van de proef toegang heeft tot het model, ze de audit structureel kunnen verslaan door de "neuronindices" waarop de auditor vertrouwen, te verplaatsen.

De auteurs stellen expliciet dat hun bijdrage niet de ontdekking van de symmetrieën zelf is (die standaard zijn in mechanistische interpretabiliteit [3]), maar de observatie dat LoRA-gebaseerde auditors niet invariant zijn voor deze symmetrieën en dat deze niet-invariantie "goedkoop exploiteerbaar" is. Ze waarschuwen dat veel bestaande auditietechnieken in realistische implementatiescenario's waarbij de adversary de gewichten controleert, "grotendeels ineffectief" kunnen zijn. Het artikel stelt geen nieuwe auditietools of toekomstige trainingsmethoden (zoals symmetrie-robuste IAs) voor als directe oplossingen, maar noemt deze als richtingen voor toekomstig werk.