Technische Samenvatting: Een Stap Zijwaarts: Waarom Verdedigingen Tegen Kwaadaardige Finetuning Falen onder Adaptieve Adversaries

1. Probleemstelling

De release van foundationmodellen met open gewichten en de beschikbaarheid van fine-tuning-API's hebben een kritieke kwetsbaarheid voor de veiligheid na de release gecreëerd. Hoewel modellen doorgaans voor de release veiligheidsafstemming ondergaan, kunnen gebruikers deze afstemmingen nadien overschrijven via op gradiënten gebaseerde optimalisatie. Recent onderzoek heeft diverse verdedigingen tegen Kwaadaardige Finetuning (MFT) voorgesteld, met als doel afgestemde modellen robuust te maken tegen pogingen om schadelijk gedrag te herstellen.

Echter, identificeert het artikel een fundamenteel gebrek in de evaluatie van deze verdedigingen: ze worden voornamelijk getest tegen vaste, niet-adaptieve adversaries. Deze standaardevaluaties gaan ervan uit dat de aanvaller uitsluitend optimaliseert voor schadelijkheid ($L_h$) met behulp van een voorgeschreven dataset, optimizer en hyperparameters. Deze aanpak negeert de centrale les van adversarial machine learning: verdedigingen moeten worden geëvalueerd tegen adaptieve adversaries die het verdedigingsmechanisme kennen en hun aanvalsstrategie specifiek optimaliseren om het te omzeilen. De auteurs betogen dat huidige claims over robuustheid onvolledig zijn omdat ze geen rekening houden met een aanvaller die de data, optimizer en verliesfunctie kan kiezen om de specifieke verdediging te counteren.

2. Methodologie en Systematisering

2.1 Taxonomie van Verdedigingen

De auteurs systematiseren 15 recente MFT-verdedigingen (waaronder Vaccine, Booster, CTRAP en TAR) en categoriseren ze in twee primaire strategieën, die samenvallen tot vier onderliggende verliestemplates:

1. Strategie A: Ankeren

   • Doel: Voorkomen dat de modelparameters ($\theta_{def}$) bewegen naar een schadelijk gebied. De verdediging vormt het lokale verlieslandschap zodanig dat het afdalen van het schadelijke verlies ($L_h$) geen vooruitgang oplevert (bijvoorbeeld: gradiënten zijn nul, gerandomiseerd, of wijzen weg van het doel).
   • Templates:
     • Robuust-afstemmingbekken (T1): Vlakkt of randomiseert het landschap rond $\theta_{def}$ (bijvoorbeeld: Vaccine, RepNoise).
     • Verwijdering van schadelijke informatie (T2): Zuivert interne representaties van schadelijke informatie zodat $\nabla L_h$ geen signaal heeft (bijvoorbeeld: RepNoise, KT-IPA).
     • Vooruitkijkende verdediging (T3): Simuleert de trajectorie van een aanvaller en straft vooruitgang langs dit traject af (bijvoorbeeld: MLAC, TAR).

2. Strategie B: Zelfvernietiging

   • Doel: Toestaan dat het model afdalt naar schadelijk gedrag, maar waarborgen dat dit zorgt voor een ineenstorting van algemene capaciteiten ($L_c$). Het herstelde model wordt schadelijk maar nutteloos.
   • Templates:
     • Vooruitkijken met ineenstorting (T3): Simuleert een schadelijke stap en dwingt het eindpunt om te falen op onschadelijke taken (bijvoorbeeld: CTRAP).
     • Koppelval (T4): Koppelt expliciet de richting van schadelijke verbetering aan de degradatie van onschadelijk nut (bijvoorbeeld: SEAM, SDD).

2.2 De Gedeelde Kwetsbaarheid

De analyse onthult een gemeenschappelijke nalatigheid: al deze verdedigingen gaan ervan uit dat de aanvaller alleen optimaliseert voor $L_h$. Ze houden geen rekening met het feit dat een succesvolle MFT-aanval vereist dat een gezamenlijke voorwaarde wordt vervuld: het model moet schadelijke inhoud uitzenden terwijl het algemene nut (coherentie, instructie-opvolging) behoudt.

2.3 Voorgestelde Adaptieve Aanvallen

De auteurs introduceren twee adaptieve aanvallen die deze gedeelde kwetsbaarheid exploiteren:

1. SIDESTEPPER (Gemengde-Doel Aanval):

   • Mechanisme: In plaats van uitsluitend te optimaliseren voor $L_h$, optimaliseert de aanvaller een gecombineerd doel: $L_{atk} = L_h + \lambda L_c$.
   • Logica: Door de capaciteitsverlies ($L_c$) als een positieve term in het doel op te nemen, gebruikt de aanvaller het "ontsnappingssignaal" dat wordt geboden door de eigen eis van de verdediging om nut te behouden. Dit leidt de optimizer uit de lokale "vallen" (ankerbekkens of zelfvernietigende gebieden) die door de verdediging zijn gecreëerd, en vindt een pad naar parameters die zowel schadelijk als nuttig zijn.

2. KICK-SETTLE (Trajectorie-Aanval):

   • Mechanisme: Deze aanval houdt het doel als $L_h$ maar verandert het optimalisatieschema. Het begint met een zeer hoge leersnelheid ("kick") om parameters uit het lokale gebied te duwen dat wordt gecontroleerd door de verdediging, en daalt vervolgens naar een standaard snelheid ("settle") om te convergeren naar een schadelijke-en-nuttige oplossing.
   • Logica: Dit exploiteert de localiteit van de verdedigingen. De meeste verdedigingen beperken het verlieslandschap alleen in de directe omgeving van $\theta_{def}$ of langs een specifieke gesimuleerde trajectorie. Een grote "kick" ontsnapt aan deze lokale beperking.

3. Experimentele Resultaten

De auteurs evalueerden deze adaptieve aanvallen tegen 6 representatieve verdedigingen (Booster, CTRAP, VAA, Vaccine, Unlearn-Smooth, SDD) over drie modelruggengraten (Llama-2-7B, Qwen3-8B, Llama-3.1-8B).

• SIDESTEPPER Prestaties: De gemengde-doelaanval slaagde erin alle geëvalueerde verdedigingen te breken.
  • Schadelijk Herstel: De schadelijkheidsscore (BeaverTails) nam aanzienlijk toe over alle modellen en verdedigingen, met verschillen variërend van +0,200 tot +0,738. In veel gevallen herstelden verdedigingen ongeveer 0,7 punten schadelijk gedrag.
  • Behoud van Capaciteiten: Cruciaal behield de aanval het onschadelijke nut. De verandering in capaciteitsbenchmarks (MMLU, TruthfulQA, HellaSwag, ARC-Easy) bleef dicht bij nul (meestal tussen -0,018 en +0,065), wat aangeeft dat de modellen coherent en nuttig bleven.
• KICK-SETTLE Prestaties: Deze aanval omzeilde ook succesvol de SDD-verdediging, wat bevestigt dat de kwetsbaarheid niet uniek is voor de gemengde-doelaanpak, maar voortkomt uit de localiteit van de verdedigingsmechanismen.
• Vergelijking met Naïeve Aanvallen: Bij evaluatie tegen de originele "naïeve" aanvallen (uitsluitend optimaliseren voor $L_h$) die in de verdedigingsartikelen werden gebruikt, leken veel verdedigingen robuust. Echter, onder de adaptieve aanval faalden deze verdedigingen volledig.

4. Belangrijkste Bijdragen

1. Systematisering van Verdedigingen: Het artikel comprimeert 15 diverse MFT-verdedigingen tot twee strategieën (Ankeren en Zelfvernietiging) en vier verliestemplates, en onthult dat het veld is geconvergeerd naar een kleine set ideeën zonder hun gedeelde beperkingen te herkennen.
2. Definitie van Adaptieve Adversary voor MFT: De auteurs definiëren formeel het dreigingsmodel na de release waarbij een aanvaller hun data, optimizer en doel aanpast aan de verdediging. Ze tonen aan dat het veld dit dreigingsmodel impliciet heeft vermeden.
3. Effectieve Adaptieve Aanvallen: Het artikel stelt SIDESTEPPER en KICK-SETTLE voor, twee eenvoudige maar uiterst effectieve aanvallen die elke geëvalueerde verdediging verslaan, ongeacht het onderliggende mechanisme.
4. Evaluatie Benchmark: De auteurs bieden een concrete test (minimaliseren van $L_h + \lambda L_c$) die toekomstig werk moet gebruiken om de veiligheid van voorgestelde MFT-verdedigingen te valideren.

5. Betekenis en Claims

Het artikel beweert dat huidige robuustheidsclaims voor MFT-verdedigingen onvolledig en misleidend zijn. Het falen is niet toe te schrijven aan een specifiek ontwerpfout in een enkele verdediging, maar eerder aan een gedeelde aanname dat aanvallen uitsluitend zullen optimaliseren voor schadelijk herstel.

• De Kerninzicht: Verdedigingen die louter "toegang" tot schadelijke capaciteiten "vergrendelen" (door het lokale landschap te vormen of nutverlies te koppelen), kunnen worden ontgrendeld door een adaptieve aanvaller die zoekt naar een nabijgelegen model dat algemene capaciteit behoudt.
• Het Oncomfortabele Open Probleem: De auteurs vermoeden dat zolang het uitgebrachte model de beoogde schadelijke capaciteit bevat, verdedigingen die alleen het pad ernaar toe blokkeren, fundamenteel ontoereikend kunnen zijn. Ware duurzaamheid zou de daadwerkelijke verwijdering van de capaciteit vereisen, een taak die momenteel bekend staat om aanzienlijke nutskosten met zich mee te brengen en kwetsbaar te blijven voor herlearning.
• Praktische Leer: Het artikel stelt dat robuustheid tegen alleen $L_h$-finetuning geen bewijs is van robuustheid tegen kwaadaardige finetuning. Elke toekomstige verdediging moet worden geëvalueerd tegen een adaptieve aanvaller die het gezamenlijke doel minimaliseert ($L_h + \lambda L_c$) om als veilig te worden beschouwd.

Het werk concludeert dat de gemeenschap geen betrouwbare benchmark mist voor het testen van verdedigingen onder een zinvol dreigingsmodel na de release en dat de voorgestelde adaptieve adversary dient als een noodzakelijke stress-test voor toekomstig onderzoek.