Technische Samenvatting: GUNGNIR

Probleemstelling

Diffusiemodellen (DM's) hebben aanzienlijke successen geboekt in beeldgeneratie, maar zijn kwetsbaar voor backdoor-aanvallen. Bestaande aanvallen vertrouwen doorgaans op laagdimensionale, visueel opvallende triggers (bijvoorbeeld specifieke ruispatches, tekstuele prompts of ControlNet-voorwaarden) die gemakkelijk worden gedetecteerd door huidige verdedigingsmechanismen. Deze verdedigingen, zoals triggerinversie en neurale detectie, zijn effectief omdat eerdere aanvallen opereren binnen beperkte invoerruimtes. Het artikel identificeert een gat in het bedreigingslandschap: het potentieel voor backdoor-aanvallen die gebruikmaken van hoogwaardige, waarneembaar ononderscheidbare kenmerken, specifiek de stijlkenmerken van invoerbeelden in beeld-naar-beeldtaken. Huidige methoden worstelen met het detecteren van deze subtiele triggers, en standaard trainingsalgoritmen falen vaak bij het proberen om ruwe beeldkenmerken als triggers te gebruiken vanwege gradiëntinstorting en overfitting.

Methodologie: GUNGNIR

De auteurs stellen GUNGNIR voor, een nieuw backdoor-aanvalkader dat kwaadaardig gedrag in diffusiemodellen activeert door op stijl gebaseerde triggers in invoerbeelden in te bedden. De methode opereert binnen de ruimte van beeld-naar-beeldtaken, waarbij het invoerbeeld zelf dient als triggermechanisme.

Kerncomponenten

1. Stijlgerelateerde Triggers: In tegenstelling tot eerdere methoden die expliciete patches of tekst injecteren, maakt GUNGNIR gebruik van de inherente stijl van een invoerbeeld (bijvoorbeeld de stijl van "De Sterrennacht" van Van Gogh) als trigger. Wanneer een model een beeld ontvangt met deze specifieke stijl, activeert het een verborgen mapping om een doelbeeld te genereren, ongeacht de semantische inhoud van de invoer.
2. Reconstructie-Adversariale Ruis (RAN):
   • Probleem: Het direct gebruiken van invoerbeeldenkenmerken als triggers in standaard backdoor-training veroorzaakt ernstige gradiëntinstorting en overfitting. Het model faalt in het leren van de mapping omdat het doel van ruisvoorspelling conflicteert met het behoud van de stijl.
   • Oplossing: RAN reconstrueert een residuvector $r$ vanuit het ruisbevatte invoerbeeld en het doelbeeld, in plaats van het doelbeeld direct te gebruiken als trainingsdoel. De verliesfunctie wordt verschoven om het verschil te minimaliseren tussen de voorspelling van het model en deze gereconstrueerde adversariale ruis.
   • Mechanisme: Het residu $r$ wordt gedefinieerd als $r = \sqrt{\alpha_t}x_0 + \sqrt{1-\alpha_t}\epsilon - \text{trans}(i_t)$, waarbij $i_t$ de doel-latent is. Dit creëert een mean shift die het model leidt om het doelbeeld te reconstrueren terwijl het de oorspronkelijke verdeling van de vorige tijdstap verwijdert.
3. Korte Tijdstaps-Behoud (STTR):
   • Probleem: Het toepassen van backdoor-injectie over alle tijdstaps ($T$) leidt tot overfitting. Naarmate tijdstaps naar nul gaan, benaderen de latentvariabelen de uiteindelijke beeldverdeling, maar bevatten tussentijdse tijdstaps ambigu semantisch materiaal. Volledige tijdstap-supervisie dwingt het model om triggers te associëren met onstabiele representaties, waardoor het model het doelbeeld genereert ongeacht de invoer (verlies van bruikbaarheid).
   • Oplossing: STTR beperkt de backdoor-injectie tot alleen de eerste $T_b$ stappen van het achterwaartse diffusieproces.
   • Mechanisme: Door het trainingsopzicht te beperken tot een korte, stabiele venster van tijdstaps, behoudt de methode de oorspronkelijke bruikbaarheid van het model voor schone invoer, terwijl ervoor wordt gezorgd dat de trigger effectief is bij activatie. Dit voorkomt de verstrengeling van de triggerrepresentatie met diffusieruis.

Aanvalsvormulering

De aanvalsradius wordt herdefinieerd om de extra voorwaarde-ruimte $A_{cond}$ (prompts, beelden, ControlNet) te omvatten. GUNGNIR richt zich specifiek op de beeldinvoerruimte $A_b = \{images_b\}$. Het trainingsproces omvat het vergiftigen van een klein percentage (5%) van de dataset met paren van trigger-stijlbeelden en doelbeelden, waarbij gebruik wordt gemaakt van RAN en STTR om de modelparameters te optimaliseren.

Belangrijkste Bijdragen

1. Uitbreiding van de Aanvalsinvoerruimte: Het artikel demonstreert voor het eerst dat ruwe stijlkenmerken van invoerbeelden kunnen dienen als effectieve backdoor-triggers in beeld-naar-beeldtaken. Dit verschuift het aanvalsvector van expliciete, laagwaardige perturbaties naar hoogwaardige, waarneembare kenmerken.
2. Nieuwe Trainingsmethoden: De auteurs introduceren RAN en STTR om de specifieke uitdagingen van het trainen van backdoors op beeldkenmerken op te lossen. RAN voorkomt gradiëntinstorting door adversariale ruis te reconstrueren, terwijl STTR overfitting mitigeert door de injectie te beperken tot korte tijdstaps.
3. Stilte en Robuustheid: De resulterende trigger-geïntegreerde samples zijn waarneembaar ononderscheidbaar van schone beelden. De aanval omzeilt state-of-the-art verdedigingen (Elijah, TERD) die vertrouwen op het detecteren van abnormale patronen of het inverteren van triggers, aangezien op stijl gebaseerde triggers geen verdachte artefacten introduceren.
4. Migratiecapaciteit: De studie onthult dat de backdoor niet beperkt is tot beeld-naar-beeldtaken; deze kan ook worden geactiveerd in tekst-naar-beeldtaken als het model wordt gevraagd om beelden te genereren in de specifieke triggerstijl.

Experimentele Resultaten

• Aanvalssuccesratio (ASR): GUNGNIR behaalde een ASR van 61,50% over drie basismodellen (Stable Diffusion v1.5, v2.1 en Realistic Vision v4.0). Hoewel lager dan sommige op patches gebaseerde aanvallen, merken de auteurs op dat dit voldoende is voor een robuuste aanval gezien de hoge stilte.
• Ontduiking van Verdediging: De aanval behaalde een 0% Backdoor-detectieratio (BDR) tegen zowel Elijah- als TERD-verdedigingskaders. De op stijl gebaseerde triggers werden niet gedetecteerd als anomalieën.
• Robuustheid: De aanval bleef effectief zelfs na zuivering op basis van fine-tuning, wat weerstand tegen veelvoorkomende modelverdedigingsstrategieën aantoont.
• Ablatiestudies: Experimenten bevestigden dat zonder RAN de gradiënten instorten (ASR daalt naar bijna nul). Zonder STTR overfit het model en genereert het doelbeelden indiscriminatie. Optimale prestaties werden gevonden met specifieke RAN-intensiteit ($\gamma$) en korte tijdstapvensters.

Betekenis en Claims

Het artikel beweert dat GUNGNIR een tot nu toe onderbelichte kwetsbaarheid in diffusiemodellen onthult: de vatbaarheid voor op stijl gebaseerde backdoors. De betekenis ligt in:

• Stilte: De aanval maakt gebruik van kenmerken die natuurlijk zijn voor het beeldgeneratieproces, waardoor ze onzichtbaar zijn voor zowel menselijke inspectie als geautomatiseerde detectoren die zijn ontworpen voor expliciete triggers.
• Paradigmaverschuiving: Het daagt de aanname uit dat backdoor-triggers expliciet of laagdimensionaal moeten zijn, en toont aan dat hoogwaardige semantische kenmerken (stijl) kunnen worden gewapend.
• Veiligheidsimplicaties: De bevindingen suggereren dat huidige verdedigingsmechanismen ontoereikend zijn tegen aanvallen die gebruikmaken van het inherente vermogen van het model om stijlkenmerken waar te nemen en na te bootsen. De auteurs betogen dat toekomstig onderzoek deze uitgebreide aanvalsradii moet adresseren om generatieve AI-systemen veilig te stellen.

De auteurs houden een bescheiden standpunt, waarbij zij erkennen dat de ASR iets lager is dan bij op patches gebaseerde aanvallen vanwege de inherente moeilijkheid van het diffusieproces om strikt te voldoen aan stijlbeperkingen zonder extra stijltransfermodules. Ze benadrukken echter dat de afweging in stilte en het vermogen om bestaande verdedigingen te omzeilen GUNGNIR een kritieke bedreigingsvector maken.