AEGIS: A Mechanism-Guided Defense against Visual Synonym Jailbreaks in Text-to-Image Models

Technische Samenvatting: AEGIS – Een mechanisme-gestuurde verdediging tegen Visuele Synoniem Jailbreaks

1. Probleemstelling

Tekst-naar-afbeelding (T2I) diffusiemodellen staan voor een kritiek veiligheids-utiliteitsdilemma. Bestaande verdedigingsparadigma's—variërend van semantische sanering in de inputruimte tot structurele kenmerkverwijdering—zijn primair ontworpen om expliciete onveilige concepten of bekende adversariële tokens te onderscheppen. Echter, deze methoden falen tegen Visuele Synoniem Aanvallen (VSA).

VSA is een sluipende jailbreaktechniek waarbij aanvallers contextueel onschuldige, natuurlijke taalprompts gebruiken (bijv. "gespat rode verf") die semantisch orthogonaal zijn aan verboden concepten in het tekstdomein (bijv. "bloed"), maar sterke impliciete visuele associaties delen. Terwijl tekstgecentreerde filters en trigger-specifieke padonderbrekingen succesvol expliciete kwaadaardige prompts blokkeren, worden ze omzeild door VSA omdat de inputtokens geen expliciete kwaadaardige semantiek bevatten. Omgekeerd leidt brede structurele pruning, bedoeld om VSA te blokkeren, vaak tot over-mitigatie, wat de generatiekwaliteit van visueel gelijkaardige onschuldige concepten degradeert (bijv. het onderdrukken van "ketchup" terwijl men probeert "bloed" te blokkeren).

De kernuitdaging die wordt geïdentificeerd, is dat VSA een tekst-visuele semantische mismatch exploiteert: de prompt is veilig in de tekstruimte, maar de generatiet traject convergeert tijdens het denoising-proces dynamisch naar een onveilig visueel manifold.

2. Methodologie: Mechanistische Analyse en AEGIS

De auteurs stellen AEGIS (Adaptive Evasion Guard via Identification and Steering) voor, een verdedigingsmechanisme dat verschuift van statische onderdrukking naar dynamische tracing van onveilige semantiek tijdens de generatie.

A. Mechanistische Analyse (Het "Waarom")
Door middel van een systematisch onderzoek naar latente trajecten identificeren de auteurs dat VSA en expliciete aanvallen convergeren via een ijle subset van semantische injecterende attention heads.

• Dynamische Convergentie: Visuele synoniemen lijken aanvankelijk op onschuldige prompts, maar divergeren en convergeren dynamisch naar kwaadaardige signaturen tijdens tussenliggende denoising-stappen.
• IJle Lokalisatie: Met behulp van anchor-gebaseerde gelijkenisprofilering en ijle regressie (Lasso), isoleren de auteurs dat ongeveer 10% van de attention heads (specifiek in diepe cross-attention lagen) bijna 70% van de onveilige semantische attributie draagt. Deze heads dienen als de kritieke bottlenecks waar onschuldige tekst-embeddings worden getransformeerd in verboden visuele semantiek.
• Gedeelde Paden: Deze geïdentificeerde heads worden geactiveerd door zowel impliciete visuele synoniemen als expliciete kwaadaardige triggers, wat bevestigt dat zij de gedeelde kanalen zijn voor onveilige visuele generatie.

B. AEGIS Verdedigingsmechanisme (Het "Hoe")
AEGIS opereert als een interventie tijdens de inferentie die deze geïdentificeerde kwetsbare heads chirurgisch stuurt zonder het model opnieuw te trainen of gewichten permanent te ableren.

• Repulsion Beacon: Het systeem gebruikt een anchor embedding (die het doel van het onveilige concept representeert) als een "repulsion beacon" binnen elke geïdentificeerde kritieke head.
• Gelijkenis-bewuste Adaptieve Gating: In plaats van statische projectie past AEGIS een dynamische afstotingskracht toe die geschaald is door de activatiemagnitudo en een gelijkenisdrempel.
  • Als de activatie zeer gelijkaardig is met de kwaadaardige anchor, opent de gate volledig om maximale afstoting af te dwingen.
  • Als de activatie grenswaardig of onschuldig is, schaalt de gate lineair om subtiele correcties toe te passen, waardoor de utiliteit behouden blijft.
  • Dit mechanisme zorgt ervoor dat hoog-risico semantiek wordt geneutraliseerd terwijl onschuldige concepten (zelfs die met visuele gelijkenissen) behouden blijven.

3. Belangrijkste Bijdragen

1. Formalisering van VSA: Het artikel definieert Visuele Synoniem Aanvallen formeel als een afzonderlijk jailbreak-paradigma dat de tekst-visuele semantische mismatch exploiteert, waarmee de blinde vlekken in huidige alignment-paradigma's worden benadrukt.
2. Mechanistische Interpreteerbaarheid: De auteurs bieden de eerste mechanistische analyse die aantoont dat onveilige visuele semantiek in T2I-modellen wordt beheerst door een ijle set diepe semantische injecterende attention heads, die dienen als gedeelde paden voor zowel expliciete als synoniem-gebaseerde aanvallen.
3. AEGIS Framework: Zij stellen een nieuw inference-time verdedigingsmechanisme voor dat een chirurgische, gelijkenis-bewuste afstoting uitsluitend toepast op deze kwetsbare heads. Deze aanpak vermijdt de over-mitigatie die gepaard gaat met brede feature pruning.
4. Omvattende Evaluatie: De methode wordt geëvalueerd tegen 16 baselines over meerdere aanvalstypes (VSA, expliciet, adversarieel) en architecturen (SD 1.4, SD 2.1, FLUX.1).

4. Experimentele Resultaten

Geëvalueerd op Stable Diffusion 1.4 (SD 1.4), demonstreert AEGIS state-of-the-art prestaties:

• Veiligheid-Alignment:
  • In-Domain (VSA): Vermindert de Attack Success Rate (ASR) tot 0.00 voor geweld en 0.03 voor naaktheid.
  • Out-of-Domain (Expliciet/Adversarieel): Bereikt ASR's ≤0.09 over de I2P, MMA en RAB benchmarks.
  • Het presteert significant beter dan 16 baselines, inclusief input-sanitizers (SafeClip, SAFREE) en pathway disruptors (ESD, UCE).
• Behoud van Utiliteit:
  • Handhaaft een hoge generatie-getrouwheid (FID-scores vergelijkbaar met niet-gealigneerde modellen) en semantische alignment (CLIP-scores).
  • Cruciaal is dat het de over-mitigatie van "hard-negative" onschuldige concepten (bijv. "tomaten hakken" of "mannequins") voorkomt die andere methoden onterecht onderdrukken.
• Transfereerbaarheid: De methode wordt succesvol overgedragen naar SD 2.1 en de Diffusion Transformer-gebaseerde FLUX.1 na heridentificatie van de kritieke heads voor elk backbone-model, wat aantoont dat de kwetsbaarheid structureel is in plaats van model-specifiek.
• Efficiëntie: AEGIS introduceert minimale computationele overhead (3.99s per afbeelding op SD 1.4), wat aanzienlijk sneller is dan andere inference-time interventies zoals SAeUron (11.60s), en vereist geen hertraining van de diffusion backbone.

5. Betekenis en Claims

Het artikel claimt dat AEGIS de "onvermijdelijke dilemma" van huidige veiligheidsalignments doorbreekt, die moeten kiezen tussen het onder-mitigeren van sluipende aanvallen of het over-mitigeren van onschuldige utiliteit. Door het verdedigingsparadigma te verschuiven van statische tekst-filtering naar dynamische interne mechanisme-tracing, biedt AEGIS een praktische oplossing die:

• De Oorzaak Neutraliseert: Het richt zich op de specifieke attention-paden waar onveilige semantiek ontstaat, in plaats van te vertrouwen op oppervlakkige tekstpatronen.
• Robuustheid Garandeert: Het blijft effectief, zelfs tegen white-box adaptieve aanvallen waarbij aanvallers proberen de specifieke interventierichtingen te omzeilen, aangezien de verdediging robuuste, veiligheidsrelevante modelcomponenten vastlegt.
• Inzetbaarheid Biedt: Als een plug-and-play inference-time monitor die geen hertraining vereist, biedt het een onderhoudsarme, hoog-betrouwbare oplossing voor het beveiligen van T2I-modellen tegen evoluerende jailbreak-technieken.

De auteurs concluderen dat hun werk een betrouwbaar blauwdruk biedt voor het ontwikkelen van veerkrachtige veiligheidsmechanismen, waarbij wordt aangetoond dat de kwetsbaarheden die door VSA worden geëxploiteerd structureel zijn en kunnen worden aangepakt door middel van precieze, mechanisme-gestuurde interventie.