Modular Energy Steering for Safe Text-to-Image Generation with Foundation Models

Probleemstelling

Text-to-image (T2I) generatieve modellen, zoals diffusion-modellen en flow-matching modellen, zijn essentieel geworden voor creatieve workflows, maar brengen ernstige veiligheidsrisico's met zich mee. Deze modellen kunnen onbedoeld expliciete inhoud (NSFW), auteursrechtelijk beschermd materiaal of afbeeldingen van echte personen zonder toestemming genereren.

Bestaande veiligheidsaanpakken hebben aanzienlijke beperkingen:

1. Input/Output-filters: Hebben een hoge rate van vals-positieven en zijn kwetsbaar voor geavanceerde adversarial prompts.
2. Model-finetuning of "Unlearning": Vereisen zorgvuldig samengestelde datasets en kunnen de algehele generatiekwaliteit of het vermogen van het model om andere concepten te genereren, verslechteren.
3. Inference-time sturing (bestaande methoden): Zijn vaak beperkt tot refinements op het niveau van prompt-embeddings of vereisen nog steeds specifieke datasets voor effectieve controle.

Er is een behoefte aan een methode die veiligheidscontrole biedt zonder het onderliggende generatieve model te wijzigen, zonder extra trainingsdata, en die schaalbaar is voor diverse concepten.

Methodologie: Modulaire Energie-Sturing

De auteurs stellen een inference-time steering framework voor dat gebruikmaakt van bevroren (frozen) foundation modellen (zoals CLIP of Vision-Language Models - VLMs) als "semantische energie-schatters". De kernidee is dat deze modellen rijke semantische kennis bevatten die kan worden gebruikt als supervisie-signaal tijdens het generatieproces.

Kerncomponenten:

1. Energie-gebaseerde formulering:
   Het veiligheidssturing wordt geformuleerd als een energie-gebaseerd steekproefprobleem. De auteurs introduceren een veiligheidsenergie-term ($E_{safety}$) die de aanwezigheid van ongewenste concepten (bijv. naaktheid, specifieke beroemdheden) bestraft. De kansverdeling wordt aangepast als:
   $$p_{safe}(x) \propto p(x | c) \exp(-\lambda E_{safety}(x))$$
   Hierbij is $\lambda$ de sterkte van de sturing.

2. Foundation Modellen als Energie-schatters:
   In plaats van een nieuw model te trainen, gebruiken ze bestaande, bevroren modellen om de "veiligheid" van een tussentijdse schatting van de gegenereerde afbeelding ($\hat{x}_{0|t}$) te beoordelen.

   • CLIP: Wordt gebruikt als een classifier door een positieve set (verboden concepten, de "blacklist") en een negatieve set (veilige concepten) te definiëren. De energie wordt berekend als het verschil in log-middelpunt-exponentiële scores (Log-Mean-Exponential) tussen deze sets.
   • VLMs (bijv. InternVL): Worden gebruikt door de generatie te vragen als een next-token predictie taak. Een prompt zoals "Bevat deze afbeelding [target concept]? Antwoord: Ja/Nee" wordt gebruikt. De logit-scores voor "Ja" versus "Nee" vormen de energie-schatting.

3. Het Sturingsproces (Algorithm 1):
   Tijdens elke stap van het generatieproces (bijv. DDIM of Euler stappen):

   • Er wordt een schone latent-schatting ($\hat{z}_{0|t}$) gemaakt.
   • Dit wordt door het foundation model gestuurd om de waarschijnlijkheid van een ongewenst concept te bepalen.
   • Als de waarschijnlijkheid hoog is, wordt de gradiënt van de veiligheidsenergie berekend en toegevoegd aan de latent update. Dit duwt de generatie weg van het ongewenste gebied in de beeldruimte.
   • Het proces is trainingsvrij (geen gewichtsupdates van het generatieve model) en dataset-vrij (behalve een tekstuele blacklist van de gebruiker).

Belangrijkste Bijdragen

1. Energie-gebaseerde formulering: Een principieel kader voor veiligheidscontrole in T2I-generatie dat de generatieve score-veld aanpast zonder het model te herschrijven.
2. Foundation Modellen als Energie-schatters: Het aantonen dat pretrained vision-language modellen effectief kunnen fungeren als supervisie-signalen zonder taak-specifieke training.
3. Dataset-vrij en Schaalbaar: De methode vereist geen curateerde datasets en schaalbaar naar meerdere doelen tegelijk (multi-concept steering) door simpelweg de lijst met verboden termen uit te breiden in de foundation model query.
4. Architectonische Onafhankelijkheid: Het werkt zowel met diffusion-modellen als met flow-matching modellen (zoals Stable Diffusion v3).

Resultaten

De auteurs evalueren hun methode op twee hoofdscenario's: onderdrukking van NSFW-inhoud en beperking van specifieke identiteiten (bijv. beroemdheden).

• NSFW Onderdrukking:

  • De methode bereikt state-of-the-art resultaten op verschillende "red-teaming" benchmarks (zoals P4D, Ring-A-Bell, MMA-Diffusion) met een zeer lage "Attack Success Rate" (ASR).
  • Het presteert beter dan of vergelijkbaar met methoden die model-finetuning vereisen, maar zonder de kwaliteitsverlies die vaak gepaard gaat met unlearning.
  • De generatiekwaliteit op veilige prompts (gemeten via FID en CLIP-score op COCO-30K) blijft bijna identiek aan het originele model.

• Identiteitsbeperking:

  • De methode slaagt erin om specifieke personen (bijv. Elon Musk, Taylor Swift) te onderdrukken terwijl andere personen intact blijven.
  • Het is effectief bij het gelijktijdig sturen van meerdere identiteiten (tot 18 tegelijk in de appendix), wat de modulariteit van de aanpak onderstreept.

• Compatibiliteit:

  • De methode werkt succesvol op zowel oudere modellen (Stable Diffusion v1.4) als op de nieuwste flow-matching modellen (Stable Diffusion v3 en v3.5).

• Rekenkosten:

  • Er is een lichte toename in inferentie-tijd (ongeveer 2,7 seconden per afbeelding extra voor SD-v1.4) door het gebruik van het externe foundation model, maar dit wordt gezien als een aanvaardbare afweging voor de veiligheid en het ontbreken van trainingskosten.

Betekenis en Impact

Dit paper biedt een modulaire, schaalbare en ethisch verantwoorde oplossing voor de veiligheid van generatieve AI. Door foundation modellen te hergebruiken als "rechters" tijdens het generatieproces, omzeilt het de noodzaak voor kostbare en risicovolle hertraining van grote modellen.

De aanpak maakt het mogelijk om veiligheidsrichtlijnen dynamisch aan te passen (bijv. nieuwe beroemdheden toevoegen aan de blacklist) zonder technische ingrepen in het generatieve model zelf. Dit is een belangrijke stap naar de praktische en veilige implementatie van text-to-image systemen in de echte wereld, waarbij privacy en auteursrechten worden gerespecteerd zonder in te boeten op creatieve kwaliteit.