Technische Samenvatting: Het beveiligen van Text-to-Image Generatie via Inference-Time Prompt-Noise Optimalisatie (PNO)

1. Probleemstelling

Text-to-Image (T2I) diffusiemodellen zijn, hoewel in staat om hoogwaardige en diverse afbeeldingen te genereren, gevoelig voor het produceren van onveilige inhoud die gevoelig of ongepast materiaal bevat vanwege vooroordelen die afkomstig zijn uit grootschalige, ongefilterde trainingsdatasets. Bestaande veiligheidsmechanismen kampen met aanzienlijke beperkingen:

• Data Filtering & Retraining: Computationeel duur en faalt vaak in het volledig verwijderen van alle onveilige inhoud.
• Fine-tuning: Vereist aanzienlijke middelen, heeft moeite met generalisatie naar ongeziene prompts, en brengt het risico met zich mee dat de beeldkwaliteit verslechtert.
• Inference-Time Interventies (Guidance/Editing): Methoden zoals negative prompting of model editing zijn vaak eenvoudig te omzeilen en missen robuustheid tegen adversariële aanvallen.
• Fundamenteel Conflict: Er is een inherente spanning tussen het getrouw volgen van gebruikersprompts en het vermijden van onveilige outputs. Huidige methoden slagen er vaak niet in om deze doelen te balanceren, of ze compromitteren de veiligheid of wijken aanzienlijk af van de beoogde semantiek.

Bovendien zijn T2I-systemen zeer kwetsbaar voor adversariële aanvallen waarbij kwaadwillende prompts worden gecreëerd om veiligheidsfilters te omzeilen. Het artikel identificeert een kritieke kloof: er is geen robuuste, training-vrije aanpak die effectief toxische generatie onderdrukt terwijl een hoge prompt-afbeelding alignment behouden blijft zonder uitgebreide model-retraining te vereisen.

2. Methodologie: Prompt-Noise Optimalisatie (PNO)

De auteurs stellen Prompt-Noise Optimization (PNO) voor, een nieuw, training-vrij framework dat opereert tijdens de inference-fase. PNO behandelt veilige beeldgeneratie als een optimalisatieprobleem, waarbij twee fundamentele componenten van het diffusie-samplingproces gezamenlijk worden aangepast:

2.1. Optimalisatievariabelen

In plaats van de modelgewichten of de discrete tekstprompt te wijzigen, optimaliseert PNO in continue ruimtes:

1. Continue Prompt Embedding ($c$): De latente representatie van de tekstprompt (bijv. via CLIP). Optimalisatie in deze continue ruimte maakt fijnere controle over de semantiek mogelijk vergeleken met discrete tekstmodificatie.
2. Geïnjecteerde Ruis Traject ($\tau = \{x_T, z_T, \dots, z_1\}$): De sequentie van ruis-samples die wordt gebruikt tijdens het denoising-proces (specifiek in DDIM sampling). Het ruis-traject controleert de laag-niveau details en de specifieke realisatie van de afbeelding.

2.2. Doelfunctie

Het doel is om een toxiciteit-loss functie te minimaliseren terwijl de Gaussische aard van de ruis behouden blijft en de alignment met de oorspronkelijke prompt gewaarborgd blijft. Het optimalisatieprobleem wordt geformuleerd als:
$$\min_{c, \tau} L_{toxic}(x_0) + \lambda L_{reg}(\tau)$$
Onder de voorwaarde:
$$x_0 = \text{DDIM}(c, \tau)$$

• $L_{toxic}(x_0)$: Een loss functie die de ongepastheid van de gegenereerde afbeelding $x_0$ kwantificeert, doorgaans gemeten door een vooraf getrainde image safety classifier (bijv. Q16).
• $L_{reg}(\tau)$: Een regularisatie-term die ervoor zorgt dat het geoptimaliseerde ruis-traject dicht bij een standaard Gaussische distributie blijft, om te voorkomen dat het generatieproces instabiel wordt.
• $\lambda$: Een hyperparameter die de sterkte van de regularisatie controleert.

2.3. Algoritme

PNO maakt gebruik van een gradiënt-gebaseerde optimalisatie-loop (Algoritme 2):

1. Initialisatie: Initialiseer de prompt embedding $c$ vanuit de gebruikers-tekst en het ruis-traject $\tau$ via random sampling.
2. Sampling: Genereer een afbeelding $x_0$ met de DDIM sampler met de huidige $c$ en $\tau$.
3. Evaluatie: Bereken de toxiciteit-loss en de regularisatie-loss.
4. Update: Bereken gradiënten met betrekking tot zowel $c$ als $\tau$ en update deze met een optimizer (bijv. Adam).
5. Terminatie: Het proces iterereert totdat de toxiciteit-loss onder een drempelwaarde valt of een maximaal aantal iteraties is bereikt.

2.4. Theoretische Rechtvaardiging voor Gezamenlijke Optimalisatie

Het artikel beargumenteert dat het optimaliseren van alleen de prompt of alleen de ruis suboptimaal is:

• Alleen Ruis: Kan alleen laag-niveau details aanpassen. Als de prompt embedding een toxisch concept codeert, kan ruis-perturbatie de hoog-niveau semantische toxiciteit niet verwijderen.
• Alleen Prompt: Kan toxiciteit verwijderen, maar vereist vaak grote afwijkingen in de embedding-ruimte, wat leidt tot een aanzienlijk verlies van semantische alignment met de oorspronkelijke prompt.
• Gezamenlijke Optimalisatie: Door beide richtingen te benutten, kan het ruis-traject een deel van de "toxiciteitsgradiënt" absorberen, waardoor de prompt embedding slechts zo veel als nodig beweegt om de toxische regio te verlaten. Dit resulteert in een superieure trade-off tussen veiligheid en alignment.

3. Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van PNO, de eerste aanpak die gebruikmaakt van inference-time optimalisatie van zowel prompt embeddings als diffusie ruis-trajecten om de veiligheid van T2I te verbeteren zonder model-retraining.
2. Synergie Ontdekking: Demonstratie van de theoretische en empirische synergie tussen prompt embeddings (die controleren wat er wordt gegenereerd) en ruis-trajecten (die controleren hoe het wordt gerenderd) bij het bereiken van veiligheidsdoelen.
3. Robuustheid: Validatie dat PNO robuust is tegen adversariële aanvallen die ontworpen zijn om bestaande veiligheidsmechanismen te omzeilen.
4. Optimale Trade-off: Empirisch bewijs dat PNO een superieure Pareto-front bereikt, waarbij de balans tussen beeldveiligheid en prompt-alignment beter is dan bij welke baseline dan ook.
5. Efficiëntie: Een training-vrije methode die slechts marginale inference-kosten met zich meebrengt vergeleken met de zware resource-vereisten van fine-tuning of retraining.

4. Experimentele Resultaten

De auteurs hebben PNO geëvalueerd op de I2P dataset (natuurlijke toxische prompts) en de Ring-a-bell dataset (adversariële prompts) met behulp van Stable Diffusion 1.5 (SD1.5) als backbone.

4.1. Reductie van Toxiciteit

• I2P Dataset: PNO bereikte bijna 100% veilige generaties in de meeste categorieën, waarmee het aanzienlijk beter presteerde dan baselines zoals SafeGen, SalUn, UCE en inference-time methoden zoals SLD en Negative Prompting.
• Adversariële Robuustheid: Op de Ring-a-bell dataset reduceerde PNO het toxiciteitspercentage naar 0.00% (Q16 metriek), terwijl andere methoden aanzienlijk moeite hadden en vaak onveilige afbeeldingen produceerden met een frequentie die vergelijkbaar met of zelfs hoger was dan die van het basismodel.
• Generalisatie: De resultaten bleven consistent wanneer geëvalueerd met onafhankelijke Vision-Language Models (VLM's) en gecontroleerd met verschillende safety classifiers (MHSC), wat bewijst dat er geen sprake is van reward hacking tegen een enkele evaluator.

4.2. Kwaliteit en Alignment

• CLIP Score: PNO behield hoge CLIP-scores (text-image alignment), wat aantoont dat handhaving van veiligheid niet ten koste ging van het negeren van de gebruikersprompt.
• Trade-off: PNO-configuraties (variërende learning rates) vormden een dominante Pareto-front, die een betere veiligheid-alignment trade-off biedt dan alle andere geëvalueerde methoden.
• Efficiëntie: PNO bereikte veilige generaties binnen 3 iteraties (minder dan 20 seconden) voor meer dan 60% van de prompts. Het vereist geen extra trainingsdata of model fine-tuning en werkt effectief op consumer-grade GPU's.

4.3. Ablatie-studies

• Joint vs. Single: Gezamenlijke optimalisatie van ruis en prompt presteerde significant beter dan het optimaliseren van slechts één component, waarbij bijna nul toxiciteit werd bereikt met redelijke alignment en minder iteraties.
• Initialisatie: Random search voor het initiële ruis-traject verbeterde de prestaties over alle metrieken.
• Stapgrootte (Step Size): Grotere stapgroottes minimaliseerden toxiciteit sneller, terwijl kleinere stappen prioriteit gaven aan alignment, wat flexibiliteit biedt voor verschillende gebruikersprioriteiten.

5. Betekenis en Claims

Het artikel claimt dat PNO een belangrijke stap voorwaarts vertegenwoordigt in het betrouwbaar maken van T2I diffusiemodellen. De primaire betekenis ligt in:

• Training-Vrije Veiligheid: Het biedt een praktische, inzetbare oplossing die niet de prohibitieve kosten van het hertrainen of fine-tunen van grote modellen vereist.
• Robuustheid: Het adresseert de kritieke kwetsbaarheid van huidige systemen voor adversariële aanvallen en biedt een defensiemechanisme dat moeilijk te omzeilen is.
• Gebalanceerde Optimalisatie: Het lost het conflict tussen veiligheid en nut op door gebruik te maken van de orthogonale controle die wordt geboden door ruis-trajecten en prompt embeddings, waardoor een niveau van alignment-behoud wordt bereikt dat voorheen onmogelijk was met andere veiligheidsinterventies.

De auteurs concluderen dat PNO het potentieel heeft om een standaardmethode te worden voor veilige beeldgeneratie, waarbij toekomstig werk gericht zal zijn op het optimaliseren van de inference-snelheid en het ontwikkelen van robuustere objective functies voor veiligheidsevaluatie.