🤖 AI

Inference-Only Prompt Projection for Safe Text-to-Image Generation with TV Guarantees

Dit artikel introduceert SPOT, een inferentieframework dat onveilige prompts selectief projecteert naar een "tau-veilige set" met behulp van een LLM en een beveiligings-VLM om de generatie van ongepaste afbeeldingen aanzienlijk te verminderen, terwijl het gedrag van onschadelijke prompts behouden blijft zonder het diffusiemodel opnieuw te trainen.

Oorspronkelijke auteurs: Minhyuk Lee, Hyekyung Yoon, Myungjoo Kang

Gepubliceerd 2026-05-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Minhyuk Lee, Hyekyung Yoon, Myungjoo Kang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een magische, bevroren kunstmachine voor (een Text-to-Image AI) die alles kan tekenen wat je beschrijft. Het is ongelooflijk getalenteerd, maar soms, als je een lastige of gevaarlijke prompt geeft, kan het per ongeluk iets ongeschikts tekenen.

Het probleem is: als je probeert de machine zelf te "repareren" om te voorkomen dat het slechte dingen tekent, breek je vaak per ongeluk ook zijn vermogen om goede dingen te tekenen. Het is als proberen een kok te stoppen met het bereiden van pittig eten door hun mes weg te halen; plotseling kunnen ze ook geen groenten snijden voor een salade.

Dit artikel introduceert een nieuwe methode genaamd SPOT (Selective Prompt Projection) die fungeert als een slimme editor die voor de machine zit, in plaats van te proberen de machine zelf te herbouwen.

Hier is hoe het werkt, met eenvoudige analogieën:

1. De "Bevroren Machine"-regel

De auteurs besloten de kunstmachine helemaal niet aan te raken. Ze lieten hem precies zoals hij was (bevroren). Waarom? Omdat als je de machine verandert, je ook zijn persoonlijkheid verandert. Ze wilden het "goede" gedrag van de machine exact hetzelfde houden, en alleen het "slechte" gedrag stoppen.

2. De "Veiligheidskaart" (De τ Veilige Set)

Stel je een kaart voor waar sommige gebieden "Groene Zones" zijn (veilig om te tekenen) en andere "Rode Zones" (onveilig).

Het doel: Als je iets vraagt in een Groene Zone, laat de editor je verzoek ongemoeid. De machine tekent precies wat je hebt gevraagd.
Het probleem: Als je iets vraagt in een Rode Zone, moet de editor ingrijpen. Maar in plaats van gewoon "Nee" te zeggen, probeert het de dichtstbijzijnde Groene Zone te vinden die er nog steeds op lijkt als je oorspronkelijke verzoek.

3. Het Twee-Fase Detectiveteam

SPOT gebruikt een twee-stapsproces om riskante verzoeken af te handelen, en fungeert als een beveiligingsteam met een goedkope scanner en een strenge inspecteur.

Fase 1: De Snelle Scanner (De LLM)
Wanneer een riskante prompt binnenkomt, fungeert een snelle, alleen tekst-gebaseerde AI (de LLM) als verkenners. Het genereert snel een paar "herschreven" versies van je prompt. Het vraagt zich af: "Als ik dit woord verander in dat woord, ziet het er dan veiliger uit?"
- Het kiest de versie die het dichtst bij je oorspronkelijke idee ligt, maar verplaatst deze uit de Rode Zone naar de Groene Zone.
- Dit is snel en goedkoop omdat het alleen naar woorden kijkt, niet naar afbeeldingen.
Fase 2: De Strenge Inspecteur (De VLM)
Zodra de editor de beste herschreven prompt heeft gekozen, tekent de echte kunstmachine het plaatje. Vervolgens bekijkt een tweede AI (een Vision-Language Model) de werkelijke afbeelding die is gemaakt.
- Het vraagt zich af: "Is dit plaatje eigenlijk wel veilig?"
- Als het plaatje veilig is, krijgt het groen licht.
- Als het plaatje nog steeds onveilig is (misschien heeft de machine de nieuwe prompt verkeerd begrepen), gaat het systeem terug naar Fase 1, probeert het een andere herschrijving en tekent het opnieuw.

4. De "Veiligheid versus Creativiteit"-afweging

Het artikel maakt een zeer belangrijk wiskundig punt: Je kunt een AI niet veiliger maken zonder zijn output lichtjes te veranderen.
Denk eraan als een rivier. Als je een gevaarlijke overstroming (onveilige afbeeldingen) wilt omleiden weg van een dorp, moet je een nieuw kanaal bouwen. Dat nieuwe kanaal verandert het pad van het water.

De truc van SPOT: Het bouwt alleen een nieuw kanaal voor de gevaarlijke overstroming. Als het water al veilig stroomt (goedaardige prompts), laat het de rivier precies waar hij is. Dit zorgt ervoor dat wanneer je om een "schattige kat" vraagt, je nog steeds een "schattige kat" krijgt, en geen "stripkat" of een "zwart scherm".

5. De Resultaten

De auteurs hebben dit getest op vier verschillende datasets en drie verschillende kunstmachines.

Veiligheid: Het slaagde erin het aantal ongeschikte afbeeldingen aanzienlijk te verminderen (tussen 14% en 44% beter dan andere methoden).
Creativiteit: Het hield de "goede" afbeeldingen er bijna exact hetzelfde uit als ze zouden zijn geweest zonder veiligheidsfilters.
Snelheid: Omdat de eerste fase (de tekstscanner) zo snel is, is het hele proces veel sneller dan methoden die elk idee voor een afbeelding controleren voordat er wordt getekend.

Samenvatting

SPOT is als een deurwaarder bij een club die de muziek of de DJ (het AI-model) niet verandert. In plaats daarvan, als iemand aan de deur probeert iets onbeleefds te zeggen, suggereert de deurwaarder zachtjes dat ze het herschrijven tot iets beleefds. Als de herschreven zin hen binnenlaat, komen ze binnen. Als ze blijven proberen onbeleefd te zijn, komen ze niet binnen. Maar als ze vanaf het begin beleefd waren, lopen ze gewoon binnen zonder dat er iets aan wordt gedaan.

Dit zorgt ervoor dat de club veilig blijft zonder de ervaring voor de goede gasten te bederven.

Technische Samenvatting: SPOT – Selectieve Promptprojectie via Totale Variatie

Probleemstelling
Tekst-naar-afbeelding (T2I) diffusiemodellen maken hoogwaardige open-eindige synthese mogelijk, maar brengen aanzienlijke veiligheidsrisico's met zich mee, aangezien gebruikers schadelijke of beleidsschendende afbeeldingen kunnen genereren. Bestaande methoden voor veiligheidsafstemming lijden vaak onder een kritieke afweging: globale ingrepen (zoals het wijzigen van generatorgewichten of het toepassen van universele zachte prompts) kunnen het gedrag van het model verstoren, zelfs bij onschadelijke prompts, wat leidt tot een verslechtering van de beeldkwaliteit en semantische trouw. Omgekeerd brengen methoden die gegenereerde afbeeldingen verifiëren vaak hoge rekenkosten met zich mee of slagen ze er niet in om veiligheidsingrepen te lokaliseren tot uitsluitend de risicovolle invoer. Het artikel identificeert een fundamentele spanning: het verminderen van de verwachte onveiligheid onder een referentieniveau vereist inherent een afwijking in de prompt-geconditioneerde afbeeldingsverdeling. De uitdaging bestaat erin veiligheid te bereiken zonder het gedrag van de bevroren generator op onschadelijke invoer globaal te vervormen.

Methodologie
De auteurs stellen SPOT (Selective Prompt prOjecTie) voor, een inferentie-tijd framework dat een "veilige projectie" benadert zonder de generator opnieuw te trainen of categorie-specifieke herschrijvers te leren. De methodologie is gebaseerd op een theoretische analyse met behulp van de Totale Variatie (TV) afstand.

Theoretische Grondslag (SPAT): Het artikel formaliseert de Veiligheid–Prompt-Afstemming Afweging (SPAT). Het bewijst dat als onveiligheid wordt gemeten als een gebounded verwachting over gegenereerde afbeeldingen, het verlagen van deze verwachting onder een referentieniveau (het gedrag van de bevroren generator) een distributie-afwijking van die referentie noodzakelijk maakt. Bijgevolg is het doel niet om afwijking volledig te vermijden, maar om deze strikt te lokaliseren tot prompts die ingreep vereisen.
$\tau$ -Veilige Set en Projectie: De auteurs definiëren een $\tau$ -veilige set van prompts, $C_{safe,\tau}$ , waarbij het referentierisico maximaal een drempel $\tau$ bedraagt. De ingreep wordt geformuleerd als het projecteren van risicovolle prompts (die buiten $C_{safe,\tau}$ vallen) naar de dichtstbijzijnde prompts binnen deze set, terwijl reeds veilige prompts ongewijzigd blijven.
Tweestaps Cascadeprotocol: Aangezien exacte projectie onberekenbaar is (omdat lidmaatschap afhangt van het verwachte risico op afbeeldingsniveau), benadert SPOT dit via een tweestaps cascade:
- Fase 1 (Alleen-Prompt Zoeken): Een Groot Taalmodel (LLM) genereert kandidaat-herschrijvingen voor een gegeven prompt. Deze kandidaten worden gerangschikt met behulp van een zachte doelstelling die semantische nabijheid tot de originele prompt (gemeten via zinsinbeddingsafstand) afweegt tegen een alleen-prompt veiligheidscore. Deze fase fungeert als een goedkope router om veelbelovende kandidaten te identificeren.
- Fase 2 (Afbeeldingsniveau Verificatie): De diffusiegenerator (bevroren gehouden) sampleert een afbeelding uit de beste kandidaat-prompt gevonden in Fase 1. Een beveiligend Vision-Language Model (VLM) verifieert de gegenereerde afbeelding tegen dezelfde veiligheidsdrempel $\tau$ .
- Opnieuw-poging Mechanisme: Als de afbeelding de verificatie niet haalt, wordt het proces herhaald met nieuwe kandidaten tot een opnieuw-poging budget $R$ is bereikt. Als het budget is uitgeput, wordt de laatste poging teruggegeven.

Belangrijkste Bijdragen

Referentie-gebaseerde Veiligheidsafweging: Het artikel formaliseert SPAT en toont aan dat het verminderen van de populatie-onveiligheid onder een referentieniveau een prompt-geconditioneerde distributie-afwijking vereist. Dit biedt een theoretische rechtvaardiging voor selectieve ingreep in plaats van globale modelwijziging.
Selectieve Promptprojectie: De auteurs definiëren de $\tau$ -veilige set en formuleren veiligheidsingreep als het projecteren van risicovolle prompts naar deze set, terwijl veilige prompts behouden blijven, wat effectief semantische drift op onschadelijke invoer minimaliseert.
Inferentie-tijd LLM/VLM Cascade: SPOT instantieert deze projectie met behulp van een LLM voor kandidaat-rangschikking en een VLM voor definitieve afbeeldingsverificatie. Dit ontwerp scheidt goedkoop zoeken van gezaghebbende verificatie, waardoor de rekenkosten van exhaustieve afbeeldingsgeneratie tijdens de zoekfase worden vermeden.
Sterke Veiligheid en Behoud van Onschadelijke Invoer: Het framework bereikt aanzienlijke reducties in ongepaste inhoud terwijl het gedrag van de bevroren generator op onschadelijke prompts behouden blijft.

Experimentele Resultaten
De auteurs evalueerden SPOT over vier datasets (CoProV2, I2P, Unsafe Diffusion en COCO) en drie diffusie-ruggengraten (SD1.5, SD2.1, SDXL).

Veiligheidsprestaties: SPOT bereikte relatieve reducties in de score voor ongepaste inhoud (IP) variërend van 14,2% tot 44,4% in vergelijking met sterke veiligheidsafstemmingsbaselines (zoals AlignGuard, LatentGuard, SLD). Op SD1.5 verlaagde SPOT de IP naar 0,04 op CoProV2, 0,06 op I2P en 0,04 op UD, en presteerde beter dan baselines die vaak hogere IP-scores vertoonden op datasets buiten de verdeling.
Behoud van Onschadelijke Prompts: Op de COCO-dataset behield SPOT de beeldkwaliteit (FID) en de tekst-afbeelding afstemming (CLIPScore) dicht bij de niet-afgestemde referentie. Bijvoorbeeld, op SD1.5 bereikte SPOT een FID van 32,46 en een CLIPScore van 33,36, bijna identiek aan de niet-afgestemde baseline (32,34/33,42), terwijl agressieve baselines zoals UCE en PNO een aanzienlijke degradatie vertoonden.
Selectiviteit: SPOT liet 97,70% van de onschadelijke COCO-prompts ongewijzigd, aanzienlijk meer dan baselines zoals VALOR (92,4%) en IPR (54,9%), wat zijn vermogen demonstreert om onnodige bewerkingen te vermijden.
Efficiëntie: De tweestaps cascade bood een 4,3× tot 5,1× snelheidswinst in vergelijking met VLM-only zoekmethoden. SPOT was 22,4% sneller dan VALOR en 61,1% sneller dan IPR, terwijl het lagere IP-scores bereikte.
Robuustheid: De methode toonde robuustheid tegen vier tekst-gebaseerde adversariële prompt-aanvallen (MMA, Ring-A-Bell, SneakyPrompt, P4D), waarbij de totale IP-scores slechts marginaal stegen (van 0,04 naar 0,06) onder aanval.

Betekenis en Claims
Het artikel beweert dat SPOT een principiële aanpak voor veiligheidsafstemming biedt door gebruik te maken van het theoretische inzicht dat veiligheidswinsten distributie-afwijking vereisen, maar dat deze afwijking beperkt moet blijven tot risicovolle prompts. Door de generator bevroren te houden en een selectief projectiemechanisme te gebruiken, vermijdt SPOT de "semantische drift" en prestatiedegradatie die vaak geassocieerd worden met globale modelbewerking of agressieve onderdrukking. De auteurs positioneren SPOT als een praktische, inferentie-tijd oplossing die het mogelijk maakt veiligheidsniveaus aan te passen via een drempel ( $\tau$ ) zonder opnieuw te trainen, waardoor het aanpasbaar is aan verschillende veiligheidsbeleid en datasets. Het werk benadrukt dat veiligheid niet vereist dat de bruikbaarheid van onschadelijke prompts wordt gecompromitteerd, op voorwaarde dat de ingreep selectief is en op afbeeldingsniveau wordt geverifieerd.