Technische Samenvatting: Semantische Sturing voor Controleerbare Generatie

Probleemstelling

Multimodale Diffusion Transformers (MM-DiTs), zoals de Stable Diffusion 3-serie en de FLUX-serie, hebben nieuwe benchmarks gevestigd in tekst-naar-afbeelding generatie, waarbij ze traditionele U-Net-gebaseerde modellen overtreffen in kwaliteit en resolutie. Hun krachtige generatieve capaciteiten introduceren echter aanzienlijke veiligheidsrisico's, waaronder het potentieel om niet-veilige voor werk bestemde (NSFW) inhoud, auteursrechtelijk beschermde werken en afbeeldingen van echte personen te synthetiseren.

Bestaande methoden voor conceptverwijdering worden geconfronteerd met kritieke beperkingen bij toepassing op MM-DiTs:

1. Parameterwijziging: De meeste methoden vereisen het finetunen of wijzigen van modelgewichten. Deze zijn vaak architectuurspecifiek, rekenintensief en onpraktisch voor grootschalig ingezette modellen.
2. Beperkingen van Tuning-vrije benaderingen: Huidige tuning-vrije benaderingen, die vertrouwen op prompt-gebaseerde interventies (bijv. negatieve prompts), worstelen met MM-DiTs. Door uitgebreide pre-training zijn concepten in MM-DiTs diep ingebed in interne representaties, waardoor ze resistent zijn tegen oppervlakkige prompt engineering. Bovendien maakt de uitgebreide semantische ruimte en de context-afhankelijke tekstencoders (bijv. T5-XXL) in MM-DiTs negatieve prompts ineffectief voor het vastleggen van impliciete associaties en conceptvariaties.
3. Architecturale Mismatch: Methoden ontworpen voor Large Language Models (LLMs) of kleinschalige U-Net architecturen vertalen zich niet goed naar het continue, iteratieve denoising-proces en de dual-modality architectuur van MM-DiTs.

Methodologie

De auteurs stellen een tuning-vrije semantische sturingsmethode voor die de interne representaties van het model tijdens de inferentie direct manipuleert. De aanpak is gebaseerd op een diepgaande analyse van de MM-DiT-architectuur en de generatieve mechanismen ervan.

1. Analyse van Block-wise Rollen en Timesteps

Door middel van empirische analyse (ruis injecteren en attention maps visualiseren) hebben de auteurs een hiërarchische structuur in MM-DiTs geïdentificeerd:

• Vroege Blocks: Encoderen globale beeldstructuren.
• Late Blocks: Verfijnen fijngesegmenteerde details.
• Middelste Blocks: Encoderen primair de kernsemantische representaties van doelconcepten.
• Intermediaire Timesteps: Bieden de meest getrouwe representatie van de doelsemantiek, waarbij een balans wordt gevonden tussen structurele coherentie en visuele details.

2. Constructie van de Sturingsvector

In plaats van te opereren op de redundante beeldtokens (bijv. 4096 tokens), maakt de methode gebruik van de spaarzaamheid van de teksttak (154–333 tokens).

• Datapreparatie: Een dataset van gepaarde prompts wordt gecreëerd, waarbij één prompt een ongewenst concept ($C^-$) bevat en de andere een gewenst veilig concept ($C^+$) met een identieke context.
• Extractie: Het model verwerkt deze paren door een intermediair block ($b$). De outputvectoren voor de specifieke afwijkende tekstuele tokens worden geëxtraheerd uit de teksttak.
• Vectorafleiding: Een sturingsvector ($v_{steer}$) wordt geconstrueerd door het gemiddelde verschil tussen de veilige en de ongewenste conceptrepresentaties te berekenen:
  $$v_{steer} = l \cdot \frac{v_b}{||v_b||}, \quad \text{waarbij } v_b = \frac{1}{n} \sum_{i=1}^{n} (x^+_{b,i} - x^-_{b,i})$$
  Hier is $l$ een sturingssterkteparameter die empirisch wordt bepaald.

3. Injectie van de Sturingsvector

Om coherente begeleiding te garanderen zonder het beeld te vervormen, wordt de vector strategisch geïnjecteerd:

• Ruimtelijke Strategie: De vector wordt geïnjecteerd in opeenvolgende vroege en middelste blocks. Het injecteren in enkel middelste/late blocks is ineffectief vanwege gevestigde structuren, terwijl het injecteren in enkel vroege blocks voor structurele vervorming zorgt. Het cumulatieve effect over meerdere blocks zorgt voor een verenigde verschuiving in semantiek.
• Temporele Strategie: Door gebruik te maken van de rectified flow sampling-trajectorie van MM-DiTs (die een rechtlijnig, deterministisch pad volgt), wordt dezelfde sturingsvector die berekend is bij een intermediaire timestep, consistent toegepast over alle denoising stappen. Dit zorgt voor temporele coherentie en voorkomt de noodzaak voor per-timestep vectorconstructie.

Belangrijkste Bijdragen

1. Lichtgewicht Semantische Sturing: Een tuning-vrij framework dat op maat is gemaakt voor grootschalige MM-DiT architecturen, dat controleerbare conceptverwijdering bereikt tijdens de inferentie zonder modelparameters te wijzigen.
2. Architecturaal Inzicht: Het ontwerp maakt gebruik van specifieke eigenschappen van MM-DiTs, waaronder de block-wise verdeling van generatieve rollen (semantische concentratie in middelste blocks), informatieverschillen tussen modaliteiten (gebruik van spaarzame teksttokens) en het rechtlijnige sampling-traject van rectified flow.
3. Single-Vector Efficiëntie: De methode bereikt effectieve verwijdering met behulp van een enkele sturingsvector die in sleutelblocks wordt geïnjecteerd, wat resulteert in een verwaarloosbare computationele overhead.
4. Uitgebreide Evaluatie: Uitgebreide experimenten tonen state-of-the-art prestaties aan bij het verwijderen van diverse concepten (beroemdheden, kunststijlen, naaktheid) terwijl de beeldkwaliteit en robuustheid behouden blijven.

Experimentele Resultaten

De methode werd geëvalueerd op Stable Diffusion-v3.5-medium en FLUX.1 over drie categorieën: Beroemdheden, Kunststijl en Naaktheid.

• Effectiviteit van Verwijdering: De methode presteerde beter dan de baselines (inclusief Safe Latent Diffusion, TraSCE, Negative Prompting en modelmodificatiemethoden zoals UCE en ESD) in verwijderingsmetrieken (GIPHY, LLaVA, Gram matrix, NudeNet). Op FLUX.1 behaalde het bijvoorbeeld een GIPHY-score van 0.014 voor beroemdheidsverwijdering vergeleken met 0.117 voor UCE en 0.433 voor SLD.
• Beeldkwaliteit: De methode behield de esthetische kwaliteit en algemene beeldgetrouwheid, waarbij lage FID-scores werden behaald (wat duidt op minimale impact op ongerelateerde beeldgeneratie) en concurrerende CLIP-scores.
• Robuustheid: De methode demonstreerde superieure robuustheid tegen vier soorten adversariële aanvallen (Ring-A-Bell, MMA-Diffusion, I2P, P4D) gericht op naaktheid, waarbij de laagste NudeNet-scores behaalde van alle geteste methoden.
• Controleerbaarheid: In tegen tegenstelling tot methoden die simpelweg concepten onderdrukken, maakt deze aanpak multi-style sturing mogelijk, waardoor de transformatie van een verwijderd concept naar een specifieke, door de gebruiker gedefinieerde veilige stijl mogelijk is (bijv. het transformeren van "Van Gogh-stijl" naar "Cartoon" of "Aquarel").

Betekenis en Claims

Het artikel beweert dat dit werk een kritiek gat vult in de veiligheid en controleerbaarheid van de volgende generatie tekst-naar-afbeelding modellen. Door de paradigmaverschuiving van externe prompt engineering naar directe interventie in interne representaties, adresseert de methode de beperkingen van huidige tuning-vrije benaderingen op MM-DiTs.

De auteurs benadrukken dat hun aanpak:

• De computationele kosten en implementatiebarrières vermijdt die geassocieerd worden met het finetunen van grote modellen.
• Een robuuste verdediging biedt tegen adversariële aanvallen die prompt-gebaseerde filters omzeilen.
• Een fundament biedt voor toekomstig onderzoek naar controleerbare generatie, door aan te tonen dat precieze semantische controle kan worden bereikt met minimale interventie (een enkele vector) door de intrinsieke generatieve mechanica van het model te begrijpen.

Het werk concludeert dat semantische sturing een levensvatbare en effectieve strategie is voor de veilige inzet van krachtige MM-DiTs zonder hun generatieve capaciteiten te compromitteren.