Technische Samenvatting: Orthogonale Conceptverwijdering voor Diffusiemodellen

Probleemstelling

Tekst-naar-afbeelding (T2I) diffusiemodellen bezitten opmerkelijke generatieve capaciteiten, maar zijn vatbaar voor het produceren van ongewenste, onveilige of auteursrechtelijk beschermde inhoud. Hoewel conceptverwijdering is opgekomen als een cruciale oplossing om deze risico's te mitigeren, staan bestaande benaderingen voor aanzienlijke afwegingen tussen effectiviteit, efficiëntie en het behoud van de algemene generatieve capaciteit.

Huidige methoden vallen over het algemeen in drie categorieën:

1. Interventie op het moment van inferentie: Past bemonsteringstrajecten aan zonder parameters te wijzigen. Deze zijn kwetsbaar voor omzeiling.
2. Op training gebaseerde methoden: Fine-tunen van modelparameters om concepten te verwijderen. Hoewel effectief, brengen deze hoge rekenkosten met zich mee en vereisen ze meerdere optimalisatierondes, wat de schaalbaarheid beperkt.
3. Op bewerking gebaseerde methoden: Wijzigen modelparameters direct met behulp van gesloten-vorm oplossingen. Hoewel efficiënt, vertrouwen bestaande bewerkingsmethoden doorgaans op additieve parameterupdates ($W + \Delta$). De auteurs identificeren een kernbeperking in dit paradigma: additieve updates inherent verstrengelen veranderingen in neurale richting, grootte en hoekige geometrie. Aangezien conceptsemantiek sterk afhankelijk is van neurale richting, terwijl de algehele generatieve capaciteit afhankelijk is van het behoud van hoekige geometrie, resulteren additieve updates vaak in onstabiele verwijdering en degradatie van niet-doelconcepten.

Methodologie: Orthogonale Conceptverwijdering (OCE)

Het artikel stelt Orthogonale Conceptverwijdering (OCE) voor, een door geometrie gedreven, op bewerking gebaseerde methode die conceptverwijdering herformuleert als een multiplicatieve orthogonale transformatie in plaats van een additieve perturbatie.

1. Geometrische Analyse

De auteurs stellen twee belangrijke empirische claims vast via gecontroleerde experimenten:

• Claim 1 (C1): Conceptsemantiek in diffusiemodellen wordt voornamelijk gecodeerd in neurale richtingen, terwijl neurale groottes verwaarloosbare effecten hebben op semantische expressie.
• Claim 2 (C2): Het behoud van de hoekige geometrie (inter-neurale hoeken en correlaties) is cruciaal voor het handhaven van de algehele generatieve kwaliteit van het model.

Op basis hiervan vermijdt OCE additieve updates die zowel richting als grootte verstoren. In plaats daarvan past het een orthogonale transformatie $P$ op laagniveau toe op de projectiematrices $W$ (specifiek de key- en value-matrices in cross-attention-lagen), zodat $W^* = PW$. Deze operatie roteert neurale richtingen om doelconcepten te verwijderen, terwijl neurale groottes en inter-neurale hoekige geometrie strikt behouden blijven.

2. Probleemformulering

De methode formuleert verwijdering als een optimalisatieprobleem om een orthogonale matrix $P$ ($P^\top P = I$) te vinden die de afstand tussen getransformeerde doelconcepten en hun ankers minimaliseert, terwijl de afstand tussen getransformeerde niet-doelconcepten en hun oorspronkelijke representaties eveneens wordt geminimaliseerd.

• Vector-gewijze Doelstelling: Voor verwijdering van een enkel concept richt de doelstelling doel-embeddings $C_1$ uit op anker-embeddings $C^*$ en behoudt het de behoudenset $C_0$. Dit wordt opgelost via het klassieke Orthogonale Procrustes-probleem met behulp van Singular Value Decomposition (SVD) om een gesloten-vorm oplossing te verkrijgen: $P = UV^\top$.

• Subruimte-niveau Doelstelling: Voor verwijdering van meerdere concepten creëert het afdwingen van strikte vector-gewijze uitlijning voor meerdere doelen conflicterende beperkingen. OCE breidt de doelstelling uit tot een projectie op subruimte-niveau. Het definieert doel- en ankersubruimtes en streeft ernaar de componenten van de doelsubruimte die liggen in het orthogonale complement van de ankersubruimte te onderdrukken. Dit wordt bereikt door de energie van de doelsubruimte buiten het orthogonale complement van het anker te minimaliseren, gecombineerd met vector-gewijze behoud voor de behoudenset.

3. Implementatiedetails

• Globaal Behoudsprior ($K_0$): Om globale stabiliteit te waarborgen, precomputeert de methode een generiek behoudsprior $K_0$ vanuit een grote dataset (COCO-30k), die wordt hergebruikt voor verschillende verwijderingstaken.
• Asymmetrisch Ontwerp: De methode hanteert een asymmetrische formulering: subruimte-niveau verwijdering (om conflicten in scenario's met meerdere concepten aan te pakken) gecombineerd met vector-gewijze behoud (om fijnmazig behoud van niet-doelconcepten te waarborgen).
• Adversariële Robuustheid: Het kader kan naadloos worden geïntegreerd met adversariële bewerkingsstrategieën om robuustheid tegen aanvallen te verbeteren.

Belangrijkste Bijdragen

1. Geometrische Herformulering: OCE introduceert een paradigmaschijf van additieve naar multiplicatieve orthogonale bewerking, theoretisch onderbouwd door de observatie dat conceptsemantiek afhankelijk is van richting terwijl generatieve capaciteit afhankelijk is van hoekige geometrie.
2. Gesloten-vorm Oplossing: De methode biedt een principiële, efficiënte gesloten-vorm oplossing voor zowel verwijdering van enkel- als meervoudige concepten via SVD, waardoor de noodzaak voor iteratieve optimalisatie wordt geëlimineerd.
3. Schaalbare Subruimteverwijdering: Door vector-gewijze verwijdering uit te breiden tot een gestructureerde doelstelling op subruimte-niveau, lost OCE effectief conflicterende beperkingen op bij grootschalige verwijdering van meerdere concepten (bijvoorbeeld het gelijktijdig verwijderen van 100 concepten).
4. Brede Toepasbaarheid: De methode toont overdraagbaarheid aan zowel op U-Net gebaseerde modellen (Stable Diffusion v1.4) als op DiT-gebaseerde modellen (FLUX.1 dev).

Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd voor verwijdering van objecten, artistieke stijlen, beroemdheden en impliciete concepten (inclusief adversariële aanvallen).

• Verwijdering van Enkel Concept: Bij verwijdering van objecten op CIFAR-10 behaalde OCE de hoogste harmonische gemiddelde score ($H_o$), waarbij het gemiddelde percentage mislukte verwijderingen ($A_{cce}$) werd gereduceerd tot 4,61%, terwijl een bijna perfecte behoud van niet-doelconcepten werd gehandhaafd ($A_{ccs} \approx 98,68\%$). Het presteerde beter dan state-of-the-art methoden zoals UCE, MACE en SPEED.
• Verwijdering van Meerdere Concepten: OCE slaagde erin tot 100 beroemdheidsconcepten in één stap te verwijderen, waarbij het proces in 4,3 seconden werd voltooid op een enkele A100 GPU. Het handhaafde stabiele prestaties naarmate het aantal verwijderde concepten toenam, terwijl andere methoden leden onder generatie-inzinking of significante degradatie in behoud van niet-doelconcepten.
• Impliciete Verwijdering & Robuustheid: Bij impliciete conceptverwijdering (bijvoorbeeld NSFW-inhoud) en onder adversariële aanvallen (Ring-A-Bell, MMA-Diffusion) toonde OCE sterke robuustheid, met name wanneer geïntegreerd met adversariële bewerking, waarbij lage Attack Success Rates (ASR) werden bereikt terwijl de algemene generatiekwaliteit behouden bleef (hoge CLIP-scores, lage FID).
• Overdraagbaarheid: De methode werd effectief uitgebreid naar het FLUX.1 dev-model, waarbij effectieve verwijdering van objecten, stijlen en beroemdheden werd bereikt zonder architecturale wijzigingen aan de kernbewerkingslogica.

Betekenis en Claims

Het artikel beweert dat OCE een principiële, efficiënte en schaalbare oplossing biedt voor conceptverwijdering. Door de geometrische beperkingen van additieve updates aan te pakken, bereikt OCE een superieure balans tussen precieze conceptverwijdering en het behoud van de intrinsieke generatieve capaciteiten van het model.

De auteurs benadrukken dat OCE een controleerbaar mechanisme biedt om de veiligheid en betrouwbaarheid van generatieve AI-modellen te verbeteren. Het ondersteunt zowel verwijdering van enkel- als meervoudige concepten met minimale interferentie met ongerelateerde concepten, en biedt een praktische weg voor het inzetten van veiligere AI in contentcreatie, onderwijs en publieke platformen. Het werk suggereert dat geometrische perspectieven op de parameterruimte kunnen leiden tot effectievere en stabielere bewerkingsparadigma's voor diffusiemodellen.

Erkende Beperkingen:
De auteurs merken op dat SVD-gebaseerde subruimteverwijdering rekenkundige overhead kan introduceren voor zeer grote modellen. Bovendien, omdat de methode op subruimte-niveau werkt, kunnen gegenereerde outputs vallen in semantische tussenregio's in plaats van precies te overeenkomen met fijnmazige ankerconcepten, wat de toepasbaarheid in specifieke bewerkings taken kan beperken. Verdere verkenning is nodig voor het verwijderen van complexe relationele of compositieconcepten.