Technische Samenvatting: Erase but Preserve

Probleemstelling

De brede adoptie van text-to-image diffusiemodellen heeft aanzienlijke auteursrechtelijke risico's geïntroduceerd, met name de ongeautoriseerde generatie van auteursrechtelijk beschermde animatiepersonages. Hoewel bestaande technieken voor conceptverwijdering (concept erasure) bestaan, zijn deze slecht geschikt voor de specifieke uitdagingen van animatiepersonages:

1. Moeilijkheid bij het selecteren van een Anker: Methoden voor modelmodificatie vereisen doorgaans het mappen van een doelconcept naar een "onschuldig" anker. Terwijl generieke ankers (bijv. "grond" voor "naaktheid") werken voor brede categorieën, falen ze voor zeer onderscheidende, unieke animatiepersonages waar geschikte semantische synoniemen of taxonomische relaties moeilijk of onmogelijk handmatig te definiëren zijn.
2. Gebrek aan fijnmazige controle: Prompt-gestuurde sturingsmethoden vertrouwen vaak op discrete tekstuele aanpassingen, wat slechts grove controle biedt. Ze hebben moeite om de verwijdering van specifieke inbreukmakende personages te balanceren met het behoud van de oorspronkelijke creatieve intentie van de gebruiker (compositie, stijl, achtergrond), wat vaak resulteert in onvolledige verwijdering of degradatie van de beeldgetrouwheid.

Methodologie

De auteurs stellen een controleerbare verwijderingsmethode voor die opereert op de continue tekstuele representatie van het model tijdens het generatieproces. De pipeline bestaat uit drie hoofdfasen:

1. Constructie van het Ankerconcept

In plaats van vooraf gedefinieerde generieke ankers, construeert de methode een op maat gemaakt "Anker*" concept dat geoptimaliseerd is om te dienen als een onschuldige surrogaat voor een specifiek doelpersonage. Dit wordt bereikt door een gecombineerde verliesfunctie te minimaliseren:

• Structurele Beperking ($L_S$): Zorgt ervoor dat het anker een vergelijkbare structurele contouren en globale lay-out deelt met het doel om achtergrondvervorming te voorkomen. Dit wordt bereikt door de laagfrequente structurele gelijkenis tussen gereconstrueerde monsters van het doel en het anker te maximaliseren.
• Gedetailleerde Differentiatie ($L_D$): Zorgt ervoor dat de gedetailleerde kenmerken van het anker verschillend zijn van het doel om auteursrechtinbreuk te voorkomen. Dit wordt bereikt door de ruisvoorspellingsfout te maximaliseren wanneer de ankerprompt wordt gebruikt om fijne details van het doel te reconstrueren.

2. Optimalisatie van de Anker-embedding

Het geconstrueerde concept wordt geoptimaliseerd als een leerbaar woordvector ($v^*$) in de continue tekstuele embeddingruimte van de tekstencoder (bijv. CLIP).

• Initialisatie: De vector wordt geïnitialiseerd met de token "Anchor*".
• Optimalisatie: De vector wordt bijgewerkt via backpropagation om de gecombineerde structurele en gedetailleerde verliesfunctie te minimaliseren.
• Output: Het proces levert een geoptimaliseerde anker-embedding ($e^*_{anchor}$) en bijbehorende gecontextualiseerde embeddings voor speciale tokens (SOT, EOT, Paddings).

3. Structuurbewuste Adaptieve Vervanging (Inference)

Tijdens de beeldgeneratie vervangt de methode doelgerelateerde embeddings door de geoptimaliseerde anker-embeddings.

• Doelgerichte Vervanging: Alleen embeddings die overeenkomen met het doelpersonage (en gerelateerde speciale tokens zoals EOT en Paddings) worden vervangen of gefuseerd met de geoptimaliseerde anker-embeddings, waardoor ongerelateerde prompt-elementen onaangetast blijven.
• Adaptieve Timing: Om de scènecoherentie te bewaren, wordt de vervanging niet direct aan het begin van het denoising-proces toegepast. De methode monitort de laagfrequente structurele signalen van het denoising-proces. Vervanging wordt adaptief getriggerd zodra de structurele lay-out stabiliseert (d.w.z. wanneer de $L_2$-afstand tussen opeenvolgende laagfrequente componenten niet meer significant toeneemt). Dit zorgt ervoor dat de globale structuur is gevestigd voordat het specifieke personage wordt verwisseld.

Belangrijkste Bijdragen

• Nieuw Verwijdingsmechanisme: Een methode om één of meer auteursrechtelijk beschermde animatiepersonages direct tijdens het generatieproces te verwijderen door te opereren op continue tekstuele representaties in plaats van modelgewichten te wijzigen of uitsluitend te vertrouwen op discrete prompts.
• Geprincipeerde Ankeroptimalisatie: Een benadering voor continue ankeroptimalisatie die gebruikmaakt van visuele kenmerken van het doel om een controleerbaar, semantisch nabij anker te identificeren, wat de moeilijkheid bij het selecteren van geschikte surrogaten voor unieke personages oplost.
• Structuurbewuste Strategie: Een vervangingsstrategie die gezamenlijk precieze karakterverwijdering en hoge getrouwheidsbehoud bereikt door de timing van de embedding-swap dynamisch af te stemmen op structurele stabilisatie.
• Plug-and-Play Capaciteit: De geoptimaliseerde ankers kunnen worden geïntegreerd in bestaande modelmodificatie-baselines als een onschuldige surrogaat, waardoor hun prestaties worden verbeterd zonder dat herontwerp van de baseline-methoden nodig is.

Experimentele Resultaten

De methode werd geëvalueerd op een dataset van 80 animatiepersonages met behulp van Stable Diffusion v1.4 en diverse andere architecturen (SD v1.5, v2, v2.1, SDXL, en de DiT-gebaseerde Z-Image).

• Effectiviteit van Verwijdering: De methode bereikte de laagste identificatienauwkeurigheid voor doelpersonages door vision-language modellen (LLaVA-1.5: 6,0%, BLIP-3: 4,0%), waarmee het de baselines zoals SLD, SAFREE en TraSCE aanzienlijk overtrof.
• Beeldgetrouwheid: De methode behield een superieure beeldgetrouwheid vergeleken met baselines, waarbij de hoogste SSIM (0,467) en de laagste LPIPS (0,505) werden behaald tussen de originele en de verwijderde beelden. Het behield ook hoge esthetische scores.
• Generalisatie: De methode demonstreerde overdraagbaarheid naar verschillende modelarchitecturen (UNet en DiT) en tekstencoder-dimensies zonder dat model fine-tuning vereist was.
• Controle en Veelzijdigheid:
  • Fijnmazige Controle: Door te interpoleren tussen de doel- en anker-embeddings, stelt de methode gebruikers in staat om de mate van verwijdering continu te controleren.
  • Multi-Target Verwijdering: De methode slaagde erin om meerdere personages gelijktijdig te verwijderen terwijl de visuele coherentie behouden bleef.
  • Verbetering van Baselines: Het integreren van de geoptimaliseerde ankers in bestaande modelmodificatiemethoden (UCE, ESD-u, AC, MACE) verbeterde consistent de verwijdingsnauwkeurigheid en de getrouwheidsbehoud vergeleken met het gebruik van generieke ankers.

Betekenis en Claims

Het artikel beweert dat dit werk een kritieke kloof adresseert in de auteursrechtelijke bescherming voor generatieve AI. Door het mogelijk te maken om specifieke, zeer onderscheidende animatiepersonages te verwijderen zonder de algehele beeldkwaliteit of gebruikersintentie te vernietigen, biedt de methode een praktische oplossing voor platformgovernance en juridische naleving.

De auteurs benadrukken dat hun aanpak:

1. De Gebruikersintentie Maximaliseert: In tegen tegenstelling tot grove blokkeringsmethoden, bewaart het de compositie, stijl en achtergrond van het gegenereerde beeld.
2. Controle Biedt: Het biedt een mechanisme voor aanpasbare verwijderingsgraden, wat genuanceerde handhaving van auteursrechtelijke beleid mogelijk maakt.
3. Implementatie Faciliteert: Het plug-and-play karakter van de geoptimaliseerde ankers en het ontbreken van de vereiste voor model fine-tuning maakt de methode geschikt voor real-world deployment over diverse diffusiemodellen.

Het werk wordt gepositioneerd als een stap naar betrouwbare, gebruikersgerichte AI-systemen die binnen juridische kaders kunnen opereren terwijl de creatieve bruikbaarheid behouden blijft.