Technische Samenvatting: SACE: Concept Erasure at the Semantic Singularity in Visual Autoregressive Models

1. Probleemstelling

De snelle opkomst van Visual Autoregressive (VAR) modellen, zoals Infinity, heeft een nieuwe grens gezet voor hoogwaardige tekst-naar-beeld synthese, waarbij ze diffusiemodellen overtreffen in schaalbaarheid en generatiekwaliteit. Deze modellen erven echter aanzienlijke veiligheids kwetsbaarheden, waaronder de generatie van ongepaste, bevooroordeelde of auteursrechtelijk beschermde inhoud.

Bestaande technieken voor conceptverwijdering (concept erasure), die voornamelijk zijn ontworpen voor diffusiemodellen, falen wanneer ze naïef worden toegepast op VAR-architecturen. Erasure bij diffusie berust op de homogene aard van temporele denoising-stappen, terwijl VAR-modellen opereren via een "next-scale" autoregressief paradigma waarbij afbeeldingen worden gegenereerd van grove naar fijne resoluties. Het direct toepassen van uniforme erasure-losses over alle schalen in VAR-modellen leidt tot:

• Catastrofale Semantische Ineenstorting: Het model verliest het vermogen om coherente afbeeldingen te genereren.
• Visuele Artefacten: Ernstige wazigheid, chaotische texturen en structurele disintegratie.
• Inefficiëntie: Indiscriminaat trainen over alle schalen brengt exponentieel groeiende computationele overhead met zich mee zonder effectieve erasure te garanderen.

Huidige VAR-specifieke pogingen (bijv. S-VARE, EAR) vertonen suboptimale effectiviteit en hoge trainingskosten, grotendeels omdat ze het multi-schaal generatieproces behandelen als een homogene sequentiële taak, waarbij ze de intrinsieke ruimtelijke-hiërarchische aard van deze modellen niet begrijpen.

2. Methodologie

Het voorgestelde SACE (Scale-Aware Concept Erasure) framework pakt deze uitdagingen aan via een drieledige aanpak: theoretische axiomatisering, diagnostische analyse en gerichte optimalisatie.

A. Het Semantische Singulariteitsaxioma

De kern theoretische bijdrage is het Semantische Singulariteitsaxioma, dat stelt dat elk doelwit semantisch concept ingebed in een prompt onherroepelijk vastligt op de fundamentele generatieve schaal (Scale-0).

• Mechanisme: De globale tekstconditie initieert een "visual accumulator cascade". Het semantische commitmentpunt wordt vastgesteld op Scale-0 (een $1 \times 1$ latent token) en plant zich structureel voort naar alle hogere frequentie-schalen.
• Implicatie: Vervolg-schalen ($s > 0$) injecteren geen nieuwe semantische concepten; ze voeren enkel hoogfrequente structurele vergrendeling en textuurverfijning uit op basis van de priors die op Scale-0 zijn vastgesteld. Daarom zijn interventies op schalen $s > 0$ redundant en structureel schadelijk.

B. Incrementele Semantische Salientie Analyse (ISSA)

Om het axioma te valideren, stellen de auteurs ISSA voor, een diagnostisch framework dat nieuw geïnjecteerde semantische informatie per resolutie-schaal isoleert.

• Proces: ISSA onderschept cross-attention waarschijnlijkheden tijdens inferentie, aggregeert deze over lagen, en berekent de Attention Residual ($\Delta A_k$) door de geupsamplede aandacht van de vorige schaal af te trekken van de huidige schaal.
• Bevindingen: Visuele analyse laat zien dat de aandachtsmassa voor specifieke concepten piekt op Scale-0 en een exponentiële afname ervaart in de daaropvolgende schalen. Hogere schalen dragen verwaarloosbare nieuwe semantische focus bij en fungeren enkel als textuurverfijners. Dit biedt een rigoureus visueel bewijs dat interveniëren op schalen $s > 0$ zowel onnodig als schadelijk is.

C. Het SACE Optimalisatie Framework

Gestuurd door het axioma, beperkt SACE alle erasure-interventies strikt tot Scale-0, waarbij gebruik wordt gemaakt van een dual-objective optimalisatiestrategie:

1. Entropie-gereguleerde Erasure Objective ($\mathcal{L}_{ER}$):

   • Probleem: Het geforceerd verplaatsen van latente representaties in autoregressieve modellen vlakt de output-logits af, wat leidt tot pathologisch hoge entropie en bijna willekeurige token-selectie (degeneratie).
   • Oplossing: $\mathcal{L}_{ER}$ koppelt een generatieve deflatie-mechanisme (het afstoten van het doelconcept) aan een dynamische informatie-theoretische scherptebeperking. Het zorgt ervoor dat het model het concept wist zonder de categorische distributie te laten instorten tot hoog-entropische ruis.
   • Formule: $\mathcal{L}_{ER} = \mathcal{L}_{naive} + \lambda_{ent}\mathcal{L}_{ent}$, waarbij $\mathcal{L}_{ent}$ de entropie bestraft die een maximale drempel ($H_{max}$) overschrijdt.

2. Restoratieve Preservatie Loss ($\mathcal{L}_{pre}$):

   • Probleem: Het ablateren van het doelconcept kan de fijnmazige cross-token afhankelijkheden beschadigen die nodig zijn voor hoogwaardige synthese, wat leidt tot "collateral damage" aan benigne priors (bijv. verstoorde anatomie).
   • Oplossing: $\mathcal{L}_{pre}$ verankert de integriteit van verstrengelde benigne priors door de afstand tussen de gewiste output van het model en de output van het originele model op niet-doel prompts te minimaliseren, specifiek op schalen $s \ge 1$.
   • Rol: Dit fungeert als een "chirurgisch scalpel", dat het model dwingt tot orthogonale ontwarring op Scale-0, terwijl de hoogfrequente structurele gradiënten van hogere schalen behouden blijven.

3. Belangrijkste Bijdragen

1. Semantisch Singulariteitsaxioma: De eerste formalisering dat semantische injectie in next-scale autoregressieve modellen wordt gedomineerd door de initiële schaal, wat multi-schaal erasure vereenvoudigt tot een gerichte interventie bij de semantische wortel.
2. Incrementele Semantische Salientie Analyse (ISSA): Een white-box diagnostisch instrument dat incrementele semantische informatie isoleert, en de gemeenschap de eerste methode biedt om het coarse-to-fine generatieproces van VAR-modellen transparant te inspecteren.
3. Scale-Aware Erasure Framework: Het eerste framework dat volwassen diffusie-gebaseerde erasure-strategieën migreert naar het VAR-paradigma door gebruik te maken van het Semantisch Singulariteitsaxioma. Het combineert First-Scale Intervention met bi-level optimalisatie.
4. Chirurgische Precisie: De methode bereikt state-of-the-art (SOTA) erasure-prestaties met minimale trainingsoverhead, waarbij een effectieve balans wordt gevonden tussen conceptverwijdering en het behoud van algemene generatieve getrouwheid.

4. Experimentele Resultaten

De auteurs evalueerden SACE op het Infinity-8B model tegenover baselines inclusief ESD, FMN, UCE en VARE (gereproduceerd).

• NSFW Erasure ("Nude"):

  • SACE reduceerde de door mensen beoordeelde naaktheidsgraad (HNR) van 97,7% (baseline) naar 17,5%.
  • In tegenstelling tot agressieve baselines (bijv. ESD-x) die een lage HNR bereikten (7,2%) maar de beeldkwaliteit vernietigden (FID 52,18), behield SACE een concurrerende FID van 23,5 en een CLIP-score van 31,3, vrijwel ononderscheidbaar van het originele model.
  • SACE bereikte de laagste sensitiviteitsscore (71) op anatomische detecties terwijl het een hoge complexiteit (375) behield, wat duidt op behouden generatieve rijkdom.

• Stijl Erasure ("Van Gogh"):

  • SACE reduceerde de aanwezigheid van stijl tot 8% accuratesse, waarmee het baselines (18–28%) versloeg.
  • Cruciaal is dat SACE een FID van 23,8 behield, terwijl ESD-u een catastrofale degradatie van de bruikbaarheid onderging (FID 88,1).

• Object Erasure ("Church"):

  • SACE was de enige methode die de generatie van concrete objecten significant verstoorde, waarbij de accuratesse werd teruggebracht van 97,0% naar 65,0%. Baselines boden geen betekenisvolle erasure (88–98%).

• Robuustheid:

  • SACE demonstreerde sterke robuustheid tegen adversariële aanvallen (Ring-A-Bell en I2P datasets), waarbij het de laagste Attack Success Rate (ASR) behaalde op R-A-B (44,56%) en de op één na beste op I2P.

• Ablatie-studies:

  • Scale: Interveniëren op alle schalen degradeerde de effectiviteit van de erasure (ASR steeg terug naar 55,79%) door conflicterende doelstellingen tussen erasure en preservatie.
  • Entropy: Het verwijderen van entropie-regularisatie leidde tot suboptimale erasure (ASR 54,04%) door het afvlakken van de logits.
  • Preservation: Zonder $\mathcal{L}_{pre}$ stortte de generatieve kwaliteit in (FID 27,4). Een sterke anchor ($\lambda_{pre}=2.0$) was vereist om precieze ontwarring af te dwingen.

5. Betekenis en Claims

Het artikel claimt het eerste scale-aware concept erasure framework te bieden dat specifiek is ontworig voor Visual Autoregressive modellen. De betekenis ligt in:

1. Fundamenteel Inzicht: Het herdefinieert fundamenteel hoe veiligheidsinterventies voor VAR-modellen moeten worden aangepakt, door weg te bewegen van de "one-size-fits-all" aanpak van diffusiemodellen naar een schaal-specifieke strategie.
2. Efficiëntie en Veiligheid: Door interventies te beperken tot Scale-0, vermindert de methode de computationele kosten drastisch, terwijl het wiskundig garandeert dat hoogfrequente structurele details onaangetast blijven.
3. Bruggen Bouwen tussen Paradigma's: Het biedt een systematische methodologie om de veiligheidsonderzoeken uit het diffusie-tijdperk aan te passen aan de volgende generatie AR-modellen, waarbij jaren aan voorafgaand onderzoek wordt benut om opkomende veiligheids kwetsbaarheden op te lossen.
4. Chirurgische Precisie: Het framework bereikt een delicaat evenwicht door gevoelige concepten te verwijderen zonder de "collateral damage" van wazigheid of het vernietigen van de algemene generatieve vermogens van het model, een cruciale vereiste voor real-world implementatie.

De auteurs concluderen dat hun aanpak "tijdig en elegant de kritieke veiligheids kwetsbaarheden oplost" die inherent zijn aan opkomende VAR-architecturen, en een robuust pad biedt naar de veilige inzet van deze hoogwaardige generatieve modellen.