ScaleErasure: Inference-Time Minimal Intervention for Precise Concept Erasure in Next-Scale Autoregressive Image Generation

Sintesi Tecnica: ScaleErasure

Definizione del Problema

Il documento affronta la sfida della cancellazione dei concetti (concept erasure) nella generazione di immagini autoregressiva a scala successiva (next-scale AR), un paradigma distinto dai dominanti modelli di diffusione. Mentre la cancellazione dei concetti mira a impedire ai modelli di generare contenuti non sicuri (ad esempio, nudità o personaggi protetti da copyright) preservando al contempo la capacità generativa generale, i metodi esistenti sono progettati principalmente per i modelli di diffusione e non si traducono direttamente nel paradigma next-scale AR.

La difficoltà principale nel paradigma next-scale AR risiede nella severa intrecciatura semantica (semantic entanglement). A differenza dei modelli di diffusione che generano a risoluzioni fisse, i modelli next-scale AR generano immagini da una scala grossolana a una fine, partendo da risoluzioni estremamente basse (ad esempio, token 1×1 o 2×2). In queste prime scale, l'informazione semantica è altamente compressa in un numero limitato di token. Di conseguenza, un singolo token spesso codifica sia semantiche non sicure (ad esempio, "nudità") sia semantiche sicure non correlate (ad esempio, "sfondo" o "cielo"). Questa intrecciatura rende difficile selezionare ed eliminare con precisione i concetti non sicuri senza degradare la struttura complessiva dell'immagine o rimuovere contenuti non correlati.

Metodologia: ScaleErasure

Gli autori propongono ScaleErasure, un metodo di cancellazione dei concetti in fase di inferenza che esegue un intervento minimo guidando selettivamente i logit predetti. Il metodo opera senza modificare i parametri del modello, modulando invece il processo di generazione durante l'inferenza.

Meccanismo Centrale

ScaleErasura identifica i logit più rilevanti per un concetto non sicuro e li guida verso un corrispondente concetto sicuro. Ciò avviene attraverso due passaggi forward aggiuntivi condizionati sul concetto non sicuro e sul concetto sicuro. I logit guidati finali ($\ell^\star_k$) sono una combinazione dei logit standard del Classifier-Free Guidance (CFG) e dei nuovi logit di Safe Guidance (SG), determinati da una maschera binaria ($M_k$):
$$\ell^\star_k = M_k \cdot \ell^{SG}_k + ( - M_k) \cdot \ell^{CFG}_k$$

Per garantire un intervento preciso e minimo, la selezione dei logit e l'applicazione della guida sono condotte attraverso tre dimensioni ortogonali:

1. Selezione a livello di Scala (Scale-Level Selection):

   • Razionale: Le scale precoci (1×1, 2×2) catturano la struttura globale e sono troppo sensibili all'intervento; le scale tardive raffinano principalmente i dettagli ad alta frequenza dove il contenuto non sicuro è già stato fissato.
   • Strategia: La guida è limitata a un intervallo intermedio di scale (ad esempio, scale da 3 a 8). Ciò consente anche una strategia di early-stop per i passaggi forward aggiuntivi, riducendo significativamente l'overhead computazionale rispetto alla guida su tutte le scale.

2. Selezione a livello di Token (Token-Level Selection):

   • Razionale: Per evitare di disturbare regioni non correlate (ad esempio, il cielo o lo sfondo) all'interno di una mappa di token.
   • Strategia: Il metodo sfrutta il meccanismo di cross-attention interno del modello. Calcola punteggi di similarità tra le query visive e le chiavi dei concetti (concetti non sicuri rispetto a concetti non correlati come lo "sfondo"). I token con alta rilevanza per il concetto non sicuro (che superano una soglia $\tau_{token}$) vengono selezionati per l'intervento, mentre gli altri vengono preservati.

3. Selezione a livello di Canale di Bit (Bit-Channel-Level Selection):

   • Razionale: I modelli next-scale AR (specificamente quelli che utilizzano la Binary Spherical Quantization) rappresentano i token tramite molteplici canali di bit indipendenti. Un singolo token può contenere sia bit non sicuri che sicuri.
   • Strategia: Il metodo confronta i vettori dei logit del passaggio condizionato dal prompt con quelli del passaggio condizionato dal concetto non sicuro. I canali di bit con differenze assolute basse (sotto la soglia $\tau_{bit}$) sono considerati irrilevanti per il concetto non sicuro ed vengono esclusi dalla guida. Ciò consente una disentanglement semantica fine-grained all'interno di un singolo token.

Formulazione della Safe Guidance

Per i logit selezionati, il metodo sostituisce i logit condizionati dal prompt con una versione guidata dalla sicurezza. La formula di guida incorpora un termine di penalizzazione per sopprimere le residue attivazioni non sicure:
$$\ell^{SG}_k = \ell^{uc}_k + \beta_{CFG}(\ell^{sa}_k - \ell^{us}_k)$$
dove $\ell^{sa}_k$ e $\ell^{us}_k$ sono i logit condizionati rispettivamente sui concetti sicuri e non sicuri.

Contributi Chiave

1. Framework ScaleErasure: Un nuovo metodo di cancellazione dei concetti in fase di inferenza specificamente adattato al paradigma next-scale AR, che affronta la sfida unica dell'intrecciatura semantica.
2. Strategia di Guida Selettiva dei Logit: Un meccanismo di selezione tridimensionale (scale, token e canali di bit) che consente una cancellazione precisa dei concetti non sicuri minimizzando i danni collaterali alla capacità generativa generale.
3. Ottimizzazione dell'Efficienza: L'introduzione di una strategia di early-stop per i passaggi forward aggiuntivi, che riduce sostanzialmente il costo computazionale e la latenza di inferenza mantenendo le prestazioni di sicurezza.

Risultati Sperimentali

Il metodo è stato valutato sul modello Infinity-2B in due domini: cancellazione della nudità (utilizzando il benchmark I2P) e cancellazione del copyright (Pikachu e SpongeBob).

• Cancellazione della Nudità: ScaleErasure ha ottenuto il minor numero totale di nudità su I2P (182 rispetto a 296 del secondo miglior baseline, ESD-u) mantenendo al contempo una capacità generativa generale superiore (FID più basso di 2.91 e CLIP Score più alto di 30.68 su MS-COCO).
• Cancellazione del Copyright: Il metodo ha ottenuto il miglior $H_a$ medio (una metrica che bilancia soppressione e preservazione) per entrambi i personaggi, dimostrando una consistenza efficace.
• Prestazioni Qualitative: I confronti visivi hanno mostrato che ScaleErasure ha rimosso con successo il contenuto non sicuro preservando la struttura globale e i dettagli dello sfondo, mentre i baseline spesso introducevano artefatti, distorsioni o non riuscivano a cancellare completamente il concetto.
• Efficienza: Utilizzando la strategia di early-stop, ScaleErasure ha comportato un aumento della latenza di solo il ~9% rispetto al modello base, rispetto a un aumento del ~35% se la guida fosse stata applicata su tutte le scale.

Significato e Rivendicazioni

Il documento afferma che ScaleErasure rappresenta un passo avanti significativo nel rendere sicuri i modelli autoregressivi a scala successiva, un paradigma che è stato ampiamente inesplorato per quanto riguarda i meccanismi di sicurezza. Gli autori sottolineano che il loro approccio raggiunge una precisa cancellazione dei concetti in condizioni di severa intrecciatura semantica, un problema in cui i metodi precedenti faticano.

La significatività del lavoro risiede nella sua capacità di sopprimere contenuti non sicuri (come nudità o materiale protetto da copyright) senza alterare permanentemente i parametri del modello o degradare significativamente la fedeltà generativa generale. Operando in fase di inferenza con un intervento minimo, il metodo offre una soluzione flessibile, reversibile e implementabile per la sicurezza nei sistemi emergenti di generazione di immagini basati su AR. Gli autori osservano che, sebbene il metodo migliori la sicurezza, opera entro i vincoli del paradigma specifico e non pretende di risolvere tutte le sfide di sicurezza nell'IA generativa.