Riepilogo Tecnico: SafeDiffusion-R1

Enunciato del Problema

I modelli di diffusione da testo a immagine (T2I), addestrati su dati web su larga scala, hanno democratizzato la generazione di contenuti visivi ma hanno involontariamente interiorizzato associazioni non sicure ed esplicite. Le attuali interventi di sicurezza presentano limitazioni significative:

1. Scarsità e Costo dei Dati: I metodi che si basano sul fine-tuning supervisionato (SFT) o sul reinforcement learning (RL) offline richiedono dataset costosi e curati di coppie immagine-testo sicure/non sicure o di coppie immagine negative/positive, che sono difficili da scalare.
2. Dimenticanza Catastrofica: Gli approcci offline che generano dati sintetici o si basano su dataset fissi soffrono spesso di dimenticanza catastrofica, degradando le capacità generative generali del modello e la qualità compositiva.
3. Supervisione Statica: I paradigmi attuali (SFT e RL offline) ottimizzano contro esempi fissi o dati pre-generati. Non riescono ad adattare i loro segnali di training al comportamento generativo in evoluzione del modello, rendendoli insufficienti per tracciare e sopprimere contenuti non sicuri che emergono dinamicamente durante l'addestramento.
4. Sovraccarico del Modello di Ricompensa: Molti metodi di allineamento alla sicurezza richiedono l'addestramento o il fine-tuning di modelli di ricompensa specializzati per classificare le immagini come sicure o non sicure, introducendo un ulteriore onere computazionale.

Metodologia

Gli autori propongono SafeDiffusion-R1, un framework di reinforcement learning online progettato per allineare i modelli di diffusione ai vincoli di sicurezza senza dati supervisionati accoppiati o fine-tuning di modelli di ricompensa specializzati. Il framework integra due componenti fondamentali:

1. Ottimizzazione della Politica Online tramite GRPO

Il metodo impiega l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) come algoritmo di training. A differenza del PPO standard o del RL offline, la GRPO opera on-policy:

• Campionamento Dinamico: Il modello genera continuamente campioni di immagini sia da prompt benigni che non sicuri durante l'addestramento.
• Vantaggio Basato sul Gruppo: Per ogni prompt, vengono generati $K$ campioni indipendenti. Gli vantaggi sono normalizzati all'interno del gruppo ($A_{i,k} = \frac{r_{i,k} - \bar{r}_i}{\sigma_i + \delta}$) piuttosto che globalmente. Questo mitiga le discrepanze nella scala delle ricompense tra prompt benigni e non sicuri, prevenendo una correzione eccessiva e garantendo aggiornamenti stabili rispetto alla distribuzione della politica corrente.
• Apprendimento On-Policy: Accoppiando l'ottimizzazione della sicurezza con la distribuzione di campionamento in evoluzione del modello, il metodo evita lo sfasamento della distribuzione e preserva le capacità generative generali mentre disimpara progressivamente i concetti non sicuri.

2. Ricompensa di Sterzata Consapevole della Geometria

Per eliminare la necessità di un classificatore separato sicuro/non sicuro o di un modello di ricompensa, gli autori introducono un meccanismo di ricompensa di sterzata che sfrutta le proprietà geometriche degli embedding CLIP:

• Vettore di Direzione di Sicurezza ($v_{safe}$): Viene calcolato un vettore unitario nello spazio degli embedding testuali come la differenza normalizzata tra le medie degli embedding di un piccolo insieme di ancoraggi testuali sicuri ($T_{safe}$) e ancoraggi testuali non sicuri ($T_{unsafe}$):
  $$v_{safe} = \frac{\bar{z}_{safe} - \bar{z}_{unsafe}}{\|\bar{z}_{safe} - \bar{z}_{unsafe}\|_2}$$
• Sterzata Condizionale: Per un prompt di input $c$, l'embedding testuale $z_T$ viene proiettato su $v_{safe}$. Se il prompt è identificato come non sicuro (proiezione negativa), l'embedding viene geometricamente indirizzato verso la direzione sicura:
  $$z'_T = \text{normalize}(z_T + \alpha v_{safe})$$
  dove $\alpha$ è un iperparametro di forza di sterzata.
• Calcolo della Ricompensa: La ricompensa è calcolata come la similarità coseno tra l'embedding dell'immagine ($z_I$) e l'embedding testuale sterzato ($z'_T$) per i prompt non sicuri, o l'embedding testuale originale per i prompt sicuri. Questo rimodella il segnale di ottimizzazione per incoraggiare l'allineamento con attributi semantici sicuri senza penalizzare esplicitamente il modello per la "comprensione" del prompt non sicuro.

Contributi Chiave

1. Formulazione della Politica Online: Il documento formula l'allineamento alla sicurezza per i modelli di diffusione T2I come un problema di ottimizzazione della politica online, introducendo un framework basato su GRPO che accoppia l'apprendimento della sicurezza con la distribuzione generativa in evoluzione del modello per prevenire la dimenticanza catastrofica.
2. Meccanismo di Ricompensa di Sterzata: Viene proposta una nuova ricompensa consapevole della geometria che rappresenta la sicurezza come una direzione nello spazio degli embedding CLIP. Ciò consente la soppressione dei concetti senza addestrare modelli di ricompensa sicuri/non sicuri dedicati o fare affidamento su dati supervisionati accoppiati.
3. Validazione Empirica: Esperimenti estesi dimostrano che il framework supera il fine-tuning supervisionato e i metodi di allineamento offline sui benchmark di sicurezza, preservando o migliorando la qualità della generazione compositiva.

Risultati Sperimentali

Il metodo è stato valutato su Stable Diffusion v1.4 utilizzando il benchmark I2P (rilevamento di nudità) e GenEval (utilità compositiva).

• Prestazioni di Sicurezza:
  • Rilevamento di Nudità: SafeDiffusion-R1 ha ridotto le rilevazioni di nudità a 15 (rispetto a 646 per la SD v1.4 di base e 66 per la baseline RECE).
  • Contenuti Inappropriati: Il metodo ha ridotto il tasso complessivo di contenuti inappropriati al 18,07% (contro il 48,9% per SD v1.4). Notabilmente, ha ottenuto prestazioni solide in sette categorie di danno (Odio, Molestie, Violenza, Autolesionismo, Sessuale, Scioccante, Attività illegale) nonostante sia stato addestrato principalmente su prompt focalizzati sulla nudità, dimostrando una forte generalizzazione Out-of-Distribution (OOD).
• Preservazione dell'Utilità:
  • Qualità Compositiva: A differenza delle baseline che degradano l'utilità, SafeDiffusion-R1 ha migliorato il punteggio GenEval dal 42,08% (SD v1.4) al 47,83%.
  • Fedeltà Visiva: L'analisi qualitativa mostra che il modello preserva l'integrità strutturale, i dettagli facciali e la coerenza dell'illuminazione, evitando distorsioni, eccessiva levigatura o incoerenza semantica osservate in metodi come EraseDiff o ESD.
  • Punteggio CLIP: Il modello ha mantenuto punteggi CLIP-T vicini alla baseline (0,311 contro 0,313), indicando un mantenimento del rispetto delle istruzioni.

Significato e Affermazioni

Il documento afferma che SafeDiffusion-R1 affronta il compromesso critico tra sicurezza e utilità nei modelli di diffusione. Utilizzando GRPO online e sterzata geometrica, l'approccio:

• Elimina le Dipendenze dai Dati: Rimuove la necessità di costosi dataset supervisionati di sicurezza curati.
• Evita il Sovraccarico del Modello di Ricompensa: Supera il costo computazionale dell'addestramento di classificatori di ricompensa specializzati.
• Garantisce Stabilità: La formulazione on-policy e la normalizzazione relativa al gruppo prevengono la dimenticanza catastrofica e il collasso della distribuzione.
• Generalizza in Modo Robusto: Il metodo raggiunge prestazioni di sicurezza all'avanguardia che si generalizzano a prompt non sicuri OOD attraverso diverse categorie di danno, anche quando addestrato su un insieme ristretto di concetti non sicuri.

Gli autori posizionano questo lavoro come una strategia pratica per la modifica post-training che aggiusta direttamente i modelli pre-addestrati per sopprimere i concetti non sicuri senza riaddestramento da zero, rimanendo compatibile con sistemi rilasciati pubblicamente come Stable Diffusion.