Riepilogo Tecnico: Nessuna Dose Sicura: Come i Dati di Addestramento Guidano la Generazione di Immagini Non Sicure

Enunciato del Problema

I modelli generativi testo-immagine (T2I) sono addestrati su dataset massicci, spesso non curati, che contengono inevitabilmente contenuti non sicuri (ad esempio, violenza, materiale sessuale, immagini d'odio). Sebbene interventi reattivi come il filtraggio dei prompt e l'RLHF siano comuni, una domanda fondamentale a monte rimane irrisolta: In quale misura la composizione dei dati di addestramento guida direttamente la sicurezza dell'output del modello?

La letteratura attuale manca di un'analisi controllata che isoli la composizione dei dati di addestramento da altre variabili confondenti (come dataset proprietari, architetture variabili e iperparametri). Inoltre, non è chiaro se la proporzione di immagini non sicure o il numero assoluto sia la variabile operativa che guida la generazione non sicura. Inoltre, l'estensione in cui il filtraggio della sicurezza degrada la qualità dell'immagine rimane oggetto di dibattito.

Metodologia

Gli autori hanno condotto un esperimento controllato rigoroso per isolare la composizione del dataset come variabile chiave.

Design Sperimentale

• Architettura del Modello: È stato utilizzato un modello fisso di flusso di corrispondenza testo-immagine (PRX-1.2B) in tutte le condizioni.
• Dati di Addestramento: I corpora sono stati assemblati da tre fonti pubbliche (FLUX-generated, FLUX-Reason, Midjourney-v6).
• Famiglia di Interventi: La distribuzione di addestramento è stata manipolata per creare sette condizioni distinte che variavano in:
  1. Proporzione di Contaminazione ($p$): Da 0% a ~9,6% di immagini non sicure.
  2. Scala del Dataset ($N$): Da 100K a 8,6M di immagini.
  3. Conteggio Assoluto ($U$): Le condizioni sono state progettate per mantenere $U$ costante mentre si variava $p$, e viceversa.
• Ablazione del Text Encoder: Per isolare il contributo del modello di condizionamento, gli autori hanno ritrattato i modelli utilizzando tre diversi text encoder: T5-Gemma-2B (predefinito), CLIP ViT-L/14 e SafeCLIP ViT-L/14.
• Protocollo di Valutazione:
  • Generazione: 30.000 immagini generate per modello da un banco di prova di prompt stratificato (1.000 prompt sicuri, 9.000 prompt avversari in 9 categorie di sicurezza).
  • Classificazione della Sicurezza: Gli output sono stati valutati da quattro classificatori di sicurezza indipendenti (LlavaGuard, LlamaGuard, ShieldGemma, Stable Diffusion Safety Checker).
  • Metriche di Qualità: Sono stati calcolati FID, CLIPscore e ImageReward per valutare i compromessi sulla qualità.

Contributi Chiave

1. Relazione Causale Stabilita: Il documento fornisce un'analisi controllata che dimostra una relazione causale diretta e monotona tra la proporzione di dati di addestramento non sicuri e il tasso di generazione di immagini non sicure.
2. Proporzione vs Conteggio: Attraverso un disegno fattoriale, gli autori dimostrano che la proporzione di immagini non sicure è la variabile operativa, non il conteggio assoluto. Il filtraggio della sicurezza si mostra invariante rispetto alla scala al di sopra di una dimensione minima del dataset (~1 milione di immagini).
3. Specificità Adversariale: L'effetto di generazione non sicura è esclusivamente avversario. Sotto prompt sicuri, tutti i modelli producono circa l'1% di output non sicuri indipendentemente dai livelli di contaminazione. La cura dei dati mira specificamente alla superficie di attacco avversariale.
4. Soglia di Sicurezza Irriducibile: Anche con 0% di immagini di addestramento non sicure, persiste una base di output non sicuri (16,6% con T5-Gemma). Questo "pavimento" è attribuito al pre-addestramento del text encoder congelato su dati web-scale. Sostituendo l'encoder con SafeCLIP, questo pavimento si riduce al 9,6%.
5. Nessun Costo di Qualità: Il filtraggio della sicurezza non comporta un degrado misurabile nella qualità dell'immagine (FID, CLIPscore, ImageReward) rispetto ai baseline non filtrati.

Risultati Chiave

Relazione Dose-Risposta

• Aumento Monotono: L'insicurezza dell'output aumenta in modo monotono con la contaminazione dell'addestramento.
  • 0% contaminazione (C1): 16,6% di output non sicuri.
  • 1,2% contaminazione (C0, naturale): 20,6% di output non sicuri.
  • 5% contaminazione (C2): 25,5% di output non sicuri.
  • 9,6% contaminazione (C3): 26,4% di output non sicuri.
• Amplificazione: Il modello amplifica significativamente il segnale di input; una contaminazione di addestramento dell'1,2% risulta in un aumento di 17 volte degli output non sicuri (20,6%).
• Sublinearità: La relazione è sublineare (saturante), suggerendo rendimenti marginali decrescenti all'aumentare della contaminazione.

Proporzione vs Conteggio Assoluto

• Invarianza di Scala: I modelli addestrati su 1 milione di immagini con il 1,2% di contaminazione (C4) e su 8 milioni di immagini con il 1,2% di contaminazione (C0) non hanno mostrato differenze statisticamente significative nelle prestazioni di sicurezza.
• Controllo del Conteggio: Mantenendo costante il numero assoluto di immagini non sicure (96K) ma variando la proporzione (1,2% in C0 contro 9,6% in C6), il modello con la proporzione più alta (C6) ha prodotto significativamente più output non sicuri (26,2% contro 20,6%).

Impatto del Text Encoder

• Soglia Irriducibile: Con dati filtrati (0% contaminazione), i tassi di insicurezza sono stati:
  • T5-Gemma: 16,6%
  • CLIP: 14,7%
  • SafeCLIP: 9,6%
• Persistenza dell'Effetto: L'effetto dose-risposta è persistito attraverso tutti e tre gli encoder, confermando che i concetti non sicuri vengono appresi dalla distribuzione visiva di addestramento indipendentemente dal text encoder, sebbene l'encoder stabilisca il rischio di base.

Sensibilità per Categoria

• Visivo vs Contestuale: Le categorie che richiedono conoscenze visive specifiche (O3: Contenuto Sessuale, O4: Nudità) hanno mostrato la maggiore sensibilità alla contaminazione dell'addestramento.
• Categorie Contestuali: Le categorie che si basano sull'interpretazione contestuale (O1: Odio, O7: Autolesionismo) hanno mostrato tendenze non monotone e sono state meno sensibili alla contaminazione dei dati visivi, suggerendo un dominio dell'encoder testuale.

Qualità e Robustezza

• Metriche di Qualità: Non è stato osservato alcun degrado sistematico in FID, CLIPscore o ImageReward in nessuna condizione.
• Coerenza dei Classificatori: Il profilo dose-risposta è stato coerente attraverso tutti e quattro i classificatori di sicurezza indipendenti, nonostante le differenze nella loro severità di valutazione assoluta.

Significato e Affermazioni

Il documento stabilisce che la cura dei dati e la sicurezza del text encoder sono interventi complementari e indipendentemente efficaci.

• Per i Pratici: Gli autori propongono una strategia stratificata:

  1. Filtrare una frazione fissa di contenuti di addestramento non sicuri (efficace indipendentemente dalla dimensione del corpus, senza costi di qualità).
  2. Sostituire i text encoder standard con varianti allineate alla sicurezza (ad esempio, SafeCLIP) per abbassare la soglia di sicurezza irriducibile.
  3. Investire in difese contro prompt avversari per affrontare il rischio residuo non coperto da interventi sui dati o sull'encoder.

• Implicazioni Teoriche: I risultati sfidano il paradigma di scalatura "più grande è meglio" per quanto riguarda la sicurezza, suggerendo che senza affrontare la composizione dei dati e la sicurezza dell'encoder, una maggiore capacità del modello può portare a tassi più elevati di generazione non sicura (come osservato nella Fig. 1 attraverso le generazioni del modello).

• Limitazioni e Ambito: Gli autori dichiarano esplicitamente che la loro definizione di "non sicuro" è operativa, basata su classificatori automatizzati e su una tassonomia a nove categorie. Non costituisce una valutazione legale di contenuti illegali (ad esempio, CSAM, NCII). Lo studio si concentra sulla dinamica del pre-addestramento; sebbene abbiano osservato che il Fine-Tuning Supervisionato (SFT) su dati sicuri possa paradossalmente aumentare i tassi di insicurezza (probabilmente a causa dei guadagni di capacità), il focus principale rimane sul legame causale tra la composizione dei dati di pre-addestramento e la sicurezza dell'output.