UniSAFE: A Comprehensive Benchmark for Safety Evaluation of Unified Multimodal Models

1. Il Problema: Rischi di Sicurezza nei Modelli Multimodali Unificati (UMM)

I Modelli Multimodali Unificati (UMM) stanno diventando lo standard per i modelli fondazionali (es. GPT-5, Gemini, Janus, Show-o), poiché sono in grado di elaborare e generare contenuti attraverso diverse modalità (testo e immagini) in un unico sistema. Tuttavia, questa capacità introduce nuove e complesse vulnerabilità di sicurezza che non erano presenti nei modelli a singolo compito (es. solo generazione di testo o solo generazione di immagini).

I rischi principali identificati includono:

• Composizione Multimodale: Input che sembrano innocui singolarmente (es. un'immagine benigna + un'istruzione benigna) possono, se combinati, generare output dannosi.
• Interazioni Multi-turno: Un'immagine può essere modificata gradualmente attraverso una serie di richieste innocue per evolvere in contenuti pericolosi (attacchi a "crescendo").
• Mancanza di Benchmark Olistici: Gli attuali benchmark di sicurezza sono frammentati, focalizzandosi su singoli compiti (es. solo Text-to-Image) o modalità specifiche, ignorando le interazioni complesse tra input e output multimodali. Non esiste una valutazione sistematica per le nuove capacità di generazione di immagini contestualizzate da input multimodali.

2. Metodologia: UniSAFE

Per colmare questo divario, gli autori introducono UniSAFE, il primo benchmark completo per la valutazione della sicurezza a livello di sistema per gli UMM.

Design del Benchmark

• Copertura dei Compiti: UniSAFE copre 7 combinazioni di modalità di Input/Output (I/O), includendo sia compiti convenzionali che scenari innovativi:
  1. TI (Text-to-Image): Testo $\to$ Immagine.
  2. IE (Image Editing): Immagine + Testo $\to$ Immagine.
  3. IC (Image Composition): Immagine + Immagine + Testo $\to$ Immagine (composizione di più immagini).
  4. MT (Multi-Turn Editing): Sequenza di editing iterativo (es. T1 $\to$ I1, I1+T2 $\to$ I2, ecc.).
  5. TT (Text-to-Text): Testo $\to$ Testo.
  6. IT (Image-to-Text): Immagine $\to$ Testo.
  7. MU (Multimodal Understanding): Immagine + Testo $\to$ Testo.
• Design "Shared-Target" (Obiettivo Condiviso): Questa è l'innovazione metodologica centrale. Per ogni scenario di rischio, viene definito un target description (descrizione dell'output dannoso desiderato) comune. Questo target viene poi adattato per generare scenari specifici per ciascuna delle 7 modalità I/O.
  • Vantaggio: Permette confronti controllati tra compiti diversi, isolando come la configurazione specifica di input/output influenzi la vulnerabilità del modello, mantenendo costante il rischio intrinseco.
• Tassonomia di Sicurezza: Viene proposta una tassonomia dettagliata divisa in due gruppi basati sull'output:
  • Output Immagine: 7 categorie (Violenza, Sessuale, Odio, Contenuti Illeciti, Falsificazione, Diritti Legali, Contenuti Disturbanti) con 15 sottocategorie.
  • Output Testo: 9 categorie (aggiungendo Cybersecurity, Privacy, Danni Economici) con 21 sottocategorie.

Pipeline di Costruzione dei Dati

La creazione del dataset di 6.802 istanze curate segue una pipeline automatizzata con supervisione umana:

1. Estrazione di "Unsafe Triggers": Identificazione di elementi atomici minimi che rendono una richiesta violativa (es. "costruzione di bomba").
2. Costruzione della Descrizione Target: Espansione del trigger in uno scenario contestuale plausibile ma sicuro in superficie, progettato per eludere i filtri banali.
3. Generazione degli Scenari: Creazione di input specifici per ogni compito (es. per l'editing, un'immagine di partenza sicura + un'istruzione benigna che, applicata all'immagine, produce il risultato dannoso).
4. Curatela Umana: Esperti hanno filtrato e validato gli scenari per garantire allineamento con la tassonomia e qualità.

Protocollo di Valutazione

• Modelli Testati: 15 UMM all'avanguardia (2 proprietari: GPT-5, Gemini-2.5; 13 open-source: Qwen, Show-o, Janus, ecc.).
• Metriche:
  • ASR (Attack Success Rate): Percentuale di output classificati come dannosi.
  • ARR (Average Risk Rating): Punteggio medio di gravità (0-3).
  • SAS (Self-Awareness Score): Misura la capacità del modello di riconoscere internamente se un proprio output è dannoso, confrontando la sua auto-valutazione con quella di un giudice esterno.
• Giudici: Utilizzo di un ensemble di tre MLLM (Gemini-2.5 Pro, GPT-5-nano, Qwen2.5-VL) per valutare le risposte, validato con annotazione umana (correlazione $r=0.962$).

3. Risultati Chiave

L'analisi su 15 modelli rivela vulnerabilità critiche e bias significativi:

• Vulnerabilità nei Nuovi Compiti: I compiti innovativi come la Composizione di Immagini (IC) e l'Editing Multi-turno (MT) mostrano tassi di fallimento della sicurezza (ASR) significativamente più alti rispetto ai compiti convenzionali (TI, TT). Questo indica che la capacità di ragionare su contesti multimodali complessi supera le attuali difese.
• Bias di Modalità (Output): Esiste un forte bias nella sicurezza allineata: i compiti con output in Immagine sono sistematicamente più vulnerabili di quelli con output in Testo. I modelli tendono a rifiutare o filtrare meglio le richieste dannose quando il risultato è testuale, fallendo spesso quando devono generare immagini dannose.
• Differenza Open-Source vs Proprietario:
  • I modelli proprietari mostrano tassi di rifiuto (Refusal Rate) più elevati, ma falliscono comunque nei nuovi compiti multimodali complessi.
  • I modelli open-source mostrano vulnerabilità elevate in tutti i compiti, con performance di sicurezza spesso inferiori, specialmente nei compiti di generazione diretta.
• Trade-off Performance-Sicurezza: È stata osservata una correlazione positiva tra le capacità generative (es. punteggi GenEval) e i rischi di sicurezza (ASR). Modelli più capaci tendono a essere più vulnerabili agli attacchi, suggerendo che l'addestramento per migliorare le capacità non è accompagnato da un adeguato allineamento alla sicurezza.
• Scarsa Auto-Consapevolezza (SAS): Molti modelli generano contenuti dannosi senza riconoscerli come tali internamente (basso SAS), indicando che il fallimento non è solo un errore di esecuzione, ma una mancanza di comprensione dei propri output.

4. Contributi Principali

1. UniSAFE: Il primo benchmark olistico che valuta la sicurezza degli UMM attraverso 7 diverse combinazioni I/O, superando la frammentazione dei lavori precedenti.
2. Strategia Shared-Target: Un metodo innovativo per confrontare direttamente i rischi tra diversi compiti mantenendo costante il nocciolo del rischio, permettendo di isolare le vulnerabilità specifiche delle configurazioni multimodali.
3. Valutazione Sistematica di Nuovi Rischi: La prima valutazione completa della sicurezza nella composizione di immagini multiple e nella generazione di immagini in contesti multimodali complessi.
4. Analisi Empirica su 15 Modelli: Fornisce una panoramica dettagliata dello stato dell'arte, evidenziando che le attuali tecniche di allineamento sono insufficienti per gestire i rischi derivanti dall'interazione multimodale.

5. Significato e Implicazioni

Il lavoro di UniSAFE dimostra che l'espansione delle capacità dei modelli multimodali unificati introduce vulnerabilità sistemiche che i filtri di sicurezza tradizionali (progettati per singole modalità o compiti isolati) non riescono a gestire.

• Allineamento di Sistema: È urgente sviluppare meccanismi di sicurezza a livello di sistema che comprendano il contesto multimodale completo e le interazioni sequenziali, piuttosto che filtrare input o output in isolamento.
• Sviluppo Futuro: I risultati suggeriscono che migliorare le capacità generative senza un parallelo rafforzamento dell'allineamento alla sicurezza porta a modelli più potenti ma anche più pericolosi.
• Standardizzazione: UniSAFE fornisce una base solida per la ricerca futura sull'allineamento sicuro (safe alignment) e per lo sviluppo di modelli multimodali affidabili per il deployment su larga scala.

In sintesi, il paper mette in guardia contro l'illusione che i modelli multimodali siano intrinsecamente sicuri solo perché i loro componenti testuali o visivi lo siano singolarmente, evidenziando la necessità di un approccio di sicurezza integrato e olistico.