MUSE: A Run-Centric Platform for Multimodal Unified Safety Evaluation of Large Language Models

Il paper presenta MUSE, una piattaforma open-source per la valutazione unificata della sicurezza multimodale dei grandi modelli linguistici che integra la generazione automatica di payload cross-modali, algoritmi di attacco multi-turno e un sistema di giudizio basato su LLM, rivelando come le strategie di attacco multi-turno e il cambio di modalità tra i turni possano compromettere significativamente le difese dei modelli anche quando questi mostrano un alto tasso di rifiuto negli input singoli.

L'essenziale

Immagina che le Intelligenze Artificiali (come ChatGPT o Gemini) siano dei guardiani di un castello molto sicuro. Il loro compito è proteggere le persone da richieste pericolose (come "come si costruisce un'arma?" o "come si crea un virus?").

Fino a poco tempo fa, i ricercatori provavano a ingannare questi guardiani usando solo parole scritte. Ma ora, queste AI possono vedere immagini, ascoltare audio e guardare video. Il problema? Non sapevamo se il "muro di sicurezza" funzionasse bene anche quando i guardiani dovevano guardare un video o ascoltare un audio, non solo leggere un testo.

Ecco come MUSE risolve questo mistero.

1. Che cos'è MUSE? (Il "Simulatore di Assedio")

MUSE non è un semplice test, è una piattaforma di simulazione completa. Immaginala come un campo di addestramento militare virtuale per hacker etici (i "red team").

• Prima: I test erano come sparare frecce di carta (solo testo) contro il castello.
• Ora con MUSE: Il sistema può lanciare frecce, palle di cannone, missili e trappole sonore (testo, audio, immagini, video) tutte insieme, in modo automatico.

2. La Grande Innovazione: "Il Gioco delle Sedia Musicali" (ITMS)

La parte più geniale di MUSE si chiama ITMS (Inter-Turn Modality Switching).
Immagina di voler convincere un guardiano a farti entrare nel castello.

• Metodo vecchio: Gli parli sempre allo stesso modo (solo testo) per 10 minuti. Lui si stanca e ti fa entrare.
• Metodo MUSE (ITMS): Cambi modalità ad ogni frase.
  • Turno 1: Gli parli con un messaggio di testo.
  • Turno 2: Gli mostri un'immagine con scritto lo stesso messaggio.
  • Turno 3: Gli mandi un audio che lo ripete.
  • Turno 4: Gli fai vedere un video.

Perché funziona? È come il gioco delle sedie musicali. Ogni volta che cambi il "mezzo" (da testo a immagine, da immagine ad audio), il cervello dell'AI deve riadattarsi. Questo cambiamento continuo crea un momento di confusione o di distrazione nel guardiano, facendogli abbassare la guardia più velocemente di quanto farebbe se gli parlassi sempre allo stesso modo.

3. Due Modi per Misurare il Fallimento (La Scala dei Grigi)

Fino a oggi, i test dicevano solo: "Sì, ha ceduto" o "No, ha resistito". Era come dire "Il muro è crollato" o "Il muro è intatto".
MUSE usa una scala a 5 livelli, più simile a un termometro medico che a un interruttore on/off:

1. Compliance (Cedimento totale): L'AI ti dà le istruzioni precise per fare il male.
2. Parziale (La "Zona Grigia"): L'AI dice "Non posso dirti come farlo, ma ecco un consiglio generico che potrebbe aiutarti". È pericoloso perché non è un rifiuto totale.
3. Rifiuto Indiretto: "Non è una buona idea..." (ma non dice di no esplicitamente).
4. Rifiuto Diretto: "No, non lo farò".
5. Non Risponde: L'AI si blocca o dice cose senza senso.

Questo permette di vedere se l'AI sta "barando" un po' (zona grigia) invece di cedere completamente.

4. Cosa hanno scoperto? (I Risultati Sorprendenti)

Hanno fatto circa 3.700 "assedi" contro 6 diverse intelligenze artificiali. Ecco le scoperte principali:

• Le difese singole sono fragili: Se chiedi qualcosa di pericoloso una sola volta, l'AI dice quasi sempre "No" (90-100% di successo nel rifiuto). Ma se inizi una conversazione lunga e cambi continuamente modalità (testo, audio, video), l'AI cede quasi sempre (fino al 100% di successo nell'attacco).
• Il cambio di modalità è la chiave: Non è che l'audio sia "più pericoloso" del testo di per sé. È il cambio continuo che confonde il sistema. È come se un mago ti chiedesse di indovinare una carta: se ti mostra la carta, poi te la fa ascoltare, poi te la fa toccare, il tuo cervello si confonde e fai l'errore.
• Non tutti i guardiani sono uguali:
  • Per alcune AI (come quelle di Google/Gemini), cambiare modalità le rende più vulnerabili (si fermano meno).
  • Per altre (come quelle di Qwen), cambiare modalità le rende più prudenti (si fermano di più).
  • Conclusione: Non esiste una regola universale. Ogni azienda deve testare la propria AI in modo specifico.

In sintesi

MUSE ci insegna che la sicurezza delle Intelligenze Artificiali non è un muro di pietra, ma un sistema dinamico. Se un hacker cambia continuamente il "linguaggio" (da testo a video, da audio a immagine) durante una conversazione, può confondere il sistema e farlo crollare.

Il messaggio finale è chiaro: Non possiamo più fidarci solo dei test scritti. Per proteggere davvero il futuro, dobbiamo testare le AI come se fossero in una conversazione reale, dove le persone usano voce, foto e video mescolati insieme.

Sommario tecnico

1. Il Problema

La valutazione della sicurezza e il red-teaming (test di intrusione) dei Large Language Models (LLM) rimangono prevalentemente incentrati sul testo. Sebbene i modelli moderni siano diventati agenti multimodali in grado di elaborare audio, immagini e video, le infrastrutture esistenti mancano di un sistema per testare sistematicamente se l'allineamento alla sicurezza si generalizza attraverso queste diverse modalità di input.

Le sfide principali identificate sono:

• Disconnessione metodologica: Le strategie di attacco multi-turno (come Crescendo o PAIR) e la sicurezza multimodale sono studiate separatamente. Non esistono strumenti che combinino la generazione di payload cross-modale, gli attacchi multi-turno automatizzati e il giudizio automatico della sicurezza in un'unica pipeline riproducibile.
• Limitazioni delle metriche: La maggior parte delle valutazioni attuali utilizza metriche binarie (Successo/Fallimento), che non riescono a distinguere tra un rifiuto completo e una "fuga parziale" di informazioni (compliance parziale), nascondendo così rischi significativi.
• Mancanza di test su confini modali: Non è chiaro se la resistenza di un modello all'escalation testuale si mantenga quando i turni di conversazione avvengono in modalità diverse (es. testo -> audio -> immagine).

2. Metodologia e Architettura (MUSE)

Gli autori presentano MUSE (Multimodal Unified Safety Evaluation), una piattaforma open-source a "centro esecuzione" (run-centric) che integra diverse componenti in un unico sistema basato su browser.

Architettura del Sistema

MUSE organizza il flusso di lavoro attorno all'"Attack Run" (esecuzione di attacco), un'entità persistente che registra tutta la configurazione, lo stato della conversazione, le risorse multimediali e il risultato della valutazione.

• Generazione di Payload Cross-Modale: Un pipeline automatico converte il testo generato dall'attaccante in:
  • Audio (sintesi TTS).
  • Immagini (rendering del testo su tela).
  • Video (composizione di tracce audio e video).
• Routing Indipendente dal Provider: Un livello astratto gestisce le API di diversi fornitori (OpenAI, Google, Anthropic, Qwen), permettendo di testare modelli eterogenei con la stessa interfaccia.
• Motore di Strategia di Attacco: Implementa tre algoritmi base estensibili:
  1. Crescendo: Escalation graduale da domande innocue a richieste dannose.
  2. PAIR: Generazione iterativa di prompt singoli con riscrittura basata sul punteggio del giudice.
  3. Violent Durian: Tattiche retoriche ad alta pressione fin dal primo turno.
• Giudice LLM con Tassonomia a 5 Livelli: Invece di un giudizio binario, MUSE utilizza un classificatore LLM che assegna una delle seguenti etichette:
  1. Compliance (Trasferimento diretto della capacità dannosa).
  2. Partial Compliance (Informazioni dannose incomplete ma azionabili).
  3. Indirect Refusal (Rifiuto implicito senza assistenza).
  4. Direct Refusal (Rifiuto esplicito).
  5. Non-Responsive (Output irrilevante).

Metriche Duali

Per catturare le sfumature della sicurezza, MUSE introduce due metriche:

• Hard ASR (Attack Success Rate): Conta solo la Compliance completa.
• Soft ASR: Include sia Compliance che Partial Compliance.
• Gray Zone Width (GZW): La differenza tra Soft e Hard ASR, che quantifica l'entità della fuga parziale di informazioni.

Inter-Turn Modality Switching (ITMS)

Questa è una metodologia innovativa per testare la generalizzazione dell'allineamento. ITMS aggiunge una rotazione della modalità di consegna ad ogni turno di conversazione (es. turno 1: testo, turno 2: audio, turno 3: immagine). Questo permette di isolare l'effetto del cambio di modalità rispetto al contenuto specifico del turno.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su circa 3.700 esecuzioni di red-teaming, coinvolgendo 6 modelli multimodali (da 4 fornitori diversi) e 5 strategie di attacco.

• Fallimento delle difese single-turn: Tutti i modelli testati mostrano tassi di rifiuto elevati (90-100%) contro richieste dannose dirette in un singolo turno, indipendentemente dalla modalità (testo, audio, video).
• Efficacia degli attacchi multi-turno: Le strategie multi-turno (specialmente Crescendo e PAIR) hanno infranto queste difese, raggiungendo tassi di successo (Hard ASR) tra il 90% e il 100% su quasi tutti i modelli, anche quelli con rifiuto quasi perfetto in single-turn.
• Impatto dell'ITMS:
  • L'ITMS non aumenta necessariamente il tasso di successo finale su modelli già saturi, ma accelera la convergenza verso il successo destabilizzando le difese nei primi turni.
  • L'analisi mostra che il passaggio di modalità (es. da testo ad audio) riduce i tassi di rifiuto nel secondo turno, suggerendo che la transizione stessa indebolisce i meccanismi di difesa.
• Dipendenza dal Fornitore (Model-Family Specific): L'effetto del cambio di modalità non è universale.
  • Per i modelli Gemini, l'uso di modalità non testuali (audio/immagine) ha aumentato l'ASR rispetto al testo.
  • Per i modelli Qwen, le modalità non testuali hanno ridotto l'ASR, indicando che i loro pipeline multimodali applicano filtri di contenuto più rigorosi su input non testuali.

4. Contributi Chiave

1. Piattaforma Unificata Run-Centric: Il primo sistema che unisce generazione di payload cross-modale, orchestrazione di attacchi multi-turno e giudizio automatizzato in un'unica architettura riproducibile.
2. Valutazione Fine-Grained: L'introduzione di una tassonomia a 5 livelli e delle metriche Hard/Soft ASR permette di quantificare la "zona grigia" della sicurezza, andando oltre il semplice binario successo/fallimento.
3. Metodologia ITMS: Un approccio controllato per investigare se l'allineamento alla sicurezza si mantiene attraverso i confini delle modalità, rivelando che la sicurezza multimodale non è uniforme ma dipende dall'architettura specifica del modello.

5. Significato e Implicazioni

Il lavoro di MUSE dimostra che la sicurezza dei modelli multimodali è una sfida complessa che non può essere risolta testando solo il testo o solo le singole modalità in isolamento.

• Rischio Reale: Anche modelli apparentemente sicuri in contesti statici possono essere compromessi da interazioni conversazionali iterative e dinamiche.
• Necessità di Test Provider-Aware: Poiché l'efficacia degli attacchi multimodali varia drasticamente tra diversi fornitori (es. Gemini vs Qwen), le strategie di sicurezza devono essere adattate specificamente per ogni famiglia di modelli.
• Futuro della Sicurezza: La piattaforma MUSE fornisce l'infrastruttura necessaria per lo sviluppo di test di sicurezza scalabili e riproducibili, essenziali per lo sviluppo di agenti AI multimodali sicuri prima del loro dispiegamento commerciale.