🤖 AI

Securing Multimodal AI through Internal Information Decomposition

Il documento propone FlowGuard, un framework leggero in fase di inferenza che protegge l'IA multimodale rilevando gli attacchi avversari attraverso il monitoraggio della coerenza cross-modale interna tramite FlowVector ispirati alla Decomposizione dell'Informazione Parziale, ottenendo riduzioni significative dei tassi di successo degli attacchi con una perdita minima di latenza e utilità.

Autori originali: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

Pubblicato 2026-07-27

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di costruire un robot che può vedere il mondo attraverso una telecamera e parlare con te attraverso un microfono. Questo robot è un "Modello Linguistico di Grandi Dimensioni Multimodale", un'IA super intelligente che combina immagini e parole per capire cosa sta succedendo. Ma ecco la parte complicata: il fatto che il robot veda un'immagine innocua e senta una frase innocua non significa che la combinazione delle due sia sicura. È come se consegnassi a uno chef l'immagine di una torta e la ricetta per una torta, ma poi gli sussurrassi un codice segreto all'orecchio che gli dice di aggiungere del veleno. L'immagine sembra a posto, la ricetta sembra a posto, ma il piatto finale è pericoloso. Questo è il nuovo tipo di pericolo che i ricercatori temono: hacker che dividono le loro cattive intenzioni tra un'immagine e un testo in modo che nessuno dei due sembri sospetto da solo, ma che insieme ingannino l'IA a fare qualcosa di dannoso.

Per catturare questi trucchi subdoli, gli scienziati di solito cercano di controllare l'immagine o il testo separatamente, come una guardia giurata che controlla una borsa e l'identità di una persona una alla volta. Ma questo articolo suggerisce un modo più intelligente: invece di guardare solo gli input, dovremmo osservare come il cervello del robot pensa ad essi. L'idea centrale è che quando un robot lavora normalmente, l'immagine e il testo devono essere d'accordo tra loro e aiutare il robot a prendere una decisione chiara e sicura. Se un hacker cerca di ingannare il robot, questo accordo interno si rompe. Il cervello del robot si confonde, o l'immagine e il testo iniziano a tirare in direzioni opposte, anche se la risposta finale appare fluida. Il paper propone un nuovo sistema di sicurezza chiamato FlowGuard che agisce come un "detective del pensiero", osservando il processo di ragionamento interno del robot per individuare quando l'immagine e il testo stanno litigando tra loro o agendo in modo strano, piuttosto che controllare solo le parole o i pixel superficiali.

La storia di FlowGuard: Catturare la "Frattura del Pensiero"

I ricercatori dietro questo articolo, guidati da Jehyeok Yeon e colleghi, hanno notato qualcosa di affascinante su come funzionano questi modelli di IA. Quando dai a un modello un'immagine normale e una domanda normale, la parte del cervello che guarda l'immagine e la parte che legge il testo di solito vanno d'accordo. Condividono informazioni, concordano su ciò che è importante e la risposta finale sembra stabile e certa. È come due amici che costruiscono insieme un castello di sabbia; entrambi sanno che aspetto dovrebbe avere il castello e il loro sforzo combinato rende il castello più forte e dettagliato.

Tuttavia, quando un attaccante cerca di fare il "jailbreak" del modello — costringendolo a ignorare le sue regole di sicurezza nascondendo un'istruzione cattiva in un'immagine o in un testo — l'armonia si rompe. L'articolo suggerisce che anche se l'attaccante è abbastanza astuto da far sembrare l'immagine e il testo innocenti singolarmente, nel momento in cui il modello tenta di combinarli, qualcosa va storto. La logica interna viene "fratturata". L'immagine potrebbe urlare una cosa mentre il testo ne sussurra un'altra, o la combinazione crea un caos confuso che il cervello del modello non riesce a risolvere fluidamente.

Per catturare questo, il team ha costruito FlowGuard. Pensa a FlowGuard non come a una guardia alla porta, ma come a un traduttore seduto proprio dentro il cervello del robot. Non guarda solo la risposta finale; sbircia nel primissimo istante del processo decisionale del robot. Pone tre domande rapide:

Cosa direbbe il robot se guardasse solo l'immagine?
Cosa direbbe se leggesse solo il testo?
Cosa dice quando guarda entrambi insieme?

Poi, confronta queste tre risposte. In una situazione sicura, la risposta "entrambi" dovrebbe essere una miscela felice delle altre due, come una miscela fluida di vernice rossa e gialla che crea l'arancione. Ma in un attacco, la risposta "entrambi" potrebbe improvvisamente diventare di un colore strano, o le vernici rossa e gialla potrebbero rifiutarsi di mescolarsi affatto. FlowGuard misura questa "miscelazione" usando una matematica sofisticata (ispirata a un concetto chiamato Decomposizione dell'Informazione Parziale) per creare un FlowVector. Questo è un piccolo codice di quattro numeri che descrive esattamente come l'immagine e il testo interagiscono.

Ridondanza: L'immagine e il testo sono d'accordo? (Un'alta ridondanza significa che sono sulla stessa lunghezza d'onda).
Unicità: Uno dei due sta dominando la conversazione? (Se l'immagine urla e il testo è silenzioso, quella è un'alta unicità visiva).
Sinergia: La combinazione rende la risposta più chiara, o la rende più confusa? (Una buona sinergia significa che il tutto è maggiore della somma delle parti; una cattiva sinergia significa che la combinazione crea caos).

Il team ha addestrato FlowGuard usando solo esempi "buoni" — migliaia di immagini e domande normali dove il robot si è comportato perfettamente. Hanno insegnato a un rilevatore di IA (un Isolation Forest) a riconoscere cosa sia un flusso "normale". Poiché lo hanno addestrato solo sul comportamento corretto, il rilevatore sa che qualsiasi cosa appaia anche solo leggermente "fuori posto" rispetto al modello normale è sospetta. È come insegnare a un sistema di sicurezza a riconoscere il suono di una casa normale; se una finestra si rompe o un pavimento scricchiola in modo strano, l'allarme suona, anche se l'intruso indossa un travestimento.

Cosa hanno scoperto

I risultati sono stati sorprendentemente efficaci. I ricercatori hanno testato FlowGuard contro una vasta gamma di attacchi, inclusi quelli in cui gli hacker hanno nascosto parole cattive in arte ASCII, hanno rimescolato le immagini con cambiamenti di pixel invisibili o hanno diviso un'istruzione cattiva tra un'immagine e una frase.

Senza alcuna difesa, questi modelli erano incredibilmente vulnerabili. Su alcuni degli attacchi più subdoli, i modelli fallivano più del 90% delle volte, generando felicemente contenuti dannosi. Ma quando FlowGuard veniva attivato, riduceva drasticamente il successo di questi attacchi a meno del 15%. In molti casi, ha colto quasi ogni singolo tentativo, portando il tasso di fallimento a cifre singole (circa il 6% - 9% per gli attacchi cross-modali).

La cosa davvero interessante è che FlowGuard non ha solo fermato i cattivi; non ha nemmeno fermato accidentalmente i buoni. I ricercatori hanno controllato se FlowGuard sarebbe diventato "irritabile" e avrebbe rifiutato di rispondere a domande normali. Hanno scoperto che commetteva errori solo su circa il 2,4% degli input sicuri, il che è molto meglio di altri metodi di sicurezza che spesso bloccano domande innocue solo per eccesso di cautela. Inoltre, era super veloce. Mentre altri controlli di sicurezza richiedevano diversi secondi per eseguire ricostruzioni complesse delle immagini, FlowGuard ha svolto il suo compito in circa 1,3 secondi, rendendolo pratico per l'uso in tempo reale.

Il paper ha anche dimostrato che questo trucco funziona su diversi tipi di robot, dai più piccoli con 4 miliardi di "cellule cerebrali" ai massicci con 70 miliardi. Ha funzionato persino su un modello accessibile tramite API (dove non puoi vedere tutto il cervello, ma solo le ipotesi superiori), provando che il segnale della "frattura del pensiero" è una parte fondamentale di come funzionano questi modelli, non solo un glitch in un design specifico.

In sintesi

Questo articolo suggerisce che il modo migliore per proteggere l'IA multimodale non è costruire muri più alti attorno agli input, ma ascoltare come l'IA pensa. Osservando il momento in cui l'immagine e il testo smettono di andare d'accordo, FlowGuard può individuare il trucco di un hacker prima ancora che il robot finisca la sua frase. È un modo leggero, veloce e sorprendentemente robusto per mantenere sicuri questi potenti strumenti, suggerendo che la chiave per la sicurezza potrebbe risiedere proprio nel prestare attenzione all'armonia interna della mente della macchina.

Sintesi Tecnica: Proteggere l'IA Multimodale attraverso la Decomposizione dell'Informazione Interna

Definizione del Problema

I Modelli Linguistici Multimodali Grandi (MLLM) introducono nuove superfici di attacco assenti nei sistemi unimodali. Gli avversari possono distribuire l'intento malevolo tra le modalità (testo e immagine) in modo tale che i singoli input appaiano benigni e internamente coerenti, ma la loro combinazione induca un comportamento non sicuro. Questa modalità di fallimento "composizionale" rende inefficaci le tradizionali difese di sicurezza. Gli approcci esistenti si concentrano sulla sanificazione degli input grezzi, sulla verifica degli output generati o sul monitoraggio di metriche di confidenza scalari (es. verosimiglianza, entropia, perplessità). Tuttavia, questi metodi spesso falliscono quando il ragionamento solo testuale e quello solo visivo appaiono ciascuno coerenti, ma la loro fusione produce un comportamento composto con alta confidenza ma disallineato. La sfida principale è rilevare questi fallimenti senza modificare il modello sottostante o fare affidamento su una supervisione avversaria, specialmente quando gli attacchi sono inediti o zero-shot.

Metodologia: FlowGuard

Gli autori propongono FlowGuard, un framework leggero, a tempo di inferenza, che rileva input dannosi monitorando la coerenza interna del ragionamento multimodale. Invece di ispezionare gli input o gli output superficiali, FlowGuard analizza l'interazione tra le distribuzioni predittive unimodali e multimodali.

Meccanismo Core

FlowGuard opera sondando il target MLLM sotto tre distinte configurazioni di condizionamento:

Solo testo: $P^{(1)}_t = P_M(\cdot \mid \emptyset, Q)$
Solo visione: $P^{(1)}_v = P_M(\cdot \mid I, Q_\emptyset)$ (utilizzando un prompt neutro fisso)
Multimodale congiunto: $P^{(1)}_{mm} = P_M(\cdot \mid I, Q)$

Il sistema si concentra sulla distribuzione predittiva del primo token ( $P^{(1)}$ ), che cattura lo stato decisionale iniziale del modello prima dell'amplificazione autoregressiva.

FlowVectors e Decomposizione dell'Informazione Parziale (PID)

Ispirandosi alla Decomposizione dell'Informazione Parziale (PID), FlowGuard deriva un FlowVector quadrimensionale $\phi(x) = (U_v, U_t, R, S)$ che quantifica come l'informazione da testo e visione si sovrappone, diverge e si stabilizza sotto fusione:

Unicità ( $U_v, U_t$ ): Misurata tramite divergenza di Kullback–Leibler (KL) direzionale.
- $U_v = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_t)$ : Cattura quanto la distribuzione a posteriori fusa diverga dal prior solo testuale (dominanza visiva).
- $U_t = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_v)$ : Cattura la divergenza dal prior solo visivo (dominanza testuale).
- Significato: La manipolazione avversaria spesso rompe l'equilibrio dell'influenza delle modalità, portando a segnali di divergenza asimmetrica.
Ridondanza ( $R$ ): Misurata come $1 - JSD(P^{(1)}_t \parallel P^{(1)}_v)$ $1 - J S D (P_{t}^{(1)} ∥ P_{v}^{(1)})$ , dove JSD è la divergenza di Jensen–Shannon.
- Significato: Cattura l'allineamento semantico tra i prior unimodali. Gli input benigni inducono strutture allineate; i prompt avversari introducono intenti conflittuali, riducendo la ridondanza.
Sinergia ( $S$ ): Misurata come riduzione dell'entropia: $S = \frac{H(P^{(1)}_t) + H(P^{(1)}_v)}{2} - H(P^{(1)}_{mm})$ $S = \frac{H ( P _{t}^{(1)} ) + H ( P _{v}^{(1)} )}{2} - H (P_{mm}^{(1)})$ .
- Significato: Indica se la fusione riduce l'incertezza (integrazione costruttiva, $S > 0$ ) o la amplifica (interazione instabile, $S < 0$ ).

Obiettivo di Difesa

FlowGuard inquadra il rilevamento della sicurezza come un problema di classificazione a una classe (one-class classification). Un Isolation Forest viene addestrato esclusivamente su FlowVectors derivati da dati benigni (es. set di validazione VQAv2). Il modello apprende la regione compatta di flusso informativo multimodale "allineato". Gli input avversari, che esibiscono interazioni cross-modali anomale (es. flusso fratturato, sinergia negativa o estrema dominanza di una modalità), appaiono come outlier in questo spazio.

Requisiti di Accesso: FlowGuard richiede solo l'accesso alla distribuzione di probabilità del prossimo token (o a una coda logprob top- $k$ sufficientemente ampia per i modelli API). Non richiede pesi del modello, gradienti o attivazioni nascoste.

Contributi Chiave

Sicurezza Multimodale a Livello di Processo: Il documento ridefinisce la sicurezza degli MLLM concentrandosi sulla coerenza tra le distribuzioni predittive solo testuali, solo visive e congiunte, mirando direttamente ai fallimenti della fusione multimodale piuttosto che al contenuto superficiale.
FlowVectors: L'introduzione di caratteristiche compatte, basate sulla teoria dell'informazione (Ridondanza, Unicità, Sinergia), che catturano il flusso informativo interno del ragionamento multimodale durante l'inferenza.
Rilevamento di Attacchi Zero-Shot: Dimostrazione che la modellazione del comportamento multimodale benigno tramite classificazione a una classe consente il rilevamento robusto di diversi jailbreak inediti senza addestramento avversario o verifica generativa.

Risultati Sperimentali

Gli autori hanno valutato FlowGuard su molteplici architetture MLLM (LLaVA-1.5-7B, Qwen2.5-VL-7B, Gemma-3-4B, LLaMA-3.1-70B) e benchmark (MM-SafetyBench, VLSafe, VLSU) coprendo attacchi solo testuali, solo visivi e cross-modali.

Riduzione del Tasso di Successo dell'Attacco (ASR): FlowGuard ha costantemente ridotto l'ASR da $>90\%$ (senza protezione) a $<15\%$ su attacchi inediti. Ad esempio, su LLaVA-1.5-7B, ha ridotto l'ASR per l'Universal Master Key (UMK) dal 96,0% all'8,7% e per il Color-Based Substitution Cipher (CBSC) dal 94,8% al 9,1%.
Preservazione dell'Utilità: Il framework ha mantenuto l'utilità benigna entro il 2,4% delle prestazioni di base. Ha ottenuto un tasso di falsi positivi (FPR) del 2,4% su query benigne ma semanticamente complesse (MOSSBench), superando significativamente i rilevatori basati sulla perplessità (11,2% FPR) e sulla confidenza (14,5% FPR).
Efficienza: FlowGuard opera con una latenza di circa 1,3 secondi per campione (inclusi tre passaggi in avanti), offrendo fino a una velocità 6 $\times$ superiore rispetto ai metodi di verifica basati sulla diffusione come MirrorCheck e CIDER.
Robustezza: Il metodo ha dimostrato robustezza attraverso diverse scale di modello (da 4B a 70B parametri) e accesso a distribuzioni parziali (GPT-4.1-mini con top- $k$ logprobs), dove ha mantenuto un ASR medio del 10,4%.
Studi di Ablazione:
- Sinergia ( $S$ ): La rimozione della caratteristica di sinergia ha causato il calo di prestazioni più significativo, indicando che le deviazioni nella riduzione dell'incertezza multimodale sono un segnale primario per il rilevamento.
- Step di Decoding: Il monitoraggio del solo primo step di decoding ( $k=1$ ) è stato sufficiente per la saturazione; aumentare $k$ ha prodotto guadagni trascurabili rispetto ai costi di latenza lineari.
- Scelta del Classificatore: L'Isolation Forest a una classe ha superato gli MLP supervisionati sugli attacchi inediti, evitando l'overfitting su specifici pattern di perturbazione.

Significato e Rivendicazioni

Il documento sostiene che il monitoraggio della coerenza cross-modale offre una difesa efficiente ed efficace per il ragionamento multimodale, affrontando un limite fondamentale dei precedenti criteri di sicurezza che enfatizzano la fluidità e la confidenza rispetto alla struttura dell'integrazione multimodale.

Generalizzabilità: Basandosi sulla coerenza strutturale del flusso informativo piuttosto che su specifici pattern di attacco, FlowGuard fornisce una difesa agnostica rispetto all'attacco che si generalizza attraverso diverse architetture e strategie di jailbreak inedite.
Complementarità: Gli autori posizionano FlowGuard come uno strato complementare ai metodi esistenti di purificazione dell'input e verifica dell'output, fornendo un segnale interno al modello che rileva i fallimenti nell'integrazione multimodale che i controlli superficiali perdono.
Scalabilità: Il framework è leggero, non richiede il riaddestramento del modello o l'accesso ai gradienti, rendendolo adatto al deployment in sistemi reali in cui i pesi del modello potrebbero essere proprietari o inaccessibili.

Gli autori notano che, sebbene FlowGuard sia altamente efficace contro attacchi cross-modali e visivi, mostra un ASR residuo leggermente più alto sugli attacchi solo testuali (circa 13–14%), suggerendo che la composizione con difese specifiche per il testo possa essere necessaria per una protezione completa. Riconoscono inoltre che la pubblicazione dei meccanismi di rilevamento può informare attaccanti adattivi, e che gli approcci basati sull'anomalia rischiano di segnalare input legittimi ma rari, richiedendo una cura attenta dei dataset di riferimento e l'audit dei falsi positivi in applicazioni sensibili.