Technische Samenvatting: Beveiliging van Multimodale AI door Interne Informatiedecompositie

Probleemstelling

Multimodale Large Language Models (MLLM's) introduceren nieuwe aanvalsoppervlakken die afwezig zijn in unimodale systemen. Aanvallers kunnen kwaadaardige intenties verdelen over modaliteiten (tekst en beeld), zodanig dat individuele inputs onschuldig en intern coherent lijken, terwijl hun combinatie toch onveilige gedragingen induceert. Deze "compositionele" faalmodus maakt traditionele veiligheidsverdedigingen ineffectief. Bestaande benaderingen richten zich op het saneren van ruwe inputs, het verifiëren van gegenereerde outputs, of het monitoren van scalaire betrouwbaarheidsmetrieken (bijv. likelihood, entropie, perplexiteit). Echter, deze methoden falen vaak wanneer tekst-alleen en visie-alleen redeneringen elk consistent lijken, maar hun fusie een zelfverzekerde maar compositioneel verkeerd afgestemde gedrag produceert. De kernuitdaging is het detecteren van deze fouten zonder de onderliggende modellen te wijzigen of te vertrouwen op adversariële supervisie, met name wanneer aanvallen onbekend of zero-shot zijn.

Methodologie: FlowGuard

De auteurs stellen FlowGuard voor, een lichtgewicht framework voor tijdens de inferentie dat schadelijke inputs detecteert door de interne consistentie van multimodale redenering te monitoren. In plaats van te inspecteren op het niveau van oppervlakkige inputs of outputs, analyseert FlowGuard de interactie tussen unimodale en multimodale predictieve distributies.

Kernmechanisme

FlowGuard werkt door de doel-MLLM te beproeven onder drie verschillende conditioneringconfiguraties:

1. Tekst-alleen: $P^{(1)}_t = P_M(\cdot \mid \emptyset, Q)$
2. Visie-alleen: $P^{(1)}_v = P_M(\cdot \mid I, Q_\emptyset)$ (gebruikmakend van een vaste neutrale prompt)
3. Gezamenlijk Multimodaal: $P^{(1)}_{mm} = P_M(\cdot \mid I, Q)$

Het systeem richt zich op de eerste-token predictieve distributie ($P^{(1)}$), die de initiële beslissingstoestand van het model vastlegt vóór autoregressieve amplificatie.

FlowVectors en Partiële Informatiedecompositie (PID)

Geïnspireerd door Partiële Informatiedecompositie (PID), leidt FlowGuard een 4-dimensionale FlowVector $\phi(x) = (U_v, U_t, R, S)$ af die kwantificeert hoe informatie uit tekst en visie overlapt, divergeert en stabiliseert onder fusie:

• Uniciteit ($U_v, U_t$): Gemeten via directionele Kullback–Leibler (KL) divergentie.
  • $U_v = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_t)$: Legt vast hoeveel de gefuseerde posterior divergeert van de tekst-alleen prior (visuele dominantie).
  • $U_t = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_v)$: Legt vast hoeveel de gefuseerde posterior divergeert van de visie-alleen prior (tekst-dominantie).
  • Betekenis: Adversariële manipulatie verbreekt vaak de balans van de invloed van de modaliteit, wat leidt tot asymmetrische divergentiesignalen.
• Redundantie ($R$): Gemeten als $1 - JSD(P^{(1)}_t \parallel P^{(1)}_v)$, waarbij JSD de Jensen–Shannon divergentie is.
  • Betekenis: Legt de semantische uitlijning tussen unimodale priors vast. Benigne inputs induceren uitgelijnde structuren; adversariële prompts introduceren conflicterende intenties, wat de redundantie vermindert.
• Synergie ($S$): Gemeten als entropiereductie: $S = \frac{H(P^{(1)}_t) + H(P^{(1)}_v)}{2} - H(P^{(1)}_{mm})$.
  • Betekenis: Geeft aan of fusie de onzekerheid vermindert (constructieve integratie, $S > 0$) of de onzekerheid versterkt (instabiele interactie, $S < 0$).

Verdedigingsdoelstelling

FlowGuard formuleert de detectie van veiligheid als een one-class classificatieprobleem. Een Isolation Forest wordt getraind uitsluitend op FlowVectors afgeleid van benigne data (bijv. de VQAv2 validatieset). Het model leert de compacte regio van "uitgelijnde" multimodale informatiestromen. Adversariële inputs, die abnormale cross-modale interacties vertonen (bijv. gebroken flow, negatieve synergie of extreme modaliteitsdominantie), verschijnen als uitschieters in deze ruimte.

Toegangseisen: FlowGuard vereist alleen toegang tot de volgende-token waarschijnlijkheidsverdeling (of een voldoende grote top-$k$ logprob staart voor API-modellen). Het vereist geen modelgewichten, gradiënten of verborgen activaties.

Belangrijkste Bijdragen

1. Procesniveau Multimodale Veiligheid: Het artikel herdefinieert MLLM-veiligheid door de focus te leggen op de consistentie tussen tekst-alleen, visie-alleen en gezamenlijke predictieve distributies, waarbij direct wordt ingespeeld op falen in de multimodale fusie in plaats van op oppervlakkige inhoud.
2. FlowVectors: De introductie van compacte, informatie-theoretische kenmerken (Redundantie, Uniciteit, Synergie) die de interne informatiestroom van multimodale redenering tijdens de inferentie vastleggen.
3. Zero-Shot Aanvalsdetectie: Demonstratie dat het modelleren van benigne multimodale gedrag via one-class classificatie robuuste detectie mogelijk maakt van diverse, onbekende jailbreaks zonder adversariële training of generatieve verificatie.

Experimentele Resultaten

De auteurs evalueerden FlowGuard over meerdere MLLM-architecturen (LLaVA-1.5-7B, Qwen2.5-VL-7B, Gemma-3-4B, LLaMA-3.1-70B) en benchmarks (MM-SafetyBench, VLSafe, VLSU) die tekst-alleen, visie-alleen en cross-modale aanvallen dekken.

• Reductie van de Attack Success Rate (ASR): FlowGuard reduceerde de ASR consequent van $>90\%$ (onbeschermd) naar $<15\%$ op onbekende aanvallen. Bijvoorbeeld, op LLaVA-1.5-7B reduceerde het de ASR voor Universal Master Key (UMK) van 96,0% naar 8,7% en voor Color-Based Substitution Cipher (CBSC) van 94,8% naar 9,1%.
• Behoud van Nut (Utility): Het framework behield de benigne nut binnen 2,4% van de baseline prestaties. Het bereikte een False Positive Rate (FPR) van 2,4% op benigne maar semantisch complexe queries (MOSSBench), waarmee het perplexiteit-gebaseerde (11,2% FPR) en betrouwbaarheidsgebaseerde (14,5% FPR) detectoren aanzienlijk overtrof.
• Efficiëntie: FlowGuard werkt met een latentie van ongeveer 1,3 seconden per sample (inclusief drie forward passes), wat een versnelling biedt van tot wel 6$\times$ vergeleken met diffusie-gebaseerde verificatiemethoden zoals MirrorCheck en CIDER.
• Robuustheid: De methode toonde robuustheid aan over verschillende modelgroottes (4B tot 70B parameters) en bij gedeeltelijke distributie-toegang (GPT-4.1-mini met top-$k$ logprobs), waarbij een gemiddelde ASR van 10,4% werd gehandhaafd.
• Ablatie-studies:
  • Synergie ($S$): Het verwijderen van de synergie-feature resulteerde in de grootste prestatiedaling, wat aangeeft dat afwijkingen in de reductie van multimodale onzekerheid een primair signaal voor detectie zijn.
  • Decoding Stappen: Het monitoren van alleen de eerste decoding stap ($k=1$) was voldoende voor verzadiging; het verhogen van $k$ leverde verwaarloosbare winst op ten opzichte van de lineaire latentiekosten.
  • Classifier Keuze: De one-class Isolation Forest presteerde beter dan supervised MLPs op onbekende aanvallen, waardoor overfitting aan specifieke perturbatiepatronen werd voorkomen.

Betekenis en Claims

Het artikel claimt dat het monitoren van cross-modale consistentie een efficiënte en effectieve verdediging biedt voor multimodale redenering, waarbij wordt ingespeeld op een fundamentele beperking van eerdere veiligheidscriteria die de nadruk leggen op vloeiendheid en zelfvertrouwen boven de structuur van multimodale integratie.

• Generaliseerbaarheid: Door te vertrouwen op de structurele consistentie van de informatiestroom in plaats op specifieke aanvalspatronen, biedt FlowGuard een aanval-agnostische verdediging die generaliseert over architecturen en onbekende jailbreak-strategieën.
• Complementariteit: De auteurs positioneren FlowGuard als een complementaire laag voor bestaande methoden voor inputzuivering en outputverificatie, waarbij een intern signaal wordt geleverd dat falen in multimodale integratie detecteert dat oppervlakkige controles missen.
• Schaalbaarheid: Het framework is lichtgewicht, vereist geen hertraining van het model of toegang tot gradiënten, waardoor het geschikt is voor implementatie in real-world systemen waar modelgewichten mogelijk propriëtair of ontoegankelijk zijn.

De auteurs merken op dat hoewel FlowGuard zeer effectief is tegen cross-modale en visuele aanvallen, het een iets hogere residuele ASR vertoont op tekst-alleen aanvallen (ongeveer 13–14%), wat suggereert dat compositie met tekst-specifieke verdedigingen noodzakelijk kan zijn voor volledige bescherming. Ze erkennen ook dat het publiceren van detectiemechanismen adaptieve aanvallers kan informeren, en dat anomalie-gebaseerde benaderingen het risico lopen legitieme maar zeldzame inputs te markeren, wat zorgvuldige curatie van referentiedatasets en auditing van false positives in gevoelige toepassingen vereist.