SALLIE: Safeguarding Against Latent Language & Image Exploits

1. Il Problema

I Large Language Models (LLM) e i Vision-Language Models (VLM) rimangono estremamente vulnerabili a due tipi principali di attacchi:

• Jailbreak (JB): Attacchi progettati per aggirare le allineamenti di sicurezza e indurre il modello a generare contenuti dannosi.
• Prompt Injection (PI): Attacchi che "sequestrano" il modello per eseguire compiti scelti dall'attaccante tramite dati esterni non fidati.

Le difese esistenti presentano limitazioni critiche:

• Approcci superficiali (Black-box): Metodi come il filtraggio della perplessità o la trasformazione degli input introducono latenza inaccettabile o degradano le prestazioni del modello.
• Separazione delle modalità: Molti difensori sono focalizzati solo sul testo e sono "ciechi" agli exploit visivi o cross-modali.
• Inefficienza: Metodi multimodali avanzati (es. JailGuard) richiedono la generazione di multiple varianti mutate dell'input e query multiple al modello, comportando un sovraccarico computazionale elevato (fino a 8x).
• Fallimento sugli input visivi: Anche difensori interni esistenti (come HiddenDetect) e giudici proprietari chiusi mostrano un calo drastico delle prestazioni sugli input visivi rispetto a quelli testuali.

Esiste quindi un vuoto critico per una difesa unificata, efficiente e agnostica rispetto alla modalità (testo/immagine) che possa rilevare minacce in un'unica passata in avanti (single forward pass) senza modifiche architetturali.

2. Metodologia: SALLIE

SALLIE è un framework di rilevamento runtime leggero basato sull'interpretabilità meccanica. Invece di analizzare l'output del modello o modificare l'input, SALLIE monitora lo stato computazionale interno del modello durante l'inferenza.

L'architettura si basa su tre fasi principali:

1. Estrazione degli Stati Interni: Durante una singola passata in avanti attraverso il modello VLM pre-addestrato, il sistema estrae le attivazioni del residual stream (flusso residuo) dei token finali a livelli intermedi specifici. Questi stati interni sono considerati un "impronta digitale" compressa dello stato di sicurezza del modello.
2. Classificazione per Livello (Layer-wise): Per ogni livello estratto, viene calcolato un punteggio di "malvagità".
   • Viene applicata una riduzione della dimensionalità opzionale (PCA) per ridurre il rumore.
   • Un classificatore k-Nearest Neighbors (k-NN) valuta la similarità coseno tra l'attivazione dell'input di test e gli stati di addestramento (benigni vs. malevoli).
   • L'ipotesi centrale è che gli input malevoli formino cluster geometrici distinti e separabili nello spazio degli stati nascosti, specialmente per gli attacchi visivi.
3. Ensemble dei Livelli: I punteggi di ciascun livello vengono aggregati da un modulo di ensemble per produrre un punteggio finale di maliciousness. Se il punteggio supera una soglia ($\tau$), l'input viene bloccato.

Il sistema è progettato per essere agnostico rispetto alla modalità: la stessa pipeline gestisce input puramente testuali e multimodali (immagine + testo), adattando solo i parametri iperparametrici (come il numero di vicini $k$ e il range di livelli $L$) in base alla modalità.

3. Contributi Chiave

• Rilevatore Unificato Testo/Immagine: Una singola pipeline basata sugli stati nascosti che rileva sia jailbreak che prompt injection in un'unica passata in avanti, senza richiedere modifiche all'architettura del modello.
• Sfruttamento degli Stati Interni: Identifica le intenzioni avversarie sondando le rappresentazioni di sicurezza intrinseche, eliminando il costo computazionale di tecniche di mutazione o ricampionamento (es. JailGuard).
• Colmatura del Divario nei Prompt Injection Visivi: SALLIE risolve il problema del rilevamento degli attacchi visivi, dove le soluzioni precedenti fallivano. Dimostra che gli attacchi basati su immagini formano cluster più separabili nello spazio degli stati nascosti rispetto a quelli testuali.

4. Risultati Sperimentali

Il framework è stato valutato su tre architetture open-source di piccole dimensioni (ottimizzate per costi di deployment reali): Phi-3.5-vision-instruct, SmolVLM2-2.2B-Instruct e Gemma-3-4b-it.

• Prestazioni Generali: SALLIE supera tutti i metodi baselines open-weight e compete favorevolmente con giudici proprietari chiusi (come GPT-4.1 Mini e Gemini-2.5-Flash-Lite).
  • Con Gemma-3-4b-it, SALLIE raggiunge un F1-score di 0.90 su tutti i dati di test, superando Gemini-2.5-Flash-Lite (F1 = 0.82).
  • Con Phi-3.5-vision-instruct, su input visivi, SALLIE raggiunge un F1-score di 0.96, superando GPT-4.1 Mini (F1 = 0.85) e tutti gli altri baselines.
• Efficienza: A differenza di JailGuard (che richiede 8 query per input), SALLIE richiede una sola passata in avanti e nessuna decodifica autoregressiva o chiamate API esterne.
• Analisi Geometrica: L'analisi PCA degli stati nascosti rivela che gli attacchi visivi formano cluster distinti e separabili dagli input benigni più chiaramente rispetto agli attacchi testuali, fornendo una spiegazione meccanica dell'efficacia del metodo sui dati multimodali.
• Limiti: Le prestazioni variano leggermente in base alla dimensione e all'allineamento del modello; modelli più piccoli con meno allineamento di sicurezza (es. SmolVLM2) mostrano una separazione geometrica meno netta.

5. Significato

SALLIE rappresenta un passo avanti significativo nella sicurezza dell'IA multimodale. Dimostra che:

1. Le rappresentazioni interne dei modelli VLM contengono segnali robusti e geometricamente distinti per rilevare minacce cross-modali.
2. È possibile costruire difese unificate, efficienti e ad alte prestazioni senza ricorrere a costose trasformazioni dell'input o all'uso di modelli proprietari esterni.
3. L'interpretabilità meccanica può essere operazionalizzata per creare sistemi di difesa runtime pratici, colmando il divario tra la ricerca teorica e il deployment reale in scenari dove la latenza e i costi computazionali sono critici.

In sintesi, SALLIE offre una soluzione scalabile e robusta per proteggere i modelli di intelligenza artificiale contro una gamma completa di exploit testuali e visivi, superando i limiti delle difese attuali.