Riepilogo Tecnico: EntropyScan

Enunciato del Problema

I Large Vision-Language Models (LVLM) sono sempre più distribuiti come checkpoint di terze parti attraverso paradigmi di Modello-as-a-Servizio (MaaS), creando rischi significativi per la sicurezza. Sebbene i meccanismi di difesa esistenti si concentrino principalmente sul rilevamento a livello di campione (filtraggio dei dati di addestramento avvelenati o perturbazione degli input durante l'inferenza), essi richiedono generalmente l'accesso al dataset di addestramento originale o la conoscenza di specifici trigger di attacco. Rimane un vuoto critico nel rilevamento a livello di modello: determinare se un checkpoint definitivo di terze parti contiene una backdoor nascosta senza conoscenze preliminari dei pattern di trigger, delle risposte target o dei dati di addestramento avvelenati. L'opacità del processo di addestramento e la sottile incorporazione dei trigger all'interno dello vasto spazio dei pesi rendono questo compito particolarmente impegnativo.

Metodologia: EntropyScan

Gli autori propongono EntropyScan, un framework leggero e agnostico rispetto ai trigger, progettato per rilevare LVLM compromessi analizzando anomalie strutturali nell'attenzione visiva. L'ipotesi di base è che l'iniezione di backdoor interrompa i meccanismi di allineamento cross-modale all'interno del modello, portando a deviazioni misurabili nell'allocazione dell'attenzione visiva anche su input benigni.

La metodologia procede in tre fasi:

1. Estrazione dell'Entropia dell'Attenzione Visiva:

   • Il metodo si concentra sul livello iniziale (Layer-0) del componente Large Language Model (LLM), dove i token visivi si integrano per la prima volta con le rappresentazioni testuali.
   • Estrae i pesi dell'attenzione visiva dai moduli di self-attention. Nello specifico, isola il vettore di probabilità di attenzione assegnato ai token visivi ($\mathcal{V}$) per l'ultimo token della sequenza di input.
   • Per disaccoppiare il pattern di distribuzione interna dalla magnitudine complessiva dell'attenzione, gli autori eseguono una rianormalizzazione per modalità per creare una distribuzione di probabilità condizionata $P_{\mathcal{V}}$.
   • Su questa distribuzione viene calcolata l'entropia di Tsallis ($H_q$). L'entropia di Tsallis è scelta rispetto all'entropia di Shannon o di Rényi perché il suo parametro non estensivo ($q$) fornisce una sensibilità potenziata alla "coda" della distribuzione, rendendola più efficace nel rilevare anomalie strutturali sottili indotte da backdoor stealth.

2. Normalizzazione Z-Score Ancorata al Riferimento:

   • Per stabilire una linea di base, il sistema utilizza un modello di riferimento pulito e benigno ($M_{ref}$) con la stessa architettura del modello sospetto ($M_{target}$) e un piccolo dataset di validazione pulito ($D_{val}$).
   • Vengono calcolate le statistiche (media $\mu_{ref}$ e deviazione standard $\sigma_{ref}$) dai valori di entropia del modello di riferimento.
   • I valori di entropia del modello sospetto vengono quindi normalizzati utilizzando queste statistiche di riferimento per calcolare uno Z-score. Questo allinea la scala di entropia del modello sospetto alla distribuzione benigna, consentendo l'identificazione di deviazioni sistematiche.

3. Decisione di Rilevamento:

   • Il metodo calcola un punteggio di anomalia $s(x)$ per ogni campione basato sulla deviazione assoluta del suo Z-score dalla mediana di riferimento.
   • La decisione finale viene presa calcolando l'Area Under the Receiver Operating Characteristic (AUC) tra i punteggi di anomalia del modello sospetto e quelli del modello di riferimento.
   • Se l'AUC supera una soglia predefinita ($\tau = 0.8$), il modello viene classificato come compromesso da backdoor.

Contributi Chiave

1. Scoperta di Anomalie Strutturali: Gli autori identificano che le iniezioni di backdoor negli LVLM causano perturbazioni strutturali distinte nell'allineamento cross-modale, manifestandosi come spostamenti misurabili nell'entropia dell'attenzione visiva su input benigni.
2. Primo Framework di Rilevamento a Livello di Modello: EntropyScan è presentato come il primo metodo specificamente progettato per il rilevamento di backdoor a livello di modello negli LVLM. Opera senza richiedere l'accesso a trigger, dati di addestramento avvelenati o intervento attivo durante l'inferenza.
3. Leggero ed Efficiente: Il framework è altamente efficiente, richiedendo solo inferenza in avanti. Raggiunge un'alta accuratezza utilizzando un piccolo dataset di validazione (200 immagini) e opera in secondi per checkpoint di modello.

Risultati Sperimentali

Gli autori hanno valutato EntropyScan su due architetture LVLM (LLaVA-1.5-7B e Otter-3B) attraverso tre scenari di attacco avanzati: ShadowCast, ImgTrojan e VL-Trojan.

• Prestazioni di Rilevamento: EntropyScan ha raggiunto un F1 score medio del 98,5% e un AUC del 96,6% in tutti gli scenari.
  • Ha raggiunto un rilevamento perfetto (AUC = 1.000) per gli attacchi VL-Trojan su tutti i backbones visivi testati.
  • Ha superato significativamente il metodo di baseline Activation Clustering (AC), in particolare contro gli attacchi ShadowCast dove AC ha fallito (Recall = 0) mentre EntropyScan ha raggiunto un Recall di 0,9535.
• Robustezza: Il metodo ha dimostrato robustezza contro attacchi adattivi in cui gli avversari tentavano di regolarizzare l'entropia visiva per farla corrispondere alle distribuzioni benigne; tali tentativi hanno degradato significativamente il tasso di successo dell'attacco (ASR).
• Efficienza: Il tempo medio di ispezione è stato di 4,37 secondi per checkpoint di modello su quattro GPU NVIDIA Tesla V100.
• Studi di Ablazione:
  • Sensibilità al Livello: Il livello iniziale (Layer-0) è stato confermato come la sonda di rilevamento ottimale, con i segnali di rilevamento che decadono rapidamente negli strati più profondi.
  • Misura di Entropia: L'entropia di Tsallis ($q=2$) ha superato l'entropia di Shannon e di Rényi, in particolare per attacchi di interruzione globale sottili.
  • Efficienza dei Dati: Le prestazioni di rilevamento sono rimaste stabili attraverso diverse dimensioni del dataset di validazione e diverse fonti di immagini pulite (ad esempio, COCO2017 vs Object365).

Significato e Affermazioni

Il documento afferma che EntropyScan fornisce un paradigma pratico per l'ispezione di sicurezza dei checkpoint LVLM di terze parti. Identificando una firma universale di infezione (deviazione dell'entropia nell'attenzione cross-modale) invece di affidarsi ad artefatti specifici del trigger, il metodo affronta la sfida critica del rilevamento di backdoor in modelli definitivi dove la conoscenza del trigger non è disponibile. Gli autori sottolineano che il loro approccio consente l'audit a livello di modello senza compromettere l'utilità del modello o richiedere un riaddestramento, promuovendo così pratiche di sicurezza accessibili per l'ecosistema in rapida espansione di LVLM open-source e di terze parti.