Membership Inference Attacks Against Video Large Language Models

1. Definizione del Problema

Il paper affronta la vulnerabilità alla privacy dei Video Large Language Models (VideoLLMs) riguardo agli Attacchi di Inferenza di Appartenenza (MIAs).

• La Domanda Chiave: Un auditor esterno può determinare, con accesso black-box, se un video specifico faceva parte del dataset di addestramento di un modello?
• La Sfida: A differenza dei modelli basati solo su testo o solo su immagini, i VideoLLMs affrontano sfide uniche in contesti black-box:
  • Limitata Osservabilità: Gli attaccanti vedono solo il testo generato, non le probabilità dei token, i logit o gli stati interni.
  • Fattori Confondenti: L'instabilità nella generazione dei VideoLLMs non è dovuta esclusivamente alla memorizzazione. È fortemente influenzata da proprietà intrinseche del video, come la complessità del movimento, la durata temporale e la densità di campionamento dei frame. Un modello potrebbe generare testo instabile per un video difficile anche senza averlo mai visto, creando falsi positivi per l'inferenza di appartenenza.
• Obiettivo: Sviluppare un attacco che distingua tra instabilità causata dalla memorizzazione (appartenenza) e instabilità causata dalla difficoltà dell'input (non appartenenza).

2. Metodologia: TempVideo-MIA

Gli autori propongono TempVideo-MIA, un framework di attacco black-box che accoppia la generazione perturbata per temperatura con descrittori di difficoltà specifici per il video. Il metodo opera in tre fasi:

A. Segnale di Risposta Basato sulla Temperatura

L'attacco sfrutta l'ipotesi che i campioni membri (visti durante l'addestramento) inducano un pattern di generazione condizionale più nitido e concentrato rispetto ai non membri.

• Procedura: L'attaccante interroga il VideoLLM target con lo stesso video e prompt sotto due diverse temperature di decodifica:
  • $\tau_{low}$ (es. 0.0): Favorisce una generazione deterministica e ad alta confidenza.
  • $\tau_{high}$ (es. 0.8): Favorisce l'esplorazione stocastica di formulazioni alternative.
• Metrica: L'attaccante calcola la deriva semantica tra le due uscite generate rispetto a un testo di riferimento (didascalia ground truth).
  • $sim\_low$: Similarità coseno tra l'output a bassa temperatura e il riferimento.
  • $sim\_high$: Similarità coseno tra l'output ad alta temperatura e il riferimento.
  • $temp\_diff = sim\_low - sim\_high$.
• Intuizione: Se un campione è un membro, il modello ha una "modalità memorizzata". A bassa temperatura, rimane vicino a questa modalità (alta similarità). Ad alta temperatura, si discosta significativamente dalla modalità memorizzata (minore similarità), risultando in un $temp\_diff$ più ampio. I non membri, privi di un forte ancoraggio memorizzato, mostrano spostamenti meno drammatici.

B. Descrittori di Difficoltà Specifici per il Video

Per evitare che l'attacco venga ingannato da video intrinsecamente difficili, gli autori estraggono descrittori ausiliari direttamente dal video di input:

• Complessità del Movimento: Calcolata utilizzando statistiche del flusso ottico (magnitudine media del movimento). I video ad alto movimento sono più difficili da riassumere in modo coerente.
• Durata del Video: Video più lunghi introducono più contesto temporale e potenziale per eventi mancati durante il campionamento sparso dei frame.
• Trasformazione: Entrambe le caratteristiche vengono trasformate logaritmicamente per ridurre la sensibilità alla scala.

C. Caratteristiche di Interazione e Classificazione

Gli autori modellano esplicitamente l'interazione tra il segnale di temperatura e la difficoltà del video, poiché l'importanza della deriva semantica dipende dal tipo di video.

• Vettore di Caratteristiche: Per ogni campione viene costruito un vettore a 6 dimensioni:
  1. $sim\_low$
  2. $temp\_diff$
  3. $complexity$ (Movimento)
  4. $duration\_log$
  5. $complex\_temp$ (Interazione: Complessità $\times$ Diff Temperatura)
  6. $duration\_temp$ (Interazione: Durata $\times$ Diff Temperatura)
• Classificatore: Classificatori binari standard (Regressione Logistica, Random Forest, SVM, MLP) vengono addestrati su queste caratteristiche per prevedere l'appartenenza ($m \in \{0, 1\}$).

3. Configurazione Sperimentale

• Modello Target: LLaVA-Video-7B-Qwen2-Video-Only.
• Dataset:
  • Membri: 350 campioni dal corpus di addestramento instruction-tuning LLaVA-Video-178K.
  • Non Membri: 350 campioni dal dataset VideoChatGPT (disgiunto dall'addestramento).
  • Controllo: Un campionamento abbinato per lunghezza garantisce che gli insiemi di membri e non membri abbiano distribuzioni di durata video comparabili per prevenire l'apprendimento di scorciatoie.
• Protocollo: 100 esecuzioni ripetute con divisioni casuali train/test per garantire robustezza.

4. Risultati Chiave

L'attacco ha ottenuto risultati statisticamente significativi su quattro diversi classificatori:

• AUC Media: 0.68 (migliore ottenuto dal Perceptron Multistrato).
• Accuratezza Media: 0.63.
• Coerenza: Tutti i classificatori (inclusi quelli lineari come la Regressione Logistica) hanno performato in modo simile, suggerendo che il segnale è stabile e non dipende da confini decisionali non lineari complessi.
• Significatività: Le prestazioni sono ben superiori al caso casuale (0.5), dimostrando che i segnali di appartenenza sono rilevabili anche senza accesso agli stati interni del modello.

5. Contributi Chiave

1. Formulazione del Problema: Prima formalizzazione dell'inferenza di appartenenza black-box specificamente per i VideoLLMs, affrontando la sfida unica di disgiungere la memorizzazione dalla difficoltà specifica del video.
2. Nuovo Framework di Attacco (TempVideo-MIA): Introduzione di un metodo che combina l'analisi della sensibilità alla temperatura con descrittori a livello di video (movimento, durata) e le loro interazioni per isolare i segnali di appartenenza.
3. Evidenza Empirica: Dimostrazione che i VideoLLMs disperdono informazioni misurabili sull'appartenenza in un contesto strettamente black-box, sfidando l'assunzione che i modelli multimodali siano intrinsecamente più privati a causa della loro complessità.

6. Significato e Implicazioni

• Rischio per la Privacy: Lo studio rivela che i VideoLLMs sono vulnerabili ad attacchi alla privacy anche quando l'attaccante non ha accesso a logit, gradienti o metadati di addestramento. L'"impronta" dei dati di addestramento rimane nel comportamento di generazione del modello.
• Auditabilità: Fornisce uno strumento pratico per i proprietari di dataset e i regolatori per verificare se contenuti video proprietari o sensibili sono stati utilizzati nell'addestramento senza necessità di cooperazione da parte dello sviluppatore del modello.
• Limiti delle Difese Attuali: I risultati suggeriscono che le difese standard (come la deduplicazione o la privacy differenziale) progettate per testo o immagini potrebbero non trasferirsi direttamente al video, poiché l'interazione tra compressione visiva, sparsità temporale e generazione linguistica crea pattern di perdita unici.
• Direzioni Future: Sottolinea la necessità di benchmark di privacy specializzati e difese su misura per la natura multimodale e temporale dei VideoLLMs.

In conclusione, il paper stabilisce che i VideoLLMs non sono di default privati in termini di appartenenza. L'attacco proposto sfrutta con successo l'interazione tra temperatura di decodifica e complessità del video per esporre la perdita di dati di addestramento, esortando la comunità a dare priorità all'audit della privacy nei modelli fondazionali multimodali.