Riepilogo Tecnico: Sulla Robustezza dell'Oblio delle Macchine per i Modelli Vision-Language

Enunciato del Problema

I Modelli Vision-Language (VLM) sono sempre più implementati in applicazioni del mondo reale, ma rischiano di memorizzare informazioni indesiderate dai loro dati di addestramento, inclusi contenuti sensibili, privati, protetti da copyright o altrimenti dannosi. Sebbene l'oblio delle macchine sia stato ampiamente studiato per i Modelli Linguistici di Grande Dimensione (LLM), la sua applicazione ai VLM presenta sfide uniche. A differenza dei modelli basati solo su testo, i VLM memorizzano informazioni attraverso rappresentazioni visive e testuali intrecciate tra più componenti (encoder visivi, encoder testuali e decoder multimodali).

Il problema centrale affrontato è la robustezza dei metodi attuali di oblio per i VLM. Le valutazioni esistenti si basano spesso su prompt standard, che possono verificare solo che un modello sopprima le query dirette per le entità dimenticate. Tuttavia, non è chiaro se l'oblio cancelli realmente la conoscenza multimodale o la nasconda semplicemente, lasciando associazioni residue che possono essere riattivate attraverso query alternative, indizi contestuali o riaddestramento a valle.

Metodologia

1. Tassonomia e Revisione

Gli autori stabiliscono innanzitutto una tassonomia completa dei metodi esistenti di oblio per i VLM, categorizzandoli in base ai componenti ottimizzati o modificati durante il processo di oblio:

• Fine-tuning con tutti i parametri: Aggiorna tutti i parametri del modello ($\theta_v, \theta_t, \theta_d$). Include adattamenti di tecniche per LLM come l'Ascesa del Gradiente (GA), la Discesa del Gradiente (GD) e l'Ottimizzazione della Preferenza Negativa (NPO), nonché estensioni specifiche per VLM che tengono conto dell'allineamento visivo-testuale.
• Fine-tuning dell'encoder visivo: Limita gli aggiornamenti all'encoder visivo ($\theta_v$) mantenendo fissi i moduli testuali e di fusione. Questo mira direttamente alla fonte delle associazioni visive indesiderate.
• Fine-tuning selettivo dei parametri: Aggiorna solo un sottoinsieme di parametri identificati come critici per la conoscenza target, mirando a bilanciare efficienza ed efficacia.
• Intervento al momento dell'inferenza: Modifica gli input o le attivazioni nascoste durante l'inferenza senza aggiornare i parametri (ad esempio, mascheramento delle caratteristiche, steering delle attivazioni). Nota: Questa categoria è stata esclusa dagli esperimenti di robustezza a causa della necessità di riaddestramento per gli attacchi proposti.

2. Framework di Valutazione della Robustezza

Per determinare se la conoscenza è realmente cancellata o semplicemente soppressa, il documento propone tre paradigmi di attacco progettati per riattivare la conoscenza multimodale dimenticata:

• Attacco In-Context: Durante l'inferenza, indizi contestuali semanticamente correlati ma non espliciti (ad esempio, descrivere la professione di una persona senza nominarla) vengono anteposti alla query. Questo verifica se le associazioni multimodali latenti possono essere riattivate senza aggiornamenti dei parametri.
• Attacco In-Distribution (InD): Il modello sottoposto a oblio viene fine-tuned utilizzando una piccola proporzione di dati campionati dalla distribuzione originale di "dimenticanza". Le etichette di supervisione sono generate dal modello pre-addestrato originale. Questo simula un avversario con accesso ai dati originali che tenta di ripristinare la conoscenza.
• Attacco Out-of-Distribution (OOD): Il modello sottoposto a oblio viene riaddestrato su un dataset semanticamente diverso ma correlato (ad esempio, immagini generali da PACS invece delle specifiche identità facciali). Questo verifica se le rappresentazioni residue possono essere riattivate attraverso il trasferimento distribuzionale.

3. Configurazione Sperimentale

• Modello: Qwen2.5-VL-3B-Instruct.
• Dataset: VGGFace2, partizionato in un set di dimenticanza (3 identità di celebrità) e un set di ritenzione (7 identità).
• Baseline: Un'ampia gamma di metodi dalle tre categorie attive (Tutti i Parametri, Encoder Visivo e Fine-tuning Selettivo).
• Metriche: Punteggio di dimenticanza ($1 - \text{Accuracy}_{\text{forget}}$), Punteggio di ritenzione ($\text{Accuracy}_{\text{retain}}$) e Utilità Generale (prestazioni su MMStar, OCRBench, MMMU, RealWorldQA). Le valutazioni sono state condotte in condizioni di prompt Originali, Parafrasati e Discriminativi.

Risultati Chiave

Prestazioni Iniziali vs. Robustezza

• Compromessi: I metodi con tutti i parametri hanno generalmente ottenuto punteggi elevati di dimenticanza su prompt originali, ma hanno subito un degrado significativo nella ritenzione e nell'utilità generale, mostrando spesso una dimenticanza catastrofica.
• Prompt Discriminativi: Molti metodi che sembravano efficaci sotto query generative non sono riusciti a sopprimere il riconoscimento discriminativo (ad esempio, "Questa persona è X?"), suggerendo che le associazioni visive sottostanti rimanevano intatte.
• Vantaggio dell'Encoder Visivo: I metodi focalizzati sull'encoder visivo (ad esempio, HFRU, HFRU-SFT) hanno dimostrato prestazioni più equilibrate, mantenendo alti punteggi di dimenticanza e ritenzione attraverso i tipi di prompt.

Vulnerabilità agli Attacchi

• Attacchi In-Context: Gli indizi contestuali hanno riattivato con successo la conoscenza dimenticata nella maggior parte dei paradigmi. Ad esempio, metodi come RMU, SatImp e WGA hanno mostrato un degrado notevole nelle prestazioni di dimenticanza quando sono state fornite descrizioni contestuali, indicando che hanno principalmente soppresso il recupero diretto piuttosto che rimuovere le associazioni.
• Attacchi In-Distribution: Il riaddestramento con appena l'1% dei dati originali di dimenticanza ha causato un rapido recupero della conoscenza dimenticata per molti metodi (ad esempio, l'efficacia dell'oblio di SLUG è scesa di oltre l'80%). Ciò suggerisce che molti processi di oblio eseguono una soppressione superficiale piuttosto che una rimozione fondamentale delle rappresentazioni. Mmunlearner ha mostrato la massima robustezza, richiedendo il 50-75% di dati di riaddestramento per degradare significativamente le prestazioni.
• Attacchi Out-of-Distribution: Contrariamente all'attacco InD, il riaddestramento OOD non ha ripristinato la conoscenza dimenticata; al contrario, ha costantemente danneggiato le prestazioni di ritenzione in tutti i metodi. Ciò indica che, sebbene esistano rappresentazioni residue, queste non sono facilmente riattivabili da distribuzioni di dati non correlate.

Contributi Chiave

1. Tassonomia Sistematica: Il documento fornisce la prima categorizzazione e revisione completa dei metodi di oblio per i VLM basata sulle loro strategie di ottimizzazione.
2. Valutazione Unificata: Condotta una valutazione approfondita di questi metodi in molteplici impostazioni di prompt (Originali, Parafrasati, Discriminativi), rivelando incoerenze nelle valutazioni standard.
3. Analisi della Robustezza: Lo studio introduce la prima indagine sistematica sulla robustezza dell'oblio dei VLM attraverso tre paradigmi di attacco (In-Context, InD, OOD).
4. Risultati Empirici: Esperimenti estensivi dimostrano che gli approcci attuali spesso nascondono piuttosto che rimuovere completamente la conoscenza target, evidenziando la necessità di strategie di oblio multimodale più affidabili.

Significato e Affermazioni

Il documento afferma che lo stato attuale dell'oblio dei VLM è insufficiente per garantire la rimozione permanente di informazioni indesiderate. Gli autori sostengono che valutare l'oblio esclusivamente in condizioni di prompt standard sovrastima l'estensione della rimozione della conoscenza. Dimostrando che la conoscenza dimenticata può essere facilmente riattivata attraverso prompt contestuali o riaddestramento minimo sulla distribuzione originale dei dati, lo studio sottolinea un divario critico tra "soppressione" ed "erasure" (cancellazione).

Il lavoro conclude che, sebbene alcuni metodi (in particolare quelli che mirano all'encoder visivo) mostrino promesse, il campo manca di strategie robuste che garantiscano l'eliminazione delle associazioni multimodali. Gli autori sottolineano la necessità per la ricerca futura di sviluppare tecniche di oblio resilienti a questi attacchi di riattivazione, assicurando che le informazioni sensibili o indesiderate siano realmente rimosse dallo spazio latente del modello.

Nota: Il documento dichiara esplicitamente le limitazioni, inclusa l'uso di un protocollo di valutazione unificato che potrebbe semplificare i dettagli implementativi per la coerenza, e la costruzione manuale di prompt contestuali per l'attacco In-Context, suggerendo il potenziale per strategie più automatizzate nei lavori futuri.