Riepilogo Tecnico: Inaffidabilità delle Metriche nell'Oblio Machine Multimodale

Enunciato del Problema

L'oblio machine (machine unlearning) è sempre più critico per la conformità a normative come il Regolamento Generale sulla Protezione dei Dati (GDPR), che impone la rimozione delle influenze di specifici dati di addestramento dai modelli distribuiti. Sebbene l'oblio sia stato studiato nella classificazione e nei Modelli Linguistici di Grande Dimensione (LLM) basati solo su testo, la sua valutazione nei Modelli Linguistici di Grande Dimensione Multimodali (MLLM) rimane incoerente.

Il problema centrale identificato è che le metriche di valutazione esistenti per l'oblio multimodale producono classifiche sistematicamente contraddittorie dei metodi di oblio. Le pratiche attuali si basano su cinque metriche standard: Accuratezza dell'Oblio (FA), Accuratezza di Conservazione (RA), Attacco di Inferenza di Membria (MIA), Distanza di Attivazione (AD) e divergenza di Jensen–Shannon (JS), senza verificarne l'accordo. Questo documento dimostra che tali metriche misurano aspetti ortogonali dell'oblio (comportamento in uscita vs. allineamento delle rappresentazioni), portando a scenari in cui un metodo è classificato al #1 da una metrica e al #4 da un'altra. Inoltre, tutte le metriche esistenti condividono un punto cieco critico: non misurano la Recuperabilità della Conoscenza (KR), ovvero se le informazioni dimenticate possono essere ricostruite tramite query riformulate, indirette o avverse.

Metodologia

Gli autori hanno condotto un'analisi sistematica utilizzando il modello visione-linguaggio LLaVA-1.5-7B su tre benchmark VQA: MLLMU-Bench, UnLOK-VQA e MMUBench.

1. Setup Sperimentale:

   • Modelli: Un modello base ($M$) è stato fine-tunato sull'unione degli insiemi di oblio e conservazione. Un modello "oracolo" ($M^*$) è stato riaddestrato solo sull'insieme di conservazione per fungere da verità fondamentale di come il modello dovrebbe apparire dopo l'oblio.
   • Metodi di Oblio: Sono stati testati quattro paradigmi distinti: Ascesa del Gradiente (GA), Etichette Casuali (RL), Fine-tune Conservazione (FT) e SalUn (basato sulla salienza).
   • Scala: Lo studio ha valutato 36 modelli (4 metodi × 3 dataset × 3 semi casuali).
   • Metriche: Sono state calcolate le metriche standard:
     • FA/RA: Soppressione dell'output e conservazione dell'utilità.
     • MIA: Perdita di privacy tramite punteggi di confidenza.
     • AD/JS: Allineamento del modello obliato ($\hat{M}$) con l'oracolo ($M^*$) tramite distanze di attivazione e distribuzioni in uscita.

2. Framework di Analisi:

   • Correlazione di Rango: Gli autori hanno utilizzato il $\tau$ di Kendall (una statistica non parametrica) per misurare l'accordo tra le classificazioni indotte dalle metriche.
   • Prossimità all'Oracolo: L'affidabilità della metrica è stata valutata calcolando la correlazione di Spearman ($\rho$) tra ciascuna metrica e la distanza $d(\hat{M}, M^*)$ nello spazio dei parametri LoRA.
   • Pilotaggio della Recuperabilità della Conoscenza (KR): Gli autori hanno sondato manualmente i modelli obliati con query riformulate, multi-hop e di negazione per quantificare il divario tra la "soppressione dell'output" (FA=0) e la effettiva "cancellazione della conoscenza".

3. Soluzione Proposta: Punteggio di Qualità Unificato (UQS):

   • Per risolvere le contraddizioni, gli autori hanno introdotto l'UQS, una metrica composita.
   • Derivazione dei Pesi: I pesi non sono arbitrari ma derivati empiricamente. Il peso di ciascuna metrica è proporzionale alla sua correlazione di Spearman con la distanza dell'oracolo $d(\hat{M}, M^*)$.
   • Formulazione: $UQS = \sum w_i \cdot \text{metrica\_normalizzata}_i$. Le metriche con correlazione negativa (come FA) sono pesantemente soppesate o penalizzate.

Contributi Chiave

1. Decomposizione degli Aspetti: Il documento mappa le metriche esistenti su obiettivi distinti, spesso conflittuali. FA, RA e MIA misurano il comportamento in uscita (soppressione e utilità), mentre AD e JS misurano l'allineamento delle rappresentazioni con l'oracolo. La divergenza nelle classifiche è strutturale, non rumore.
2. Identificazione dell'Aspetto Mancante (KR): Gli autori definiscono la Recuperabilità della Conoscenza come la capacità di ricostruire informazioni dimenticate tramite query indirette. Uno studio pilota ha rivelato che anche quando FA=0 (richiamo diretto soppresso), la perdita di KR era alta (fino al 100% per SalUn), indicando che le metriche attuali non garantiscono una cancellazione conforme al GDPR.
3. Quantificazione della Contraddizione: L'analisi del $\tau$ di Kendall su 36 modelli ha rivelato due cluster anti-correlati: $\{FA, RA, MIA\}$ e $\{AD, JS\}$. Nello specifico, $\tau_{FA,AD} = -0.26$, indicando che i metodi che ottimizzano la soppressione dell'output spesso si discostano significativamente dalla rappresentazione dell'oracolo.
4. Amplificazione Multimodale: Lo studio rileva che il disaccordo tra le metriche è più grave nel VQA multimodale ($\bar{\tau} = 0.086$) rispetto alla classificazione unimodale ($\bar{\tau} = 0.158$). I doppi percorsi immagine-testo introducono dimensioni aggiuntive per la divergenza, poiché gli encoder visivi e i decoder linguistici possono disaccoppiarsi.
5. Punteggio di Qualità Unificato (UQS): Un punteggio composito fondato su principi e guidato dai dati che aggrega aspetti misurabili utilizzando pesi di affidabilità. I pesi derivati mostrano l'Accuratezza di Conservazione (RA) come il predittore più affidabile della prossimità all'oracolo ($\rho = 0.484, p=0.003$), mentre l'Accuratezza dell'Oblio (FA) è negativamente correlata ($\rho = -0.418$), suggerendo che una bassa FA è spesso il risultato di un collasso del modello piuttosto che di un oblio efficace.

Risultati

• Instabilità della Classifica: Nessun singolo metodo di oblio si classifica costantemente al primo posto su tutte le metriche. Ad esempio, l'Ascesa del Gradiente è classificata #1 dalla MIA ma #4 dall'AD; le Etichette Casuali sono #1 su quattro metriche ma #3 dalla MIA.
• Replicazione: La contraddizione è stata replicata su BLIP-2 OPT-2.7B, confermando che il problema non è specifico dell'architettura ma intrinseco al panorama di valutazione.
• Affidabilità delle Metriche:
  • RA è il singolo indicatore più forte della qualità dell'oblio rispetto all'oracolo.
  • FA è un indicatore scarso; una bassa FA spesso correla con un'alta distanza dall'oracolo (collasso del modello).
  • MIA mostra un'affidabilità moderata ma non è statisticamente significativa in questa dimensione campionaria.
  • AD e JS sono inaffidabili come metriche autonome a questa scala.
• Stabilità dell'UQS: Le classifiche UQS rimangono robuste sotto perturbazioni casuali dei pesi (media $\tau = 0.647 \pm 0.262$), dimostrando che il sistema di ponderazione fondato su principi risolve le contraddizioni trovate nelle metriche individuali.
• Risultati KR: Nel pilotaggio, il 96% dei campioni con FA=0 ha comunque rivelato conoscenze tramite sondaggi indiretti, evidenziando l'insufficienza delle metriche attuali per la conformità alla privacy.

Significato e Affermazioni

Il documento rivendica un contributo metodologico piuttosto che un nuovo algoritmo di oblio. La sua importanza primaria risiede nell'esporre l'inaffidabilità degli standard di valutazione attuali per l'oblio multimodale.

• La Contraddizione è Strutturale: Il disaccordo tra le metriche non è dovuto a rumore sperimentale ma deriva dal conflitto fondamentale tra la misurazione della soppressione dell'output e l'allineamento delle rappresentazioni.
• Divario di Conformità GDPR: Le metriche attuali non valutano se la conoscenza sia realmente cancellata o semplicemente soppressa, un fallimento critico per la conformità normativa. Il documento sostiene che, senza misurare la Recuperabilità della Conoscenza, le affermazioni di conformità al GDPR sono potenzialmente fuorvianti.
• Valutazione Fondata su Principi: L'UQS fornisce un framework riproducibile e guidato dai dati per classificare i metodi di oblio. Ponderando le metriche in base alla loro correlazione con un modello oracolo, offre un "unico punteggio fondato su principi" che si allinea meglio con l'obiettivo teorico dell'oblio (raggiungere lo stato di un modello mai addestrato sull'insieme di oblio).
• Rilascio di Risorse: Gli autori rilasciano il benchmark, 36 checkpoint di modello e una classifica interattiva per facilitare la ricerca riproducibile in questo dominio.

Gli autori rimangono modesti riguardo al loro ambito, notando che i pesi UQS dipendono dal modello e dal dataset e devono essere ricalcolati per nuovi contesti. Riconoscono inoltre che la misurazione scalabile e automatizzata della Recuperabilità della Conoscenza rimane una sfida aperta per il lavoro futuro.