Riepilogo Tecnico: Dimenticanza Stabile di Grafi Multimodali tramite Selezione di Quantili Consapevoli delle Dimensioni delle Caratteristiche

1. Enunciato del Problema

La dimenticanza di grafi è essenziale per conformarsi alle normative sulla privacy dei dati (ad es. GDPR) rimuovendo l'influenza di specifici punti dati (nodi o archi) dalle Reti Neurali su Grafi (GNN) addestrate, senza costosi riaddestramenti. Tuttavia, le strategie di dimenticanza esistenti affrontano una limitazione critica quando applicate a grafi multimodali.

I grafi multimodali incorporano caratteristiche ad alta dimensionalità (ad es. testo e immagini codificati da modelli come CLIP o ImageBind) insieme ai dati strutturali. In tali architetture, i layer di proiezione in ingresso (il primo layer che mappa le caratteristiche grezze negli spazi nascosti) contengono una frazione dominante dei parametri totali del modello. I metodi di dimenticanza attuali applicano tipicamente strategie di selezione e modifica uniformi dei parametri su tutti i layer. Quando applicati a grafi multimodali, questa uniformità porta alla modifica indiscriminata di questi layer di ingresso sensibili e ad alta dimensionalità. Il documento osserva che questa "eccessiva modifica" distrugge la conoscenza pre-addestrata cross-modale, risultando in un degrado catastrofico dell'utilità (cali severi nelle prestazioni del modello) o in un indebolimento del meccanismo di oblio per preservare le prestazioni.

2. Metodologia: Il Framework FDQ

Gli autori propongono FDQ (Feature-Dimension Aware Quantile), un framework progettato per abilitare una dimenticanza stabile in grafi multimodali ad alta dimensionalità. FDQ si integra con la stima dell'importanza basata sulla Matrice di Informazione di Fisher (FIM) diagonale, ma introduce un meccanismo di selezione di quantili adattivo e innovativo.

Meccanismo Principale: Selezione di Quantili Consapevole delle Dimensioni delle Caratteristiche

Invece di applicare una soglia di quantile globale $k$ per selezionare i parametri da sopprimere su tutta la rete, FDQ adatta la forza della selezione in base al ruolo del layer e alla dimensione delle caratteristiche in ingresso $d$:

1. Partizionamento dei Layer: I parametri del modello sono divisi in layer di proiezione in ingresso ($\theta_{in}$), che elaborano caratteristiche grezze ad alta dimensionalità, e layer più profondi ($\theta_{deep}$).
2. Soglia Adattiva: FDQ definisce un fattore di scala specifico per il layer $\alpha^{(\ell)}$. Per i layer di ingresso dove la dimensione delle caratteristiche $d$ supera una soglia $\tau$, il quantile effettivo $k^{(\ell)}_{eff}$ viene reso più stringente (ridotto) di un fattore $\rho$ (dove $\rho < 1$).
   • Formula: $k^{(\ell)}_{eff} = \alpha^{(\ell)} \cdot k$.
   • Effetto: Ciò risulta in una selezione più conservativa (meno parametri modificati) per i layer di ingresso sensibili, consentendo ai layer più profondi di rimanere modificabili sotto soglie standard.
3. Costruzione dell'Insieme di Soppressione:
   • Dimenticanza di Nodi: Il framework calcola punteggi di importanza basati sulla FIM per l'insieme di addestramento, l'insieme da dimenticare e l'insieme dei vicini (per catturare gli effetti del passaggio di messaggi). Vengono derivati due punteggi di soppressione ($b_1$ e $b_2$) per identificare i parametri specializzati nell'insieme da dimenticare.
   • Dimenticanza di Archi: Viene utilizzata un'approssimazione dell'insieme influenzato per stimare l'impatto della rimozione degli archi.
   • Selezione e Scalatura: I parametri vengono selezionati se i loro punteggi di soppressione rientrano al di sotto delle soglie di quantile aggiustate da FDQ. I parametri selezionati vengono quindi attenuati di un rapporto tra il loro punteggio e la soglia, limitati da un fattore di scala massimo $\gamma$.

Pipeline

La pipeline FDQ opera in tre passaggi:

1. Calcolare le FIM diagonali per gli insiemi di dati rilevanti (insieme di ritenzione, insieme da dimenticare e insieme dei vicini/influenzati).
2. Costruire punteggi di soppressione per parametro basati sui rapporti di Fisher.
3. Applicare soglie di quantili guidate da FDQ, specifiche per layer, per selezionare e scalare i parametri, evitando la ricostruzione dei dati grezzi.

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Identificazione di una Limitazione Critica: Gli autori dimostrano che i metodi esistenti di dimenticanza di grafi soffrono di un grave degrado dell'utilità sui grafi multimodali a causa dello squilibrio strutturale dei parametri, specificamente l'eccessiva modifica dei layer di proiezione in ingresso ad alta dimensionalità.
2. Proposta di FDQ: Un framework innovativo che adatta le soglie di selezione dei parametri in base alle dimensioni delle caratteristiche. Abilita una dimenticanza stabile proteggendo la conoscenza multimodale essenziale nei layer di ingresso, mantenendo al contempo un oblio efficace nei layer più profondi. Supporta sia la dimenticanza di nodi che di archi senza ricostruzione di dati grezzi.
3. Validazione Empirica: Esperimenti estensivi su dataset multimodali del mondo reale (Ele-Fashion e Goodreads-NC) dimostrano che FDQ supera costantemente i metodi dello stato dell'arte nel preservare l'utilità mantenendo una protezione della privacy efficace contro attacchi di inferenza di appartenenza.

4. Risultati Sperimentali

Gli autori hanno valutato FDQ su due dataset di classificazione di nodi multimodali utilizzando varie combinazioni di encoder (ad es. CLIP, ImageBind, T5+ViT).

• Preservazione dell'Utilità: FDQ ha costantemente ottenuto i punteggi F1 di dimenticanza più alti su entrambi i dataset e su tutte le combinazioni di encoder. Sul dataset su larga scala Goodreads-NC, FDQ ha mostrato vantaggi significativi rispetto ai baseline come GNNDelete (che ha subito errori Out-Of-Memory con ImageBind) e altri metodi che hanno mostrato cali notevoli di utilità.
• Protezione della Privacy: Sotto Attacchi di Inferenza di Appartenenza (MIA), FDQ ha ridotto i punteggi AUC-ROC a circa il 50% (indovinare a caso), indicando un'efficacia di oblio forte. Al contrario, baseline come GNNDelete hanno mostrato valori AUC più alti, suggerendo segnali residui di appartenenza.
• Robustezza all'Avvelenamento: In scenari di dimenticanza di archi che coinvolgono archi avvelenati, FDQ ha mantenuto alte prestazioni dopo la rimozione dell'influenza avvelenata, mentre altri metodi hanno mostrato cali sostanziali delle prestazioni.
• Efficienza: FDQ ha dimostrato alta efficienza computazionale, completando la dimenticanza in intervalli da frazioni di secondo a pochi secondi, significativamente più veloce rispetto a baseline pesanti nel riaddestramento o complesse stime di influenza.
• Studi di Ablazione: La rimozione della consapevolezza delle dimensioni delle caratteristiche (utilizzando quantili uniformi) o del meccanismo di selezione della coda del quantile ha portato a punteggi F1 più bassi, confermando che entrambi i componenti sono necessari per prestazioni ottimali, in particolare su grafi più grandi e complessi.

5. Significato e Affermazioni

Il documento afferma che FDQ offre una soluzione principiale e robusta per la dimenticanza consapevole della privacy in sistemi di grafi multimodali ad alta dimensionalità. Il suo significato risiede nell'affrontare la vulnerabilità strutturale specifica delle GNN multimodali dove i layer di ingresso dominano lo spazio dei parametri. Introducendo un meccanismo consapevole delle dimensioni delle caratteristiche, FDQ risolve il compromesso tra oblio efficace e utilità del modello che affligge le attuali strategie di modifica uniformi.

Gli autori posizionano FDQ come uno strumento pratico per la gestione del ciclo di vita dei modelli di grafi multimodali, garantendo la conformità alle normative sulla privacy dei dati senza compromettere le ricche rappresentazioni apprese dalle modalità testuali e visive. Riconoscono una limitazione relativa alla sensibilità agli iperparametri che controllano la forza della modifica, notando che questi potrebbero richiedere sintonizzazione nella pratica.