Towards Privacy-Guaranteed Label Unlearning in Vertical Federated Learning: Few-Shot Forgetting without Disclosure

Each language version is independently generated for its own context, not a direct translation.

Immagina di avere un laboratorio di ricerca segreto dove diverse aziende (come una banca e un ospedale) collaborano per creare un'intelligenza artificiale molto potente, senza però condividere i loro dati sensibili. Questo è il Federated Learning Verticale (VFL).

L'ospedale ha le foto delle risonanze magnetiche dei pazienti (le "caratteristiche"), ma non sa chi sono.
La banca ha la storia creditizia e i nomi (le "etichette" o i risultati), ma non vede le risonanze.
Insieme, addestrano un modello per prevedere se un paziente avrà problemi di salute basandosi sui soldi che ha in banca.

Il Problema: Il "Diritto all'Oblio"

Ora, immagina che un paziente cambi idea e dica: "Voglio che la mia storia sia cancellata da tutti i vostri calcoli. Non voglio più che il mio nome sia collegato a quella previsione medica". Questo è il diritto all'oblio (GDPR).

In passato, per cancellare un dato, bisognava distruggere tutto il laboratorio e ricominciare da zero (ri-addestrare il modello). È come se volessi cancellare una singola parola da un libro di 1000 pagine e dovessi riscriverlo tutto a mano. È lento, costoso e inefficiente.

La Soluzione: "Dimenticare in pochi scatti"

Gli autori di questo paper hanno inventato un metodo intelligente per far "dimenticare" al modello solo i dati specifici, senza toccare il resto, e lo fanno in modo veloce e sicuro.

Ecco come funziona, spiegato con una metafora culinaria:

1. Il Cuoco e gli Ingredienti (Il Mixup)

Immagina che il modello sia un cuoco che ha imparato a cucinare un piatto specifico (il "label" da dimenticare, es. "HIV positivo") usando ingredienti segreti.
Per far dimenticare al cuoco quel piatto, non gli diciamo "dimentica tutto". Gli diamo invece un mazzo di ingredienti sintetici.

Prendiamo poche foto di pazienti (i dati pubblici) e le mescoliamo come se stessimo facendo un "frullato" di immagini (questa tecnica si chiama Manifold Mixup).
Creiamo un "frullato" che assomiglia sia al paziente da dimenticare, sia a quelli che vogliamo mantenere, ma in modo confuso.

2. L'Allenamento Inverso (Gradient Ascent)

Ora, invece di dire al cuoco "cucina questo frullato per imparare", gli diciamo: "Cucina questo frullato nel modo sbagliato!".

Facciamo sì che il cuoco provi a indovinare il piatto sbagliato su questi frullati.
Questo crea una "spinta inversa" nel cervello del cuoco. Invece di rafforzare la connessione con quel tipo di paziente, la indebolisce. È come se il cuoco si esercitasse a non riconoscere quel sapore specifico.
Grazie a questo trucco, il cuoco dimentica rapidamente il "sapore" del paziente da cancellare, anche se gli abbiamo dato pochissimi esempi (pochi scatti, o few-shot).

3. Riparare il Resto (Recupero)

C'è un rischio: mentre il cuoco dimentica quel piatto, potrebbe anche dimenticare come cucinare gli altri piatti buoni (i dati che vogliamo mantenere).

Per evitare questo, dopo la "spinta inversa", diamo al cuoco un piccolissimo assaggio dei piatti che deve continuare a cucinare bene.
Gli diciamo: "Ehi, non dimenticare come si fa la pasta!".
Questo aggiustamento finale assicura che il modello rimanga bravo con tutti gli altri pazienti, mantenendo alta la sua utilità.

Perché è una Rivoluzione?

Velocità: Invece di riscrivere l'intero libro (ri-addestrare), cancelli solo una riga in pochi secondi.
Privacy: Durante il processo, le aziende non devono scambiarsi i dati grezzi. Scambiano solo "frullati" matematici che non rivelano chi è il paziente. È come se la banca dicesse all'ospedale: "Ho modificato il mio calcolo su questo numero", senza dire "Questo numero è Mario Rossi".
Sicurezza: Il metodo è stato testato su molti scenari (dalle risonanze magnetiche alle risposte su Yahoo Answers) e funziona meglio di tutti gli altri metodi esistenti, senza rovinare la qualità delle previsioni per gli altri utenti.

In sintesi: Questo paper ci insegna come far "dimenticare" a un'intelligenza artificiale collaborativa un dato specifico in modo rapido ed elegante, come se fosse un mago che fa sparire un oggetto da un tavolo senza rovesciare il resto della stanza.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema: Unlearning delle Etichette in VFL

Il lavoro affronta una sfida critica nel campo dell'Apprendimento Federato Verticale (VFL): l'unlearning (dimenticanza) delle etichette.

Contesto VFL: In VFL, diverse organizzazioni collaborano su un set di dati comune (identificatori di campione condivisi) ma con caratteristiche (feature) diverse. Tipicamente, una parte "attiva" possiede le etichette (target), mentre le parti "passive" possiedono le feature.
La Sfida: Sebbene l'unlearning sia stato studiato nell'Apprendimento Federato Orizzontale (HFL) e per l'eliminazione di interi client passivi in VFL, l'eliminazione delle etichette (spesso dati sensibili come diagnosi mediche o status creditizi) è stata trascurata.
Vincoli Specifici:
1. Privacy: Le etichette sono sensibili; il processo di rimozione non deve rivelare quali campioni vengono cancellati alle parti passive.
2. Efficienza: I sistemi VFL richiedono sincronizzazione rigorosa. Metodi che richiedono il riaddestramento completo (retraining) sono computazionalmente proibitivi.
3. Dati Limitati: Spesso non è possibile accedere all'intero dataset da rimuovere per motivi di privacy o logistici; si dispone solo di un piccolo insieme pubblico di dati (Few-Shot).

2. Metodologia Proposta

Gli autori propongono un framework di unlearning "Few-Shot" che utilizza un meccanismo di Manifold Mixup a livello di rappresentazione. Il metodo si articola in tre fasi principali:

A. Vertical Manifold Mixup (Aumento dei Dati)

Poiché il set di dati da dimenticare ( $D_{p,u}$ ) è molto piccolo (es. 40 campioni per etichetta), l'approccio diretto fallirebbe.

Invece di mescolare le feature grezze, il metodo interpola gli embedding nascosti (rappresentazioni latenti) generati dalle parti passive.
La parte attiva genera embedding sintetici combinando le rappresentazioni dei campioni da dimenticare tramite una formula di mixup: $Mix_\lambda(a, b) = \lambda \cdot a + (1-\lambda) \cdot b$ .
Questo crea una distribuzione di stati più piatta e fornisce segnali più ricchi per i passaggi successivi, permettendo di ottenere risultati efficaci con pochissimi campioni.

B. Unlearning delle Etichette basato su Gradiente

Sugli embedding aumentati, viene eseguita un'operazione di ascesa del gradiente (Gradient Ascent):

Parte Attiva: Aggiorna i propri parametri massimizzando la perdita (loss) sui campioni sintetici e sulle etichette da dimenticare. Questo "spinge" il modello a dimenticare l'associazione tra le feature e l'etichetta target.
Parti Passive: Ricevono i gradienti inversi dalla parte attiva e aggiornano i propri modelli locali per allinearsi a questa direzione di "dimenticanza", senza mai accedere alle etichette reali.
Teorema di Correttezza: Gli autori dimostrano teoricamente che la direzione di aggiornamento del gradiente ottenuta dai dati pubblici aumentati è allineata positivamente con quella che si otterrebbe utilizzando l'intero dataset da dimenticare.

C. Recupero dell'Accuratezza (Remained Accuracy Recovery)

L'ascesa del gradiente potrebbe degradare le prestazioni sui dati rimanenti ( $D_{p,r}$ ).

Viene introdotta una fase di ottimizzazione finale che utilizza un piccolo set di dati con etichette rimanenti.
Si esegue una discesa del gradiente (Gradient Descent) standard su questi dati per raffinare le rappresentazioni e ripristinare l'accuratezza sui campioni che non devono essere dimenticati.

3. Contributi Chiave

Primo lavoro su Label Unlearning in VFL: Questo è il primo studio che affronta specificamente la rimozione delle etichette in un contesto federato verticale, distinguendosi dai lavori precedenti focalizzati sulla rimozione di feature o client interi.
Efficienza Few-Shot: Il metodo richiede solo un piccolo subset di dati pubblici etichettati (fino a 40 campioni per classe) per rimuovere efficacemente l'influenza delle etichette, evitando il riaddestramento completo.
Privacy Garantita (Process Privacy): Il paper introduce il concetto di "Process Privacy", quantificando quanto un'intercettazione del protocollo (trascript) possa rivelare l'insieme dei dati cancellati. Il metodo proposto riduce drasticamente la fuga di informazioni (leakage) rispetto al riaddestramento o ad altri metodi.
Scalabilità: L'approccio è computazionalmente efficiente (completamento in secondi) e scala linearmente con il numero di parti passive.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 7 dataset eterogenei (immagini: MNIST, CIFAR-10/100, ModelNet, MRI Tumor, Radiografia COVID-19; testo: Yahoo Answers) e diversi modelli (ResNet18, VGG16, MixText).

Efficacia dell'Unlearning: Il metodo riduce l'accuratezza sulle etichette rimosse ( $y_u$ ) a livelli vicini allo zero (es. da ~41% a ~1.4% su Yahoo Answers), indicando che il modello ha effettivamente "dimenticato" l'informazione.
Preservazione dell'Utilità: A differenza di metodi come Fisher Forgetting o Amnesiac Unlearning che degradano pesantemente le prestazioni sui dati rimanenti ( $D_r$ ), il metodo proposto mantiene un'alta accuratezza sui dati conservati (spesso >98% o con degradazione <2%).
Sicurezza (ASR): Il tasso di successo dell'attacco (Attack Success Rate - ASR) tramite Membership Inference Attack è basso e inferiore a quello di un modello riaddestrato, evitando l'effetto Streisand (dove il modello impara a classificare male in modo prevedibile, rivelando l'unlearning).
Efficienza Temporale: Il runtime è significativamente inferiore (da 16x a 1200 volte più veloce) rispetto alle tecniche di baseline che utilizzano dataset completi o richiedono riaddestramento.
Robustezza: Il metodo mantiene le prestazioni anche in scenari multi-etichetta, con diverse parti passive (fino a 8) e sotto meccanismi di privacy aggiuntivi come Differential Privacy e Gradient Compression.

5. Significato e Impatto

Questo lavoro stabilisce una nuova direzione per la privacy nell'Apprendimento Federato Verticale.

Ridefinizione del Mixup: Dimostra che il Manifold Mixup, solitamente usato per l'aumento dei dati, può essere riproposto come meccanismo efficiente per l'unlearning.
Conformità Normativa: Offre una soluzione pratica per rispettare regolamenti come il GDPR e il CCPA ("Diritto all'oblio") in scenari complessi dove i dati sono distribuiti verticalmente tra organizzazioni (es. banche e ospedali), senza compromettere la privacy delle parti passive né l'utilità del modello globale.
Fondazione Teorica: Introduce una definizione formale di "Process Privacy" per l'unlearning federato, quantificando il rischio di leakage a livello di protocollo di comunicazione.

In sintesi, il paper presenta una soluzione scalabile, rapida e sicura che permette di "cancellare" informazioni sensibili (etichette) da modelli collaborativi verticali utilizzando una frazione minima di dati, risolvendo un problema critico finora ignorato nella letteratura federata.