Privacy Against Agnostic Inference Attacks in Vertical Federated Learning

Questo articolo propone un nuovo attacco di inferenza agnostico contro l'Active Party nell'apprendimento federato verticale, dimostrando come quest'ultimo possa ricostruire le caratteristiche del Passive Party sfruttando un modello autonomo e i punteggi di confidenza, e presenta contromisure basate su schemi di preservazione della privacy che distorcono i parametri del Passive Party per bilanciare sicurezza e interpretabilità.

L'essenziale

Immagina di voler costruire un motore di raccomandazione per prestiti bancari (o un sistema medico per diagnosticare malattie) collaborando tra due enti: una Banca e una Fintech (un'azienda tecnologica finanziaria).

Ecco come funziona la situazione e qual è il problema che questo articolo risolve, spiegato con un'analogia semplice.

1. La Collaborazione (Federated Learning Verticale)

Immagina che la Banca conosca i clienti (età, reddito, storico creditizio) ma non sappia se hanno fatto acquisti strani o quanto spendono online. La Fintech, invece, conosce esattamente questi dettagli sugli acquisti, ma non sa chi sono i clienti né se hanno pagato il prestito in passato.

Per creare un modello perfetto, decidono di unire le forze senza condividere i loro dati grezzi.

• La Banca dice: "Ecco i dati del cliente X".
• La Fintech dice: "Ecco i dati di spesa del cliente X".
• Insieme, addestrano un "cervello" (il modello) che sa prendere decisioni migliori di quanto farebbero da soli.

2. Il Problema: L'Attacco "Ignaro" (Agnostic Inference Attack)

Fino a poco tempo fa, si pensava che il modo per rubare i segreti della Fintech fosse chiedere alla Banca: "Qual è il punteggio di fiducia che il modello ha dato al cliente X?". Se la Banca ti dà quel punteggio esatto, un hacker potrebbe fare dei calcoli matematici per ricostruire i dati di spesa della Fintech.

Ma questo articolo scopre un nuovo, pericoloso trucco.

Immagina che la Banca sia un detective molto intelligente. Anche se la Fintech non gli dà mai il punteggio di fiducia (il "punteggio segreto"), il detective ha già in mano:

1. I propri dati (età, reddito).
2. Le risposte corrette (chi ha pagato il prestito e chi no).

Il detective può quindi costruire il proprio modello "finto" (chiamato Adversary Model) usando solo i suoi dati. Questo modello finto impara a indovinare il punteggio di fiducia quasi perfettamente.

• L'attacco: Il detective usa il suo modello finto per inventare il punteggio di fiducia che avrebbe dato il modello vero.
• Il risultato: Una volta che ha questo punteggio "inventato", usa la stessa matematica di prima per ricostruire i dati segreti della Fintech.

La metafora: È come se tu volessi rubare la ricetta segreta di un cuoco. Invece di chiedergli quanto sale ha messo nel piatto finale (che lui non ti direbbe), tu assaggi il tuo piatto fatto con ingredienti simili, impari a cucinare da solo, e poi usi la tua cucina per capire esattamente quanto sale ha usato lui. Non ti serve la sua risposta, ti basta la tua capacità di imitarlo.

3. La Soluzione: Distorsione Controllata (Privacy-Preserving Schemes)

Come si protegge la Fintech?
Prima si pensava di "sporcare" i punteggi di fiducia (aggiungere rumore o arrotondare i numeri). Ma il detective intelligente può comunque ricostruire la ricetta.

La soluzione proposta in questo articolo è più sottile: modificare la ricetta stessa (i parametri del modello) prima di mostrarla alla Banca.

• L'idea: La Fintech prende i propri parametri (le "regole" che usa per giudicare gli acquisti) e li distorce in modo intelligente. Immagina di prendere una mappa e ruotarla o deformarla leggermente.
• Il compromesso (Trade-off):
  • Se deformi troppo la mappa, la Banca non capisce più perché ha preso una decisione (perde la interpretabilità).
  • Se non la deformi affatto, la Banca può leggere i segreti (perde la privacy).
• La soluzione: La Fintech applica una deformazione calibrata. È come se la Fintech desse alla Banca una versione della ricetta che è ancora leggibile e utile per prendere decisioni, ma che è così "deformata" che un detective non può più usare la sua cucina finta per indovinare i segreti originali.

4. In Sintesi

Questo articolo ci dice che:

1. Il pericolo è reale: Anche senza vedere i risultati finali, una parte collaborativa può rubare i segreti dell'altra costruendo un proprio modello imitatore.
2. La difesa non è nascondere i risultati: Nascondere i punteggi non basta.
3. La difesa è modificare le regole: Bisogna alterare leggermente i "pesi" interni del modello in modo che rimangano utili per il lavoro (interpretabili), ma diventino inutili per chi cerca di fare il detective (privacy).

È un gioco di equilibrio: trovare il punto esatto in cui la Banca può ancora capire perché un prestito è stato approvato, ma non può scoprire cosa ha fatto il cliente online.

Sommario tecnico

1. Il Problema: Attacchi di Inferenza Agnostici in VFL

Il lavoro si concentra sul contesto del Federated Learning Verticale (VFL), dove due o più parti collaborano per addestrare un modello di machine learning condividendo lo stesso set di campioni ma con feature disgiunte.

• Attore Attivo: Possiede le etichette (ground truth) e un set di feature.
• Attore Passivo: Possiede un set di feature diverso per gli stessi campioni, ma non le etichette.
• Minaccia: L'attore attivo è "honest-but-curious" (onesto ma curioso). Rispetta il protocollo, ma cerca di inferire le feature private dell'attore passivo.

L'innovazione del problema:
Le ricerche precedenti sugli attacchi di inferenza in VFL assumevano che l'attaccante avesse accesso ai punteggi di confidenza (o alle loro versioni perturbate) dei campioni target durante la fase di predizione. Questo paper introduce una nuova minaccia: l'Attacco di Inferenza Agnostico.
In questo scenario, l'attore attivo non ha accesso ai punteggi di confidenza dei campioni target (né durante l'addestramento né per nuovi campioni di predizione). Nonostante questa mancanza di informazioni dirette, l'attaccante riesce a ricostruire le feature private dell'attore passivo.

2. Metodologia

A. Modello di Attacco: Adversary Model (AM) e Refined AM (RAM)

L'attaccante sfrutta la propria disponibilità di dati (feature attive + etichette) per costruire un modello indipendente.

1. Adversary Model (AM): L'attore attivo addestra un classificatore indipendente (es. Regressione Logistica) utilizzando solo le proprie feature e le etichette note. Questo modello stima i punteggi di confidenza che il modello VFL congiunto avrebbe prodotto.
2. Recostruzione delle Feature: Una volta stimati i punteggi di confidenza ($\hat{c}$), l'attaccante utilizza questi valori per costruire un sistema di equazioni lineari (basato sulla struttura della regressione logistica e sulla funzione softmax) dove le feature passive sono le variabili incognite. Risolvendo questo sistema (usando metodi come i minimi quadrati o l'algoritmo half/half proposto in lavori precedenti), l'attaccante ricostruisce le feature private.
3. Refined Adversary Model (RAM): Per migliorare l'accuratezza, l'attaccante può affinare il proprio modello AM utilizzando un piccolo numero di punteggi di confidenza reali ricevuti dal Coordinatore (CA) durante la fase di predizione. Questo permette al RAM di allinearsi meglio al modello VFL congiunto, aumentando drasticamente l'efficacia dell'attacco anche senza conoscere i punteggi dei campioni target specifici.

B. Contromisure: Privacy-Preserving Schemes (PPS)

Il paper dimostra che oscurare i punteggi di confidenza (es. aggiungendo rumore o arrotondando) è insufficiente contro gli attacchi agnostici, poiché l'attaccante può generare le proprie stime.
La soluzione proposta consiste nel distorcere sistematicamente i parametri del modello corrispondenti alle feature passive ($W_{pas}$) prima di condividerli con l'attore attivo.

• Obiettivo: Mantenere l'utilità del modello (i punteggi di confenza finali rimangono accurati) ma massimizzare l'errore di ricostruzione (MSE) per l'attaccante.
• Trade-off: Esiste un compromesso tra Privacy (alto MSE per l'attaccante) e Interpretabilità (quanto i parametri distorti si discostano da quelli originali, necessario per spiegare le decisioni del modello).
• Ottimizzazione: I PPS sono formulati come problemi di ottimizzazione vincolata. In particolare, si utilizzano varietà di Stiefel per trovare matrici ortogonali di trasformazione che massimizzano l'errore di ricostruzione mantenendo la distorsione dei parametri entro un limite accettabile ($\varepsilon$).

3. Contributi Chiave

1. Definizione dell'Attacco Agnostico: Identificazione e formalizzazione di una nuova classe di attacchi in VFL che non richiede l'accesso ai punteggi di confidenza reali dei target, rendendo vulnerabili anche i dati di addestramento.
2. Meccanismo di Raffinamento (RAM): Dimostrazione che l'uso di un numero limitato di punteggi di confidenza osservati permette di affinare il modello dell'avversario, migliorando significativamente la precisione dell'attacco.
3. Schemi di Difesa Basati sui Parametri: Proposta di PPS che agiscono direttamente sui parametri del modello passivo (trasformazioni ortogonali) piuttosto che sui punteggi di output. Questo approccio offre un controllo esplicito sul trade-off privacy-interpretabilità.
4. Analisi Teorica e Sperimentale: Derivazione di formule analitiche per l'errore quadratico medio (MSE) in diversi scenari (sistemi sovradeterminati e sottodeterminati) e validazione su dataset reali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su cinque dataset reali (Bank, Adult, Satellite, PenDigits, Grid) con modelli di Regressione Logistica.

• Efficacia dell'Attacco:
  • L'attacco agnostico (tramite AM) riesce a ricostruire le feature passive con un errore basso, specialmente quando le feature attive e passive sono correlate.
  • L'uso del RAM (con soli 50-100 punteggi di confidenza osservati) migliora drasticamente l'accuratezza dell'attacco, rendendolo quasi pari a un attacco "non agnostico" (dove si hanno i punteggi reali).
  • L'efficacia dell'attacco dipende dalla correlazione tra le feature: dataset con feature altamente correlate (es. Bank, Adult) sono più vulnerabili rispetto a dataset con feature quasi indipendenti (es. Grid).
• Efficacia delle PPS:
  • Le schemi di protezione proposti aumentano significativamente l'MSE di ricostruzione per l'attaccante.
  • È possibile regolare il livello di distorsione ($\varepsilon$) per bilanciare la privacy e l'interpretabilità. Anche piccole perturbazioni dei parametri possono portare a un grande aumento dell'errore di ricostruzione, mantenendo al contempo un livello di interpretabilità accettabile per l'attore attivo.
  • Le PPS sono robuste rispetto alle trasformazioni che l'attaccante potrebbe applicare ai propri sistemi di equazioni.

5. Significato e Implicazioni

Questo lavoro ha un impatto significativo sulla sicurezza del Federated Learning Verticale:

• Ridefinizione delle Minacce: Sposta il focus dalla protezione dei punteggi di output (che possono essere bypassati) alla protezione dei parametri del modello e delle correlazioni intrinseche nei dati.
• Gestione del Trade-off: Fornisce un framework matematico per gestire il conflitto tra la necessità di interpretare le decisioni del modello (cruciale in settori come finanza e sanità) e la necessità di proteggere la privacy dei dati sensibili.
• Praticità: Le soluzioni proposte (PPS) sono computazionalmente efficienti (ottimizzazione offline sui parametri) e non richiedono modifiche al protocollo di comunicazione o all'interfaccia di predizione, rendendole facilmente integrabili nei sistemi VFL esistenti.

In sintesi, il paper dimostra che in un ambiente VFL "white-box", la semplice condivisione dei punteggi di confidenza non è l'unico vettore di attacco; la capacità di un attore attivo di costruire modelli surrogati rappresenta una minaccia reale che richiede difese strutturali sui parametri del modello.