Res-MIA: A Training-Free Resolution-Based Membership Inference Attack on Federated Learning Models

Sintesi Tecnica: Res-MIA

Problematica
Gli attacchi di inferenza di appartenenza (Membership Inference Attacks, MIA) rappresentano una minaccia critica alla privacy, in cui gli avversari determinano se un campione di dati specifico faceva parte del set di addestramento di un modello. Sebbene l'Apprendimento Federato (Federated Learning, FL) sia progettato per preservare la privacy decentralizzando i dati, evidenze recenti indicano che il modello globale finale può comunque esporre informazioni sull'appartenenza attraverso l'accesso black-box. Gli attuali MIA spesso si affidano a modelli ombra (shadow models) computazionalmente costosi, richiedono dati ausiliari o dipendono da metriche a singola query (come loss o entropia) che non riescono a catturare le sfumature differenziali tra membri e non membri. Inoltre, molti metodi attuali faticano in contesti black-box ristretti, dove sono disponibili solo punteggi di confidenza o etichette.

Metodologia: Res-MIA
Il documento introduce Res-MIA, un nuovo attacco di inferenza di appartenenza black-box, privo di addestramento (training-free). L'intuizione centrale è che i modelli di deep learning addestrati su dataset specifici tendono all'overfitting memorizzando dettagli ad alta frequenza e a grana fine presenti nei campioni di addestramento. Al contrario, le predizioni su campioni non visti (non membri) si basano maggiormente su caratteristiche robuste, a bassa frequenza e a grana grossa.

Res-MIA sfrutta questa sensibilità degradando progressivamente la risoluzione dell'input e osservando il conseguente decadimento della confidenza della predizione del modello. La pipeline dell'attacco opera come segue:

1. Erosione Progressiva: Partendo da un'immagine di input $x_0$, il metodo applica una sequenza di $K$ step di erosione. In ogni step $k$, la risoluzione dell'immagine viene ridotta tramite average pooling e successivamente ripristinata alla dimensione originale utilizzando l'interpolazione nearest-neighbor. Questa specifica combinazione agisce come un filtro passa-basso che sopprime i dettagli ad alta frequenza senza ricostruirli artificialmente (un rischio con interpolazioni più fluide come la bilineare).
2. Monitoraggio della Confidenza: Il modello target viene interrogato ad ogni step di erosione $k$ per ottenere la confidenza di predizione $c_k$ per la classe predetta.
3. Scoring: Un Punteggio di Decadimento della Confidenza (Confidence Decay Score), $S(x)$, viene calcolato come il tasso medio di perdita di confidenza attraverso gli step di erosione:
   $$S(x) = \frac{f_{y^*}(x_0) - f_{y^*}(x_K)}{K}$$
   dove $y^*$ è la classe predetta per l'input originale.
4. Inferenza: L'ipotesi è che i campioni membri esibiscano un declino della confidenza significativamente più ripido (un $S(x)$ più elevato) man mano che i dettagli ad alta frequenza vengono rimossi, mentre i campioni non membri mostrano un declino più graduale.

Contributi Chiave

• Privo di Addestramento e Black-Box: A differenza degli attacchi basati su modelli ombra, Res-MIA non richiede dati ausiliari, non richiede l'addestramento di classificatori di attacco e non ha accesso ai gradienti del modello. Opera esclusivamente tramite i passaggi in avanti (forward passes) del modello target.
• Nuovo Segnale: Il documento identifica l' "overfitting sensibile alla frequenza" come una fonte robusta di fuga della privacy. Dimostra che il tasso di decadimento della confidenza sotto l'erosione della risoluzione è un segnale di appartenenza più forte rispetto a metriche statiche come la confidenza iniziale o l'entropia.
• Efficienza: L'attacco è computazionalmente leggero, richiedendo solo un piccolo numero di passaggi in avanti (ad esempio, $K+1$ query) per campione.

Risultati Sperimentali
Gli autori hanno valutato Res-MIA su un modello Federated ResNet-18 addestrato sul dataset CIFAR-10 con 10 client.

• Performance: Res-MIA ha raggiunto un AUC di 0,88, superando sostanzialmente gli esistenti baseline privi di addestramento, inclusi un attacco basato sulla loss (AUC 0,75) e un attacco basato sull'entropia (AUC 0,68).
• Tasso di Falsi Positivi: A un tasso di Veri Positivi (TPR) fisso dell'80%, Res-MIA ha ridotto il Tasso di Falsi Positivi (FPR) a 0,19, quasi la metà rispetto al baseline basato sulla confidenza (0,38).
• Robustezza: L'attacco ha dimostrato prestazioni coerenti tra tutti i 10 client federati, con valori di AUC per client compresi tra 0,86 e 0,89, indicando che non dipende da artefatti specifici del client.
• Ablazione: Lo studio ha confermato che l'upsampling nearest-neighbor è critico; l'uso dell'interpolazione bilineare ha degradato le prestazioni (l'AUC è sceso a 0,72), probabilmente perché l'interpolazione più fluida maschera gli effetti della rimozione delle alte frequenze.
• Overhead: Il costo computazionale è stato modesto, con un tempo di inferenza di 18,9 ms per campione (rispetto ai 3,1 ms di un singolo passaggio in avanti), rendendolo fattibile per scenari su larga scala.

Significatività e Rivendicazioni
Il documento sostiene che Res-MIA evidenzia un meccanismo di fuga della privacy precedentemente poco esplorato: la dipendenza dei modelli in overfitting da caratteristiche di input a grana fine e non robuste. Gli autori argomentano che questo reperto suggerisce che il design di modelli che preservano la privacy debba andare oltre il semplice miglioramento della generalizzazione; richiede di ridurre esplicitamente la dipendenza di un modello dai dettagli ad alta frequenza.

Il lavoro si pone come complemento alla letteratura esistente sulla difesa (come la Differential Privacy o la regolarizzazione avversaria). Dimostrando che i segnali di appartenenza possono essere estratti puramente attraverso la trasformazione dell'input senza riaddestramento, il documento sottolinea la necessità di modelli che siano intrinsecamente robusti alle perturbazioni basate sulla frequenza. Gli autori concludono che mitigare questi rischi richiede un cambiamento nel modo in cui i modelli vengono progettati, per garantire che non memorizzino indizi fragili e specifici del campione.