On the Fragility of Data Attribution When Learning Is Distributed

Sintesi Tecnica: Sulla Fragilità dell'Attribuzione dei Dati quando l'Apprendimento è Distribuito

Enunciato del Problema
L'attribuzione dei dati è diventata una componente critica per la determinazione dei prezzi, l'audit e la governance nelle pipeline di apprendimento automatico, in particolare in contesti distribuiti come l'Apprendimento Federato (FL). Questi sistemi si affidano a metriche di attribuzione (ad esempio, valori di Shapley, funzioni di influenza) per quantificare il contributo dei singoli proprietari dei dati all'utilità globale del modello. Tuttavia, i metodi di attribuzione attuali assumono implicitamente che tali punteggi riflettano fedelmente i contributi effettivi dei partecipanti. Questo lavoro mette in discussione tale assunzione, dimostrando che nei flussi di lavoro standard di addestramento distribuito, un singolo partecipante malintenzionato può manipolare strategicamente il proprio valore di attribuzione misurato per apparire significativamente più benefico di quanto non sia realmente, senza degradare l'utilità del modello globale. La vulnerabilità fondamentale risiede nella sensibilità degli stimatori dell'utilità marginale alla copertura non IID delle etichette e nelle preferenze strutturali specifiche degli evaluator di attribuzione.

Metodologia: Attacco di Ottimizzazione Latente
Gli autori propongono un modello di minaccia "prioritario all'attribuzione" in cui un client malintenzionato ($i^\star$) mira a massimizzare il proprio punteggio di attribuzione $E(\hat{g}^\star_t)$ preservando rigorosamente l'utilità globale $U(\cdot)$ entro una piccola tolleranza $\delta$. A differenza degli attacchi di avvelenamento tradizionali che degradano le prestazioni, questo attacco opera sotto il vincolo che l'accuratezza di test rimanga stabile.

L'Attacco di Ottimizzazione Latente proposto procede come segue:

1. Iniezione di Dati Sintetici: L'attaccante utilizza un decoder pre-addestrato e fisso ($Dec(\cdot)$) per generare un piccolo batch di campioni sintetici $(\tilde{x}, \tilde{y})$ da un vettore latente $z$.
2. Ottimizzazione del Vettore Latente: L'attaccante ottimizza il vettore latente $z$ tramite discesa del gradiente per soddisfare una funzione di perdita congiunta $L(z) = L_1(z) + L_2(z) + L_3(z)$:
   • $L_1$ (Allineamento della Direzione): Garantisce che il gradiente del batch sintetico sia allineato con una direzione di riferimento benigna (ad esempio, l'aggiornamento globale del modello $w_t - w_{t-1}$) utilizzando la similarità del coseno.
   • $L_2$ (Coerenza della Norma): Corrisponde alla magnitudine del gradiente sintetico a quella degli aggiornamenti benigni per eludere le difese basate sulla geometria.
   • $L_3$ (Fedeltà al Compito): Mantiene la perdita standard di entropia incrociata sul batch sintetico per garantire che i dati siano discriminativi per classe e utili per l'addestramento.
3. Copertura Strategica: L'attaccante prende di mira specificamente le classi sottorappresentate o assenti nel proprio dataset reale locale ($D^{(i^\star)}_r$). Iniettando campioni sintetici per queste etichette "mancanti", l'attaccante sfrutta la sensibilità dell'evaluator ai vuoti di copertura.
4. Aggiornamento Ibrido: L'attaccante mescola il batch sintetico ottimizzato con i propri dati reali per eseguire l'addestramento locale, generando un aggiornamento segnalato $\hat{g}^\star_t$ statisticamente indistinguibile dagli aggiornamenti benigni ma che produce un'utilità marginale sproporzionatamente alta agli occhi dell'evaluator lato server.

Contributi Chiave

• Modello di Minaccia Prioritario all'Attribuzione: Il lavoro formalizza un nuovo obiettivo di attacco nel FL in cui lo scopo è gonfiare i punteggi di attribuzione dei dati sotto vincoli espliciti di utilità e plausibilità, distinto dagli obiettivi tradizionali di avvelenamento del modello.
• Attacco Pratico di Ottimizzazione Latente: Gli autori introducono un meccanismo di attacco concreto che utilizza dati sintetici generati da un decoder per costruire aggiornamenti locali consapevoli dell'attribuzione. Questo metodo preserva l'utilità ed è statisticamente plausibile, eludendo i controlli di sanità standard.
• Validazione Teorica ed Empirica: Il lavoro fornisce approfondimenti teorici sul motivo per cui tali aggiornamenti aumentano l'attribuzione marginale senza degradare l'accuratezza (a causa dell'allineamento con le direzioni di discesa globale e dei guadagni di utilità guidati dalla copertura). Sperimentalmente, l'attacco è validato su tre dataset (CIFAR-10, FashionMNIST, SVHN), tre architetture di modello (ResNet-18, WRN-28-10, VGG16 BN) e molteplici evaluator (Valore di Shapley Federato e Leave-One-Out).

Risultati Sperimentali

• Gonfiaggio dell'Attribuzione: Sotto l'attacco di Ottimizzazione Latente, un client malintenzionato inizialmente classificato ultimo (ricevendo un'attribuzione vicina allo zero) si è spostato costantemente nella metà superiore della classifica, spesso raggiungendo valori di attribuzione comparabili o superiori a quelli dei contributori benigni ad alto rendimento. Ad esempio, su CIFAR-10 con ResNet-18, il valore di attribuzione del client malintenzionato è aumentato da 0,0547 a 0,1682, spostando la sua posizione dalla 10ª alla 2ª.
• Preservazione dell'Utilità: A differenza degli attacchi di base (Inversione delle Etichette, Rumore Casuale) che hanno degradato significativamente l'accuratezza di test, l'attacco di Ottimizzazione Latente ha mantenuto l'accuratezza globale entro un margine ristretto rispetto alla baseline senza attacchi (ad esempio, 77,59% contro 76,75% su CIFAR-10/ResNet-18).
• Ridefinizione della Struttura di Attribuzione: L'attacco non ha semplicemente aumentato il punteggio dell'attaccante; ha ridistribuito le quote di attribuzione tra i client benigni, alterando l'assegnazione del credito relativo all'interno del sistema.
• Evasione delle Difese: Le difese standard basate sul taglio geometrico, che filtrano gli aggiornamenti in base alla deviazione dalla massa degli aggiornamenti dei client, non sono riuscite a rilevare l'attacco (Precisione e Richiamo vicini a 0,00). Gli aggiornamenti ibridi sono rimasti allineati con la direzione di discesa globale e statisticamente incorporati nella distribuzione benigna.
• Robustezza: L'attacco è rimasto efficace attraverso diversi numeri di client, diverse classifiche iniziali dei client e diversi evaluator di attribuzione (FedSV e LOO).

Significato e Affermazioni
Il lavoro afferma che l'attribuzione stessa costituisce una nuova superficie di attacco nell'apprendimento distribuito. I risultati dimostrano che mantenere l'accuratezza del modello da sola è insufficiente per un'apprendimento collaborativo affidabile; l'integrità dell'attribuzione è ugualmente critica. Gli autori sostengono che i meccanismi di incentivazione e i quadri di governance attuali sono vulnerabili perché si affidano a evaluator che possono essere manipolati senza danneggiare le prestazioni globali. Questo lavoro motiva lo sviluppo di evaluator robusti all'attribuzione e meccanismi di punteggio compatibili con gli incentivi, evidenziando che la vulnerabilità deriva dalle proprietà di incentivazione della valutazione dell'utilità marginale piuttosto che da regole di punteggio specifiche. Il lavoro conclude che, senza affrontare queste vulnerabilità, i sistemi rischiano di premiare i contributori sbagliati, identificare erroneamente gli attori dannosi e trarre conclusioni fuorvianti sulla qualità dei dati.