Riepilogo Tecnico: Coerenza Controfattuale Selettiva per l'Apprendimento Federato Verticale (SCC-VFL)

1. Enunciato del Problema

Il documento affronta la sfida di garantire l'equità individuale in contesti di Apprendimento Federato Verticale (VFL) in cui le caratteristiche dei dati sono distribuite tra più istituzioni (parti), e gli attributi sensibili (ad esempio, razza, età, genere) possono essere detenuti privatamente da una singola parte o da un enclave.

Nel VFL, le parti possiedono sottoinsiemi di caratteristiche disgiunti per entità sovrapposte. Sebbene l'apprendimento federato consenta l'addestramento collaborativo di modelli senza centralizzare i dati grezzi, ciò complica l'applicazione dell'equità. Gli approcci esistenti all'equità si basano spesso su metriche a livello di gruppo (ad esempio, parità demografica, probabilità uguale) o assumono il pieno accesso alle caratteristiche e ai grafi causali, che non sono disponibili nel VFL. Inoltre, le interventi controfattuali ingenui nel VFL sono instabili perché:

1. Visibilità Parziale: Nessuna singola parte osserva tutte le caratteristiche, rendendo difficile determinare quali caratteristiche siano mediatori permessi rispetto a proxy impermissibili di un attributo sensibile.
2. Vincoli di Privacy: Gli attributi sensibili sono spesso privati, impedendo un intervento diretto durante l'addestramento.
3. Fughe di Informazioni: Le rappresentazioni condivise o gli aggiornamenti possono rivelare involontariamente informazioni sensibili o permettere ai proxy di trasmettere influenze sensibili.

Gli autori si concentrano sulla stabilità controfattuale a livello individuale: garantire che la previsione di un individuo rimanga invariata sotto un'intervento ipotetico sul suo attributo protetto, a condizione che le caratteristiche non discendenti siano mantenute fisse e che solo i mediatori permessi dalla politica possano variare.

2. Metodologia: SCC-VFL

Gli autori propongono SCC-VFL (Coerenza Controfattuale Selettiva per l'Apprendimento Federato Verticale), un framework incentrato sul server che opera l'equità individuale attraverso tre componenti integrate:

A. Scoperta di Maschere Senza Grafo e Differenzialmente Privata (DP)

Poiché i grafi causali sono raramente disponibili in contesti multi-partecipanti, SCC-VFL utilizza una procedura senza grafo e DP per partizionare le caratteristiche di ciascuna parte in tre insiemi:

• Non discendenti ($N$): Caratteristiche che devono rimanere fisse sotto un intervento sull'attributo sensibile.
• Mediatori ($M$): Caratteristiche che è permesso modificare (percorsi permessi dalla politica).
• Proxy ($P$): Un sottoinsieme di mediatori che agiscono come percorsi impermissibili per l'influenza sensibile e devono essere soppressi.

Meccanismo:

1. Un titolare fidato (o un enclave) genera una bozza DP ($z_s$) dell'attributo sensibile $s$ troncando e aggiungendo rumore gaussiano alle tabelle di contingenza. Questa bozza soddisfa la proprietà $(\epsilon, \delta)$-DP ma non viene applicata all'intera pipeline di addestramento.
2. Le parti utilizzano $z_s$ come covariata ausiliaria per verificare se le loro caratteristiche locali sono statisticamente responsive a $s$.
3. Il sistema calcola due metriche per ciascuna caratteristica:
   • Guadagno di Rischio ($\Delta_j$): Miglioramento nella previsione della caratteristica quando $z_s$ è incluso.
   • Criterio di Indipendenza Hilbert-Schmidt (HSIC): Dipendenza residua su $z_s$ dopo aver condizionato sulle altre caratteristiche locali.
4. Le caratteristiche con HSIC basso sono assegnate a $N$; quelle con HSIC alto sono candidate per $M$. All'interno di $M$, le caratteristiche con alto guadagno di rischio (forte sensibilità a $s$ ma bassa rilevanza per il compito) sono segnalate come proxy $P$.

B. Generazione Controfattuale Mascherata

Ogni parte addestra un generatore condizionale locale (un cVAE) per creare input controfattuali.

• Preservazione dell'Identità: I non discendenti ($N$) sono copiati esattamente ($x^{cf}_N = x_N$).
• Modifica dei Mediatori: I mediatori ($M$) sono modificati per giacere sul supporto della distribuzione condizionale $p(x_M | x_N, c, z_{s'})$, dove $z_{s'}$ è l'embedding sensibile target.
• Soppressione delle Fughe: I proxy ($P$) passano inalterati ma sono soggetti a una perdita avversariale. Un avversario tenta di recuperare $z_s$ dalle caratteristiche proxy controfattuali; il generatore minimizza questo tasso di successo per sopprimere i segnali sensibili residui.

C. Perdita di Coerenza Controfattuale Selettiva (SCC) lato Server

Il server aggrega le rappresentazioni dagli input originali e controfattuali mascherati per formare rappresentazioni fuse $z$ e $z^{cf}$.

• Penalità di Coerenza: Il server minimizza un termine di perdita $\mathcal{L}_{SCC}$ che penalizza la differenza tra le previsioni $f_\theta(z)$ e $f_\theta(z^{cf})$.
• Obiettivo: Ciò impone che la decisione del modello non cambi arbitrariamente quando vengono modificati solo i mediatori permessi dalla politica. L'obiettivo totale combina l'utilità del compito, la coerenza SCC e i vincoli di validità (identità, supporto, fughe).

3. Contributi Chiave

1. Formulazione del Problema: Definizione della Coerenza Controfattuale Selettiva (SCC) per il VFL, mirante alla stabilità per istanza sotto interventi specificati dalla politica piuttosto che alla parità di gruppo.
2. Scoperta di Maschere DP: Introduzione di un meccanismo senza grafo e differenzialmente privato per identificare candidati non discendenti, mediatori e proxy senza richiedere un grafo causale predefinito o l'accesso ai dati sensibili grezzi.
3. Generazione Mascherata con Controllo delle Fughe: Progettazione di generatori locali alle parti che modificano solo i mediatori, imponendo l'identità sui non discendenti e sopprimendo le fughe dei proxy tramite addestramento avversariale.
4. Applicazione Centrata sul Server: Implementazione di una perdita di coerenza lato server che penalizza i cambiamenti di previsione impermissibili, validata su diversi domini.

4. Risultati Sperimentali

Gli autori hanno valutato SCC-VFL su tre dataset reali: German Credit (Banca), UCI Heart Disease (Sanità) e COMPAS Cox (Giustizia Penale), in entrambe le divisioni IID e Non-IID (spostamento di distribuzione).

• Metriche di Equità: SCC-VFL ha ridotto significativamente il Tasso di Inversione (FR) (la frazione di campioni che cambiano previsione sotto intervento) fino al 98% rispetto a baseline solide (ad esempio, Adv-NoMask, Uniform-CF, Maschera cieca alla politica). Ha inoltre raggiunto il più basso Divario di Coerenza Selettiva (SCG).
  • Esempio: Su German Credit (Non-IID), SCC-VFL ha ridotto il FR allo 0,12% rispetto al 6,24–8,22% delle baseline.
• Utilità: Il metodo ha mantenuto o migliorato l'accuratezza predittiva e il LogLoss, dimostrando compromessi favorevoli tra utilità ed equità.
• Privacy e Robustezza:
  • Attacchi di Inferenza degli Attributi (AIA): SCC-VFL ha ridotto i tassi di successo degli attacchi di 4-5 punti percentuali rispetto alle baseline.
  • Attacchi Subspace-PGD: Sotto perturbazioni mirate delle coordinate dei mediatori, SCC-VFL ha mostrato i tassi di successo più bassi (ad esempio, 9,3% a $\epsilon=0.20$ contro il 21,7% per Adv-NoMask), indicando confini decisionali appiattiti lungo le direzioni sensibili.
• Studi di Ablazione: La rimozione di qualsiasi componente (scoperta della maschera, generatore o perdita di coerenza) ha degradato le prestazioni, confermando la necessità dell'intera pipeline per la stabilità e il controllo delle fughe.

5. Significato e Affermazioni

Il documento afferma che SCC-VFL fornisce un obiettivo di equità praticamente auditabile per le implementazioni VFL in cui i dati sono isolati e gli attributi sensibili sono privati.

• Responsabilità Individuale: A differenza delle metriche a livello di gruppo che possono mascherare incoerenze individuali, SCC-VFL garantisce che specifici individui ricevano decisioni stabili sotto cambiamenti controfattuali degli attributi protetti, allineandosi ai requisiti legali contro la discriminazione (ad esempio, discriminazione basata sull'età nei prestiti).
• Allineamento alla Politica: Il framework impone una politica dichiarata riguardo a quali percorsi causali sono permessi. Non afferma di scoprire la causalità di verità fondamentale, ma piuttosto opera una specifica definita dalla governance ($N/M/P$) in un algoritmo di apprendimento.
• Robustezza allo Spostamento: Il metodo rimane efficace in contesti Non-IID e con spostamenti di distribuzione, dove i metodi baseline soffrono spesso di degradazione della stabilità.
• Ambito della Privacy: Gli autori dichiarano esplicitamente che la garanzia formale DP si applica solo alla bozza utilizzata per la scoperta della maschera, non all'intera pipeline di addestramento (rappresentazioni, gradienti o parametri del modello). I benefici per la privacy osservati negli esperimenti sono riduzioni empiriche delle fughe sotto specifici modelli di minaccia, non garanzie DP formali end-to-end.

Il lavoro posiziona la stabilità controfattuale a livello individuale come un valido complemento all'equità di gruppo, offrendo un meccanismo per gli stakeholder per auditare, contestare e verificare che le decisioni algoritmiche non siano guidate arbitrariamente da attributi protetti in ambienti di apprendimento distribuito.