Riepilogo Tecnico: FedHF-Impute per l'Imputazione Federata in Spazi di Caratteristiche Eterogenei

1. Enunciato del Problema

L'Apprendimento Federato (FL) assume tipicamente che tutti i client partecipanti condividano uno spazio di caratteristiche identico (schemi allineati), consentendo l'aggregazione diretta dei parametri tramite metodi come FedAvg. Tuttavia, in scenari tabulari realistici, i client operano spesso sotto spazi di caratteristiche eterogenei a causa di pipeline di misurazione diverse, configurazioni di sensori o vincoli istituzionali. In questi scenari, i client osservano solo sottoinsiemi parzialmente sovrapposti di caratteristiche.

Il documento distingue tra due tipi di assenza di dati:

1. Mancanza Temporanea: Una caratteristica fa parte dello schema di un client ma presenta voci mancanti (dati mancanti standard).
2. Indisponibilità Strutturale: Una caratteristica non viene mai misurata da un client specifico perché è assente dal suo schema locale.

I metodi esistenti di imputazione federata affrontano principalmente la mancanza temporanea e assumono implicitamente schemi allineati. Quando applicati a contesti eterogenei, i metodi standard di mediazione dei parametri (ad es. FedAvg) falliscono perché non possono trasferire informazioni tra gruppi di caratteristiche debolmente sovrapposti o disgiunti, portando a un'aggregazione mal posta e a un degrado delle prestazioni del modello.

2. Metodologia: FedHF-Impute

Gli autori propongono FedHF-Impute, un framework che disaccoppia la semantica globale delle caratteristiche dagli schemi locali dei client. L'innovazione centrale è l'uso di un grafo globale delle caratteristiche condiviso per propagare informazioni tra caratteristiche statisticamente correlate, anche quando tali caratteristiche non vengono mai osservate congiuntamente su un singolo client.

Componenti Chiave

• Costruzione del Grafo Globale delle Caratteristiche:
  • Il server raccoglie metadati delle caratteristiche (identificatori) e statistiche di correlazione pairwise (ad es. correlazioni di Pearson) dai client. Non vengono condivisi dati grezzi.
  • Viene costruito un grafo pesato $G = (V, E, w)$ in cui i nodi rappresentano le caratteristiche globali e gli archi rappresentano le dipendenze statistiche.
  • I pesi degli archi sono derivati dai $k$-vicini più correlati. Questo grafo viene condiviso con tutti i client una volta prima dell'inizio dell'addestramento e rimane fisso.
• Architettura dell'Imputatore basata su GNN:
  • Il modello opera sulla dimensione delle caratteristiche piuttosto che sulla dimensione del campione.
  • Per ogni campione, l'input include il vettore delle caratteristiche (con i valori mancanti azzerati), una maschera di osservazione e una maschera di disponibilità (che indica la presenza/assenza strutturale).
  • L'architettura utilizza una Rete Neurale su Grafo (GNN) con livelli di passaggio dei messaggi. Ogni nodo di caratteristica aggrega segnali dai suoi vicini nel grafo globale, permettendo al modello di inferire valori per caratteristiche non disponibili basandosi sulle correlazioni con quelle disponibili.
  • Le rappresentazioni iniziali dei nodi sono formate concatenando gli embedding delle caratteristiche con le osservazioni scalari, le maschere e gli indicatori di disponibilità, elaborati attraverso un MLP.
• Obiettivo di Addestramento Auto-supervisionato:
  • Poiché i valori reali per i dati mancanti sono sconosciuti, il modello utilizza una strategia di mascheramento a blocchi.
  • Durante l'addestramento locale, un sottoinsieme di caratteristiche osservate e disponibili viene mascherato casualmente (corrotto).
  • Il modello viene addestrato a ricostruire questi valori mascherati utilizzando una funzione di perdita dell'Errore Quadratico Medio (MSE), imparando efficacemente le dipendenze delle caratteristiche necessarie per l'imputazione.
• Protocollo Federato:
  • Il framework aderisce ai protocolli FL standard (FedAvg). I client eseguono la discesa del gradiente stocastica locale e caricano i parametri del modello aggiornati.
  • Il server aggrega i parametri in base alle dimensioni dei dataset locali.
  • Crucialmente, il metodo supporta un trasferimento indiretto di conoscenza tra client: un client può imparare a imputare una caratteristica che non osserva mai sfruttando la propagazione della forza statistica del grafo globale da parte di altri client che osservano quella caratteristica.

3. Contributi Chiave

• Disaccoppiamento dell'Indisponibilità Strutturale dalla Mancanza: Il framework modella esplicitamente la differenza tra una caratteristica mancante (problema di dati) e una caratteristiche strutturalmente non disponibile (problema di schema), una distinzione spesso ignorata nei lavori FL precedenti.
• Grafo Globale delle Caratteristiche per Schemi Eterogenei: Introduce un meccanismo per condividere le dipendenze statistiche tramite un grafo globale, abilitando il flusso di informazioni tra caratteristiche che non vengono mai co-osservate localmente.
• Compatibilità: L'approccio mantiene protocolli di comunicazione federata standard (scambio di parametri solo) senza richiedere la condivisione di dati grezzi o trasformazioni di allineamento complesse durante l'addestramento.
• Valutazione Completa: Il metodo è stato valutato rispetto a baseline sia centralizzate che federate su tre dataset distinti con dimensionalità e pattern di mancanza variabili.

4. Risultati Sperimentali

Gli autori hanno valutato FedHF-Impute su tre dataset: AirQuality (13 caratteristiche), PhysioNET (42 caratteristiche) e SECOM (590 caratteristiche). Negli esperimenti, è stata simulata una sovrapposizione parziale degli schemi in cui ciascuno dei 4 client deteneva un sottoinsieme casuale del 60% delle caratteristiche.

• Miglioramenti delle Prestazioni:
  • SECOM (Alta Dimensionalità): FedHF-Impute ha raggiunto un RMSE di 0.8205, superando significativamente tutte le baseline federate (che variavano da 1.17 a 4.05) e i competitor centralizzati (miglior MICE centralizzato: 1.1231). Ciò rappresenta un miglioramento del 26.9% rispetto alla migliore baseline federata e un miglioramento del 27% rispetto al miglior metodo centralizzato.
  • AirQuality: Ha raggiunto un RMSE di 0.7074, superando tutte le baseline federate e avvicinandosi al miglior metodo centralizzato (MICE: 0.6756).
  • PhysioNET: Ha raggiunto un RMSE di 0.9363, comparabile alla migliore baseline federata (Fed-FeatGen: 0.9339) e al miglior metodo centralizzato (DAE: 0.9500).
• Stabilità: Il metodo ha dimostrato una convergenza stabile attraverso i round di comunicazione, mentre le baseline federate hanno mostrato un'alta varianza e instabilità, specialmente in contesti ad alta dimensionalità.
• Scalabilità: È stato osservato che il vantaggio dell'approccio basato su grafi cresce con la dimensionalità delle caratteristiche e l'eterogeneità degli schemi, suggerendo che la modellazione a livello di caratteristica diventa sempre più critica man mano che la stima locale per caratteristica diventa mal condizionata.

5. Significato e Affermazioni

Il documento afferma che FedHF-Impute affronta un divario critico nell'apprendimento federato: l'incapacità di imputare efficacemente i dati quando i client possiedono set di caratteristiche strutturalmente diversi.

• Superamento del Disallineamento degli Schemi: Gli autori affermano che la semplice mediazione dei parametri (FedAvg) è insufficiente per spazi di caratteristiche eterogenei. Modellando esplicitamente le dipendenze delle caratteristiche tramite un grafo, il metodo abilita un "trasferimento indiretto di conoscenza tra client", permettendo ai client di inferire valori per caratteristiche che non osservano mai.
• Preservazione della Privacy: Il framework preserva la località dei dati, poiché vengono scambiati solo i parametri del modello e le metriche di validazione scalari. La costruzione del grafo si basa solo su metadati e statistiche di correlazione, non su record grezzi.
• Superiorità in Contesti Complessi: I risultati suggeriscono che per dati tabulari ad alta dimensionalità e eterogenei, la modellazione strutturata a livello di caratteristica (tramite propagazione su grafo) è superiore sia alla mediazione federata ingenua che ai metodi di imputazione centralizzati che non possono sfruttare le correlazioni distribuite.

Gli autori concludono che modellare esplicitamente la struttura a livello di caratteristica è essenziale per un'imputazione efficace nei sistemi federati di prossima generazione che affrontano l'eterogeneità degli schemi. Notano che, mentre il lavoro attuale tratta la costruzione del grafo come un passo di pre-addestramento sotto ipotesi di fiducia standard, il lavoro futuro potrebbe incorporare la privacy differenziale per la fase di costruzione del grafo.