FDRMFL: Multimodal Federated Feature Extraction Model Based on Information Maximization and Contrastive Learning

Sintesi Tecnica: FDRMFL – Estrazione di Caratteristiche Multimodali Federate basata su Massimizzazione dell'Informazione e Apprendimento Contrastivo

Problematica
Il documento affronta la sfida dell'estrazione di caratteristiche predittive da input multimodali ad alta dimensionalità (ad esempio, immagini, spettri, testo) all'interno di un contesto di apprendimento federato (FL) caratterizzato da dati non-IID (non identicamente distribuiti). In questo scenario, i dati grezzi non possono lasciare i client locali, i campioni sono scarsi e le distribuzioni variano significatamente tra le istituzioni. Gli approcci esistenti affrontano limitazioni critiche: i metodi lineari non supervisionati (PCA, TSVD, RP) ignorano le etichette rilevanti per il compito e falliscono in condizioni non-IID; i Variational Autoencoders (VAE) ottimizzano la ricostruzione piuttosto che la predizione; e gli algoritmi federati standard (FedAvg, FedProx, ecc.) mancano di meccanismi per l'allineamento cross-modale o la ritenzione di caratteristiche guidate dal compito nella regressione multimodale. Di conseguenza, questi metodi soffrono di deriva della rappresentazione, disallineamento cross-modale e perdita di informazioni predittive.

Metodologia: FDRMFL
Gli autori propongono FDRMFL (Federated Dimensionality-Reducing Multimodal Feature extraction and Learning), un framework che ottimizza congiuntamente l'accuratezza della predizione e la qualità della rappresentazione. L'architettura consiste in encoder specifici per modalità (ad esempio, CNN, LSTM, Transformer), una rete di fusione cross-attention e una testa di regressione. L'innovazione principale risiede in una funzione obiettivo locale unificata composta da quattro termini:

1. Perdita di Predizione MSE ($\mathcal{L}_{pred}$): Minimizza l'errore tra la rappresentazione fusa e la variabile target continua.
2. Regolarizzazione dell'Informazione Mutua ($\mathcal{R}_{mi}$): Un sostituto basato sulla correlazione che massimizza la dipendenza tra la rappresentazione fusa e il target. Motivato dall'identità Gaussiana $I(X;Y) = -\frac{1}{2}\log(1-\rho^2)$, questo termine incoraggia la rappresentazione latente a trattenere informazioni rilevanti per il compito massimizzando la correlazione di Pearson assoluta ($|\hat{\rho}|$) tra una rappresentazione proiettata e il target.
3. Allineamento KL Simmetrico ($\mathcal{R}_{kl}$): Una penalità che allinea le distribuzioni latenti di diverse modalità prima della fusione. Assumendo una distribuzione Gaussiana omoscedastica per le caratteristiche della modalità, questo termine si semplifica nel minimizzare la distanza euclidea al quadrato tra le medie delle diverse caratteristiche di modalità, chiudendo così il "gap di modalità".
4. Perdita Contrastiva Federata ($\mathcal{R}_{fcl}$): Una perdita di tipo InfoNCE che ancora le rappresentazioni locali al consenso globale. Tratta la rappresentazione del round globale precedente come un campione positivo e le rappresentazioni di round precedenti (memorizzate in un buffer di storia temporale) come campioni negativi. Ciò vincola gli aggiornamenti locali a rimanere vicini al manifold delle caratteristiche globali, mitigando la deriva della rappresentazione.

L'obiettivo globale è una somma pesata di questi quattro termini. L'addestramento segue un ciclo federato standard in cui i client eseguono la discesa del gradiente locale su questa perdita composita, e il server aggrega i parametri tramite pesatura basata sulla dimensione del campione.

Contributi Chiave

• Framework Unificato: FDRMFL è presentato come il primo framework unificato per affrontare congiuntamente la riduzione della dimensionalità guidata dal compito per target continui, l'allineamento della distribuzione cross-modale e la stabilità della rappresentazione tra i round all'interno di un unico setting di regressione federata.
• Sostituto MI basato sulla Correlazione: L'introduzione di un sostituto dell'informazione mutua basato sulla correlazione e a bassa varianza, specificamente adatto a regimi federati con piccoli campioni, evitando l'instabilità degli stimatori neurali di MI ad alta varianza.
• Meccanismo Contrastivo Federato: Un adattamento innovativo dell'apprendimento contrastivo allo spazio multimodale fuso, utilizzando un buffer di storia temporale per fornire segnali negativi più ricchi rispetto ai precedenti approcci a singola modalità (ad esempio, MOON).
• Allineamento Cross-Modale: Una penalità KL simmetrica progettata per allineare le distribuzioni latenti tra le modalità prima della fusione, affrontando la sfida specifica dei dati multimodali non-IID.

Risultati Sperimentali
Il framework è stato valutato su tre dataset sintetici (con processi generativi di verità fondamentale nota) e due dataset del mondo reale di spettroscopia nel vicino infrarosso (NIR) (Tecator e Corn) sotto partizioni non-IID.

• Performance vs. Baseline Tradizionali: FDRMFL ha ridotto il Mean Squared Error (MSE) medio del 33,8% rispetto al miglior baseline tradizionale (PCA) e del 43,0% rispetto a VAE in simulazione. Sui dataset del mondo reale, ha costantemente ottenuto l'MSE più basso per tutti i client e i target.
• Performance vs. Baseline Federate: Nei confronti con cinque algoritmi federati stabiliti (FedAvg, FedProx, SCAFFOLD, MOON, FedBN), FDRMFL ha raggiunto l'MSE medio complessivo più basso per tutti i compiti.
• Analisi di Ablazione: La rimozione di uno qualsiasi dei tre componenti di regolarizzazione ($\mathcal{R}_{mi}$, $\mathcal{R}_{kl}$, $\mathcal{R}_{fcl}$) ha causato un aumento dell'errore, con la rimozione della perdita contrastiva ($\mathcal{R}_{fcl}$) che ha provocato il degrado maggiore (+7,8%), confermando la necessità di tutti i componenti per stabilità e accuratezza.
• Robustezza: L'analisi di sensibilità ha dimostrato che le prestazioni rimangono stabili attraverso una variazione di un ordine di grandezza nei coefficienti di regolarizzazione, indicando che il framework non dipende da iperparametri finemente regolati.

Significatività e Rivendicazioni
Il paper sostiene che FDRMFL mitiga efficacementamente la "triplice sfida" dei dati non-IID, l'alta dimensionalità e il disallineamento multimodale nella regressione federata. Accoppiando esplicitamente la rappresentazione al target (tramite MI), allineando le modalità (tramite KL) e stabilizzando gli aggiornamenti (tramite apprendimento contrastivo), il framework raggiunge un'accuratezza predittiva superiore e una minore varianza tra i client rispetto ai metodi esistenti. Gli autori posizionano questo lavoro come un passo fondamentale verso un apprendimento federato multimodale robusto, particolarmente in domini come la spettroscopia dove la privacy dei dati e l'eterogeneità sono fondamentali. Il documento nota esplicitamente che, sebbene fornisca una privacy federata di base (località dei dati), non incorpora ancora la privacy differenziale formale, identificandola come una direzione per il lavoro futuro.