FDRMFL: Multimodal Federated Feature Extraction Model Based on Information Maximization and Contrastive Learning

Technische Samenvatting: FDRMFL – Multimodale Federatieve Kenmerkextractie gebaseerd op Informatiemaximalisatie en Contrastief Leren

Probleemstelling
Het artikel behandelt de uitdaging van het extraheren van voorspellende kenmerken uit hoogdimensionale multimodale inputs (bijv. afbeeldingen, spectra, tekst) binnen een federatieve leeromgeving (federated learning, FL) die wordt gekenmerkt door non-IID (niet-identiek verdeelde) data. In dit scenario kunnen ruwe gegevens de lokale clients niet verlaten, zijn monsters schaars en variëren de distributies aanzienlijk tussen instellingen. Bestaande benaderingen kampen met kritieke beperkingen: ongesuperviseerde lineaire methoden (PCA, TSVD, RP) negeren taakrelevante labels en falen onder non-IID-condities; Variational Autoencoders (VAEs) optimaliseren reconstructie in plaats van voorspelling; en standaard federatieve algoritmen (FedAvg, FedProx, etc.) missen mechanismen voor cross-modale uitlijning of taakgestuurde kenmerkbehoud bij multimodale regressie. Gevolgen daarvan lijden deze methoden aan representatie-drift, cross-modale misuitlijning en het verlies van voorspellende informatie.

Methodologie: FDRMFL
De auteurs stellen FDRMFL voor (Federated Dimensionality-Reducing Multimodal Feature extraction and Learning), een framework dat gezamenlijk de voorspellingsnauwkeurigheid en de kwaliteit van de representatie optimaliseert. De architectuur bestaat uit modaliteit-specifieke encoders (bijv. CNN's, LSTM's, Transformers), een cross-attention fusienetwerk en een regressie-kop. De kerninnovatie ligt in een unificerende lokale objectieve functie bestaande uit vier termen:

1. MSE Voorspellingsverlies ($\mathcal{L}_{pred}$): Minimaliseert de fout tussen de gefuseerde representatie en de continue doelvariabele.
2. Mutual Information Regularisatie ($\mathcal{R}_{mi}$): Een correlatie-gebaseerde surrogaat die de afhankelijkheid tussen de gefuseerde representatie en de doelvariabele maximaliseert. Gemotiveerd door de Gaussische identiteit $I(X;Y) = -\frac{1}{2}\log(1-\rho^2)$, moedigt deze term de latente representatie aan om taakrelevante informatie te behouden door de absolute Pearson-correlatie ($|\hat{\rho}|$) tussen een geprojecteerde representatie en de doelvariabele te maximaliseren.
3. Symmetrische KL-uitlijning ($\mathcal{R}_{kl}$): Een straffunctie die de latente distributies van verschillende modaliteiten uitlijnt vóór fusie. Uitgaande van een homoscedastische Gaussische distributie voor modaliteitskenmerken, vereenvoudigt deze term tot het minimaliseren van de gekwadrateerde Euclidische afstand tussen de gemiddelden van de kenmerken van verschillende modaliteiten, waardoor de "modaliteitskloof" wordt gedicht.
4. Federatieve Contrastieve Verlies ($\mathcal{R}_{fcl}$): Een InfoNCE-stijl verlies dat lokale representaties verankert aan het globale consensusniveau. Het behandelt de representatie uit de vorige globale ronde als een positieve sample en representaties uit eerdere rondes (opgeslagen in een temporele geschiedenisbuffer) als negatieve samples. Dit beperkt lokale updates zodat ze dicht bij het globale kenmerk-manifold blijven, wat representatie-drift mitigeert.

De globale doelstelling is een gewogen som van deze vier termen. De training volgt een standaard federatieve loop waarbij clients lokale gradiëntafdaling uitvoeren op deze samengestelde verliesfunctie, en de server parameters aggregeert via steekproefgrootte-weging.

Belangrijkste Bijdragen

• Verenigd Framework: FDRMFL wordt gepresenteerd als het eerste verenigde framework dat gezamenlijk taakgestuurde dimensionaliteitsreductie voor continue variabelen, cross-modale distributie-uitlijning en cross-ronde representatie-stabiliteit aanpakt binnen een enkele federatieve regressie-setting.
• Correlatie-gebaseerde MI Surrogaat: De introductie van een lage-variantie, correlatie-gebaseerde mutual information surrogaat die specifiek geschikt is voor federatieve regimes met kleine samples, waardoor de instabiliteit van hoog-variante neurale MI-schatters wordt vermeden.
• Federatief Contrastief Mechanisme: Een innovatieve adaptatie van contrastief leren naar de gefuseerde multimodale ruimte, waarbij een temporele geschiedenisbuffer wordt gebruikt om rijkere negatieve signalen te bieden dan eerdere single-modality benaderingen (bijv. MOON).
• Cross-Modale Uitlijning: Een symmetrische KL-straffunctie ontworpen om latente distributies over modaliteiten heen uit te lijnen vóór fusie, wat de specifieke uitdaging van non-IID multimodale data aanpakt.

Experimentele Resultaten
Het framework werd geëvalueerd op drie synthetische datasets (met bekende grondwaarheid generatieve processen) en twee real-world Near-Infrared (NIR) spectroscopie datasets (Tecator en Corn) onder non-IID partities.

• Prestaties vs. Traditionele Baselines: FDRMFL verminderde de gemiddelde Mean Squared Error (MSE) met 33,8% ten opzichte van de beste traditionele baseline (PCA) en met 43,0% ten opzichte van VAE in simulatie. Op real-world datasets behaalde het consistent de laagste MSE over alle clients en doelvariabelen.
• Prestaties vs. Federatieve Baselines: In vergelijkingen met vijf gevestigde federatieve algoritmen (FedAvg, FedProx, SCAFFOLD, MOON, FedBN), bereikte FDRMFL de laagste algehele gemiddelde MSE over alle taken.
• Ablatie-analyse: Het verwijderen van een van de drie regularisatiecomponenten ($\mathcal{R}_{mi}$, $\mathcal{R}_{kl}$, $\mathcal{R}_{fcl}$) resulteerde in een hogere fout, waarbij het verwijderen van de contrastieve verliesfunctie ($\mathcal{R}_{fcl}$) de grootste degradatie veroorzaakte (+7,8%), wat de noodzaak van alle componenten voor stabiliteit en nauwkeurigheid bevestigt.
• Robuustheid: Een sensitiviteitsanalyse toonde aan dat de prestaties stabiel blijven bij een variatie van een orde van grootte in de regularisatiecoëfficiënten, wat aangeeft dat het framework niet afhankelijk is van fijn afgestelde hyperparameters.

Betekenis en Claims
Het artikel claimt dat FDRMFL effectief de "driedubbele uitdaging" van non-IID data, hoge dimensionaliteit en multimodale misuitlijning in federatieve regressie mitigeert. Door de representatie expliciet te koppelen aan de doelvariabele (via MI), modaliteiten uit te lijnen (via KL) en updates te stabiliseren (via contrastief leren), bereikt het framework een superieure voorspellingsnauwkeurigheid en een lagere cross-client variantie vergeleken met bestaande methoden. De auteurs positioneren dit werk als een fundamentele stap naar robuust multimodaal federatief leren, met name in domeinen zoals spectroscopie waar dataprivacy en heterogeniteit van cruciaal belang zijn. Het artikel merkt expliciet op dat hoewel het basis federatieve privacy biedt (lokale data), het nog geen formele differentiële privacy bevat, wat zij identificeren als een richting voor toekomstig onderzoek.