FedHyperM: Modality-Sensitive Federated Hypergraph Learning for Heterogeneous Multimodal Edge Intelligence

Technische Samenvatting: FedHyperM

Probleemstelling
Federated Learning (FL) stelt randapparaten (edge devices) in staat om gezamenlijk modellen te trainen zonder ruwe gegevens te delen, wat privacyzorgen in Edge Intelligence (EC) aanpakt. Echter, praktische implementaties aan de rand van het netwerk worden geconfronteerd met significante modaliteit-heterogeniteit: apparaten bezitten vaak verschillende subsets van sensoren (bijv. sommige hebben RGB-camera's terwijl anderen alleen thermische of audio-sensoren hebben) als gevolg van hardwareverschillen, variërende sensorcondities of sensoruitval.

In dergelijke heterogene omgevingen zijn conventionele FL-aggregatiestrategieën (zoals FedAvg) onbetrouwbaar. Ze gaan ervan uit dat modelparameters worden geleerd van vergelijkbare invoerruimtes. Wanneer apparaten trainen op verschillende combinaties van modaliteiten, vertegenwoordigen hun geleerde parameters verschillende bronnen van bewijs, waardoor directe aggregatie ruis introduceert en de prestaties van het globale model verslechtert. Bov�elijk behandelen bestaande multimodale FL-methoden ontbrekende modaliteiten vaak als gegevens die gereconstrueerd of uitgelijnd moeten worden, in plaats van frameworks te ontwerpen die inherent opereren op variërende beschikbare modaliteitssets terwijl ze de hoogwaardige correlaties tussen hen behouden.

Methodologie: FedHyperM
De auteurs stellen FedHyperM voor, een privacy-bewarend federated multimodal learning framework dat specifころ specifiek is ontworpen voor edge-apparaten onder modaliteit-heterogeniteit. Het framework werkt via drie kernprocessen:

1. Lokale Multimodale Feature Extractie & Bevriezing:
   Elk edge-apparaat initialiseert een multimodale feature extractor met behulp van vooraf getrainde modellen die specifiek zijn voor de beschikbare modaliteiten (bijv. BERT voor tekst, CLIP voor afbeeldingen, LSTM voor signalen, BEATS voor audio). Tijdens de collaboratieve leerfase zijn deze extractoren bevroren. Dit zorgt ervoor dat de feature-representatieruimte consistent blijft, terwijl het model zich richt op het leren van de relaties tussen de modaliteiten.

2. Hypergraaf-gebaseerde Multimodale Predictie (Edge-zijde):
   In plaats van modaliteiten als onafhankelijke inputs te behandelen, modelleert FedHyperM ze als een hypergraaf waarbij modaliteit-specifieke features de nodes zijn.

   • Adaptieve Constructie: Het framework construeert dynamisch hyperedges om hoogwaardige correlaties vast te leggen. Het definieert "anchor nodes" (die een specifieke modaliteit vertegenwoordigen) en verbindt deze dynamisch met "geassocieerde nodes" (andere modaliteiten) op basis van geleerde reconstructiecoëfficiënten.
   • Leerdoel: Het systeem minimaliseert een reconstructieverlies (dat meet hoe goed een anchor node kan worden gereconstrueerd vanuit zijn geassocieerde nodes), geregulariseerd door $L_1$- en $L_2$-normen om periodiciteit en de impact van uitschieters te beheersen.
   • Predictie: Een multi-head attention mechanisme aggregeert hyperedge-embeddings om node-embeddings bij te werken, die vervolgens door een Multi-Layer Perceptron (MLP) worden gestuurd voor predictie. Dit stelt het model in staat om complexe, groep-niveau relaties te leren tussen de specifieke modaliteiten die op dat apparaat beschikbaar zijn.

3. Modaliteit-sensitieve Aggregatie (Server-zijde):
   Om de uitdaging aan te pakken van het aggregeren van modellen die getraind zijn op verschillende modaliteitssets, introduceert FedHyperM een Modality-Sensitive Aggregation (MSA) mechanisme.

   • Wegingsstrategie: In plaats van uniforme averaging, berekent de server aggregatiegewichten op basis van de Minimum Edit Distance (MinED) tussen de sets van beschikbare modaliteitsnamen van naburige apparaten.
   • Logica: Een kleinere MinED impliceert een hogere gelijkenis in de beschikbaarheid van modaliteiten, wat leidt tot een hoger aggregatiegewicht. Dit zorgt ervoor dat parameters van apparaten met vergelijkbare modaliteitsconfiguraties significanter bijdragen aan de globale update, waardoor de ruis die wordt veroorzaakt door het aggregeren van incompatibele bewijslast wordt gemitigeerd.

Belangrijkste Bijdragen

• Nieuw Framework: De voorstel van FedHyperM, een collaboratief framework dat specifiek is ontworpen om federated multimodal learning te faciliteren over edge-apparaten met heterogene modaliteitsbeschikbaarheid.
• Hypergraph Learning Module: Het ontwerp van een hypergraaf-gebaseerde predictiemodule die modaliteit-features behandelt als nodes en adaptief hyperedges construeert om hoogwaardige, niet-pairwise correlaties tussen multimodale features vast te leggen.
• MSA Mechanisme: De ontwikkeling van een modaliteit-sensitieve aggregatiestrategie met behulp van Minimum Edit Distance (MinED) om modelupdates te wegen, waardoor aggregatie rekening houdt met de specifieke modaliteitscompositie van elk edge-apparaat.
• Empirische Validatie: Uitgebreide experimenten die aantonen dat het framework effectief omgaat met modaliteit-heterogeniteit zonder dat het delen van ruwe data of complexe imputatie van ontbrekende modaliteiten vereist.

Experimentele Resultaten
De auteurs hebben FedHyperM geëvalueerd op de UR-FALL dataset (valdetectie met behulp van RGB-diepte video) onder drie verschillende Modality Existence Rates (MER: $\rho = 0,5, 0,7, 0,8$), waarbij variërende graden van ontbrekende modaliteiten worden gesimuleerd. Ze vergeleken het framework met vijf baselines: FedAvg, FedCor, FedProx, AutoFed en FedInMM.

• Prestatiewinst: FedHyperM presteerde consequent beter dan alle baselines in alle MER-instellingen.
  • Nauwkeurigheid: Verbeterde de gemiddelde nauwkeurigheid met 3,64% tot 22,33% vergeleken met de baselines.
  • F1-score: Verbeterde de gemiddelde F1-score met 2,91% tot 26,82%.
  • Robuustheid: Het framework toonde een bijzondere kracht in de "Worst Accuracy" (W. Acc) en "Worst F1" (W. F1) metrieken, wat aangeeft dat het de prestaties stabiliseert, zelfs voor apparaten met de meest beperkte modaliteitssets.
• Ablatie-studies:
  • Het verwijderen van de hypergraafmodule (w/o HyperG) resulteerde in een daling van de prestaties van ~6,6% in gemiddelde nauwkeurigheid, wat de noodzaak bevestigt om hoogwaardige correlaties vast te leggen.
  • Het vervangen van MSA door eenvoudige averaging (w/o MSA) veroorzaakte een grotere daling (~9,15% in gemiddelde nauwkeurigheid), wat valideert dat modaliteit-bewuste weging cruciaal is voor heterogene aggregatie.
• Hyperparameter Gevoeligheid: Het model vertoonde stabiliteit, waarbij optimale prestaties werden waargenomen bij $\alpha = 0,3$ en $\beta = 0,5$ (hyperparameters voor $L_1$- en $L_2$-regularisatie).

Betekenis
Het artikel beweert dat FedHyperM een fundamentele kloof in Edge Intelligence aanpakt: het vermogen om collaboratief te leren van gedistribueerde, heterogene sensordata zonder de privacy in gevaar te brengen of complexe data-imputatie te vereisen. Door modaliteit-heterogeniteit te behandelt als een structureel kenmerk dat via hypergrafen gemodelleerd kan worden en via edit distance gewogen kan worden, in plaats van als een defect dat gecorrigeerd moet worden, maakt het framework robuustere en nauwkeurigere globale modellen mogelijk in real-world edge scenario's waar de beschikbaarheid van sensoren inconsistent is. De resultaten suggereren dat het expliciet modelleren van hoogwaardige modaliteitscorrelaties en het respecteren van modaliteit-specifieke aggregatiegewichten essentieel zijn voor de volgende generatie federated multimodale systemen.