FedHyperM: Modality-Sensitive Federated Hypergraph Learning for Heterogeneous Multimodal Edge Intelligence

Technisches Resümee: FedHyperM

Problemstellung
Federated Learning (FL) ermöglicht es Edge-Geräten, gemeinsam Modelle zu trainieren, ohne Rohdaten zu teilen, was Bedenken hinsichtlich des Datenschutzes in der Edge Intelligence (EC) adressiert. Praktische Edge-Einsätze stehen jedoch vor einer erheblichen Modalität-Heterogenität: Geräte verfügen oft über unterschiedliche Teilmengen von Sensoren (z. B. besitzen einige RGB-Kameras, während andere nur Thermal- oder Audiosensoren haben), was auf Hardwareunterschiede, variierende Sensorbedingungen oder Sensorausfälle zurückzuführen ist.

In solchen heterogenen Umgebungen sind konventionelle FL-Aggregationsstrategien (wie FedAvg) unzuverlässig. Sie setzen voraus, dass Modellparameter aus vergleichbaren Eingangsräumen gelernt werden. Wenn Geräte auf unterschiedlichen Modalitätskombinationen trainieren, repräsentieren ihre gelernten Parameter verschiedene Evidenzquellen, was eine direkte Aggregation verrauscht und die globale Modellleistung verschlechtert. Darüber hinaus behandeln bestehende multimodale FL-Methoden fehlende Modalitäten oft als Daten, die rekonstruiert oder ausgerichtet werden müssen, anstatt Frameworks zu entwerfen, die nativ mit variierenden verfügbaren Modalitätssätzen operieren und gleichzeitig die High-Order-Korrelationen zwischen ihnen bewahren.

Methodik: FedHyperM
Die Autoren schlagen FedHyperM vor, ein datenschutzorientiertes föderiertes multimodales Lernframework, das speziell für Edge-Geräte unter Modalitäts-Heterogenität entwickelt wurde. Das Framework operiert durch drei Schlüsselprozesse:

1. Lokale multimodale Merkmalsextraktion & Einfrieren:
   Jedes Edge-Gerät initialisiert einen multimodalen Merkmalsextraktor unter Verwendung vortrainierter Modelle, die spezifisch für seine verfügbaren Modalitäten sind (z. B. BERT für Text, CLIP für Bilder, LSTM für Signale, BEATS für Audio). Während der kollaborativen Lernphase werden diese Extraktoren eingefroren. Dies stellt sicher, dass der Merkmalsrepräsentationsraum konsistent bleibt, während sich das Modell auf das Erlernen der Beziehungen zwischen den Modalitäten konzentriert.

2. Hypergraph-basierte multimodale Prädiktion (Edge-Seite):
   Anstatt Modalitäten als unabhängige Eingaben zu behandeln, modelliert FedHyperM sie als Hypergraphen, bei dem modalitätsspezifische Merkmale Knoten sind.

   • Adaptive Konstruktion: Das Framework konstruiert dynamisch Hyperkanten, um High-Order-Korrelationen zu erfassen. Es definiert „Ankerknoten“ (die eine spezifische Modalität repräsentieren) und verbindet sie dynamisch mit „assoziierten Knoten“ (anderen Modalitäten) basierend auf gelernten Rekonstruktionskoeffizienten.
   • Lernziel: Das System minimiert einen Rekonstruktionsverlust (der misst, wie gut ein Ankerknoten aus seinen assoziierten Knoten rekonstruiert werden kann), der durch $L_1$- und $L_2$-Normen reguliert wird, um Sparsamkeit und den Einfluss von Ausreißern zu kontrollieren.
   • Prädiktion: Ein Multi-Head-Attention-Mechanismus aggregiert Hyperedge-Embeddings, um Knoten-Embeddings zu aktualisieren, die dann durch ein Multi-Layer Perceptron (MLP) zur Prädiktion geleitet werden. Dies ermöglicht es dem Modell, komplexe, gruppenbezogene Beziehungen zwischen den auf dem jeweiligen Gerät verfügbaren spezifischen Modalitäten zu erlernen.

3. Modalitätssensible Aggregation (Server-Seite):
   Um die Herausforderung der Aggregation von Modellen zu bewältigen, die auf unterschiedlichen Modalitätssätzen trainiert wurden, führt FedHyperM einen Mechanismus zur Modalitätssensiblen Aggregation (MSA) ein.

   • Gewichtungsstrategie: Anstatt einer gleichmäßigen Mittelung berechnet der Server Aggregationsgewichte basierend auf der Minimum Edit Distance (MinED) zwischen den Sätzen der verfügbaren Modalitätsnamen benachbarter Geräte.
   • Logik: Eine kleinere MinED impliziert eine höhere Ähnlichkeit in der Verfügbarkeit der Modalitäten, was zu einem höheren Aggregationsgewicht führt. Dies stellt sicher, dass Parameter von Geräten mit ähnlichen Modalitätskonfigurationen stärker zu den globalen Updates beitragen, wodurch das Rauschen gemindert wird, das durch die Aggregation inkompatibler Evidenzen entsteht.

Zentrale Beiträge

• Neuartiges Framework: Der Vorschlag von FedHyperM, einem kollaborativen Framework, das speziell darauf ausgelegt ist, föderiertes multimodales Lernen über Edge-Geräte mit heterogener Modalitätsverfügbarkeit zu erleichtern.
• Hypergraph-Lernmodul: Das Design eines hypergraph-basierten Prädiktionsmoduls, das Modalitätsmerkmale als Knoten behandelt und adaptiv Hyperkanten konstruiert, um High-Order-Korrelationen und nicht-paarweise Korrelationen zwischen multimodalen Merkmalen zu erfassen.
• MSA-Mechanismus: Die Entwicklung einer modalitätsensiblen Aggregationsstrategie unter Verwendung der Minimum Edit Distance (MinED) zur Gewichtung von Modell-Updates, um sicherzustellen, dass die Aggregation die spezifische Modalitätszusammensetzung jedes Edge-Geräts berücksichtigt.
• Empirische Validierung: Umfangreiche Experimente, die zeigen, dass das Framework die Modalitäts-Heterogenität effektiv handhabt, ohne den Austausch von Rohdaten oder eine komplexe Imputation fehlender Modalitäten zu erfordern.

Experimentelle Ergebnisse
Die Autoren evaluierten FedHyperM auf dem UR-FALL Datensatz (Sturzerkennung mittels RGB-Tiefen-Video) unter drei verschiedenen Modalitäts-Existenzraten (MER: $\rho = 0,5, 0,7, 0,8$), um variierende Grade der Modalitäts-Fehlmenge zu simulieren. Sie verglichen das Framework mit fünf Baselines: FedAvg, FedCor, FedProx, AutoFed und FedInMM.

• Leistungssteigerungen: FedHyperM übertraf konsistent alle Baselines in allen MER-Einstellungen.
  • Genauigkeit (Accuracy): Verbesserte die durchschnittliche Genauigkeit um 3,64 % bis 22,33 % im Vergleich zu den Baselines.
  • F1-Score: Verbesserte den durchschnittlichen F1-Score um 2,91 % bis 26,82 %.
  • Robustheit: Das Framework zeigte besondere Stärke bei den Metriken „Worst Accuracy“ (W. Acc) und „Worst F1“ (W. F1), was darauf hindeutet, dass es die Leistung selbst für Geräte mit den am stärksten eingeschränkten Modalitätssätzen stabilisiert.
• Ablationsstudien:
  • Das Entfernen des Hypergraph-Moduls (w/o HyperG) führte zu einem Leistungsabfall der durchschnittlichen Genauigkeit um ca. 6,6 %, was die Notwendigkeit der Erfassung von High-Order-Korrelationen bestätigt.
  • Das Ersetzen von MSA durch einfache Mittelung (w/o MSA) verursachte einen signifikanteren Abfall (ca. 9,15 % in der durchschnittlichen Genauigkeit), was validiert, dass die modalitätsbewusste Gewichtung für die heterogene Aggregation entscheidend ist.
• Hyperparameter-Sensitivität: Das Modell demonstrierte Stabilität, wobei die optimale Leistung bei $\alpha = 0,3$ und $\beta = 0,5$ (Hyperparameter für die $L_1$- und $L_2$-Regularisierung) beobachtet wurde.

Bedeutung
Das Paper behauptet, dass FedHyperM eine fundamentale Lücke in der Edge Intelligence adressiert: die Fähigkeit, kollaborativ aus verteilten, heterogenen Sensordaten zu lernen, ohne den Datenschutz zu gefährden oder eine Datenimputation zu erfordern. Indem es die Modalitäts-Heterogenität als ein strukturelles Merkmal behandelt, das via Hypergraphen modelliert und via Edit-Distanz gewichtet wird, anstatt als einen Defekt, der behoben werden muss, ermöglicht das Framework robustere und genauere globale Modelle in realen Edge-Szenarien, in denen die Sensorverfügbarkeit inkonsistent ist. Die Ergebnisse legen nahe, dass das explizite Modellieren von High-Order-Modalitätskorrelationen und das Respektieren von modalitätsspezifischen Aggregationsgewichten essenziell für die nächste Generation föderierter multimodaler Systeme sind.