FedHyperM: Modality-Sensitive Federated Hypergraph Learning for Heterogeneous Multimodal Edge Intelligence

तकनीकी सारांश: FedHyperM

समस्या विवरण
फेडरेटेड लर्निंग (FL) एज उपकरणों को कच्चे डेटा को साझा किए बिना मॉडल को सहयोगात्मक रूप से प्रशिक्षित करने में सक्षम बनाता है, जो एज इंटेलिजेंस (EC) में गोपनीयता संबंधी चिंताओं को संबोधित करता है। हालाँकि, व्यावहारिक एज परिनियोजन महत्वपूर्ण मोडैलिटी विषमता (modality heterogeneity) का सामना करते हैं: हार्डवेयर अंतर, विविध सेंसिंग स्थितियों या सेंसर विफलताओं के कारण उपकरणों के पास अक्सर अलग-अलग सेंसर (जैसे, कुछ के पास RGB कैमरा है जबकि अन्य के पास केवल थर्मल या ऑडियो सेंसर हैं) होते हैं।

ऐसे विषम सेटिंग्स में, पारंपरिक FL एकत्रीकरण रणनीतियाँ (जैसे FedAvg) अविश्वसनीय हो जाती हैं। वे मानती हैं कि मॉडल पैरामीटर तुलनीय इनपुट स्पेस से सीखे गए हैं। जब उपकरण विभिन्न मोडैलिटी संयोजनों पर प्रशिक्षण लेते हैं, तो उनके सीखे गए पैरामीटर अलग-अलग साक्ष्य स्रोतों का प्रतिनिधित्व करते हैं, जिससे सीधा एकत्रीकरण शोर (noise) उत्पन्न करता है और वैश्विक मॉडल के प्रदर्शन को कम करता है। इसके अलावा, मौजूदा मल्टीमॉडल FL विधियाँ अक्सर लुप्त मोडैलिटीज को पुनर्निर्मित या संरेखित किए जाने वाले डेटा के रूप में मानती हैं, बजाय इसके कि ऐसे फ्रेमवर्क डिज़ाइन किए जाएं जो उपलब्ध मोडैलिटी सेटों पर स्वाभाविक रूप से कार्य करें और उनके बीच उच्च-क्रम के सहसंबंधों (high-order correlations) को सुरक्षित रखें।

कार्यप्रणाली: FedHyperM
लेखक FedHyperM का प्रस्ताव करते हैं, जो मोडैलिटी विषमता के तहत एज उपकरणों के लिए विशेष रूप से डिज़ाइन किया गया एक गोपनीयता-संरक्षण फेडरेटेड मल्टीमॉडल लर्निंग फ्रेमवर्क है। यह फ्रेमवर्क तीन प्रमुख प्रक्रियाओं के माध्यम से संचालित होता है:

1. स्थानीय मल्टीमॉडल फीचर निष्कर्षण और फ्रीजिंग (Local Multimodal Feature Extraction & Freezing):
   प्रत्येक एज डिवाइस अपनी उपलब्ध मोडैलिटीज के लिए पूर्व-प्रशिक्षित मॉडलों (जैसे, टेक्स्ट के लिए BERT, इमेज के लिए CLIP, सिग्नल के लिए LSTM, ऑडियो के लिए BEATS) का उपयोग करके एक मल्टीमॉडल फीचर एक्सट्रैक्टर को इनिशियलाइज़ करता है। सहयोगात्मक लर्निंग चरण के दौरान, ये एक्सट्रैक्टर्स फ्रीज़ (frozen) रहते हैं। यह सुनिश्चित करता है कि फीचर रिप्रेजेंटेशन स्पेस सुसंगत बना रहे जबकि मॉडल मोडैलिटीज के बीच संबंधों को सीखने पर ध्यान केंद्रित करे।

2. हाइपरग्राफ-आधारित मल्टीमॉडल प्रेडिक्शन (एज साइड) (Hypergraph-Based Multimodal Prediction - Edge Side):
   मोडैलिटीज को स्वतंत्र इनपुट के रूप में मानने के बजाय, FedHyperM उन्हें एक हाइपरग्राफ के रूप में मॉडल करता है जहाँ मोडैलिटी-विशिष्ट फीचर्स नोड्स (nodes) होते हैं।

• अनुकूली निर्माण (Adaptive Construction): फ्रेमवर्क उच्च-क्रम के सहसंबंधों को कैप्चर करने के लिए हाइपरएज को गतिशील रूप से निर्मित करता है। यह "एंकर नोड्स" (एक विशिष्ट मोडैलिटी का प्रतिनिधित्व करने वाला) को परिभाषित करता है और उन्हें सीखे गए पुनर्निर्माण गुणांकों (reconstruction coefficients) के आधार पर "एसोसिएटेड नोड्स" (अन्य मोडैलिटीज) से गतिशील रूप से जोड़ता है।
• लर्निंग ऑब्जेक्टिव: सिस्टम एक पुनर्निर्माण हानि (reconstruction loss) को कम करता है (जो यह मापता है कि एक एंकर नोड को उसके संबद्ध नोड्स से कितनी अच्छी तरह पुनर्निर्मित किया जा सकता है), जिसे स्पर्सिटी (sparsity) और आउटलियर प्रभाव को नियंत्रित करने के लिए $L_1$ और $L_2$ नॉर्म्स द्वारा नियमित (regularized) किया जाता है।
• प्रेडिक्शन: एक मल्टी-हेड अटेंशन मैकेनिज्म हाइपरएज एम्बेडिंग्स को एकत्रित करके नोड एम्बेडिंग्स को अपडेट करता है, जिन्हें फिर प्रेडिक्शन के लिए मल्टी-लेयर पर्सेप्ट्रॉन (MLP) के माध्यम से भेजा जाता है। यह मॉडल को उस विशिष्ट डिवाइस पर उपलब्ध मोडैलिटीज के बीच जटिल, समूह-स्तरीय संबंधों को सीखने की अनुमति देता है।

3. मोडैलिटी-संवेदनशील एकत्रीकरण (सर्वर साइड) (Modality-Sensitive Aggregation - Server Side):
   विभिन्न मोडैलिटी सेट्स पर प्रशिक्षित मॉडलों को एकत्रित करने की चुनौती को हल करने के लिए, FedHyperM एक मोडैलिटी-संवेदनशील एकत्रीकरण (MSA) तंत्र पेश करता है।

• वेटिंग स्ट्रैटेजी (Weighting Strategy): समान औसत (uniform averaging) के बजाय, सर्वर पड़ोसी उपकरणों के उपलब्ध मोडैलिटी नामों के सेट के बीच मिनिमम एडिट डिस्टेंस (MinED) के आधार पर एकत्रीकरण भार (aggregation weights) की गणना करता है।
• तर्क: एक छोटा MinED, मोडैलिटी उपलब्धता में उच्च समानता को दर्शाता है, जिससे उच्च एकत्रीकरण भार प्राप्त होता है। यह सुनिश्चित करता है कि समान मोडैलिटी कॉन्फ़िगरेशन वाले उपकरणों के पैरामीटर वैश्विक अपडेट में अधिक महत्वपूर्ण योगदान दें, जिससे असंगत साक्ष्य को एकत्रित करने से होने वाले शोर को कम किया जा सके।

प्रमुख योगदान

• नया फ्रेमवर्क: FedHyperM का प्रस्ताव, जो मोडैलिटी उपलब्धता के मामले में विषम फेडरेटेड मल्टीमॉडल लर्निंग को सुगम बनाने के लिए विशेष रूप से डिज़ाइन किया गया एक सहयोगात्मक फ्रेमवर्क है।
• हाइपरग्राफ लर्निंग मॉड्यूल: एक हाइपरग्राफ-आधारित प्रेडिक्शन मॉड्यूल का डिज़ाइन जो मोडैलिटी फीचर्स को नोड्स के रूप में मानता है और मल्टीमॉडल फीचर्स के बीच उच्च-क्रम, गैर-पेयरवाइज सहसंबंधों को कैप्चर करने के लिए अनुकूल रूप से हाइपरएज का निर्माण करता है।
• MSA मैकेनिज्म: मॉडल अपडेट को वेट करने के लिए मिनिमम एडिट डिस्टेंस (MinED) का उपयोग करने वाली एक मोडैलिटी-संवेदनशील एकत्रीकरण रणनीति का विकास, जो यह सुनिश्चित करती है कि एकत्रीकरण प्रत्येक एज डिवाइस के विशिष्ट मोडैलिटी कंपोजिशन को ध्यान में रखे।
• अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि फ्रेमवर्क कच्चे डेटा साझाकरण या जटिल इम्प्यूटेशन (imputation) की आवश्यकता के बिना मोडैलिटी विषमता को प्रभावी ढंग से संभालता है।

प्रायोगिक परिणाम
लेखकों ने तीन अलग-अलग मोडैलिटी अस्तित्व दरों (MER: $\rho = 0.5, 0.7, 0.8$) के तहत UR-FALL डेटासेट (RGB-डेप्थ वीडियो का उपयोग करके फॉल डिटेक्शन) पर FedHyperM का मूल्यांकन किया, जो मोडैलिटी की कमी के विभिन्न स्तरों का अनुकरण करता है। उन्होंने इसकी तुलना पांच बेसलाइन्स: FedAvg, FedCor, FedProx, AutoFed, और FedInMM से की।

• प्रदर्शन लाभ: FedHyperM ने सभी MER सेटिंग्स में सभी बेसलाइन्स को लगातार पछाड़ दिया।
  • सटीकता (Accuracy): बेसलाइन्स की तुलना में औसत सटीकता में 3.64% से 22.33% तक सुधार हुआ।
  • F1-स्कोर: औसत F1-स्कोर में 2.91% से 26.82% तक सुधार हुआ।
  • मजबूती (Robustness): फ्रेमवर्क ने "वर्स्ट एक्यूरेसी" (W. Acc) और "वर्स्ट F1" (W. F1) मेट्रिक्स में विशेष ताकत दिखाई, जो यह संकेत देता है कि यह सबसे सीमित मोडैलिटी सेट वाले उपकरणों के लिए भी प्रदर्शन को स्थिर करता है।
• एब्लेशन स्टडीज (Ablation Studies):
  • हाइपरग्राफ मॉड्यूल को हटाने (w/o HyperG) से औसत सटीकता में ~6.6% की गिरावट आई, जो उच्च-क्रम सहसंबंधों को कैप्चर करने की आवश्यकता की पुष्टि करता है।
  • MSA को सरल औसत से बदलने (w/o MSA) से अधिक महत्वपूर्ण गिरावट (~9.15% औसत सटीकता में) हुई, जो यह प्रमाणित करता है कि मोडैलिटी-जागरूक वेटिंग महत्वपूर्ण है।
• हाइपरपैरामीटर संवेदनशीलता: मॉडल ने स्थिरता प्रदर्शित की, जिसमें $\alpha = 0.3$ और $\beta = 0.5$ ($L_1$ और $L_2$ रेगुलराइजेशन के लिए हाइपरपैरामीटर) पर इष्टतम प्रदर्शन देखा गया।

महत्व
यह पेपर दावा करता है कि FedHyperM एज इंटेलिजेंस के एक मौलिक अंतर को संबोधित करता है: गोपनीयता से समझौता किए बिना या जटिल डेटा इम्प्यूटेशन की आवश्यकता के बिना वितरित, विषम सेंसर डेटा से सहयोगात्मक रूप से सीखने की क्षमता। मोडैलिटी विषमता को एक दोष के रूप में ठीक करने के बजाय इसे हाइपरग्राफ के माध्यम से मॉडल किए जाने वाले एक संरचनात्मक फीचर के रूप में और एडिट डिस्टेंस के माध्यम से वेट करने के रूप में मानकर, यह फ्रेमवर्क वास्तविक दुनिया के एज परिदृश्यों में अधिक मजबूत और सटीक वैश्विक मॉडल को सक्षम बनाता है जहाँ सेंसर उपलब्धता असंगत होती है। परिणाम बताते हैं कि उच्च-क्रम मोडैलिटी सहसंबंधों को स्पष्ट रूप से मॉडल करना और मोडैलिटी-विशिष्ट एकत्रीकरण भारों का सम्मान करना अगली पीढ़ी के फेडरेटेड मल्टीमॉडल सिस्टम के लिए आवश्यक है।