🤖 machine learning

Federated Learning of Spiking Neural Networks under Heterogeneous Temporal Resolutions

यह शोध पत्र स्पाइकिंग न्यूरल नेटवर्क के लिए एक फेडरेटेड लर्निंग फ्रेमवर्क प्रस्तावित करता है जो विभिन्न समय पैमानों पर सीखे गए न्यूरॉन मापदंडों को एकीकृत करने के लिए अनुकूलन विधियों को विकसित करके एज उपकरणों के बीच विषम टेम्पोरल रिज़ॉल्यूशन की चुनौती को प्रभावी ढंग से संबोधित करता है, जिससे कच्चे डेटा साझाकरण के बिना सहयोगात्मक प्रशिक्षण सक्षम होता है और टेम्पोरल मिसमैच के कारण खोई गई सटीकता को पुनः प्राप्त किया जाता है।

मूल लेखक: Sanja Karilanova, Subhrakanti Dey, Ayça Özçelikkale

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sanja Karilanova, Subhrakanti Dey, Ayça Özçelikkale

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दोस्तों का एक समूह मिलकर एक नया डांस स्टेप सीखने की कोशिश कर रहा है, लेकिन वे सभी ट्यूटोरियल वीडियो को अलग-अलग गति (स्पीड) पर देख रहे हैं।

समस्या: "स्लो-मो" बनाम "फास्ट-फॉरवर्ड" की दुविधा
आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से स्मार्टवॉच या सेंसर (जिन्हें "एज डिवाइसेस" कहा जाता है) जैसे उपकरणों के लिए, एक विशेष प्रकार का मस्तिष्क जैसा कंप्यूटर होता है जिसे स्पाइकिंग न्यूरल नेटवर्क (SNN) कहा जाता है। ये बहुत अधिक ऊर्जा-कुशल होते हैं, जो बैटरी से चलने वाले गैजेट्स के लिए एकदम सही हैं।

आमतौर पर, ये डिवाइस मिलकर सीखते हैं जिसे फेडरेटेड लर्निंग (Federated Learning) कहा जाता है। इसे एक ग्रुप प्रोजेक्ट की तरह समझें जहाँ हर कोई अपने कंप्यूटर पर अकेले सीखता है और अपने "नोट्स" (मॉडल अपडेट्स) एक शिक्षक (सर्वर) को भेजता है ताकि एक मास्टर गाइड बनाई जा सके। हर कोई अपना निजी डेटा (जैसे आपका व्यक्तिगत स्वास्थ्य डेटा) अपने स्वयं के डिवाइस पर ही रखता है।

हालाँकि, इसमें एक पेंच है: टाइम रेज़ोल्यूशन (समय का विभेदन)।

डिवाइस A (एक हाई-एंड स्मार्टवॉच) शायद एक सेकंड में 100 बार हलचल रिकॉर्ड करता है।
डिवाइस B (एक सस्ता सेंसर) बैटरी बचाने के लिए शायद एक सेकंड में केवल 25 बार रिकॉर्ड करता है।

यदि शिक्षक डिवाइस A और डिवाइस B के नोट्स का औसत निकाल देता है, तो परिणाम एक गड़बड़ी बन जाएगा। यह एक स्लो-मोशन वीडियो को फास्ट-फॉरवर्ड किए गए वीडियो के साथ औसत निकालने जैसा है; डांस स्टेप्स आपस में मेल नहीं खाएंगे। यह पेपर इसे टेम्पोरल हेट्रोजेनिटी (Temporal Heterogeneity) कहता है, और इसके कारण अंतिम मॉडल का प्रदर्शन खराब हो जाता है।

समाधान: "टाइम-ट्रांसलेटर" (FedTA)
लेखक एक नया फ्रेमवर्क प्रस्तावित करते हैं जिसे FedTA (टेम्पोरल रेज़ोल्यूशन अडैप्टेशन के साथ फेडरेटेड लर्निंग) कहा जाता है।

केवल नोट्स का औसत निकालने के बजाय, शिक्षक एक यूनिवर्सल टाइम ट्रांसलेटर (समय का सार्वभौमिक अनुवादक) की तरह कार्य करता है।

समूह के मिलने से पहले: शिक्षक "धीमे" उपकरणों के नोट्स लेता है और गणितीय रूप से उन्हें "तेज़" गति के अनुरूप खींचता (stretch) है, और इसके विपरीत भी करता है।
मिलन (The Meeting): अब जब सब एक ही "समय की भाषा" बोल रहे हैं, तो शिक्षक सुरक्षित रूप से एक परफेक्ट मास्टर गाइड बनाने के लिए उनके नोट्स का औसत निकाल सकता है।
वापस भेजना: जब मास्टर गाइड वापस उपकरणों के पास भेजी जाती है, तो शिक्षक इसे उस विशिष्ट समय-गति (time-speed) में अनुवादित कर देता है जिसे प्रत्येक डिवाइस समझता है।

इस तरह, सस्ते सेंसर को अपने हार्डवेयर को महंगे डिवाइस के बराबर अपग्रेड करने की आवश्यकता नहीं है, और न ही महंगे डिवाइस को धीमा होने की आवश्यकता है। वे सभी प्रभावी ढंग से एक साथ सीख सकते हैं।

टूल्स: अनुवाद करने के तीन तरीके
पेपर यह परीक्षण करता है कि कौन सा "अनुवाद" तरीका सबसे अच्छा काम करता है:

"स्टेप" विधि (Euler): एक सरल, त्वरित अनुमान। यह एक वक्र (curve) के बीच के हिस्से का अनुमान लगाने के लिए एक सीधी रेखा खींचने जैसा है। यह तेज़ है लेकिन पूरी तरह से सटीक नहीं है।
"एरिया" विधि (Integral): एक अधिक सटीक गणना जो पूरे वक्र को देखती है। यह वास्तव में वक्र के नीचे के क्षेत्रफल को मापने जैसा है। यह पाया गया कि "स्मूथ" प्रकार के न्यूरॉन्स के लिए यह सबसे सटीक था।
"लॉग" विधि (Delta): यह एक विशिष्ट प्रकार के न्यूरॉन के लिए एक चतुर ट्रिक है जहाँ "समय की गति" एक ऐसी संख्या है जिसे आप बस जोड़ या घटा सकते हैं। यह रेडियो की आवाज़ को केवल एक डायल घुमाकर बदलने जैसा है, न कि रेडियो को फिर से बनाने जैसा।

उन्होंने क्या पाया
शोधकर्ताओं ने इसे दो वास्तविक दुनिया के डेटासेट्स पर परखा:

SHD: बोले गए अंकों को पहचानना (जैसे "जीरो" या "वन" सुनना)।
DVS-Gesture: हाथ की गतिविधियों को पहचानना जो प्रकाश में बदलाव को देखने वाले कैमरे से ली गई हैं (जैसे एक मोशन सेंसर)।

परिणाम:

सटीकता (Accuracy): "टाइम-ट्रांसलेटर" विधियों ने बिना सोचे-समझे औसत निकालने की तुलना में बहुत बेहतर काम किया। कई मामलों में, उन्होंने लगभग उस सटीकता को भी वापस पा लिया जो अलग-अलग गति के कारण खो गई थी।
सबसे अच्छा कॉम्बिनेशन: स्मूथ, नॉन-स्पाइकिंग मॉडल्स के लिए, "एरिया" विधि (Integral) विजेता रही। स्पाइकिंग मॉडल्स (जो वास्तविक जैविक न्यूरॉन्स की तरह व्यवहार करते हैं) के लिए, "लॉग" विधि या साधारण औसत आश्चर्यजनक रूप से अच्छा काम करता है।
दक्षता (Efficiency): सबसे महत्वपूर्ण खोज यह है कि यह "अनुवाद" करने में लगभग शून्य अतिरिक्त समय या बैटरी पावर लगती है। यह एक फिल्म में छोटे सबटाइटल जोड़ने जैसा है; फिल्म उतनी ही तेज़ चलती है, लेकिन अब हर कोई उसे समझ सकता है।

निष्कर्ष (The Bottom Line)
यह पेपर दिखाता है कि हमें एक नेटवर्क में मौजूद हर डिवाइस के समान होने की आवश्यकता नहीं है। हम सस्ते, धीमे सेंसरों को महंगे, तेज़ सेंसरों के साथ मिला सकते हैं, और फिर भी एक स्मार्ट, सटीक AI सिस्टम बना सकते हैं। मुख्य बात एक "टाइम ट्रांसलेटर" का उपयोग करना है ताकि यह सुनिश्चित हो सके कि ज्ञान साझा करने से पहले सभी एक ही पृष्ठ पर हों।

तकनीकी सारांश: विषम टेम्पोरल रिज़ॉल्यूशन के तहत स्पाइकिंग न्यूरल नेटवर्क का फेडरेटेड लर्निंग

समस्या विवरण
फेडरेटेड लर्निंग (FL) डेटा गोपनीयता बनाए रखते हुए विकेंद्रीकृत एज उपकरणों के बीच सहयोगात्मक मॉडल प्रशिक्षण को सक्षम बनाता है। हालाँकि, टाइम-सीरीज़ अनुप्रयोगों में, एज डिवाइस अक्सर विभिन्न हार्डवेयर और ऊर्जा सीमाओं के तहत संचालित होते हैं, जिससे अलग-अलग टेम्पोरल रिज़ॉल्यूशन (सैंपलिंग दर) पर डेटा एकत्र किया जाता है। यह टेम्पोरल विषमता एक मौलिक चुनौती पेश करती है: एक टेम्पोरल रिज़ॉल्यूशन पर सीखे गए पैरामीटर दूसरे रिज़ॉल्यूशन पर सीधे स्थानांतरित नहीं होते हैं। फलस्वरूप, मानक फेडरेटेड एवरेजिंग (FedAvg), जो मॉडल पैरामीटर्स को सहजता से एकत्रित करता है, अप्रभावी हो जाता है क्योंकि यह विभिन्न टेम्पोरल स्केल्स पर काम करने वाले मॉडलों को मिला देता है, जिससे ग्लोबल मॉडल के प्रदर्शन में गिरावट आ सकती है। जबकि मौजूदा साहित्य डेटा वितरण विषमता (जैसे क्लास इम्बैलेंस) और नॉन-फेडरेटेड स्पाइकिंग न्यूरल नेटवर्क्स (SNNs) में टेम्पोरल रिज़ॉल्यूशन परिवर्तन को संबोधित करता है, स्टेटफुल डीप नेटवर्क्स और SNNs के लिए विशेष रूप से फेडरेटेड सेटिंग के भीतर टेम्पोरल रिज़ॉल्यूशन मिसमैच को संबोधित करने में एक अंतराल मौजूद है।

कार्यप्रणाली
लेखक FedTA (टेम्पोरल रिज़ॉल्यूशन अडैप्टेशन के साथ फेडरेटेड लर्निंग) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जिसे एकत्रीकरण से पहले विषम टेम्पोरल रिज़ॉल्यूशन पर प्रशिक्षित मॉडलों को संरेखित करने के लिए डिज़ाइन किया गया है।

फ्रेमवर्क संरचना: FedTA मानक FedAvg लूप में एक अडैप्टेशन मैकेनिज्म को एकीकृत करता है। सर्वर पर स्थानीय मॉडलों को एकत्रित करने से पहले, उन्हें उनके क्लाइंट-विशिष्ट टेम्पोरल रिज़ॉल्यूशन ( $T_k$ ) से सेंट्रल सर्वर रिज़ॉल्यूशन ( $T_c$ ) में अनुकूलित (adapt) किया जाता है। इसके विपरीत, अपडेट किए गए ग्लोबल मॉडल को वितरण से पहले प्रत्येक क्लाइंट के स्थानीय रिज़ॉल्यूशन $T_k$ के लिए $T_c$ से वापस अनुकूलित किया जाता है।
अनुकूलन का दायरा (Scope of Adaptation): अनुकूलन विशेष रूप से न्यूरॉन्स के डायनामिकल पैरामीटर्स ( $\phi$ ) (जैसे, मेम्ब्रेन डिके रेट्स, स्टेट ट्रांजिशन मैट्रिसेस) पर लागू होता है। सिनैप्टिक वेट्स ( $W$ ) और नॉर्मलाइजेशन स्टैटिस्टिक्स ( $\psi$ ) इस प्रक्रिया के दौरान अपरिवर्तित रहते हैं।
न्यूरॉन मॉडल: अध्ययन दो परिवारों का मूल्यांकन करता है:
1. लीकी इंटीग्रेट-एंड-फायर (LIF): एक मानक SNN मॉडल।
2. लीनियर-डायनामिक्स डायगोनल स्टेट स्पेस मॉडल्स (LD-SSM): एक नॉन-स्पाइकिंग बेसलाइन जिसमें लीनियर स्टेट ट्रांजिशन है।
  प्रत्येक परिवार के लिए, लेखक एक स्टैंडर्ड वेरिएंट (सीधे डायनामिकल पैरामीटर्स को प्रशिक्षित करना) बनाम एक $\Delta$ -वेरिएंट की तुलना करते हैं, जो स्थानीय टेम्पोरल रिज़ॉल्यूशन को एक ट्रेन करने योग्य पैरामीटर ( $\Delta_{log}$ ) में मैप करने के लिए एक्सप-लॉग रीपैरामीट्राइजेशन का उपयोग करता है।
अडैप्टेशन एल्गोरिदम: तीन विशिष्ट अडैप्टेशन विधियों को एकीकृत किया गया है:
1. FedTA-Int (इंटीग्रल): लीनियर SSM थ्योरी से व्युत्पन्न, यह विधि एक इंटीग्रल ट्रांसफॉर्मेशन ( $A_{r2} = A_{r1}^\rho$ ) का उपयोग करके पैरामीटर्स को अनुकूलित करती है।
2. FedTA-Eul (यूलर): लीनियर SSMs से प्राप्त एक फर्स्ट-ऑर्डर एप्रोक्सिमेशन ( $A_{r2} = I + \rho(A_{r1} - I)$ )।
3. FedTA- $\Delta$ : $\Delta$ -वेरिएंट्स के लिए, यह विधि लॉगरिदमिक टेम्पोरल रिज़ॉल्यूशन पैरामीटर ( $\Delta_{log, r2} = \Delta_{log, r1} + \ln(\rho)$ ) पर एक एडिटिव शिफ्ट लागू करती है, जहाँ $\rho$ टेम्पोरल रिज़ॉल्यूशन का अनुपात है।

प्रमुख योगदान

नवल फ्रेमवर्क: यह पेपर विशेष रूप से SNNs और स्टेटफुल डीप नेटवर्क्स के लिए टेम्पोरल रिज़ॉल्यूशन विषमता को संबोधित करने वाला पहला फेडरेटेड लर्निंग फ्रेमवर्क पेश करता है।
अडैप्टेशन रणनीतियाँ: यह ग्लोबल टेम्पोरल रिज़ॉल्यूशन और क्लाइंट-विशिष्ट टेम्पोरल रिज़ॉल्यूशन के बीच के अंतर को पाटने के लिए तीन अलग-अलग डायनामिक्स अडैप्टेशन विधियों (इंटीग्रल, यूलर और $\Delta$ -शिफ्ट) का प्रस्ताव करता है और उन्हें एकीकृत करता है।
व्यापक मूल्यांकन: फ्रेमवर्क का मूल्यांकन दो न्यूरोमॉर्फिक बेंचमार्क डेटासेट्स (SHD और DVS-Gesture) पर दो क्लाइंट परिदृश्यों (प्रत्येक रिज़ॉल्यूशन के लिए विभिन्न क्लाइंट्स की संख्या) और कई न्यूरॉन मॉडल कॉन्फ़िगरेशन के माध्यम से किया गया है।

परिणाम

एक्यूरेसी रिकवरी: प्रस्तावित अडैप्टेशन विधियाँ टेम्पोरल मिसमैच के कारण खोई हुई एक्यूरेसी को काफी हद तक रिकवर करती हैं। SHD डेटासेट पर, Standard-SSM और FedTA-Int के संयोजन ने सभी परिदृश्यों और रिज़सोल्यूशन में उच्चतम एक्यूरेसी प्राप्त की। DVS-Gesture डेटासेट पर, प्रदर्शन भिन्न रहा, जहाँ $\Delta$ -LIF के साथ FedAvg अक्सर सबसे अच्छे परिणाम देता है, हालांकि विषम सेटिंग्स में FedTA वेरिएंट्स आमतौर पर नैव (naive) FedAvg से बेहतर प्रदर्शन करते हैं।
मेथड तुलना:
- लीनियर डायनामिक्स (SSM) के लिए, इंटीग्रल विधि (FedTA-Int) यूलर विधि से काफी बेहतर प्रदर्शन करती है, जो इस सैद्धांतिक अपेक्षा के अनुरूप है कि यूलर एक कम सटीक फर्स्ट-ऑर्डर एप्रोक्सिमेशन है।
- नॉन-लीनियर डायनामिक्स (LIF) के लिए, इंटीग्रल और यूलर दोनों विधियाँ एप्रोक्सिमेशन के रूप में कार्य करती हैं। $\Delta$ -वेरिएंट्स के मिश्रित परिणाम मिले, जो लक्षित रिज़ॉल्यूशन ( $T_c$ ) के आधार पर कभी-कभी FedAvg के तुल्य या थोड़ा कम प्रदर्शन करते हैं।
सेंट्रल रिज़ॉल्यूशन का प्रभाव: प्रदर्शन आम तौर पर तब उच्चतम था जब सेंट्रल सर्वर रिज़ॉल्यूशन ( $T_c$ ) सबसे बारीक क्लाइंट रिज़ॉल्यूशन ( $T_c=1$ ) या इंटरमीडिएट रिज़ॉल्यूशन ( $T_c=2$ ) से मेल खाता था, जिससे औसत मिसमैच कम हो जाता है।
कंप्यूटेशनल ओवरहेड: फेडरेशन स्टेप्स (FedTA-Int, FedTA-Eul, FedTA- $\Delta$ ) की कंप्यूटेशनल लागत बेसलाइन FedAvg की तुलना में नगण्य रही। ट्रेनिंग समय बेसलाइन के एक स्टैंडर्ड डेविएशन के भीतर रहा।
ऊर्जा दक्षता: $\Delta$ -LIF के साथ FedAvg एक प्रभावशाली ट्रेड-ऑफ प्रदान करता है, जो SSM-आधारित मॉडलों की तुलना में काफी कम ऊर्जा खपत और तेज़ ट्रेनिंग समय के साथ उच्च एक्यूरेसी प्राप्त करता है, जो SNNs की स्पार्स, बाइनरी प्रकृति का लाभ उठाता है।

महत्ता और दावे
पेपर का दावा है कि FedTA प्रत्येक क्लाइंट को अपने स्थानीय टेम्पोरल रिज़ॉल्यूशन पर प्रशिक्षित करने में सक्षम बनाता है जबकि वह एक ग्लोबल मॉडल के साथ संगत रहता है, जिससे टेम्पोरल मिसअलाइनमेंट की समस्या प्रभावी रूप से हल हो जाती है। लेखक रेखांकित करते हैं कि:

FedTA-Int लीनियर स्टेट डायनामिक्स वाले मॉडलों के लिए विशेष रूप से प्रभावी है, क्योंकि अडैप्टेशन विधि की धारणाएं मॉडल संरचना के साथ संरेखित होती हैं।
LIF-आधारित मॉडल (SNNs) विभिन्न सेटिंग्स में मजबूती प्रदर्शित करते हैं और बेहतर ऊर्जा-दक्षता-टू-एक्यूरेसी ट्रेड-ऑफ प्रदान करते हैं, जो उन्हें संसाधन-बाधित एज डिवाइसेस के लिए आकर्षक बनाता है।
यह फ्रेमवर्क टेम्पोरल विषमता के तहत मजबूत फेडरेटेड लर्निंग की ओर एक आशाजनक कदम है, हालांकि लेखक विनम्रतापूर्वक नोट करते हैं कि नॉन-लीनियर डायनामिक्स (जैसे LIF) के लिए अडैप्टेशन विधियाँ एप्रोक्सिमेशन हैं, और भविष्य के कार्यों को टेलर्ड अडैप्टेशन (विशेष रूप से नॉन-लीनियर न्यूरॉन डायनामिक्स के लिए) और अन्य प्रकार की डेटा विषमता (जैसे क्लास इम्बैलेंस) के साथ उनके इंटरैक्शन की खोज करनी चाहिए।

इसी तरह के और पेपर