🤖 machine learning

Distribution Alignment for One-Shot Federated Learning via Optimal Transport

यह शोधपत्र SLOT-Align को प्रस्तुत करता है, जो एक गणनात्मक रूप से कुशल, लर्निंग-फ्री फ्रेमवर्क है जो वन-शॉट फेडरेटेड लर्निंग में फीचर रिप्रजेंटेशन को संरेखित करने के लिए क्लोज्ड-फॉर्म जियोडेसिक ऑप्टिमल ट्रांसपोर्ट मैप्स का लाभ उठाता है, जो मौजूदा प्रशिक्षण प्रक्रियाओं को संशोधित किए बिना डोमेन और लेबल के एक साथ बदलाव की चुनौतियों को प्रभावी ढंग से संबोधित करता है।

मूल लेखक: Daniele Berardini (AI for Good), Vito Paolo Pastore (AI for Good, MaLGa-DIBRIS, University of Genoa, Genoa, Italy), Vittorio Murino (AI for Good, Department of Computer Science, University of Verona

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniele Berardini (AI for Good), Vito Paolo Pastore (AI for Good, MaLGa-DIBRIS, University of Genoa, Genoa, Italy), Vittorio Murino (AI for Good, Department of Computer Science, University of Verona, Verona, Italy)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि विशेषज्ञों का एक समूह एक पहेली को मिलकर सुलझाने की कोशिश कर रहा है, लेकिन वे सभी अलग-अलग कमरों में हैं और केवल एक केंद्रीय समन्वयक (coordinator) को एक अकेला पोस्टकार्ड भेज सकते हैं। यह वन-शॉट फेडरेटेड लर्निंग (One-Shot Federated Learning - OSFL) की चुनौती है।

एक सामान्य टीम में, वे आपस में बातचीत कर सकते हैं, एक-दूसरे को सुधार सकते हैं और धीरे-धीरे बेहतर हो सकते हैं। लेकिन इस "वन-शॉट" परिदृश्य में, उन्हें अपना सबसे अच्छा अनुमान केवल एक बार भेजना होता है। समस्या क्या है? प्रत्येक विशेषज्ञ ने पहेली के टुकड़ों को अलग-अलग रोशनी (अलग डोमेन शिफ्ट) में देखा है और उनके पास टुकड़ों का अलग मिश्रण (अलग लेबल शिफ्ट) है। जब समन्वयक इन बेमेल टुकड़ों को जोड़ने की कोशिश करता है, तो तस्वीर धुंधली और टूटी हुई दिखाई देती है।

यहाँ बताया गया है कि कैसे इस शोध पत्र की नई विधि, SLOT-Align, इस गड़बड़ी को ठीक करती है, जिसे सरल रूप में समझाया गया है:

समस्या: एक बेमेल ऑर्केस्ट्रा (A Mismatched Orchestra)

एक ऐसे ऑर्केस्ट्रा की कल्पना करें जहाँ हर संगीतकार एक ही गाना बजा रहा है, लेकिन:

अलग-अलग वाद्य यंत्र (Domain Shift): कुछ वायलिन पर बजा रहे हैं, तो कुछ सैक्सोफोन पर। ध्वनि तरंगें (sound waves) अलग हैं।
अलग-अलग शीट म्यूजिक (Label Shift): कुछ संगीतकार केवल ऊंचे सुर (high notes) बजा रहे हैं, जबकि अन्य केवल निचले सुर (low notes) बजा रहे हैं।

यदि कंडक्टर (सर्वर) बस सभी को एक बार अपना हिस्सा बजाने के लिए कहता है और उसे रिकॉर्ड कर लेता है, तो परिणाम एक अराजक शोर (chaotic noise) होगा। मौजूदा तरीके इस बात की कोशिश करते हैं कि संगीतकारों को ज़ोर से बजाने के लिए कहें या यह अनुमान लगाएं कि छूटे हुए सुर क्या होने चाहिए, लेकिन वे अक्सर यह मान लेते हैं कि सभी पहले से ही एक ही 'की' (key) में बजा रहे हैं, जो कि सच नहीं है।

समाधान: SLOT-Align (एक "ट्यूनिंग फोर्क" दृष्टिकोण)

लेखक SLOT-Align नामक एक विधि प्रस्तावित करते हैं। इसे एक स्मार्ट, त्वरित ट्यूनिंग प्रक्रिया के रूप में समझें जो रिकॉर्डिंग शुरू होने से पहले होती है। इसके लिए संगीतकारों को नए गाने सीखने या घंटों अभ्यास करने की आवश्यकता नहीं है; यह बस उनके वर्तमान स्वर को एक साथ फिट होने के लिए समायोजित करता है।

यह तीन सरल चरणों में कैसे काम करता है, यहाँ दिया गया है:

1. एक "स्नैपशॉट" लेना (Feature Statistics)

अपना पूरा वाद्य यंत्र या पूरा गाना भेजने के बजाय (जिसमें बहुत अधिक समय और डेटा लगता है), प्रत्येक संगीतकार अपने स्वर का एक छोटा, संक्षिप्त "स्नैपशॉट" भेजता है।

स्नैपशॉट: वे दो संख्याएँ भेजते हैं: औसत पिच (mean) और सुरों का फैलाव (covariance)।
उपकरण: वे सभी एक ही पूर्व-प्रशिक्षित "कान" (एक फ्रोजन एनकोडर) का उपयोग करते हैं ताकि वे अपने डेटा को सुनने के लिए एक ही भाषा का उपयोग करें, जिससे यह सुनिश्चित हो सके कि वे सभी एक ही तरह से वर्णन कर रहे हैं।

2. एक "परफेक्ट रेफरेंस" बनाना (The Barycenter)

कंडक्टर (सर्वर) इन सभी छोटे स्नैपशॉट्स को लेता है और एक परफेक्ट, आदर्श औसत ध्वनि की गणना करता है।

कल्पना करें कि सभी अलग-अलग पिचों और फैलावों को मिलाकर एक "गोल्डन स्टैंडर्ड" ध्वनि बनाई जा रही है। यह केवल एक साधारण औसत नहीं है; यह एक गणितीय रूप से पूर्ण मिश्रण है जो ध्वनि तरंगों की अनूठी ज्यामिति (जिसे ऑप्टिमल ट्रांसपोर्ट कहा जाता है) का सम्मान करता है।
यह "गोल्डन स्टैंडर्ड" वापस हर संगीतकार को भेजा जाता है।

3. तत्काल समायोजन (Geodesic Alignment)

अब, प्रत्येक संगीतकार अपने स्वयं के स्वर और "गोल्डन स्टैंडर्ड" को देखता है।

मैजिक मैप: SLOT-Align एक सटीक, एक-बार का गणितीय "मैप" (मानचित्र) की गणना करता है जो संगीतकार को बताता है कि गोल्डन स्टैंडर्ड से मेल खाने के लिए उन्हें अपनी पिच और वॉल्यूम को बिल्कुल कैसे बदलना चाहिए।
डायल (Interpolation): इसमें एक कंट्रोल नॉब (जिसे $\tau$ कहा जाता है) है। यदि आप इसे पूरा ऊपर घुमाते हैं, तो संगीतकार मानक से मेल खाने के लिए अपने स्वर को पूरी तरह से बदल देता है। यदि आप इसे नीचे घुमाते हैं, तो वह अपने मूल स्वरूप को अधिक बनाए रखता है। शोध पत्र एक ऐसा "स्वीट स्पॉट" ढूंढता है जहाँ वे अपनी अनूठी पहचान खोए बिना पूरी तरह से घुलमिल जाते हैं।

यह क्यों एक बड़ी बात है

कोई रिहर्सल की आवश्यकता नहीं: यह "लर्निंग-फ्री" है। संगीतकारों को नया सीखने या पुन: प्रशिक्षण लेने की आवश्यकता नहीं है। वे बस गणितीय मानचित्र लागू करते हैं।
केवल एक पोस्टकार्ड: यह "वन-शॉट" नियम में पूरी तरह फिट बैठता है। सर्वर और क्लाइंट केवल एक बार बात करते हैं।
किसी भी वाद्य यंत्र के साथ काम करता है: यह इस बात पर निर्भर नहीं करता कि संगीतकार वायलिन, सैक्सोफोन या बांसुरी (अलग-अलग AI मॉडल या बैकबोन) का उपयोग कर रहे हैं।
अराजकता को संभालता है: यह विशेष रूप से उस समस्या को ठीक करता है जहाँ "सुरों का मिश्रण" (लेबल शिफ्ट) और "वाद्य यंत्र का प्रकार" (डोमेन शिफ्ट) दोनों एक साथ गड़बड़ होते हैं।

परिणाम

जब कंडक्टर इस त्वरित ट्यूनिंग के बाद ऑर्केस्ट्रा को रिकॉर्ड करता है, तो संगीत स्पष्ट, सामंजस्यपूर्ण और पहले की तुलना में बहुत अधिक सटीक होता है। शोध पत्र दिखाता है कि इस "ट्यूनिंग फोर्क" पद्धति का उपयोग करके, अंतिम AI मॉडल काफी बेहतर प्रदर्शन करता है, भले ही सभी क्लाइंट्स का डेटा बहुत अव्यवस्थित और भिन्न हो।

संक्षेप में: SLOT-Align एक चतुर, गणित-आधारित "प्री-फ्लाइट चेक" है जो यह सुनिश्चित करता है कि एक साथ मिलकर एक वैश्विक मॉडल बनाने से पहले सभी का डेटा एक ही भाषा बोल रहा है, और यह बिना किसी दूसरी बातचीत के संभव होता है।

तकनीकी सारांश: ऑप्टिमल ट्रांसपोर्ट के माध्यम से वन-शॉट फेडरेटेड लर्निंग के लिए वितरण संरेखण (Distribution Alignment)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र वन-शॉट फेडरेटेड लर्निंग (OSFL) की अंतर्निहित चुनौतियों को संबोधित करता है, जो एक ऐसा संचार परिदृश्य (communication regime) है जहाँ क्लाइंट्स केंद्रीय सर्वर के साथ ठीक एक बार संवाद करते हैं। जबकि मानक फेडरेटेड लर्निंग (FL) डेटा विषमता (heterogeneity) को कम करने के लिए पुनरावृत्ति (iterative) क्लाइंट-सर्वर अनुकूलन का उपयोग करता है, OSFL में इस शोधन क्षमता का अभाव होता है।

पहचाना गया मुख्य मुद्दा दो विशिष्ट प्रकार के सांख्यिकीय विषमताओं का संचयी प्रभाव (compounding effect) है:

डोमेन शिफ्ट (Domain Shift): क्लाइंट्स अलग-अलग अधिग्रहण स्थितियों या वातावरणों के कारण भिन्न इनपुट वितरण $P_k(x)$ देखते हैं।
लेबल शिफ्ट (Label Shift): क्लाइंट्स अलग-अलग लेबल मार्जिनल्स $P_k(y)$ प्रदर्शित करते हैं, जिससे विभिन्न वर्ग अनुपात (class proportions) उत्पन्न होते हैं।

पुनरावृत्ति सुधार की अनुपस्थिति में, ये शिफ्ट्स गलत संरेखित फीचर रिप्रजेंटेशन (misaligned feature representations) और क्लाइंट्स के बीच असंगत क्लास-पोस्टीरियर निर्णय कार्यों को प्रेरित करते हैं। मौजूदा OSFL विधियाँ (जो डिस्टिलेशन, डेटा सिंथेसिस, या एनसेम्बलिंग पर निर्भर करती हैं) अक्सर संरेखित रिप्रजेंटेशन मानती हैं या इन शिफ्ट्स को अलग-अलग संबोधित करती हैं। फलस्वरूप, फीचर ज्योमेट्री और क्लास-कंडीशनल बायस में विसंगतियाँ अनियंत्रित रह जाती हैं, जिससे एकत्रित ग्लोबल मॉडल का प्रदर्शन गिर जाता है।

2. कार्यप्रणाली: SLOT-Align

लेखक SLOT-Align (सिंगल-राउंड, लर्निंग-फ्री ऑप्टिमल ट्रांसपोर्ट अलाइनमेंट) प्रस्तावित करते हैं, जो एक ज्योमेट्री-अवेयर फ्रेमवर्क है जिसे डाउनस्ट्रीम OSFL प्रशिक्षण से पहले क्लाइंट फीचर डिस्ट्रीब्यूशन को सामंजस्यपूर्ण बनाने के लिए डिज़ाइन किया गया है। यह विधि एक प्रीप्रोसेसिंग स्टेप के रूप में कार्य करती है और एक साझा फ्रोजन एनकोडर $f_\theta$ (एक बाहरी डेटासेट पर प्री-ट्रेन किया गया) पर निर्भर करती है ताकि सभी स्थानीय इनपुट्स को एक सामान्य लेटेंट स्पेस में मैप किया जा सके।

कार्यप्रवाह (workflow) चार प्रमुख चरणों में विभाजित है:

A. स्थानीय फीचर सांख्यिकी निष्कर्षण (Local Feature Statistics Extraction)

प्रत्येक क्लाइंट $k$ अपने स्थानीय डेटा से निकाले गए फीचर्स $z = f_\theta(x)$ के कॉम्पैक्ट फर्स्ट- और सेकंड-ऑर्डर सांख्यिकी की गणना करता है:

माध्य (Mean): $\mu_k = \mathbb{E}[f_\theta(x)]$
कोवेरिएंस (Covariance): $\Sigma_k$ (पॉजिटिव डेफिनेटनेस सुनिश्चित करने के लिए Ledoit–Wolf श्रिंकेज के माध्यम से नियमित किया गया)।
ये सांख्यिकी प्रेरित फीचर डिस्ट्रीब्यूशन के लिए एक गॉसियन प्रॉक्सी $N(\mu_k, \Sigma_k)$ के रूप में कार्य करती हैं, जो डोमेन और लेबल शिफ्ट के कारण स्थान (location) और प्रसार (spread) में होने वाले प्रमुख अंतरों को कैप्चर करती हैं।

B. ग्लोबल रेफरेंस निर्माण (Global Reference Construction)

सर्वर इन स्थानीय सांख्यिकी को एकत्रित करके एक ग्लोबल रेफरेंस डिस्ट्रीब्यूशन का निर्माण करता है:

ग्लोबल मीन: क्लाइंट मीन्स का एक भारित औसत (weighted average)।
ग्लोबल कोवेरिएंस: क्लाइंट कोवेरिएंसेज का ब्यूर्स-वासरस्टीन बैरीसेंटर (Bures–Wasserstein barycenter) के रूप में गणना की जाती है। इसे क्लाइंट-विशिष्ट परिवर्तनशीलता और वैश्विक निरंतरता के बीच संतुलन बनाने के लिए, स्क्वेर्ड ब्यूर्स डिस्टेंस के योग के अद्वितीय मिनिमाइज़र को खोजने हेतु एक फिक्स्ड-पॉइंट इटरेशन के माध्यम से हल किया जाता है।

C. जियोडेसिक ऑप्टिमल ट्रांसपोर्ट मैपिंग (Geodesic Optimal Transport Mapping)

प्रत्येक क्लाइंट अपने स्थानीय गॉसियन सन्निकटन (approximation) को ग्लोबल रेफरेंस के साथ संरेखित करने के लिए एक ट्रांसपोर्ट मैप बनाता है।

ऑप्टिमल मैप: क्वाड्रेटिक कॉस्ट के तहत, दो गॉसियनों के बीच ऑप्टिमल ट्रांसपोर्ट मैप एक एफाइन (affine) है और इसमें कोवेरिएंस मैट्रिसेस के स्क्वायर रूट्स वाला एक क्लोज्ड-फॉर्म समाधान शामिल है।
इंटरपोलेशन (Interpolation): ओवर-करेक्शन को रोकने के लिए (चूंकि वास्तविक फीचर डिस्ट्रीब्यूशन सख्ती से गॉसियन नहीं है), विधि एक इंटरपोलेशन पैरामीटर $\tau \in [0, 1]$ पेश करती है। अंतिम ट्रांसफॉर्मेशन $T^{(\tau)}_k$ आइडेंटिटी मैप और पूर्ण ऑप्टिमल ट्रांसपोर्ट मैप का एक कॉनवेक्स कॉम्बिनेशन है। यह एक वासरस्टीन डिस्प्लेसमेंट इंटरपोलेशन बनाता है, जो क्लाइंट के डिस्ट्रीब्यूशन को ग्लोबल रेफरेंस की ओर एक कांस्टेंट-स्पीड जियोडेसिक के साथ ले जाता है।

D. एकीकरण (Integration)

क्लाइंट्स अपने स्थानीय फीचर्स पर ट्रांसफॉर्मेशन $z' = T^{(\tau)}_k(z)$ लागू करते हैं। इन संरेखित (aligned) फीचर्स को फिर किसी भी मौजूदा OSFL एल्गोरिदम (जैसे, FedAvg, FedCGS, FedPFT) में बिना डाउनस्ट्रीम ऑप्टिमाइजेशन प्रक्रियाओं को संशोधित किए फीड किया जाता है।

3. मुख्य योगदान (Key Contributions)

औपचारिकीकरण (Formalization): यह शोध पत्र OSFL को संयुक्त डोमेन और लेबल शिफ्ट के तहत एक डिस्ट्रीब्यूशन अलाइनमेंट समस्या के रूप में औपचारिक रूप देता है, और यह उजागर करता है कि कैसे ये शिफ्ट्स वन-शॉट दृष्टिकोणों की प्रभावकारिता को सीमित करते हैं।
एल्गोरिदम प्रस्ताव: यह SLOT-Align पेश करता है, जो एक लर्निंग-फ्री, ऑप्टिमल ट्रांसपोर्ट-आधारित फ्रेमवर्क है जो कॉम्पैक्ट सांख्यिकी के एक एकल आदान-प्रदान के माध्यम से क्लाइंट फीचर डिस्ट्रीब्यूशन को सामंजस्यपूर्ण बनाता है। इसके लिए किसी सहायक डेटा, ट्रेन करने योग्य जनरेटर, या पुनरावृत्ति अनुकूलन की आवश्यकता नहीं है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग प्रदर्शित करते हैं कि SLOT-Align विभिन्न बेंचमार्क (Office-Home, Digits, DomainNet), विभिन्न प्री-ट्रेन्ड बैकबोन (ViT, ResNet), और अत्याधुनिक OSFL बेसलाइन्स पर लगातार सटीकता और मजबूती में सुधार करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न डिग्री के लेबल शिफ्ट (डिरिचलेट कंसंट्रेशन पैरामीटर $\alpha$ द्वारा नियंत्रित) और डोमेन विविधता के तहत SLOT-Align का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains): संयुक्त डोमेन और लेबल शिफ्ट ( $\alpha=0.1$ ) के तहत, SLOT-Align ने सभी परीक्षण किए गए बेसलाइन्स (O-FedAvg, FedCGS, FedPFT) के लिए मैक्रो-एवरेज्ड एक्यूरेसी में लगातार सुधार किया। उदाहरण के लिए, Office-Home डेटासेट पर, इसने O-FedAvg में +7.86% और FedPFT में +6.55% का सुधार किया।
मजबूती (Robustness): विधि अधिक तीव्र लेबल स्क्यू ( $\alpha=0.05$ और $\alpha=0.01$ ) के तहत भी प्रभावी रही, जो गंभीर विषमता वाले शासन (regimes) में भी लाभ दिखाती है।
अलाइनमेंट स्ट्रेंथ पर एब्लेशन (Ablation on Alignment Strength): इंटरपोलेशन पैरामीटर $\tau$ को महत्वपूर्ण पाया गया। मध्यम मान (जैसे, $\tau=0.4$ ) ने सबसे अच्छा ट्रेड-ऑफ दिया, जबकि $\tau=1.0$ (पूर्ण ट्रांसपोर्ट) ने कभी-कभी प्रदर्शन को कम कर दिया, जो सुझाव देता है कि आंशिक संरेखण (partial alignment) पूर्ण सुधार की तुलना में बेहतर है।
केवल डोमेन शिफ्ट (Domain-Only Shift): संतुलित लेबल (केवल डोमेन शिफ्ट) वाले सेटिंग्स में, SLOT-Align ने मामूली लाभ या न्यूट्रल प्रदर्शन प्रदान किया, जो पुष्टि करता है कि विधि विशेष रूप से डोमेन और लेबल शिफ्ट की जटिल परस्पर क्रिया को लक्षित करती है।
दक्षता (Efficiency): संचार लागत न्यूनतम है ( $O(m + m^2)$ प्रति क्लाइंट माध्य और कोवेरिएंस के लिए) और फीचर एक्सट्रैक्शन और डाउनस्ट्रीम ट्रेनिंग की तुलना में कम्प्यूटेशनल ओवरहेड नगण्य है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि SLOT-Align OSFL की एक महत्वपूर्ण बाधा: एक ही संचार दौर में वितरण मिसअलाइनमेंट को ठीक करने में असमर्थता के लिए एक मॉड्यूलर, कम्प्यूटेशनल रूप से कुशल समाधान प्रदान करता है।

मॉड्यूलरिटी: यह मौजूदा OSFL पाइपलाइनों को प्रतिस्थापित नहीं करता है बल्कि एक संगत प्रीप्रोसेसिंग लेयर के रूप में कार्य करता है, जिससे यह फ्रोजन एनकोडर्स पर निर्भर वर्तमान और भविष्य की कई विधियों के लिए लागू करने योग्य बन जाता है।
ज्योमेट्री-अवेयरनेस: 2-वासरस्टीन स्पेस और ब्यूर्स-वासरस्टीन बैरीसेंटर्स के ज्यामिति का लाभ उठाकर, यह फीचर डिस्ट्रीब्यूशन के स्थान (mean) और आकार (covariance) दोनों में विसंगतियों को स्पष्ट रूप से ठीक करता है।
व्यावहारिकता: यह डेटा सिंथेसिस या पुनरावृत्ति डिस्टिलेशन से जुड़े गोपनीयता जोखिमों और कम्प्यूटेशनल ओवरहेड से बचता है, और केवल कॉम्पैक्ट सांख्यिकीय सारांशों पर निर्भर रहता है।

लेखक निष्कर्ष निकालते हैं कि जबकि OSFL सख्त संचार बजट द्वारा बाधित है, SLOT-Align प्रभावी रूप से प्रदर्शन में गिरावट को कम करता है जो विषम डेटा वितरणों के कारण होती है, विशेष रूप से जब डोमेन और लेबल शिफ्ट फीचर सांख्यिकी को विकृत करने के लिए परस्पर क्रिया करते हैं।