🤖 machine learning

Scaling Unsupervised Multi-Source Federated Domain Adaptation through Group-Wise Discrepancy Minimization

यह शोध पत्र GALA को प्रस्तुत करता है, जो एक स्केलेबल फेडरेटेड अनसुपरवाइज्ड मल्टी-सोर्स डोमेन एडाप्टेशन फ्रेमवर्क है जो उच्च-विविधता वाले परिवेश में कम्प्यूटेशनल बाधाओं को दूर करने के लिए ग्रुप-वाइज डिसक्रेपेंसी मिनिमाइजेशन और डायनेमिक सोर्स वेटिंग का उपयोग करता है, जिसे एक नए 18-डेटासेट बेंचमार्क जिसे Digit-18 कहा जाता है, पर अत्याधुनिक प्रदर्शन द्वारा प्रमाणित किया गया है।

मूल लेखक: Larissa Reichart, Cem Ata Baykara, Ali Burak Ünal, Harlin Lee, Mete Akgün

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Larissa Reichart, Cem Ata Baykara, Ali Burak Ünal, Harlin Lee, Mete Akgün

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: बहुत सारे शिक्षक, एक भ्रमित छात्र

कल्पना कीजिए कि आप एक छात्र (Target) को हाथ से लिखे गए नंबरों को पहचानना सिखाने की कोशिश कर रहे हैं। आपके पास 18 अलग-अलग देशों की पाठ्यपुस्तकों का एक विशाल पुस्तकालय है (Source Domains)। प्रत्येक देश में नंबर थोड़े अलग तरीके से लिखे जाते हैं: कुछ मोटे मार्कर का उपयोग करते हैं, कुछ पतली पेंसिल का, कुछ के बैकग्राउंड में काफी गंदगी (messy backgrounds) होती है, और कुछ अलग फोंट का उपयोग करते हैं।

वास्तविक दुनिया में, आप सभी 18 पाठ्यपुस्तकों को एक साथ छात्र की मेज पर नहीं डाल सकते। स्वास्थ्य सेवा या वित्त जैसे क्षेत्रों में, गोपनीयता कानूनों (जैसे GDPR) का अर्थ है कि पाठ्यपुस्तकें अपने ही देशों में रहनी चाहिए। आप कच्चे पन्ने (raw pages) साझा नहीं कर सकते; आप केवल स्थानीय शिक्षकों से यह पूछ सकते हैं कि वे क्या महत्वपूर्ण समझते हैं उसका एक सारांश भेजें।

यह Federated Unsupervised Multi-Source Domain Adaptation की चुनौती है। लक्ष्य एक स्मार्ट मॉडल बनाना है जो छात्र के डेटा पर काम कर सके, बिना 18 अलग-अलग देशों के कच्चे डेटा को देखे।

चुनौती (The Catch):
पिछले तरीकों ने इसे हल करने की कोशिश की जहाँ छात्र हर एक पाठ्यपुस्तक की हर दूसरी पाठ्यपुस्तक के साथ तुलना करता था ताकि सबसे अच्छा मेल मिल सके।

समस्या: यदि आपके पास 18 पाठ्यपुस्तकें हैं, तो हर बार पढ़ाई करने के लिए आपको 153 तुलनाएँ करनी होंगी। यह एक ऐसी पार्टी आयोजित करने जैसा है जहाँ संगीत शुरू होने से पहले हर किसी को एक-दूसरे से हाथ मिलाना पड़ता है। जैसे-जैसे मेहमानों (sources) की संख्या बढ़ती है, पार्टी की योजना बनाना असंभव (computationally infeasible) हो जाता है या छात्र विरोधाभासी सलाह से इतना भ्रमित हो जाता है कि वह सीखना बंद कर देता है (training instability)।

समाधान: GALA (एक स्मार्ट ग्रुपिंग रणनीति)

लेखक GALA नामक एक नई विधि प्रस्तावित करते हैं। सभी को एक-दूसरे के साथ तुलना करने के बजाय, GALA एक चतुर दो-चरणीय रणनीति का उपयोग करता है ताकि बिना थके सैकड़ों स्रोतों तक स्केल किया जा सके।

1. "ग्रुप डिबेट" (Inter-Group Discrepancy)

शिक्षक A को शिक्षक B, C, D आदि के साथ नोट्स की तुलना करने के लिए कहने के बजाय, GALA सभी शिक्षकों को दो बड़ी टीमों (ग्रुप 1 और ग्रुप 2) में विभाजित करता है।

यह कैसे काम करता है: छात्र टीम 1 की औसत राय और टीम 2 की औसत राय को सुनता है।
लक्ष्य: छात्र का लक्ष्य इन दोनों टीम औसत को नए, बिना लेबल वाले होमवर्क पर एक-दूसरे के साथ सहमत करना है।
यह बेहतर क्यों है: यह एक अराजक फ्री-फॉर-ऑल के बजाय दो टीमों के बीच बहस आयोजित करने जैसा है। यह शोर और भ्रम को कम करता है। गणितीय रूप से, यह एक विशाल, धीमी गणना को एक तेज़, सरल गणना में बदल देता है। यह हर एक हैंडशेक (धीमा) की जाँच करने और केवल यह जाँचने के बीच का अंतर है कि क्या दोनों टीमें सामान्य रूप से तालमेल में हैं (तेज़)।

2. "टेम्परेचर कंट्रोल" (स्मार्ट वेटिंग)

सभी पाठ्यपुस्तकें समान रूप से सहायक नहीं होती हैं। कुछ ऐसी भाषा में लिखी गई हैं जो छात्र के समान है, जबकि अन्य पूरी तरह से अलग हैं और छात्र को भ्रमित कर सकती हैं (इसे "नेगेटिव ट्रांसफर" कहा जाता है)।

पुराना तरीका: पिछले तरीकों ने सभी शिक्षकों के साथ समान व्यवहार किया, या एक साधारण "समानता स्कोर" का उपयोग किया जो खराब शिक्षकों को अनदेखा करने के लिए पर्याप्त तीक्ष्ण (sharp) नहीं था।
GALA का तरीका: वे एक टेम्परेचर नॉब (एक पैरामीटर जिसे $\tau$ $τ$ कहा जाता है) पेश करते हैं।
- कम तापमान (Low Temperature): छात्र सभी को समान रूप से सुनता है।
- उच्च तापमान (High Temperature): छात्र बहुत चयनात्मक (picky) हो जाता है। यह उन शिक्षकों की आवाज़ों को तीव्रता से बढ़ाता है जो छात्र की शैली के सबसे करीब हैं और उन लोगों को लगभग पूरी तरह से अनदेखा कर देता है जो बहुत अलग हैं।
परिणाम: छात्र सबसे प्रासंगिक शिक्षकों पर ध्यान केंद्रित करता है और शोर को अनसुना कर देता है, जिससे भ्रम से बचाव होता है।

नया टेस्ट: Digit-18

यह साबित करने के लिए कि यह काम करता है, लेखक केवल पुराने, छोटे टेस्ट (जिनमें आमतौर पर केवल 5 स्रोत होते थे) का उपयोग नहीं कर सकते थे। उन्होंने Digit-18 नामक एक नया, विशाल बेंचमार्क बनाया।

इसे AI के लिए एक "सर्वाइवर" चुनौती के रूप में सोचें। उन्होंने मौजूदा डिजिट डेटासेट्स को लिया और 18 अलग-अलग, कठिन रूपांतरण (जैसे बैकग्राउंड का रंग बदलना, नंबरों को सिकोड़ना, या रंगों को एक के ऊपर एक रखना) लागू किए ताकि 18 विशिष्ट "दुनियाएँ" बनाई जा सकें। यह एक ऐसा उच्च-विविधता वाला वातावरण बनाता है जहाँ पुराने तरीके आमतौर पर विफल हो जाते हैं।

परिणाम

जब उन्होंने प्रयोग चलाए:

गति और स्थिरता (Speed & Stability): जबकि अन्य तरीके (जैसे FACT या KD3A) या तो गणना करने में बहुत समय लेते थे या इतने अस्थिर हो जाते थे कि वे टेस्ट पूरा नहीं कर पाते थे, GALA ने सभी 18 स्रोतों के साथ भी सुचारू रूप से काम जारी रखा।
सटीकता (Accuracy): GALA ने केवल जीवित रहने के लिए नहीं, बल्कि जीतने के लिए काम किया। इसने मानक परीक्षणों पर सर्वश्रेष्ठ परिणाम प्राप्त किए और कठिन Digit-18 टेस्ट में अन्य सभी को काफी पीछे छोड़ दिया।
अभिसरण (Convergence): अन्य तरीकों में सटीकता (accuracy) रोलरकोस्टर की तरह ऊपर-नीचे (fluctuate) होती रही, जबकि GALA लगातार ऊपर चढ़कर शीर्ष तक पहुँचा।

सारांश

GALA एक नया तरीका है जिससे AI मॉडल को कई अलग-अलग जगहों से डेटा का उपयोग करके प्रशिक्षित किया जा सकता है, बिना उस डेटा को साझा किए। यह "बहुत सारे स्रोतों" की समस्या को हल करता है:

ग्रुपिंग (Grouping) करके, जहाँ सबको एक-दूसरे से तुलना करने के बजाय दो टीमों में बाँटकर तुलना की जाती है।
तापमान बढ़ाकर (Dialing up the temperature), ताकि केवल सबसे सहायक स्रोतों पर ध्यान केंद्रित किया जा सके और भ्रमित करने वाले स्रोतों को अनदेखा किया जा सके।

यह सिस्टम को उन विशाल, विविध डेटासेट्स तक स्केल करने की अनुमति देता जहाँ पिछले तरीके विफल हो गए थे।

यहाँ "Scaling Unsupervised Multi-Source Federated Domain Adaptation through Group-Wise Discrepancy Minimization" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

समस्या विवरण (Problem Statement)

अनसुपरवाइज्ड मल्टी-सोर्स डोमेन अडैप्टेशन (UMDA) का लक्ष्य कई स्रोत डोमेन (source domains) से लेबल किए गए डेटा का लाभ उठाकर एक ऐसे मॉडल को सीखना है जो एक अनलेबल लक्ष्य डोमेन (target domain) पर सामान्यीकरण (generalize) कर सके। जबकि फेडरेटेड लर्निंग कच्चे डेटा को साझा करने से बचकर गोपनीयता-संरक्षण समाधान प्रदान करती है, मौजूदा फेडरेटेड UMDA विधियाँ स्केलेबिलिटी (scalability) के साथ संघर्ष करती हैं। वर्तमान दृष्टिकोण आमतौर पर छोटे पैमाने के परिदृश्यों (2–6 स्रोत) के लिए डिज़ाइन किए गए हैं और विविध स्रोत डोमेन की संख्या बढ़ने पर उच्च कम्प्यूटेशनल ओवरहेड या प्रशिक्षण अस्थिरता से ग्रस्त होते हैं। विशेष रूप से, वे विधियाँ जो पेयरवाइज़ अलाइनमेंट (pairwise alignment) पर निर्भर करती हैं, वे कम्प्यूटेशनल रूप से अत्यधिक महंगी ( $O(N^2)$ ) हो जाती हैं, जबकि रैंडम पेयरवाइज़ सैंपलिंग (जैसे, FACT) का उपयोग करने वाली विधियाँ उच्च विचरण (high variance) उत्पन्न करती हैं और उच्च-विविधता वाले सेटिंग्स में अभिसरण (converge) करने में विफल रहती हैं।

कार्यप्रणाली: GALA फ्रेमवर्क (Methodology: The GALA Framework)

लेखक GALA (ग्रुपिंग-आधारित एडेप्टिव लर्निंग) प्रस्तावित करते हैं, जो एक फेडरेटेड UMDA फ्रेमवर्क है जिसे विविध स्रोत डोमेन की विषमता (heterogeneity) के साथ स्केल करने के लिए डिज़ाइन किया गया है। GALA दो प्राथमिक तंत्रों के माध्यम से कार्य करता है:

1. इंटर-ग्रुप डिस्क्रेपेंसी (IGD) मिनिमाइजेशन
पूर्ण पेयरवाइज़ अलाइनमेंट की द्विघात जटिलता (quadratic complexity) को संबोधित करने के लिए, GALA एक समूह-स्तरीय विसंगति उद्देश्य (group-level discrepancy objective) पेश करता है।

तंत्र: प्रत्येक प्रशिक्षण दौर (training round) में, $N$ सोर्स प्रेडिक्टर्स को दो अलग-अलग समूहों, $G_1$ और $G_2$ , में बेतरतीब ढंग से विभाजित किया जाता है।
एग्रीगेशन: प्रत्येक समूह के लिए भारित औसत प्रेडिक्टर्स (weighted average predictors) बनाए जाते हैं ( $F_{G_1}$ और $F_{G_2}$ )।
उद्देश्य: मॉडल अनलेबल टारगेट डेटा पर इन दो ग्रुप प्रेडिक्टर्स के बीच $\ell_1$ असहमति (disagreement) को कम करता है:
$L_{IGD} = \mathbb{E}_{x \sim D_T} [\|F_{G_1}(G(x)) - F_{G_2}(G(x))\|_1]$
सैद्धांतिक लाभ: रैंडम पेयरवाइज़ सैंपलिंग (जिसमें उच्च विचरण होता है) या पूर्ण पेयरवाइज़ गणना (जो महंगी है) के विपरीत, IGD वैश्विक अलाइनमेंट उद्देश्य के एक निम्न-विचरण, रैखिक-जटिलता वाले सन्निकटन (approximation) के रूप में कई पेयरवाइज़ अंतरों को औसत करता है। हालांकि यह एक छोटा बायस (bias) पेश करता है, लेकिन विचरण में कमी स्थिर प्रशिक्षण की ओर ले जाती है।

2. टेम्परेचर-स्केल्ड सेंट्रॉइड-आधारित वेटिंग (MDMGB+)
अप्रासंगिक या शोर वाले स्रोतों से होने वाले नेगेटिव ट्रांसफर (negative transfer) को रोकने के लिए, GALA गतिशील रूप से लक्ष्य के प्रति प्रत्येक स्रोत की प्रासंगिकता का अनुमान लगाता है।

सेंट्रॉइड समानता: क्लाइंट्स फीचर स्पेस में सॉफ्ट क्लास-वाइज सेंट्रॉइड्स की गणना करते हैं। सर्वर सोर्स सेंट्रॉइड्स और टारगेट सेंट्रॉइड के बीच कोसाइन सिमिलरिटी (cosine similarity) की गणना करता है।
टेम्परेचर स्केलिंग: लेखक MDMGB एल्गोरिदम का एक संशोधित संस्करण, जिसे MDMGB+ कहा जाता है, पेश करते हैं। यह सिमिलरिटी स्कोर पर एक ट्यून करने योग्य टेम्परेचर पैरामीटर $\tau$ के साथ एक सॉफ्टमैक्स फंक्शन लागू करता है:
$w_n = \frac{\exp(\tau \cdot S(r_T^c, r_n^c))}{\sum_j \exp(\tau \cdot S(r_T^c, r_j^c))}$
कार्य: टेम्परेचर $\tau$ चयनात्मकता (selectivity) को नियंत्रित करता है। उच्च मान सिमिलरिटी में छोटे अंतरों को बढ़ा देते हैं, जिससे उन स्रोतों को अधिक भार दिया जाता है जो लक्ष्य के साथ बेहतर ढंग से संरेखित हैं और अप्रासंगिक स्रोतों को दबा दिया जाता है। इन भारों का उपयोग IGD चरण में ग्रुप प्रेडिक्टर्स बनाने के लिए किया जाता है।

एल्गोरिदम प्रवाह (Algorithm Flow):
प्रक्रिया में पुनरावृत्त दौर (iterative rounds) शामिल हैं जहाँ सर्वर ग्लोबल मॉडल प्रसारित करता है, क्लाइंट्स सेंट्रॉइड्स की गणना करते हैं और स्थानीय मॉडल को अपडेट करते हैं, सर्वर प्रासंगिकता भारों का उपयोग करके फीचर एक्सट्रैक्टर्स को एकत्रित करता है, और अंत में, टारगेट डोमेन दो ग्रुप प्रेडिक्टर्स के बीच IGD लॉस को कम करके फीचर एक्सट्रैक्टर को अपडेट करता है।

प्रमुख योगदान (Key Contributions)

स्केलेबिलिटी विश्लेषण: लेखक पहचानते हैं कि मौजूदा वितरित UMDA विधियाँ विषम स्रोतों की संख्या बढ़ने पर अभिसरण करने में विफल रहती हैं या कम्प्यूटेशनल रूप से अव्यवहार्य हो जाती हैं, जो वर्तमान साहित्य में काफी हद तक अनसुलझा है।
इंटर-ग्रुप डिस्क्रेपेंसी (IGD): एक नया उद्देश्य जो पूर्ण पेयरवाइज़ असहमति को कम लागत और निम्न विचरण के साथ अनुमानित करता है, जिससे बड़े पैमाने की सेटिंग्स में मजबूत अलाइनमेंट सक्षम होता है।
GALA एल्गोरिदम: एक स्केलेबल फेडरेटेड UMDA फ्रेमवर्क जो लक्ष्य-प्रासंगिक स्रोतों को प्राथमिकता देने और नेगेटिव ट्रांसफर को कम करने के लिए टेम्परेचर-स्केल्ड, सेंट्रॉइड-आधारित वेटिंग के साथ IGD को जोड़ता है।
Digit-18 बेंचमार्क: एक नया बेंचमार्क पेश करना जिसमें 18 विविध डिजिट डेटासेट (सिंथेटिक और वास्तविक दुनिया के बदलावों को कवर करते हुए) शामिल हैं, जो स्केलेबिलिटी और सोर्स विषमता का कड़ाई से परीक्षण करता है, जिससे बड़े पैमाने के UMDA बेंचमार्क की कमी को दूर किया गया है।

प्रायोगिक परिणाम (Experimental Results)

शोध पत्र मानक बेंचमार्क (Digit-Five, Office-Caltech10) और नए Digit-18 बेंचमार्क पर GALA का मूल्यांकन करता है।

मानक बेंचमार्क: GALA, Digit-Five और Office-Caltech10 पर स्टेट-ऑफ-द-आर्ट (SOTA) या निकट-SOTA प्रदर्शन प्राप्त करता है, जो FACT और KD3A जैसी विधियों के बराबर या उनसे बेहतर है।
स्केलेबिलिटी (Digit-18): उच्च-विविधता सेटिंग्स (18 स्रोतों तक) में, मौजूदा विधियाँ महत्वपूर्ण गिरावट दिखाती हैं:
- FACT: उच्च विचरण के साथ अस्थिर हो जाता है और जैसे-जैसे सोर्स काउंट बढ़ता है, चुनौतीपूर्ण लक्ष्यों पर अभिसरण करने में विफल रहता है।
- KD3A: अनुक्रमिक सहमति चरणों (sequential consensus steps) के कारण घातीय रनटाइम वृद्धि (exponential runtime growth) से ग्रस्त है, जो 9 स्रोतों से परे कम्प्यूटेशनल रूप से अव्यवहार्य हो जाता है।
- GALA: स्थिर सटीकता और अभिसरण बनाए रखता है। 18-सोर्स सेटिंग में, GALA, FACT पर 5.3% औसत लाभ प्राप्त करता है और प्रत्येक टारगेट डोमेन पर सभी बेसलाइन्स से बेहतर प्रदर्शन करता है।
एब्लेशन अध्ययन (Ablation Studies): परिणाम पुष्टि करते हैं कि IGD उद्देश्य और MDMGB+ वेटिंग दोनों महत्वपूर्ण हैं। बिना वेटिंग के केवल IGD कठिन लक्ष्यों पर अभिसरण करने में विफल रहता है, जबकि वेटिंग अकेले ग्रुप-वाइज़ अलाइनमेंट के बिना अपर्याप्त है।
दक्षता (Efficiency): हालांकि GALA का प्रति-राउंड लागत FACT की तुलना में थोड़ा अधिक है, लेकिन यह KD3A के घातीय कम्प्यूटेशनल विस्फोट से बचता है, जिससे रैखिक स्केलेबिलिटी बनी रहती है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह विषम स्रोत डोमेन की संख्या के संबंध में वितरित UMDA में स्केलेबिलिटी को स्पष्ट रूप से संबोधित करने वाला पहला पेपर है। GALA का महत्व इसकी क्षमता में निहित है जो कई विविध स्रोतों में स्थिर, समानांतर (parallelizable) प्रशिक्षण को सक्षम करती है जहाँ वर्तमान विधियाँ या तो अभिसरण करने में विफल रहती हैं या कम्प्यूटेशनल रूप से अव्यवहार्य होती हैं। यह बताते हुए कि हालांकि इस विधि में प्रति दौर संचार लागत (communication cost) चयनात्मक विधियों की तुलना में अधिक है, यह एक केंद्रीकृत वर्कफ़्लो प्रदान करता है जिसमें लक्ष्य को सभी सोर्स मॉडल्स प्राप्त करने की आवश्यकता नहीं होती है, और भविष्य के कार्यों में सोर्स भागीदारी की आवृत्ति को कम करने पर ध्यान केंद्रित किया जा सकता है।