🤖 machine learning

FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning

यह शोध पत्र FMCL का प्रस्ताव करता है, जो एक वन-शॉट, क्लास-अवेयर क्लाइंट क्लस्टरिंग फ्रेमवर्क है जो फ्रोजन फाउंडेशन मॉडल रिप्रेजेंटेशन्स का लाभ उठाकर सिमेंटिक क्लाइंट सिग्नेचर्स का निर्माण करता है, जिससे बिना किसी पुनरावृत्ति समन्वय या अतिरिक्त संचार ओवरहेड के, सांख्यिकीय विषमता के तहत फेडरेटेड लर्निंग प्रदर्शन और स्थिरता में सुधार होता है।

मूल लेखक: Mahad Ali, Laura J. Brattain

प्रकाशित 2026-05-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mahad Ali, Laura J. Brattain

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप लोगों के एक समूह को विभिन्न प्रकार के जानवरों को पहचानना सिखाने की कोशिश कर रहे हैं। एक आदर्श दुनिया में, हर किसी के पास शेर, बाघ और भालू की समान तस्वीरों वाली एक पाठ्यपुस्तक होगी। लेकिन वास्तविक दुनिया में (जो इस शोध पत्र में "फेडरेटेड लर्निंग" के रूप में वर्णित है), हर किसी के पास अपना निजी फोटो एल्बम होता है।

कुछ लोगों के पास केवल पालतू जानवरों की तस्वीरें हैं, कुछ के पास जंगल के जानवरों की, और कुछ के पास दोनों का मिश्रण है। यदि आप एक ही "ग्लोबल" शिक्षक का उपयोग करके एक साथ सभी को सिखाने की कोशिश करते हैं, तो पाठ भ्रमित हो जाता है। फार्म विशेषज्ञ शायद एक बाघ को बिल्ली समझ सकता है, और जंगल विशेषज्ञ गाय को देखकर भ्रमित हो सकता है। यही सांख्यिकीय विषमता (statistical heterogeneity) की समस्या है: प्रत्येक का डेटा अलग है, और एक ही दृष्टिकोण (one-size-fits-all) विफल हो जाता है।

पुराना तरीका: अनुमान लगाना और जांचना

पिछले तरीकों ने लोगों को समूहों में बांटकर इसे हल करने की कोशिश की।

"ग्रेडिएंट" विधि: वे तब तक इंतजार करते थे जब तक कि सभी सीखना शुरू न कर दें, फिर वे उनके होमवर्क के उत्तरों (ग्रेडिएंट्स) को देखते थे ताकि यह पता चल सके कि कौन किससे समान है। समस्या क्या थी? शुरुआती होमवर्क अव्यवस्थित और गलतियों से भरा होता है, इसलिए बने हुए समूह अस्थिर थे।
"पिक्सेल" विधि: कुछ लोगों ने छवियों के कच्चे पिक्सेल (जैसे कि फोटो में कितने लाल पिक्सेल हैं, यह गिनना) को देखा। यह एक कहानी को समझने के लिए कॉमा (comma) की संख्या गिनने जैसा है; यह वास्तविक अर्थ को छोड़ देता है।
"मीन" (औसत) विधि: अन्य लोगों ने सभी की विशेषताओं का औसत लिया। यह कहने जैसा है कि, "एक औसत व्यक्ति 5'9" लंबा और भूरे बालों वाला है," जो इस तथ्य को नजरअंदाज करता है कि कुछ लोग 6'5" के हैं और कुछ 5'2" के।

नया समाधान: FMCL (एक "स्मार्ट लाइब्रेरियन")

लेखक एक नया सिस्टम प्रस्तावित करते हैं जिसे FMCL कहा जाता है। इसे एक स्मार्ट लाइब्रेरियन के रूप में समझें जो कक्षा शुरू होने से पहले ही छात्रों को व्यवस्थित करने के लिए एक विशाल, प्री-ट्रेन्ड विश्वकोश (जिसे फाउंडेशन मॉडल कहा जाता है) का उपयोग करता है।

यहाँ बताया गया है कि FMCL कैसे काम करता है, चरण-दर-चरण:

1. "वन-शॉट" सिग्नेचर (इंतजार नहीं करना)

छात्रों के सीखने और गलतियाँ करने का इंतजार करने के बजाय, स्मार्ट लाइब्रेरियन तुरंत उनके फोटो एल्बमों को देखता है।

उपकरण: लाइब्रेरियन एक "फ्रोजन फाउंडेशन मॉडल" का उपयोग करता है। कल्पना कीजिए कि यह एक सुपर-स्मार्ट AI है जिसने पहले ही लाखों किताबें पढ़ी हैं और लाखों तस्वीरें देखी हैं। यह जानता है कि "शेर" वास्तव में क्या है, न कि केवल रंग के आधार पर, बल्कि उसके अर्थ (सिमेंटिक स्ट्रक्चर) के आधार पर।
सिग्नेचर: प्रत्येक छात्र के लिए, लाइब्रेरियन एक "क्लास-अवेयर सिग्नेचर" बनाता है। यह केवल यह नहीं कहता कि "इस छात्र के पास 50 तस्वीरें हैं।" यह कहता है कि "इस छात्र के पास 10 शेर, 20 बाघ और 20 भालू की तस्वीरें हैं, और उनके लिए इनका सटीक सार क्या है।"

2. "ओवरलैप-अवेयर" दूरी (गलत मित्रों से बचना)

यह इस पेपर की सबसे चतुर चाल है।
कल्पना कीजिए कि दो छात्र हैं:

छात्र A के पास 1,000 शेर की तस्वीरें और 1 बाघ की तस्वीर है।
छात्र B के पास 1 शेर की तस्वीर और 1,000 बाघ की तस्वीरें हैं।

यदि आप केवल "औसत" तस्वीर देखते हैं, तो वे समान लग सकते हैं क्योंकि दोनों के पास एक शेर और एक बाघ है। लेकिन वे वास्तव में बहुत अलग हैं!

समाधान: FMCL एक ओवरलैप-अवेयर गणना का उपयोग करता है। यह जाँचता है: "आप वास्तव में कितना साझा करते हैं?" यह महसूस करता है कि छात्र A को बाघों से बहुत कम मतलब है, और छात्र B को शेरों से बहुत कम मतलब है। इसलिए, यह उन्हें अलग-अलग समूहों में रखता है। यह लोगों को केवल इसलिए एक साथ समूहबद्ध होने से रोकता है क्योंकि उनके पास संयोग से एक छोटी सी, दुर्लभ चीज़ साझा है।

3. "सिलुएट" टेस्ट (सही समूह का आकार खोजना)

आमतौर पर, आपको अनुमान लगाना पड़ता है: "क्या हमारे पास 2 समूह होने चाहिए? 3? 5?"
FMCL में एक अंतर्निहित सिलुएट स्कोर (Silhouette Score) है। कल्पना कीजिए कि एक डांस फ्लोर है। सिलुएट स्कोर मापता है कि लोग अपने स्वयं के घेरों में कितनी अच्छी तरह नाच रहे हैं।

यदि समूह बहुत छोटे हैं, तो लोग भीड़भाड़ वाले होंगे।
यदि समूह बहुत बड़े हैं, तो लोग एक-दूसरे से दूर होंगे।
सिस्टम स्वचालित रूप से विभिन्न समूह आकारों को स्कैन करता है और उस एक को चुनता है जहाँ "डांसर" सबसे अधिक खुश और विशिष्ट होते हैं। यह वास्तविक प्रशिक्षण शुरू होने से पहले, एक बार किया जाता है, ताकि प्रशिक्षण के दौरान कोई अतिरिक्त समय बर्बाद न हो।

परिणाम: यह क्यों मायने रखता है

लेखकों ने तीन अलग-अलग "फोटो एल्बमों" पर इसका परीक्षण किया:

ब्रेस्ट अल्ट्रासाउंड इमेजेस (BUSI): गांठों की मेडिकल इमेज।
लंग हिस्टोलॉजी (LungHist700): फेफड़ों के ऊतकों की सूक्ष्मदर्शी छवियां।
इमेजेनेट (Imagenette): 10 प्राकृतिक छवियों (जैसे कुत्ते, बिल्ली और ट्रक) का एक मानक सेट।

परिणाम:
हर एक परीक्षण में, FMCL स्पष्ट विजेता रहा।

सटीकता (Accuracy): इसने सही श्रेणियों की पहचान करने में उच्चतम स्कोर प्राप्त किया।
स्थिरता (Stability): यह पुराने तरीकों की तरह बहुत अधिक उतार-चढ़ाव नहीं दिखाता।
"फाउंडेशन" प्रभाव: जब उन्होंने पुराने तरीकों (जैसे PACFL या FECFL) को लिया और उन्हें उपयोग करने के लिए वही "स्मार्ट लाइब्रेरियन" (फाउंडेशन मॉडल) दिया, तो वे बहुत बेहतर हो गए। यह साबित करता है कि डेटा की गहरी, सिमेंटिक समझ होना ही असली सफलता का मंत्र है।

निष्कर्ष

FMCL वितरित शिक्षार्थियों (distributed learners) की एक टीम के लिए एक प्री-गेम रणनीति सत्र की तरह है। उन्हें इधर-उधर भटकने और इस पर बहस करने देने के बजाय कि कौन किसके साथ है, यह प्रत्येक व्यक्ति के डेटा के "वाइब" (vibe) को तुरंत समझने के लिए एक सुपर-स्मार्ट, प्री-ट्रेन्ड AI का उपयोग करता है। यह उन्हें वास्तव में जो वे जानते हैं उसके आधार पर पूरी तरह से समूहित करता है, इस बात का ध्यान रखता है कि कुछ चीजें दुर्लभ होती हैं, और स्वचालित रूप से सर्वोत्तम टीमों की संख्या निर्धारित करता है।

परिणाम? एक ऐसी टीम जो तेजी से सीखती है, कम गलतियाँ करती है, और उन्हें यह बहस करने में समय बर्बाद करने की आवश्यकता नहीं होती कि कौन किस मेज पर बैठेगा।

यहाँ शोध पत्र "FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

फेडरेटेड लर्निंग (FL) कच्चे डेटा को साझा किए बिना सहयोगात्मक मॉडल प्रशिक्षण की अनुमति देता है, लेकिन यह सांख्यिकीय विषमता (non-IID डेटा) के कारण काफी प्रभावित होता है। वास्तविक दुनिया के परिदृश्यों में (जैसे, स्वास्थ्य सेवा, मोबाइल उपकरण), जनसांख्यिकी, डिवाइस प्रकार या अधिग्रहण प्रोटोकॉल के कारण क्लाइंट डेटा वितरण भिन्न होता है।

ग्लोबल मॉडल्स की सीमा: मानक एकत्रीकरण विधियाँ जैसे FedAvg एक एकल वैश्विक वितरण मानती हैं, जिससे क्लाइंट डेटा के विचलित होने पर प्रदर्शन उप-इष्टतम (suboptimal) हो जाता है।
मौजूदा क्लस्टर्ड FL (CFL) की सीमाएँ:
- ग्रेडिएंट-आधारित विधियाँ (जैसे, CFL, IFCA): ग्रेडिएंट की गणना करने के लिए पुनरावृत्ति प्रशिक्षण (iterative training) पर निर्भर करती हैं, जो प्रशिक्षण के शुरुआती चरणों में शोर युक्त (noisy), अस्थिर होती हैं और हाइपरपैरामीटर ट्यूनिंग (थ्रेशोल्ड) या क्लस्टर्स की संख्या ( $K$ ) के पूर्व ज्ञान की आवश्यकता होती है।
- वन-शॉट विधियाँ (जैसे, PACFL, FECFL): डेटा-व्युत्पन्न हस्ताक्षरों (signatures) का उपयोग करती हैं लेकिन अक्सर कच्चे पिक्सेल सांख्यिकी (जिसमें अर्थपूर्णता की कमी होती है) या सरल माध्य फीचर एम्बेडिंग (जो इंट्रा-क्लास वितरण संरचना की अनदेखी करते हैं) पर निर्भर करती हैं। वे अक्सर ह्यूरिस्टिक दूरी थ्रेशोल्ड पर निर्भर करती हैं और उनमें स्वचालित क्लस्टर चयन के लिए सिद्धांतगत तंत्र की कमी होती है।

2. कार्यप्रणाली: FMCL फ्रेमवर्क (Methodology: FMCL Framework)

लेखक FMCL (Foundation Model-based Client Clustering) का प्रस्ताव करते हैं, जो एक वन-शॉट, क्लास-अवेयर फ्रेमवर्क है जो फेडरेटेड प्रशिक्षण शुरू होने से पहले क्लस्टरिंग करता है, जिसमें अनुकूलन के दौरान किसी अतिरिक्त संचार की आवश्यकता नहीं होती है।

A. मुख्य घटक (Core Components)

फाउंडेशन मॉडल (FM) रिप्रजेंटेशन:
- FMCL उच्च-स्तरीय सिमेंटिक एम्बेडिंग निकालने के लिए एक फ्रीज़्ड (frozen), डोमेन-विशिष्ट फाउंडेशन मॉडल (जैसे, पैथोलॉजी के लिए CHIEF, अल्ट्रासाउंड के लिए USFM, प्राकृतिक छवियों के लिए ViT-Tiny) का उपयोग करता है।
- कच्चे पिक्सेल या रैंडमली इनिशियलाइज्ड एनकोडर के विपरीत, FMs हस्तांतरणीय (transferable), सिमेंटिक रूप से समृद्ध फीचर्स प्रदान करते हैं।
क्लास-अवेयर क्लाइंट सिग्नेचर (Class-Aware Client Signatures):
- प्रत्येक क्लाइंट के लिए एक एकल ग्लोबल एम्बेडिंग के बजाय, FMCL प्रत्येक क्लाइंट $i$ के लिए एक सिग्नेचर $\mathcal{S}_i$ बनाता है जो उनके स्थानीय डेटासेट में मौजूद प्रत्येक क्लास के वितरण को कैप्चर करता है।
- क्लाइंट $i$ $i$ के डेटा में प्रत्येक क्लास $c$ $c$ के लिए:
  - मीन एम्बेडिंग ( $\mu_{i,c}$ ): क्लास $c$ के नमूनों का औसत फीचर वेक्टर।
  - क्लास वेट ( $w_{i,c}$ ): क्लाइंट के कुल डेटासेट आकार के सापेक्ष क्लास $c$ नमूनों का अनुपात।
- सिग्नेचर: $\mathcal{S}_i = \{ (\mu_{i,c}, w_{i,c}) \}_{c \in \mathcal{C}_i}$ ।
ओवरलैप-अवेयर कोसाइन डिस्टेंस (Overlap-Aware Cosine Distance):
- दो क्लाइंट्स ( $i$ और $j$ ) के बीच समानता मापने के लिए, FMCL उनके क्लास-कंडीशनल एम्बेडिंग्स के बीच एक वेटेड कोसाइन डिस्टेंस की गणना करता है।
- वेटिंग (Weighting): प्रत्येक ओवरलैपिंग क्लास $c$ के योगदान को $\min(w_{i,c}, w_{j,c})$ द्वारा भारित किया जाता है।
- ओवरलैप स्केलिंग (Overlap Scaling): अंतिम दूरी को कुल ओवरलैप $\Omega_{ij} = \sum \min(w_{i,c}, w_{j,c})$ $Ω_{ij} = \sum min (w_{i, c}, w_{j, c})$ के व्युत्क्रमानुपाती (inversely) द्वारा स्केल किया जाता है।
  - तर्क (Rationale): यह सुनिश्चित करता है कि बहुत कम साझा क्लासेस वाले क्लाइंट केवल इसलिए कृत्रिम रूप से समान न दिखें क्योंकि वे उन विरल (sparse) क्लासेस पर सहमत हैं। यह सीमित लेबल सपोर्ट वाले जोड़ों को दंडित करता है।
- गैर-ओवरलैपिंग क्लाइंट्स: यदि क्लाइंट्स की कोई क्लास साझा नहीं है ( $C_{ij} = \emptyset$ ), तो उन्हें देखे गए दूरियों के 95वें/99वें पर्सेंटाइल से प्राप्त एक बड़ी दूरी आवंटित की जाती है।
स्वचालित क्लस्टर चयन (Automatic Cluster Selection):
- FMCL मैन्युअल ट्यूनिंग के बिना इष्टतम क्लस्टर्स की संख्या ( $K$ ) निर्धारित करने के लिए एक डेटा-संचालित रणनीति का उपयोग करता है।
- प्रक्रिया:
  1. समग्र विषमता का अनुमान लगाने के लिए पेयरवाइज मैट्रिक्स के ऑफ-डायगोनल दूरियों के Coefficient of Variation (CV) की गणना करें।
  2. CV के आधार पर $K$ के लिए एक अनुकूलित कैंडिडेट विंडो परिभाषित करें।
  3. विंडो में प्रत्येक $K$ के लिए पदानुक्रमित क्लस्टरिंग (hierarchical clustering) करें और Silhouette Score का उपयोग करके मूल्यांकन करें।
  4. सिलुएट कर्व के प्रमुख स्थानीय अधिकतम (dominant local maximum) के अनुरूप $K$ का चयन करें।

3. मुख्य योगदान (Key Contributions)

सिमेंटिक क्लाइंट सिग्नेचर: एक नवीन सिग्नेचर निर्माण विधि पेश करता है जो फ्रीज़्ड फाउंडेशन मॉडल्स का उपयोग करता है, जो स्पष्ट रूप से क्लास-कंडीशनल डिस्ट्रीब्यूशन को मॉडल करता है, और कच्चे सांख्यिकी या मीन एम्बेडिंग्स की तुलना में सिमेंटिक संरचना को बेहतर ढंग से कैप्चर करता है।
ओवरलैप-अवेयर मेट्रिक: एक नवीन डिस्टेंस मेट्रिक प्रस्तावित करता है जो क्लास ओवरलैप और डिस्ट्रीबशनल वेट को ध्यान में रखता है, जिससे क्लाइंट्स के विरल या असंतुलित क्लास डिस्ट्रीब्यूशन के मामले में भी मजबूत समानता मापन सुनिश्चित होता है।
वन-शॉट और आर्किटेक्चर-एग्नोस्टिक: क्लस्टरिंग प्रशिक्षण से पहले एक बार की जाती है, जो फेडरेटेड ऑप्टिमाइज़ेशन चरण के दौरान शून्य संचार ओवरहेड पेश करती है और डाउनस्ट्रीम मॉडल आर्किटेक्चर के प्रति स्वतंत्र (agnostic) रहती है।
सिद्धांतगत स्वचालन: $K$ के चयन के लिए एक नियतात्मक (deterministic), डेटा-संचालित तंत्र (CV-गाइडेड सिलुएट विश्लेषण) प्रदान करता है, जिससे मैन्युअल हाइपरपैरामीटर ट्यूनिंग की आवश्यकता समाप्त हो जाती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन डेटासेट्स पर FMCL का मूल्यांकन किया: BUSI (ब्रेस्ट अल्ट्रासाउंड), LungHist700 (लंग हिस्टोपैथोलॉजी), और Imagenette (प्राकृतिक छवियां)।

प्रदर्शन: FMCL ने सभी मेट्रिक्स (सटीकता, मैक्रो-F1, AUC-ROC) में ग्लोबल बेसलाइन्स (FedAvg, FedProx) और पूर्ववर्ती क्लस्टरिंग विधियों (CFL, PACFL, FECFL) को लगातार पछाड़ दिया।
- उदाहरण (BUSI): FMCL (Auto-K) ने 91.68% सटीकता और 88.72% F1 प्राप्त किया, जो FedAvg (56.34% Acc) और यहाँ तक कि अन्य क्लस्टरिंग विधियों के FM-वर्जन (जैसे, FECFL (FM) 73.15% Acc) से काफी बेहतर था।
घटकों का प्रभाव:
- फाउंडेशन मॉडल्स: कच्चे फीचर्स के स्थान पर FM एम्बेडिंग्स का उपयोग करने से मौजूदा विधियों के प्रदर्शन में उल्लेखनीय वृद्धि हुई (जैसे, PACFL (FM) बनाम PACFL)।
- ओवरलैप अवेयरनेस: ओवरलैप-अवेयर स्केलिंग टर्म ("FMCL no overlap") को हटाने से प्रदर्शन में निरंतर गिरावट आई, जो प्रस्तावित डिस्टेंस मेट्रिक की महत्ता को प्रमाणित करता है।
- स्वचालित चयन: "Auto-K" वेरिएंट ने आमतौर पर फिक्स्ड- $K$ सेटिंग्स की तुलना में बेहतर प्रदर्शन किया, जो चयन एल्गोरिदम की मजबूती को प्रदर्शित करता है।
स्थिरता: FMCL ने पुनरावृत्ति ग्रेडिएंट-आधारित विधियों की तुलना में अधिक स्थिर क्लस्टरिंग व्यवहार और तेज़ अभिसरण (convergence) दिखाया।

5. महत्व (Significance)

फाउंडेशन मॉडल्स और FL को जोड़ना: यह कार्य क्लाइंट डेटा वितरण को बिना डेटा केंद्रीकरण के लक्षणित करने के लिए बड़े पैमाने के फाउंडेशन मॉडल्स के व्यावहारिक उपयोग को प्रदर्शित करता है।
विषमता के प्रति मजबूती: करके, FMCL स्पष्ट रूप से क्लास-लेवल डिस्ट्रीब्यूशन और ओवरलैप को मॉडल करता है, जो वास्तविक दुनिया के विषम FL डिप्लॉयमेंट (जैसे, दुर्लभ बीमारी के सबटाइप्स) में सामान्य "लॉन्ग-टेल" और "स्पार्स क्लास" समस्याओं को संबोधित करता है।
व्यावहारिक परिनियोजन (Practical Deployment): फ्रेमवर्क की वन-शॉट प्रकृति इसे उन परिदृश्यों के लिए अत्यधिक उपयुक्त बनाती है जहाँ संचार बैंडविड्थ सीमित है या जहाँ पुनरावृत्ति समन्वय (iterative coordination) अव्यावहारिक है। यह फाउंडेशन मॉडल्स और फेडरेटेड लर्निंग के संगम पर भविष्य के अनुसंधान के लिए एक मॉड्यूलर, आर्किटेक्चर-एग्नोस्टिक आधार प्रदान करता है।