🤖 machine learning

Consistent Distributed Ranking of Generative Models via Kernel Distances

यह शोध पत्र यह स्थापित करता है कि विषम डेटा वाले वितरित परिवेशों में जनरेटिव मॉडलों को रैंक करना क्लाइंट्स के बीच कर्नेल डिस्टेंस स्कोर को औसत करके निरंतर रूप से प्राप्त किया जा सकता है, जो यह सिद्ध करता है कि यह दृष्टिकोण केंद्रीकृत मूल्यांकन के समान ही क्रम प्रदान करता है और फ्रेशेट डिस्टेंस (Fréchet Distance) जैसे अन्य मेट्रिक्स की सीमाओं को भी रेखांकित करता है।

मूल लेखक: Zixiao Wang, Farzan Farnia, Zhenghao Lin, Yunheng Shen, Bei Yu

प्रकाशित 2026-06-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zixiao Wang, Farzan Farnia, Zhenghao Lin, Yunheng Shen, Bei Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कुकिंग प्रतियोगिता के मुख्य निर्णायक (head judge) हैं। आपको शेफों के एक समूह (जेनरेटिव एआई मॉडल) को एक आदर्श व्यंजन बनाने की कोशिश करते हुए देखना है। विजेता तय करने के लिए, आपको उनका भोजन चखना होगा और उसकी तुलना एक "गोल्ड स्टैंडर्ड" रेसिपी बुक (रेफरेंस डेटा) से करनी होगी।

एक सामान्य प्रतियोगिता में, हर कोई अपने सामग्रियाँ एक बड़े किचन में लेकर आता है। आप सभी सामग्रियों को एक साथ मिलाते हैं, अंतिम परिणाम का स्वाद लेते हैं, और शेफों को रैंक देते हैं। यह आसान है क्योंकि सारा डेटा एक ही जगह पर है।

लेकिन क्या होगा अगर यह एक रिमोट कुकिंग प्रतियोगिता हो?

शेफ A एक पहाड़ी गाँव में रहता है और उसके पास केवल आलू हैं।
शेफ B समुद्र के किनारे रहता है और उसके पास केवल मछली है।
शेफ C एक जंगल में रहता है और उसके पास केवल बेर (berries) हैं।
नियम: शेफ अपनी वास्तविक सामग्रियाँ मुख्य किचन में नहीं भेज सकते क्योंकि वे बहुत कीमती हैं (प्राइवेसी)। वे आपको केवल एक स्कोरकार्ड भेज सकते हैं जिसमें लिखा हो, "मेरे स्थानीय आलू के मुकाबले मेरा व्यंजन 8/10 है।"

बड़ा सवाल जो यह पेपर पूछता है: क्या हम बस उन स्थानीय स्कोरकार्ड को जोड़कर यह पता लगा सकते हैं कि कुल मिलाकर सबसे अच्छा शेफ कौन है? या क्या वह तरीका हमें एक पूरी तरह से अलग विजेता दे देगा, यदि हम वास्तव में सभी सामग्रियों को एक बड़े बर्तन में मिला पाते?

मुख्य खोज: "कर्नेल डिस्टेंस" (Kernel Distance) का जादू

लेखकों ने शेफ को स्कोर देने के दो लोकप्रिय तरीकों का परीक्षण किया: कर्नेल डिस्टेंस (KD) और फ्रेचेट डिस्टेंस (FD)।

1. कर्नेल डिस्टेंस (KD): "परफेक्ट ट्रांसलेटर"

पेपर यह सिद्ध करता है कि कर्नेल डिस्टेंस के लिए, "स्थानीय स्कोरकार्ड" वाला तरीका पूरी तरह से काम करता है।

उपमा: कल्पना कीजिए कि KD एक जादुई अनुवादक (translator) है। भले ही शेफ A केवल "आलू" बोलता है और शेफ B केवल "मछली," अनुवादक उनके व्यक्तिगत स्कोर ले सकता है और उन्हें जोड़ सकता है।
परिणाम: पेपर गणितीय रूप से दिखाता है कि यदि आप सभी रिमोट शेफ के स्कोर का औसत निकालते हैं, तो आपको वही सटीक रैंकिंग मिलती है जो तब मिलती जब आपने सभी सामग्रियों को मिलाकर पूरे बर्तन का स्वाद लिया होता।
यह क्यों महत्वपूर्ण है: आपको प्राइवेसी के नियम तोड़ने की आवश्यकता नहीं है। आप बस प्रत्येक क्लाइंट से उनका नंबर मांग सकते हैं, उनका औसत निकाल सकते हैं, और आप निश्चित रूप से जान सकते हैं कि वास्तव में सबसे अच्छा कौन है। पेपर इसे KD-avg (औसत) कहता है जो KD-all (सेंट्रलाइज्ड) के समान है।

2. फ्रेचेट डिस्टेंस (FD): "टूटा हुआ दिशा-सूचक यंत्र" (Broken Compass)

लेखकों ने पाया कि फ्रेचेट डिस्टेंस (AI में उपयोग किया जाने वाला एक बहुत लोकप्रिय मीट्रिक) के लिए, स्थानीय स्कोरकार्ड वाला तरीका विफल हो जाता है।

उपमा: कल्पना कीजिए कि FD एक दिशा-सूचक यंत्र (compass) है जो "उत्तर" की ओर इशारा करता है। यदि हर कोई अलग-अलग जगहों पर खड़ा है (अलग-अलग डेटा डिस्ट्रीब्यूशन), तो उनका स्थानीय "उत्तर" अलग-अलग दिशाओं में इशारा करता है। यदि आप बस उनके कंपास रीडिंग का औसत निकालते हैं, तो आप शायद पहाड़ की चोटी के बजाय एक दलदल की ओर इशारा कर रहे होंगे।
परिणाम: दो शेफ हर एक स्थानीय जज से समान स्कोर प्राप्त कर सकते हैं (क्लाइंट A कहता है कि शेफ X अच्छा है, क्लाइंट B कहता है कि शेफ X अच्छा है, आदि)। हालाँकि, जब आप "ग्रैंड प्राइज" (संयुक्त डेटा) को देखते हैं, तो शेफ X वास्तव में शेफ Y की तुलना में बहुत खराब हो सकता है।
प्रमाण: पेपर एक गणितीय उदाहरण प्रदान करता है जहाँ दो मॉडल सभी क्लाइंट्स से बिल्कुल समान औसत स्कोर प्राप्त करते हैं, लेकिन एक वास्तव में दूसरे से बेहतर होता है जब उन्हें कुल डेटासेट के विरुद्ध परखा जाता है। स्थानीय स्कोर का औसत निकालने से एक गलत रैंकिंग मिलती है।

अन्य मीट्रिक्स: एक मिला-जुला परिणाम

पेपर ने गुणवत्ता को मापने के अन्य तरीकों को भी देखा, जैसे "प्रिसिजन" (भोजन कितना असली दिखता है) और "रिकॉल" (कितने अलग-अलग प्रकार के भोजन बनाए गए)।

रिकॉल: कर्नेल डिस्टेंस की तरह, यहाँ स्थानीय स्कोर का औसत निकालना ठीक काम करता है।
प्रिसिजन, डेंसिटी और कवरेज: फ्रेचेट डिस्टेंस की तरह, ये मीट्रिक्स अविश्वसनीय थे जब आप केवल उनके स्थानीय स्कोर का औसत निकालते हैं। वे आपको गलत विजेता चुनने की ओर ले जा सकते हैं।

व्यावहारिक अनुप्रयोग: प्राइवेसी के साथ कुकिंग

क्योंकि कर्रल डिस्टेंस औसत निकालने के साथ बहुत अच्छी तरह काम करता है, लेखकों ने एक व्यावहारिक उपयोग मामला दिखाया है: डिस्ट्रीब्यूटेड फाइन-ट्यूनिंग (Distributed Fine-Tuning)।

कल्पना कीजिए कि शेफ अपनी स्थानीय सामग्रियों के आधार पर अपनी रेसिपी में सुधार करना चाहते हैं बिना अपनी सामग्री को दूर भेजे।

वे अपनी कुकिंग को गाइड करने के लिए "कर्नेल डिस्टेंस" नियम का उपयोग करते हैं।
सर्वर उन्हें बताता है, "आपका स्थानीय स्कोर X है। यदि आप उस स्कोर को कम करने के लिए अपनी रेसिपी बदलते हैं, तो आप वैश्विक औसत के करीब पहुँच रहे हैं।"
क्योंकि गणित गारंटी देता है कि स्थानीय औसत को कम करने से हमेशा ग्लोबल स्कोर कम होता है, इसलिए शेफ बिना कभी भी अपना निजी डेटा साझा किए सहयोगात्मक रूप से मॉडल को बेहतर बना सकते हैं।

सारांश

समस्या: जब डेटा कई निजी उपकरणों में बिखरा हुआ हो, तो हम AI मॉडल्स को कैसे रैंक करें?
अच्छी खबर: यदि आप कर्नेल डिस्टेंस का उपयोग करते हैं, तो आप बस प्रत्येक डिवाइस के स्कोर का औसत निकाल सकते हैं, और यह आपको वही सटीक रैंकिंग देगा जो तब मिलती जब आपके पास सारा डेटा एक ही स्थान पर होता।
बुरी खबर: यदि आप फ्रेचेट डिस्टेंस (या प्रिसिजन/डेंसिटी) का उपयोग करते हैं, तो स्थानीय स्कोर का औसत निकालना खतरनाक है। यह आपको यह सोचने के लिए धोखा दे सकता है कि एक बुरा मॉडल अच्छा है, या इसके विपरीत।
निष्कर्ष: एक वितरित दुनिया में, सभी मापने के पैमाने एक समान नहीं होते। कुछ (जैसे KD) आपको व्यक्तिगत पेड़ों को देखकर पूरे जंगल को मापने की अनुमति देते हैं; अन्य (जैसे FD) ऐसा करने की कोशिश में भटक जाएंगे।

तकनीकी सारांश: कर्नेल दूरियों के माध्यम से जनरेटिव मॉडल्स की सुसंगत वितरित रैंकिंग

समस्या विवरण

जनरेटिव मॉडल्स (जैसे, GANs, डिफ्यूजन मॉडल्स, VAEs) का मूल्यांकन और रैंकिंग, सर्वश्रेष्ठ प्रदर्शन करने वाले आर्किटेक्चर की पहचान करने के लिए महत्वपूर्ण है। मानक केंद्रीकृत सेटिंग्स में, इसे फ्रेट डिस्टेंस (FD) या कर्नेल डिस्टेंस (KD) जैसे मेट्रिक्स का उपयोग करके एक एकल संदर्भ वितरण (reference distribution) के विरुद्ध जनरेटेड डेटा की तुलना करके प्राप्त किया जाता है। हालांकि, आधुनिक अनुप्रयोग तेजी से वितरित सेटिंग्स (जैसे, फेडरेटेड लर्निंग) में संचालित होते हैं, जहाँ संदर्भ डेटा विषम डेटा वितरण (heterogeneous data distributions) वाले कई क्लाइंट्स के पास होता है।

ऐसे परिदृश्यों में, एक केंद्रीकृत मूल्यांकन (एक एकल "स्कोर-ऑल" मेट्रिक की गणना करने के लिए सभी क्लाइंट डेटा को एकत्रित करना) गोपनीयता संबंधी बाधाओं और संचार लागत के कारण अक्सर अव्यवहार्य होता है। इसके बजाय, अभ्यासकर्ता व्यक्तिगत क्लाइंट स्कोर को एकत्रित करने ("स्कोर-एवरेज") पर भरोसा कर सकते हैं। एक मौलिक प्रश्न उठता है: क्या व्यक्तिगत क्लाइंट स्कोर को एकत्रित करना विभिन्न मूल्यांकन मेट्रिक्स के लिए एक केंद्रीकृत मूल्यांकन के समान मॉडल रैंकिंग प्रदान करता है? यह शोध जांचता है कि क्या विभिन्न मूल्यांकन मेट्रिक्स के तहत अलग-अलग दृष्टिकोणों के बीच जनरेटिव मॉडल्स की रैंकिंग सुसंगत रहती है।

कार्यप्रणाली

लेखक दो प्राथमिक श्रेणियों के डिस्टेंस-आधारित मेट्रिक्स के लिए वितरित रैंकिंग की निरंतरता का विश्लेषण करते हैं: कर्नेल डिस्टेंस (KD) और फ्रेट डिस्टेंस (FD)।

1. सैद्धांतिक ढांचा

अध्ययन $k$ क्लाइंट्स के लिए दो एग्रीगेट स्कोरिंग तंत्रों को परिभाषित करता है जिनकी वितरण $P_{X_1}, \dots, P_{X_k}$ और भार $\lambda_i$ हैं:

स्कोर-ऑल ( $D_{all}$ ): मिश्रण वितरण $\bar{P}_X = \sum \lambda_i P_{X_i}$ और जनरेटिव मॉडल $P_G$ के बीच की दूरी। यह एक आदर्श केंद्रीकृत मूल्यांकन का प्रतिनिधित्व करता है।
स्कोर-एवरेज ( $D_{avg}$ ): व्यक्तिगत क्लाइंट दूरियों का भारित औसत: $\sum \lambda_i D(P_{X_i}, P_G)$ ।
लेखक KD और FD के लिए $D_{all}$ और $D_{avg}$ के बीच सैद्धांतिक संबंधों को व्युत्पन्न करते हैं।

2. कर्नेल डिस्टेंस (KD) विश्लेषण

KD मेट्रिक को एक कर्नेल फंक्शन $k$ का उपयोग करके स्क्वेर्ड मैक्सिमम मीन डिसक्रीपेंसी (MMD) के रूप में परिभाषित किया गया है।

थ्योरम 1: लेखक सिद्ध करते हैं कि किसी भी कर्नेल फंक्शन के लिए जो मानक रिप्रोडसिंग कर्नेल हिल्बर्ट स्पेस (RKHS) की शर्तों को पूरा करता है, औसत KD स्कोर और केंद्रीकृत KD स्कोर के बीच का संबंध है:
$KD_{avg} = KD_{all} + \sum_{i=1}^k \lambda_i KD(\bar{P}_X, P_{X_i})$
निहितार्थ: पद $\sum \lambda_i KD(\bar{P}_X, P_{X_i})$ केवल क्लाइंट डेटा वितरणों पर निर्भर करता है और जनरेटिव मॉडल $P_G$ से स्वतंत्र है। फलस्वरूप, $KD_{avg}$ और $KD_{all}$ सभी मॉडल्स के लिए एक स्थिर ऑफसेट (constant offset) से भिन्न होते हैं। यह गारंटी देता है कि $KD_{avg}$ द्वारा मॉडल्स को रैंक करना, $KD_{all}$ द्वारा रैंकिंग करने के समान ही क्रम प्रदान करता है, चाहे डेटा कितना भी विषम क्यों न हो।

3. फ्रेट डिस्टेंस (FD) विश्लेषण

FD को डेटा वितरणों के गौसियन सन्निकटन (Gaussian approximations) के बीच 2-वॉसरस्टीन दूरी के रूप में परिभाषित किया गया है।

थ्योरम 2: लेखक दिखाते हैं कि जब क्लाइंट माध्य $\mu_i$ विषम होते हैं, तो केंद्रीकृत एकत्रीकरण ( $\bar{C}$ ) के लिए इष्टतम कोवेरिएंस मैट्रिक्स, औसत एकत्रीकरण ( $\tilde{C}$ ) के लिए इष्टतम कोवेरिएंस से भिन्न होता है। विशेष रूप से, $\bar{C}$ में क्लाइंट माध्यों के वेरिएंस को ध्यान में रखने वाला एक पद शामिल है, जबकि $\tilde{C}$ में ऐसा नहीं है।
प्रपोजिशन 1: लेखक सिद्ध करते हैं कि ऐसी स्थितियाँ मौजूद हैं जहाँ दो अलग-अलग जनरेटिव मॉडल्स सभी क्लाइंट्स से समान व्यक्तिगत FD स्कोर (और इस प्रकार समान $FD_{avg}$ ) प्राप्त करते हैं, फिर भी उनके केंद्रीकृत $FD_{all}$ स्कोर काफी भिन्न होते हैं। यह प्रदर्शित करता है कि स्थानीय FD स्कोर का कोई भी एकत्रीकरण रणनीति केंद्रीकृत FD-all मेट्रिक के साथ सुसंगत रैंकिंग की गारंटी नहीं दे सकती।

मुख्य योगदान

समस्या का निरूपण: शोध पत्र विषम डेटा के साथ वितरित सेटिंग्स में जनरेटिव मॉडल्स की रैंकिंग करने के कार्य को औपचारिक रूप से पहचानता और अध्ययन करता है, जो गोपनीयता-संरक्षण स्थानीय मूल्यांकन और केंद्रीकृत ग्राउंड ट्रुथ के बीच के अंतर को उजागर करता है।
KD की निरंतरता: यह प्रमाण देता कि कर्नेल डिस्टेंस (KD) मेट्रिक सुसंगत वितरित रैंकिंग की अनुमति देता है। विशेष रूप से, क्लाइंट KD स्कोर का औसत लेना ( $KD_{avg}$ ) गणितीय रूप से केंद्रीकृत KD स्कोर ( $KD_{all}$ ) के समान है, जो किसी भी कर्नेल फंक्शन के लिए मॉडल ऑर्डरिंग के मामले में सटीक है।
FD की असंगतता: यह प्रदर्शित करता है कि व्यापक रूप से उपयोग किया जाने वाला फ्रेट डिस्टेंस (FD) मेट्रिक वितरित सेटिंग्स में रैंकिंग निरंतरता बनाए रखने में विफल रहता है। पेपर सिद्ध करता है कि स्थानीय FD स्कोर वैश्विक रैंकिंग को पुनः प्राप्त करने के लिए अपर्याप्त हैं, क्योंकि अलग-अलग मॉडल स्थानीय रूप से समान दिख सकते हैं लेकिन वैश्विक स्तर पर भिन्न हो सकते हैं।
प्रायोगिक सत्यापन: लेखक मानक इमेज डेटासेट्स (ImageNet, CIFAR, FFHQ, AFHQ) और विभिन्न जनरेटिव आर्किटेक्चर (BigGAN, StyleGAN, Diffusion models) पर अपने सैद्धांतिक निष्कर्षों को संख्यात्मक प्रयोगों के माध्यम से मान्य करते हैं।

प्रयोगात्मक परिणाम

KD निरंतरता: ImageNet और वितरित StyleGAN ट्रेनिंग पर प्रयोग विभिन्न मॉडल्स और ट्रेनिंग कॉन्फ़िगरेशन में $KD_{avg}$ और $KD_{all}$ के बीच एक स्थिर अंतराल दिखाते हैं। दोनों मेट्रिक्स से प्राप्त रैंकिंग बिल्कुल समान हैं।
FD असंगतता:
- छह सिम्युलेटेड क्लाइंट्स के एक नियंत्रित प्रयोग में, दो जनरेटर्स ( $G_1, G_2$ ) के क्लाइंट-स्तरीय FD स्कोर लगभग समान (अंतर < 1.0) और समान $FD_{avg}$ (195.04 बनाम 195.37) थे। हालांकि, उनके केंद्रीकृत $FD_{all}$ स्कोर नाटकीय रूप से भिन्न थे (100.49 बनाम 190.93)।
- वेरिएंस-सीमित फेडरेटेड डेटासेट्स (जहाँ इंट्रा-क्लाइंट वेरिएंस कम है लेकिन इंटर-क्लाइंट वेरिएंस अधिक है) पर प्रयोगों ने आगे पुष्टि की कि $FD_{avg}$ और $FD_{all}$ विरोधाभासी रैंकिंग दे सकते हैं, जो अक्सर विविधता बनाम फिडेलिटी (diversity vs. fidelity) के ट्रेड-ऑफ के आधार पर अलग-अलग मॉडल्स का पक्ष लेते हैं।
अन्य मेट्रिक्स: अध्ययन नोट करता है कि जबकि रिकॉल (Recall) स्कोर भी निरंतरता बनाए रखते हैं (Recall-all = Recall-avg), प्रिसिजन (Precision), डेंसिटी (Density), और कवरेज (Coverage) जैसे मेट्रिक्स FD के समान रैंकिंग असंगतता प्रदर्शित करते हैं।

महत्व और दावे

शोध पत्र का दावा है कि कर्नेल डिस्टेंस जनरेटिव मॉडल्स के गोपनीयता-संरक्षित वितरित मूल्यांकन के लिए एक अद्वितीय रूप से उपयुक्त मेट्रिक है। क्योंकि $KD_{avg}$ , बिना डेटा साझा किए $KD_{all}$ की रैंकिंग को सुरक्षित रखता है, यह सक्षम बनाता है:

निजी रैंकिंग: क्लाइंट केवल स्केलर स्कोर साझा कर सकते हैं, जिससे एक सर्वर कच्चे डेटा तक पहुँच प्राप्त किए बिना ग्लोबल रेफरेंस डिस्ट्रीब्यूशन के आधार पर मॉडल्स को रैंक कर सकता है।
वितरित अनुकूलन: $KD_{avg}$ और $KD_{all}$ के बीच मोनोटोनिक संबंध वितरित फाइन-ट्यूनिंग (जैसे, MMD लॉस को मिनिमाइज करना) की अनुमति देता है जहाँ स्थानीय ऑब्जेक्टिव ग्लोबल ऑब्जेक्टिव के अनुरूप होता है।

लेखक विनम्रतापूर्वक निष्कर्ष निकालते हैं कि जबकि KD सुसंगत रैंकिंग के लिए एक समाधान प्रदान करता है, अन्य लोकप्रिय मेट्रिक्स जैसे FD इस गुण को साझा नहीं करते हैं, जो वितरित मॉडल चयन के लिए चुनौतियाँ पेश करते हैं। वे सुझाव देते हैं कि भविष्य के कार्य रैंकिंग प्रक्रिया को और अधिक सुरक्षित करने के लिए डिफरेंशियल प्राइवेसी तकनीकों की खोज कर सकते हैं और संचार बाधाओं के तहत रैंकिंग की जांच कर सकते हैं।