FedCGR: Federated Cross-Domain Generative Recommendation
FedCGR एक फेडरेटेड क्रॉस-डोमेन जनरेटिव रिकमेंडेशन फ्रेमवर्क है जो सार्वजनिक मेटाडेटा से प्राप्त डिस्क्रीट सिमेंटिक आईडी के रूप में वस्तुओं को निरूपित करके डेटा गोपनीयता और स्पर्सिटी (विरलता) की बाधाओं को दूर करता है, जिससे एक साझा शब्दावली के माध्यम से क्रॉस-डोमेन अलाइनमेंट सक्षम होता है और साथ ही स्थानीय कोलाबोरेटिव संकेतों को प्रभावी ढंग से एकीकृत करने और नेगेटिव ट्रांसफर को कम करने के लिए रिलायबिलिटी-अवेयर इंटरफेस और प्रोटोटाइप-पर्सनलाइज्ड एग्रीगेशन का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट सिफारिश इंजन (recommendation engine) बनाने की कोशिश कर रहे हैं, जैसे कि वह जो आपकी अगली पसंदीदा फिल्म या गाना सुझाता है। आमतौर पर, इन इंजनों को यह सीखने के लिए कि आपकी पसंद क्या है, आपके द्वारा क्लिक किए गए हर एक चीज़ को देखने की आवश्यकता होती है। लेकिन वास्तविक दुनिया में, आपका डेटा विभिन्न ऐप्स और कंपनियों में बिखरा हुआ है, और गोपनीयता कानून (साथ ही सामान्य समझ) यह सुनिश्चित करते हैं कि कोई भी किसी अजनबी के साथ आपका व्यक्तिगत इतिहास साझा न कर सके। यह एक पहेली पैदा करता है: आप एक सिस्टम को यह कैसे सिखाएं कि जो व्यक्ति "तीखा भोजन" पसंद करता है, वह "तीखा संगीत" भी पसंद कर सकता है, बिना उनकी निजी सूचियों को देखे?
यह फेडरेटेड लर्निंग (डेटा साझा किए बिना मिलकर मॉडल को प्रशिक्षित करना) और क्रॉस-डोमेन रिकमेंडेशन (एक क्षेत्र के ज्ञान का उपयोग दूसरे क्षेत्र में मदद के लिए करना) की चुनौती है। यह पेपर एक विशिष्ट, कठिन संस्करण को संबोधित करता है: क्या होगा यदि हर डोमेन में वस्तुओं को वर्णित करने के लिए कंप्यूटर द्वारा उपयोग की जाने वाली "भाषा" अलग हो? यह एक फ्रांसीसी शेफ से जापानी शेफ को रेसिपी अनुवादित करने जैसा है जब वे "नमक" या "गर्मी" के लिए पूरी तरह से अलग शब्दों का उपयोग करते हैं। लेखक इसे एक साझा, स्थिर शब्दकोश बनाकर हल करने का एक नया तरीका प्रस्तावित करते हैं, जिस पर सभी सहमत हों, जबकि प्रत्येक शेफ को अपनी गुप्त पारिवारिक रेसिपी निजी रखने देते हैं।
समस्या: "अनुवाद में खो जाने" की दुविधा
रिकमेंशन सिस्टम की दुनिया में, कंप्यूटर अक्सर उपयोगकर्ता के व्यवहार में पैटर्न देखकर सीखने की कोशिश करते हैं। लेकिन जब आप इस लर्निंग को अलग-अलग कंपनियों (फेडरेटेड लर्निंग) में विभाजित करते हैं, तो चीजें गड़बड़ा जाती हैं। आमतौर पर, दो अलग-अलग दुनियाओं (जैसे "किराना" और "खेल") को जोड़ने के लिए, सिस्टम को दोनों में खरीदारी करने वाले उपयोगकर्ताओं जैसे साझा आधार को खोजने की आवश्यकता होती है। लेकिन गोपनीयता-केंद्रित सेटिंग में, ऐसे ओवरलैपिंग उपयोगकर्ता दुर्लभ या छिपे हुए होते हैं।
इसे ठीक करने के पिछले प्रयासों ने अक्सर कंप्यूटरों को अपने आंतरिक "विचारों" (एम्बेडिंग्स) को संरेखित करने के लिए मजबूर किया। लेकिन लेखक तर्क देते हैं कि यह दो अलग-अलग मानचित्रों को तब तक घूरने जैसा है जब तक कि वे समान न दिखने लगें—यह नाजुक है और अक्सर भ्रम पैदा करता है। यदि "मानचित्र" थोड़े अलग हैं, तो सिफारिशें खराब हो जाती हैं।
समाधान: एक साझा "गुप्त कोड"
लेखक, झुआोडोंग लियू और उनकी टीम, FedCGR (फेडरेटेड क्रॉस-डोमेन जेनेरेटिव रिकमेंडेशन) पेश करते हैं। उनका बड़ा विचार अव्यवस्थित, निजी विचारों को संरेखित करने के बजाय पहले एक साझा, स्थिर भाषा पर सहमत होना है।
कल्पना कीजिए कि दुनिया के हर उत्पाद (एक टोस्टर, एक रनिंग शू, कॉफी का एक बैग) को अक्षरों से बना एक अद्वितीय, छोटा कोड दिया जाता है, जैसे कि बारकोड। यह कोड वस्तु के सार्वजनिक विवरण (उसका शीर्षक, श्रेणी और विशेषताएं) के आधार पर उत्पन्न किया जाता है, न कि इस पर कि किसने उसे खरीदा है। इसे सिमेंटिक आईडी (SID) कहा जाता है।
- जादू: क्योंकि कोड सार्वजनिक टेक्स्ट पर आधारित है, इसलिए किराना स्टोर का "टोस्टर" और किचन स्टोर का "टोस्टर" बिल्कुल एक ही कोड प्राप्त करेंगे। यह एक सार्वभौमिक शब्दकोश बनाता है जिस पर हर कोई सहमत है, बिना किसी को अपनी निजी खरीदारी सूची साझा किए।
FedCGR कैसे काम करता है: "विश्वास करें लेकिन सत्यापित करें" प्रणाली
अब जब हर कोई एक ही कोड भाषा बोलता है, तो टीम को दो नई समस्याओं को हल करना था:
- "स्थिर शब्दकोश" की समस्या: चूंकि शब्दकोश (कोड) निरंतर रहने के लिए स्थिर है, इसलिए सिस्टम स्वयं से नए "सूक्ष्म अंतर" नहीं सीख सकता। इसे स्थानीय स्वाद जोड़ने का एक तरीका चाहिए।
- "खराब अनुवाद" की समस्या: यदि आप सभी के प्रशिक्षण डेटा को आँख बंद करके मिला देते हैं (जिसे FedAvg नामक एक मानक विधि कहा जाता है), तो डोमेन के बीच के अंतर (जैसे "खेल" बनाम "सौंदर्य") मॉडल को भ्रमित कर सकते हैं, जिससे यह अकेले सीखने की तुलना में बदतर हो जाता है। इसे नेगेटिव ट्रांसफर कहा जाता है।
FedCGR इन दोनों को दो चतुर तरीकों से हल करता है:
1. "विश्वसनीयता-जागरूक" इंजेक्शन (Reliability-Aware Injection)
वस्तु के निश्चित SID कोड को वस्तु के कंकाल के रूप में सोचें। लेकिन एक कंकाल यह नहीं बताता कि उपयोगकर्ता वास्तव में उस वस्तु को पसंद करता है या नहीं। इसमें "मांस" जोड़ने के लिए, प्रत्येक स्थानीय कंप्यूटर (क्लाइंट) अपने स्वयं के निजी डेटा के आधार पर एक छोटा संकेत जोड़ता है।
- हालांकि, सभी संकेत अच्छे नहीं होते। यदि कोई वस्तु बहुत लोकप्रिय है, तो संकेत मजबूत होता है। यदि वह एक अजीब, कम खरीदी जाने वाली वस्तु है, तो संकेत शोर (noisy) हो सकता है।
- FedCGR एक कॉन्फिडेंस गेट का उपयोग करता है। यह पूछता है, "क्या यह स्थानीय संकेत भरोसेमंद है?" यदि वस्तु स्थानीय रूप से लोकप्रिय है, तो संकेत को अंदर आने दिया जाता है। यदि यह अस्पष्ट है, तो संकेत को धीमा कर दिया जाता है। यह सुनिश्चित करता है कि सिस्टम केवल तभी स्थानीय डेटा का उपयोग करे जब वह विश्वसनीय हो, जिससे "शोर" को साझा मॉडल को खराब करने से रोका जा सके।
2. "व्यक्तिगत टीम" (प्रोटोटाइप एग्रीगेशन)
सभी डोमेन को एक एकल "औसत" मॉडल पर सहमत होने के लिए मजबूर करने के बजाय, FedCGR एक स्मार्ट टीम लीडर की तरह कार्य करता है।
- यह प्रत्येक डोमेन के "व्यक्तित्व" (एक गणितीय सारांश जिसे प्रोटोटाइप कहा जाता) को देखता है।
- यदि "किराना" डोमेन "किचन" डोमेन के बहुत समान है, तो सिस्टम उनके ज्ञान को भारी मात्रा में मिलाता है।
- यदि "किराना" "खेल" से बहुत अलग है, तो सिस्टम उनके ज्ञान को अलग रखता है और केवल उन हिस्सों को साझा करता है जो वास्तव में सार्वभौमिक हैं।
- यह एक अध्ययन समूह की तरह है जहाँ समान विषयों (जीव विज्ञान और रसायन विज्ञान) के छात्र गहराई से नोट्स साझा करते हैं, जबकि कला इतिहास का छात्र केवल सामान्य अध्ययन सुझाव साझा करता है, जिससे उसका विशिष्ट कला ज्ञान निजी रहता है।
उन्होंने क्या पाया
टीम ने वास्तविक अमेज़न डेटा (फूड, किचन, ब्यूटी, स्पोर्ट्स और ग्रोसरी जैसे डोमेन को मिलाकर) का उपयोग करके छह अलग-अलग परिदृश्यों में FedCGR का परीक्षण किया।
- यह बेहतर काम करता है: FedCGR ने लगातार अन्य फेडरेटेड विधियों को पछाड़ दिया। सबसे अराजक, मिश्रित परिदृश्यों में (जहाँ डोमेन बहुत अलग थे), इसने मानक तरीकों की तुलना में सिफारिश सटीकता में लगभग 20% का सुधार किया।
- यह कोल्ड स्टार्ट को संभालता है: बहुत कम इतिहास वाले नए उपयोगकर्ताओं के लिए ("कोल्ड स्टार्ट" समस्या), साझा SID भाषा ने एक ठोस आधार प्रदान किया, जिससे सिस्टम को बहुत अधिक डेटा के बिना भी अच्छे अनुमान लगाने में मदद मिली।
- ट्रेड-ऑफ (समझौता): सिस्टम को थोड़ा अधिक संचार (प्रति राउंड लगभग 18% अधिक डेटा भेजा जाता है) की आवश्यकता होती है क्योंकि यह इन व्यक्तिगत सारांशों को भेजता है। हालांकि, क्योंकि यह तेजी से सीखता है और गलतियों से बचता है, यह वास्तव में कुल मिलाकर कम कुल संचार के साथ लक्ष्य तक पहुँच जाता है।
निष्कर्ष
FedCGR दिखाता है कि आपको स्मार्ट सिफारिशें पाने के लिए गोपनीयता का त्याग करने की आवश्यकता नहीं है। वस्तुओं के लिए एक स्थिर, सार्वजनिक "कोड" पर सहमत होकर और फिर स्थानीय ज्ञान को केवल तभी मिलाने से जब वह भरोसेमंद हो, आप एक ऐसा सिस्टम बना सकते हैं जो बिना किसी को अपने रहस्य बताए सभी से सीख सकता है। यह एक अव्यवस्थित, गोपनीयता-भारी समस्या को एक स्वच्छ, सहयोगात्मक खेल में बदल देता है जहाँ हर कोई एक ही भाषा बोलता है लेकिन अपने रहस्य सुरक्षित रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।