Trustworthy Cross-Organizational Federated Fine-Tuning of Large Language Models via Blockchain Certification and Resilient Object Storage

आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, सबसे शक्तिशाली उपकरण लार्ज लैंग्वेज मॉडल्स (large language models) हैं, जो मानव के समान टेक्स्ट को समझने और उत्पन्न करने में सक्षम सिस्टम हैं। इन मॉडल्स को विशाल मात्रा में डेटा पर प्रशिक्षित किया जाता है, लेकिन वह डेटा अक्सर निजी साइलो (private silos) में बंद रहता है। अस्पताल संवेदनशील रोगी रिकॉर्ड रखते हैं, बैंक वित्तीय इतिहास की रक्षा करते हैं, और सरकारें नागरिकों की जानकारी सुरक्षित रखती हैं। सख्त गोपनीयता कानूनों और सुरक्षा चिंताओं के कारण, ये संगठन एक बेहतर, साझा इंटेलिजेंस को प्रशिक्षित करने के लिए अपने डेटा को सीधे साझा नहीं कर सकते। यह एक दुविधा पैदा करता है: संस्थान अपनी निजी जानकारी को प्रकट किए बिना इन शक्तिशाली उपकरणों को बेहतर बनाने के लिए कैसे सहयोग कर सकते हैं? इसका उत्तर 'फेडरेटेड लर्निंग' (federated learning) नामक एक विधि में निहित है। डेटा को केंद्रीय कंप्यूटर तक ले जाने के बजाय, कंप्यूटर मॉडल डेटा के पास जाता है। प्रत्येक संगठन अपने स्थानीय डेटा पर मॉडल को प्रशिक्षित करता है और केवल छोटे, अपडेटेड गणितीय समायोजन (mathematical adjustments) वापस एक केंद्रीय समन्वयक (central coordinator) को भेजता है। यह कच्चे डेटा को सुरक्षित रखता है, लेकिन यह एक नई समस्या पेश करता है: आप जो अपडेट प्राप्त कर रहे हैं, उस पर भरोसा कैसे करें? यदि कोई संगठन दूषित या फर्जी अपडेट भेजता है, या यदि ट्रांजिट के दौरान कोई फ़ाइल चोरी होकर बदल दी जाती है, तो पूरा साझा मॉडल खतरे में पड़ सकता है। इसके अलावा, इन विशाल अपडेट्स को संग्रहीत करना कठिन है; वे सार्वजनिक लेजर (public ledger) पर रखने के लिए बहुत बड़े हैं, फिर भी उन्हें यह साबित करने के लिए कि वे वास्तविक हैं, एक स्थायी, अपरिवलाशील रिकॉर्ड की आवश्यकता होती है।

शोधकर्ताओं ने इस विश्वास और भंडारण की पहेली को हल करने के लिए एक नया ढांचा विकसित किया है, जो दो अलग-अलग तकनीकों को मिलाकर क्रॉस-ऑर्गनाइजेशनल सहयोग के लिए एक सुरक्षित प्रणाली बनाता है। शियाओली ली और सहयोगियों के नेतृत्व में हुबेई यूनिवर्सिटी ऑफ आर्ट्स एंड साइंस की टीम ने एक ऐसा सिस्टम डिजाइन किया है जो काम को दो भागों में विभाजित करता है: एक विश्वसनीय प्रमाण पत्र (trusted certificate) और एक सुरक्षित भंडारण कक्ष (secure storage vault)। वे एक कंसोर्टियम ब्लॉकचेन (consortium blockchain) का उपयोग करते हैं, जो ज्ञात, भरोसेमंद संगठनों के एक समूह द्वारा बनाए रखा गया एक साझा डिजिटल लेजर है, जो प्रमाण पत्र के रूप में कार्य करता है। हालाँकि, इस लेजर पर सीधे विशाल मॉडल फ़ाइलों को लिखने के बजाय—जो धीमा, महंगा और बड़े डेटा के लिए तकनीकी रूप से असंभव होगा—वे फ़ाइल के केवल एक छोटे, अद्वितीय फिंगरप्रिंट को लिखते हैं। यह फिंगरप्रिंट, जिसे क्रिप्टोग्राफिक हैश (cryptographic hash) कहा जाता है, प्रामाणिकता की एक सील के रूप में कार्य करता है। यदि मॉडल फ़ाइल का एक बिट भी बदलता है, तो फिंगरप्रिंट पूरी तरह से बदल जाता है, जिससे सभी को पता चल जाता है कि फ़ाइल के साथ छेड़छाड़ की गई है। वास्तविक मॉडल डेटा, जो कई मेगाबाइट का हो सकता है, एक लचीले, वितरित स्टोरेज सिस्टम (distributed storage system) में ब्लॉकचेन के बाहर (off-the-blockchain) संग्रहीत किया जाता है। यह अलगाव सिस्टम को लेजर को छोटा और तेज़ बनाए रखने की अनुमति देता है जबकि यह सुनिश्चित करता है कि भारी डेटा सुलभ और सुरक्षित रहे।

इस ऑफ-चेन स्टोरेज को मजबूत बनाने के लिए, शोधकर्ताओं ने मॉडल फ़ाइल को स्टोरेज में भेजने से पहले उसके छोटे टुकड़ों, या 'शार्ड्स' (shards) में तोड़ दिया। कल्पना कीजिए कि एक बड़े दस्तावेज़ को कई पृष्ठों में काट दिया गया है; यदि एक पृष्ठ खो जाता है या क्षतिग्रस्त हो जाता है, तो भी पूरे दस्तावेज़ को पुनः प्राप्त करने के लिए अन्य पृष्ठों का उपयोग किया जा सकता है। इन शार्ड्स को एन्क्रिप्ट किया गया है ताकि केवल अधिकृत पक्ष ही उन्हें पढ़ सकें, और उनकी प्रतियां कई स्वतंत्र स्थानों पर रखी गई हैं। सिस्टम को इस तरह से डिज़ाइन किया गया है कि यदि एक स्टोरेज नोड विफल हो जाता है, या यदि पावर आउटेज या नेटवर्क समस्या के कारण नोड्स का एक पूरा समूह भी डाउन हो जाता है, तो विभिन्न स्थानों पर मौजूद अन्य प्रतियां यह सुनिश्चित करती हैं कि फ़ाइल कभी न खोए। जब कोई संगठन मॉडल अपडेट को पुनः प्राप्त करना चाहता है, तो सिस्टम फ़ाइल की पहचान की पुष्टि करने के लिए पहले ब्लॉकचेन की जांच करता है और फिर स्टोरेज नेटवर्क से शार्ड्स प्राप्त करता है। प्राप्तकर्ता फिर यह सत्यापित कर सकता है कि टुकड़े ब्लॉकचेन पर दर्ज मूल फिंगरप्रिंट से मेल खाते हैं। इस प्रक्रिया में ऑफलाइन चेक भी शामिल हैं, जहाँ फ़ाइल को इंटरनेट कनेक्शन की आवश्यकता के बिना सत्यापित किया जाता है, और ऑनलाइन चेक भी, जो पुष्टि करते हैं कि फ़ाइल अभी भी वैध है और इसे रद्द नहीं किया गया है।

टीम ने इस ढांचे का परीक्षण एक विशिष्ट प्रकार के कुशल मॉडल अपडेट का उपयोग करके किया जिसे LoRA कहा जाता है, जो एक बड़े लैंग्वेज मॉडल के केवल एक छोटे हिस्से को समायोजित करता है। उन्होंने दस सहभागी संगठनों के साथ प्रयोग चलाए, जो एक वास्तविक दुनिया के परिदृश्य का अनुकरण करते हैं जहाँ डेटा असमान रूप से वितरित होता है। उन्होंने यह देखने के लिए विभिन्न स्तरों के मॉडल एडजस्टमेंट का परीक्षण किया कि किसने सर्वोत्तम परिणाम दिए। प्रयोगों ने दिखाया कि एक विशिष्ट कॉन्फ़िगरेशन, जहाँ मॉडल को आठ के रैंक (rank of eight) के साथ समायोजित किया गया था, अनदेखे कार्यों (unseen tasks) पर उच्चतम प्रदर्शन स्कोर प्राप्त करने में सफल रहा, जो दस-पॉइंट स्केल पर 4.40 का स्कोर था। इस कॉन्फ़िगरेशन ने अन्य सेटिंग्स को पछाड़ दिया, जिससे पता चलता है कि इसने इस प्रकार के सहयोगात्मक प्रशिक्षण के लिए सबसे अच्छा संतुलन प्रदान किया। इससे भी महत्वपूर्ण बात यह है कि अध्ययन ने पारंपरिक दृष्टिकोणों के मुकाबले उनके नए स्टोरेज मेथड की लागत और गति को मापा। उन्होंने पाया कि ब्लॉकचेन पर केवल छोटे मेटाडेटा को स्टोर करने से, पूर्ण 8.8 मेगाबाइट फ़ाइल को सीधे चेन पर स्टोर करने के प्रयास की तुलना में, कम्प्यूटेशनल लागत (जिसे गैस कंजम्पशन कहा जाता है) में 10,000 गुना से अधिक की कमी आई। हालांकि पूर्ण फ़ाइल को ऑफ-चेन स्टोर किया गया था, सिस्टम ने फ़ाइल शार्ड्स को एक-एक करके अपलोड करने के बजाय समानांतर (in parallel) में अपलोड करके स्टोरेज प्रक्रिया को लगभग 30 प्रतिशत तक तेज कर दिया।

परिणाम यह प्रदर्शित करते हैं कि किसी फ़ाइल की पहचान के प्रमाण को स्वयं फ़ाइल से अलग करना सहयोगात्मक आर्टिफिशियल इंटेलिजेंस के भविष्य के लिए एक व्यावहारिक समाधान है। भारी डेटा को ब्लॉकचेन से बाहर रखकर और वास्तविक फ़ाइलों के लिए एक सुरक्षित, शार्डेड स्टोरेज सिस्टम का उपयोग करके, शोधकर्ताओं ने एक ऐसा वर्कफ़्लो बनाया है जो भरोसेमंद और कुशल दोनों है। सिस्टम यह सुनिश्चित करता है कि प्रत्येक मॉडल अपडेट को उसके स्रोत तक ट्रैक किया जा सके और इसकी अखंडता को सत्यापित किया जा सके, बिना नेटवर्क को जाम किए या निजी डेटा को उजागर किए। हालांकि स्टोरेज और सत्यापन के एक पूर्ण चक्र को पूरा करने का कुल समय शार्डिंग और चेकिंग के अतिरिक्त चरणों के कारण थोड़ा लंबा था, लेकिन लागत में भारी कमी और विश्वसनीयता में वृद्धि इस दृष्टिकोण को वास्तविक दुनिया के उपयोग के लिए व्यवहार्य बनाती है। यह कार्य सुझाव देता है कि जैसे-जैसे संगठन आर्टिफिशियल इंटेलिजेंस पर सहयोग करने के लिए अधिक इच्छुक होंगे, वे सुरक्षा या गोपनीयता से समझौता किए बिना ऐसा कर सकते हैं, बशर्ते उनके पास एक ऐसा सिस्टम हो जो डेटा की सच्चाई को सत्यापित कर सके बिना उसे एक ही स्थान पर रखने की आवश्यकता के। यह ढांचा एक ऐसा मार्ग प्रदान करता है जहाँ संस्थान मिलकर बेहतर मॉडल बना सकते हैं, इस विश्वास के साथ कि योगदान वास्तविक हैं और डेटा सुरक्षित है।