HOMEOSTASIS: Closed-Loop Cryptographic Provenance and Homeostatic Control for Detecting and Mitigating Generative Model Collapse
यह शोध पत्र HOMEOSTASIS को प्रस्तुत करता है, जो एक क्लोज्ड-लूप फ्रेमवर्क है जो जनरेटिव मॉडल कोलैप्स (generative model collapse) का पता लगाने और उसे कम करने के लिए क्रिप्टोग्राफिक प्रोवेनेंस (cryptographic provenance) को होमियोस्टैटिक नियंत्रण तंत्रों के साथ एकीकृत करता है, जो वास्तविक समय की निगरानी और अनुकूली डेटा मिश्रण (adaptive data mixing) के माध्यम से वितरण विविधता (distributional diversity) को बनाए रखने में महत्वपूर्ण सुधार प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के आधुनिक युग में, जेनेरेटिव मॉडल नामक शक्तिशाली कंप्यूटर प्रोग्राम टेक्स्ट, इमेज और कोड की विशाल मात्रा बनाने के लिए जिम्मेदार हैं। वर्षों तक, इन प्रणालियों ने खुले इंटरनेट पर पाए जाने वाले अव्यवस्थित, विविध और प्रामाणिक डेटा का अध्ययन करके सीखा, जिसने मानवीय रचनात्मकता के एक प्रॉक्सी (प्रतिनिधि) के रूप में कार्य किया। हालाँकि, जैसे-जैसे ये मॉडल अधिक प्रभावी होते जा रहे हैं, एक नई और सूक्ष्म समस्या उभर रही है। क्योंकि इंटरनेट अब इन्हीं मशीनों द्वारा निर्मित सामग्री से भर गया है, इसलिए भविष्य के मॉडल अपने पूर्ववर्तियों के आउटपुट पर प्रशिक्षित हो रहे हैं। यह एक पुनरावृत्ति लूप (recursive loop) बनाता है जहाँ मशीन अपने ही काम से सीखती है। समय के साथ, यह प्रक्रिया मॉडल को मूल मानवीय डेटा से संपर्क खोने के लिए मजबूर करती है, जिससे उसकी समझ संकुचित हो जाती है और उस जानकारी के दुर्लभ, असामान्य या "पूंछ" (tail) वाले सिरों को मिटा देती है जिसे वह कभी जानती थी। 'मॉडल कोलैप्स' (model collapse) के रूप में जानी जाने वाली यह घटना, भविष्य की आर्टिफिशियल इंटेलिजेंस की गुणवत्ता और विविधता को कम करने के लिए खतरा पैदा करती है, जिससे एक समृद्ध, विविध दुनिया एक सपाट, दोहराव वाली गूँज में बदल जाती है।
इस आसन्न समस्या को संबोधित करने के लिए, यूनिवर्सिटी ऑफ लिबरल आर्ट्स बांग्लादेश के एक शोधकर्ता ने HOMEOSTASIS नामक एक प्रणाली प्रस्तावित की है। इसका नाम जीव विज्ञान से लिया गया है, जो इस बात को संदर्भित करता है कि कैसे जीवित जीव बाहरी परिवर्तनों के बावजूद अपने आंतरिक वातावरण को स्थिर बनाए रखते हैं। इस संदर्भ में, यह प्रणाली आर्टिफिशियल इंटेलिजेंस प्रशिक्षण के लिए एक स्व-नियामक तंत्र के रूप में कार्य करती है। यह दो अलग-अलग विचारों को जोड़ती है जो पहले अलग-अलग विकसित किए गए थे: डिजिटल सामग्री के मूल का पता लगाने की क्षमता और सीखने वाले मॉडल की स्थिरता को नियंत्रित करने की क्षमता। मुख्य विचार यह है कि प्रशिक्षण प्रक्रिया को एक जीवित प्रणाली की तरह माना जाए जिसे निरंतर निगरानी की आवश्यकता होती है। यदि सिस्टम यह पता लगाता है कि मॉडल स्वस्थ मानव-समान पैटर्न से दूर जा रहा है, तो यह स्वचालित रूप से उपयोग किए जाने वाले डेटा के मिश्रण को समायोजित करता है, यह सुनिश्चित करता है कि ताज़ा, सत्यापित मानवीय जानकारी सीखने का आधार बनी रहे।
यह ढांचा संवेदन और क्रिया के एक बंद लूप (closed loop) के माध्यम से संचालित होता है। सबसे पहले, मॉडल द्वारा उत्पन्न प्रत्येक सामग्री पर एक क्रिप्टोग्राफिक सिग्नेचर और एक सांख्यिकीय वॉटरमार्क लगाया जाता है, जो एक डिजिटल सील बनाता है जो इसे एक स्थायी, अपरिवर्तनीय रिकॉर्ड से जोड़ता है। यह सिस्टम को अनकवर किए गए संदूषण की लागत बढ़ाने और सामग्री की वंशावली का ऑडिट योग्य प्रमाण प्रदान करने की अनुमति देता है, हालांकि यह इस बारे में पूर्ण क्रिप्टोग्राफिक निश्चितता नहीं देता है कि कोई विशिष्ट डेटा मानव-निर्मित है या मशीन-निर्मित। दूसरा, सिस्टम मॉडल के "वाइटल साइन्स" (महत्वपूर्ण संकेतों) की निरंतर निगरानी करता है। इन संकेतों में शामिल हैं कि मॉडल भविष्यवाणियां करते समय कितना अनिश्चित है, उसका आत्मविश्वास वास्तविकता से कितनी अच्छी तरह मेल खाता है, और उसकी आंतरिक समझ मूल मानवीय डेटा से कितनी विचलित हुई है। इन मापों को एक कंट्रोलर में फीड किया जाता है जो एक थर्मोस्टेट की तरह कार्य करता है। यदि वाइटल साइन्स संकेत देते हैं कि मॉडल अस्थिर हो रहा है या अपनी विविधता खो रहा है, तो कंट्रोलर स्वचालित रूप से हस्तक्षेप करता है। यह अगले दौर के प्रशिक्षण के लिए उपयोग किए जा रहे डेटा के अनुपात को समायोजित करता है, सत्यापित मानवीय डेटा की मात्रा बढ़ाता है और सिंथेटिक, मशीन-जनित सामग्री पर निर्भरता कम करता है। कुछ मामलों में, यह संदिग्ध सिंथेटिक नमूनों को भी क्वारंटाइन (पृथक) या हटा सकता है जो मूल जांच में विफल रहते हैं।
यह दृष्टिकोण काम करता है या नहीं, इसका परीक्षण करने के लिए, शोधकर्ता ने एक संदर्भ कार्यान्वयन बनाया और एक सरलीकृत गणितीय मॉडल का उपयोग करके सिमुलेशन की एक श्रृंखला चलाई। प्रयोग ने बिना किसी हस्तक्षेप के एक मानक प्रशिक्षण प्रक्रिया की तुलना HOMEOSTASIS प्रणाली के कई संस्करणों से की। परिणाम उस सिस्टम के लिए चौंकाने वाले थे जिसने स्वचालित कंट्रोलर का उपयोग किया था। बिना किसी हस्तक्षेप के, बीस पीढ़ियों के दौरान मॉडल के कोलैप्स होने का जोखिम काफी बढ़ गया, और इसने डेटा वितरण के दुर्लभ, बाहरी किनारों का प्रतिनिधित्व करने की अपनी क्षमता का लगभग एक-तिहाई हिस्सा खो दिया। इसके विपरीत, होमियोस्टैटिक कंट्रोलर वाले सिस्टम ने जोखिम को कम रखा और उस महत्वपूर्ण विविधता को लगभग पूरी तरह से संरक्षित रखा। कंट्रोलर ने गिरावट के शुरुआती संकेतों का सफलतापूर्वक पता लगाया और नुकसान अंतिम आउटपुट में दिखाई देने से पहले ही डेटा मिश्रण को ठीक कर दिया।
हालाँकि, अध्ययन ने सामग्री के मूल (provenance), या सामग्री के उद्गम को ट्रैक करने की भूमिका के संबंध में एक आश्चर्यजनक सीमा को भी प्रकट किया। शोधकर्ताओं ने परिकल्पना की थी कि यह जानना कि कौन से हिस्से सिंथेटिक हैं, उन्हें और भी प्रभावी बना सकेगा, शायद खराब डेटा को सर्जिकल तरीके से हटाने के माध्यम से। फिर भी, प्रयोगों ने दिखाया कि इस प्रकार के प्रोवेनेंस-आधारित क्वारंटाइन को जोड़ने से अकेले कंट्रोलर की तुलना में कोई पता लगाने योग्य लाभ नहीं हुआ। इसका कारण यह था कि कंट्रोलर अपने काम में इतना प्रभावी था कि उसने प्रशिक्षण सेट में मानवीय डेटा के अनुपात को तेजी से बढ़ाकर लगभग सौ प्रतिशत कर दिया। एक बार जब सिस्टम लगभग पूरी तरह से मानवीय डेटा का उपयोग करने लगा, तो क्वारंटाइन करने के लिए बहुत कम सिंथेटिक सामग्री बची थी, जिससे अतिरिक्त ट्रैकिंग चरण अनावश्यक हो गया। यह सुझाव देता है कि डेटा के स्रोत को ट्रैक करना मूल्यवान है, लेकिन कोलैप्स के खिलाफ प्राथमिक रक्षा स्वयं डेटा मिश्रण का सक्रिय, स्वचालित समायोजन है।
निष्कर्षों के साथ महत्वपूर्ण चेतावनियाँ भी आती हैं। परीक्षण वास्तविक दुनिया में उपयोग किए जाने वाले जटिल भाषा या इमेज जनरेटर के बजाय एक सरलीकृत गणितीय मॉडल पर किए गए थे। सिमुलेशन ने यह मान लिया कि मानवीय डेटा अनिश्चित मात्रा में उपलब्ध है, जो व्यवहार में हमेशा संभव नहीं होता है। इसके अलावा, सिस्टम का परीक्षण एक ऐसे परिदृश्य के विरुद्ध किया गया था जहाँ सिंथेटिक डेटा को बस मिला दिया गया था, न कि किसी ऐसे परिष्कृत विरोधी के विरुद्ध जो सिस्टम को धोखा देने की कोशिश कर रहा हो। इसके बावजूद, अध्ययन यह प्रदर्शित करता है कि एक फीडबैक लूप, जो लगातार मॉडल के स्वास्थ्य की निगरानी करता है और उसके डेटा के आहार को समायोजित करता है, आर्टिफिशियल इंटेलिजेंस के क्षरण को रोक सकता है। यह एक व्यावहारिक मार्ग प्रदान करता है जहाँ सिंथेटिक सामग्री बनाने वाले उपकरण स्वयं अपने उपयोग को विनियमित करने के लिए भी उपयोग किए जा सकते हैं, यह सुनिश्चित करते हुए कि भविष्य के मॉडल मानवीय अनुभव की समृद्धि से जुड़े रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।