J-space Forecasts Model Collapse, but Only Anchoring the Function Prevents It
चूंकि सिंथेटिक डेटा पर पुनरावर्ती प्रशिक्षण मॉडल कोलिप्स (model collapse) का कारण बनता है जो J-स्पेस प्रतिनिधित्व उप-स्थान (J-space representation subspace) में एक वैश्विक विचलन के रूप में प्रकट होता है, अध्ययन यह पाता है कि इस ज्यामिति को स्थिर करना अप्रभावी है, जबकि वास्तविक अनुक्रमों की एक छोटी संख्या का उपयोग करके मॉडल के इनपुट-आउटपुट फंक्शन को कोलिप्स-पूर्व अवस्था से बांधना (anchoring) लगभग सभी क्षति को सफलतापूर्वक रोकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा मॉडल के रूप में जानी जाने वाली कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ तेजी से आम होती जा रही हैं, जो कहानियाँ लिखने, प्रश्नों के उत्तर देने और मानवीय बातचीत की नकल करने में सक्षम हैं। ये प्रणालियाँ इंटरनेट और पुस्तकों से बड़ी मात्रा में टेक्स्ट पढ़कर सीखती हैं। हालाँकि, एक परेशान करने वाली घटना सामने आई है: यदि इन मॉडलों को उस टेक्स्ट पर प्रशिक्षित किया जाता है जो उन्होंने स्वयं लिखा है, तो वे खराब होने लगते हैं। इस प्रक्रिया को 'मॉडल कोलैप्स' (model collapse) कहा जाता है, जिससे मॉडल मानवीय भाषा की पूरी सीमा को समझने की अपनी क्षमता खो देता है। विविध और सूक्ष्म प्रतिक्रियाएं उत्पन्न करने के बजाय, मॉडल खुद को दोहराने लगता है, केवल सबसे सामान्य वाक्यांशों पर ध्यान केंद्रित करता है और अंततः उन दुर्लभ और जटिल विचारों को भूल जाता है जो भाषा को समृद्ध बनाते हैं। यह खतरा वास्तविक है क्योंकि जैसे-जैसे इंटरनेट पर अधिक सामग्री AI द्वारा उत्पन्न की जा रही है, भविष्य के मॉडल अनजाने में इस घटिया आउटपुट से सीख सकते हैं, जिससे एक ऐसा फीडबैक लूप बन सकता है जहाँ बुद्धिमत्ता धीरे-धीरे क्षीण होती जाती है।
वर्षों से, वैज्ञानिक मॉडलों के अंतिम आउटपुट को देखकर इस पतन को देखते आए हैं, यह देखते हुए कि टेक्स्ट की गुणवत्ता कैसे बिगड़ती है। लेकिन स्वतंत्र शोधकर्ता चैवीओ सन (ChaeWoo Son) द्वारा किए गए एक नए अध्ययन ने एक गहरा प्रश्न पूछा है: मशीन के अंदर ठीक कहाँ नुकसान हो रहा है? क्या चोट मॉडल के विचारों को प्रस्तुत करने के तरीके में लग रही है, या यह इस बात में हो रही है कि वह आगे क्या कहेगा, इसका निर्णय कैसे लेता है? यह पता लगाने के लिए, शोधकर्ता ने एक छोटे भाषा मॉडल का उपयोग करके एक नियंत्रित प्रयोग बनाया और उसे कई पीढ़ियों तक अपने स्वयं के सिंथेटिक (कृत्रिम) टेक्स्ट से सीखने के लिए मजबूर किया। लक्ष्य यह ट्रैक करना था कि क्षति कैसे होती है और क्या मॉडल के विशिष्ट आंतरिक हिस्सों को सुरक्षित करके इसे रोका जा सकता है।
अध्ययन की शुरुआत एक मॉडल को वास्तविक मानव लेखन के बड़े संग्रह पर प्रशिक्षित करके हुई। एक बार जब मॉडल तैयार हो गया, तो शोधकर्ता ने एक चक्र शुरू किया: मॉडल अपने स्वयं के दस लाख शब्द उत्पन्न करेगा, और फिर उसे उस नए टेक्स्ट पर पुन: प्रशिक्षित किया जाएगा। इस प्रक्रिया को छह बार दोहराया गया। जैसा कि अपेक्षित था, वास्तविक मानव टेक्स्ट पर मॉडल का प्रदर्शन बहुत तेज़ी से खराब हो गया। केवल एक दौर के स्व-प्रशिक्षण के बाद ही, वाक्य में अगले शब्द की भविष्यवाणी करने की मॉडल की क्षमता काफी कम हो गई। लेकिन इससे पहले कि मॉडल का आउटपुट विफलता के संकेत भी दिखाता, शोधकर्ता ने मशीन के भीतर कुछ और होते हुए देखा। मॉडल के भीतर एक विशिष्ट, निम्न-आयामी स्थान (low-dimensional space) को देखकर, जहाँ वह अवधारणाओं की अपनी समझ को संग्रहीत करता है, शोधकर्ता ने सूचना के प्रतिनिधित्व में एक बड़े बदलाव को देखा। यह आंतरिक बदलाव मॉडल के प्रदर्शन में दिखने वाले गिरावट की तुलना में दस गुना अधिक तेज़ी से हुआ।
हालाँकि, यह प्रारंभिक चेतावनी संकेत केवल पतन तक सीमित नहीं था। जब मॉडल को अपने स्वयं के आउटपुट के बजाय ताज़ा, उच्च गुणवत्ता वाले मानव टेक्स्ट पर प्रशिक्षित किया गया, तो उसी आंतरिक स्थान में भी बदलाव आया, बस वह बहुत छोटा और कम सुसंगत था। मुख्य अंतर परिवर्तन की गति और गहराई का था। जब मॉडल को अपने ही खराब डेटा पर प्रशिक्षित किया गया, तो आंतरिक बदलाव बहुत बड़ा, सुसंगत था, जिसने मॉडल की समझ को एक बहुत ही निचले स्तर तक पहुँचा दिया। जब इसने अच्छे डेटा से सीखा, तो बदलाव मामूली था। इससे यह संकेत मिला कि हालांकि आंतरिक स्थान समस्या के लिए एक संवेदनशील बैरोमीटर था, लेकिन यह आवश्यक रूप से वह स्थान नहीं था जहाँ क्षति पहुँचाई जा रही थी।
इसकी जांच करने के लिए, शोधकर्ता ने आंतरिक संरचना को स्थिर करके पतन को रोकने का प्रयास किया। उन्होंने मॉडल को मजबूर किया कि वह अपने आंतरिक प्रतिनिधित्व को प्रशिक्षण शुरू होने से पहले जैसा ही रखे, भले ही वह खराब सिंथेटिक डेटा से सीख रहा हो। यह आंतरिक स्थान को स्थिर रखने के लिए तो पूरी तरह से काम कर गया, लेकिन यह मॉडल को बचाने में विफल रहा। मॉडल अभी भी ढह गया, और वास्तविक टेक्स्ट को संभालने की अपनी अधिकांश क्षमता खो दी। यहाँ तक कि जब शोधकर्ता ने केवल उस छोटे स्थान को ही नहीं, बल्कि मॉडल की पूरी परत को लॉक कर दिया, तब भी सुरक्षा न्यूनतम थी। यह एक महत्वपूर्ण निष्कर्ष था: इसने सिद्ध कर दिया कि चोट मॉडल के विचारों को संग्रहीत करने के तरीके में नहीं, बल्कि कहीं और हो रही थी।
समाधान तब आया जब शोधकर्ता ने आंतरिक मानचित्र (internal map) को सुरक्षित करने के बजाय व्यवहार को सुरक्षित करने की रणनीति अपनाई। मॉडल की आंतरिक संरचना को फ्रीज करने के बजाय, उन्होंने एक नियम जोड़ा जिसने मॉडल को वास्तविक मानव वाक्यों के एक छोटे सेट पर अपने भविष्यवाणियों को बिल्कुल वैसा ही रखने के लिए मजबूर किया जैसा वे शुरुआत में थे। यह एक छात्र को यह बताने जैसा है, "तुम जो चाहो पढ़ सकते हो, लेकिन तुम्हें अभी भी इन विशिष्ट प्रश्नों के उत्तर सही ढंग से देने में सक्षम होना चाहिए।" जब यह नियम लागू किया गया, तो मॉडल लगभग पूरी तरह से बच गया। उसने वास्तविक मानव टेक्स्ट को समझने की अपनी क्षमता खोए बिना, खराब सिंथेटिक डेटा से सीखा। वास्तव में, यह तरीका वास्तविक मानव वाक्यों को प्रशिक्षण डेटा में मिलाने के मानक तरीके से कहीं अधिक प्रभावी था, जिसे वैज्ञानिक इस समस्या को ठीक करने के लिए उपयोग करते हैं। व्यवहार संबंधी नियम ने लगभग सारा नुकसान रोक दिया, जबकि डेटा मिलाने से केवल आधा ही रोका जा सका।
अध्ययन यह प्रकट करता है कि AI मॉडल का पतन उसकी आंतरिक स्मृति या अवधारणाओं को संग्रहीत करने की क्षमता की विफलता नहीं है। इसके बजाय, यह मॉडल जो देखता है और जो वह निर्णय लेता है, उसके बीच के संबंध की विफलता है। क्षति उसके कार्य (function) में होती है, यानी इनपुट से आउटपुट के बीच के मैपिंग में, न कि विचारों के स्थिर प्रतिनिधित्व में। इस फंक्शन को एक स्वस्थ संदर्भ (reference) से जोड़कर, मॉडल को उसके अपने आउटपुट के भ्रष्टाचार से बचाया जा सकता है। यद्यपि यह प्रयोग एक छोटे मॉडल पर किया गया था, लेकिन इसके निष्कर्ष भविष्य के बड़े सिस्टम को सुरक्षित करने के एक शक्तिशाली और कुशल तरीके का सुझाव देते हैं। यदि वास्तविक मानव उदाहरणों की एक मुट्ठी भर संख्या मॉडल के व्यवहार को स्थिर करने के लिए उपयोग की जा सकती है, तो यह कृत्रिम बुद्धिमत्ता के धीमे क्षरण को रोकने के लिए संभव हो सकता है, भले ही इंटरनेट मशीनों द्वारा उत्पन्न सामग्री से भरा जा रहा हो। यह शोध एक स्पष्ट मार्ग प्रदान करता है: केवल मॉडल की आंतरिक स्थिति को संरक्षित करने का प्रयास न करें; वास्तविक दुनिया पर सही ढंग से कार्य करने की उसकी क्षमता को संरक्षित करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।