Interrupting the Loop: Periodic Subject Changes Raise Judged Surprise and Connection in Base Language Models
यह शोध पत्र यह प्रदर्शित करता है कि एक आधार भाषा मॉडल (बेस लैंग्वेज मॉडल) की पीढ़ी प्रक्रिया (जेनरेशन स्ट्रीम) को नए विषयों के साथ आवधिक रूप से बाधित करना, केवल अभ्यस्तता (हैबिटुएशन) की तुलना में आकलित आश्चर्य और जुड़ाव को महत्वपूर्ण रूप से बढ़ाता है, जबकि यह भी प्रकट करता है कि ये स्थानीय लाभ सुसंगत दीर्घ-रूप दस्तावेज़ों में संकलित नहीं होते हैं और कुछ मूल्यांकन संबंधी कृत्रिमताएं (आर्टिफैक्ट्स) कथित रचनात्मकता को बढ़ा सकती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को बिना किसी विशिष्ट कथानक, पात्र या लक्ष्य के एक कहानी लिखने के लिए कहते हैं। आप बस उसे एक वाक्य देते हैं और कहते हैं कि वह इसे जारी रखे, अनंत काल तक। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक मानक परीक्षण है कि जब मशीन को उसके अपने हाल पर छोड़ दिया जाता है, तो वह कैसे सोचती है। अपेक्षा अक्सर यह होती है कि मशीन कुछ नया, आश्चर्यजनक या रचनात्मक उत्पन्न करेगी। इसके बजाय, बिना किसी कार्य के मार्गदर्शन के, ये मशीनें अटक जाती हैं। वे दोहराव वाले लूप में फंस जाती हैं, एक ही वाक्यांशों को दोहराती रहती हैं या संख्याओं की सूचियाँ बनाती रहती हैं, बिल्कुल उस व्यक्ति की तरह जो भूल गया है कि वह क्या कह रहा था और फिर से वही वाक्य बार-बार शुरू कर देता है। यह व्यवहार कोड में कोई खराबी नहीं है, बल्कि सिस्टम की एक स्वाभाविक प्रवृत्ति है जो अपने ही हालिया आउटपुट पर निर्भर करती है, और जो उसने अभी लिखा है उसे तब तक पुख्ता करती रहती है जब तक कि उसके पास नए विचार समाप्त नहीं हो जाते।
शोधकर्ताओं ने लंबे समय से सोचा है कि क्या वे इस चक्र को तोड़कर वास्तविक नवीनता को अनलॉक कर सकते। उन्होंने यह बदलने की कोशिश की कि मशीन अपना अगला शब्द कैसे चुनती है, या उसे अजीब प्रॉम्प्ट दिए, लेकिन सबसे आशाजनक मार्ग स्वयं "लूप" ही प्रतीत हुआ: वह प्रक्रिया जहाँ मशीन अपने आउटपुट को पढ़ती है और उसे अगले चरण के लिए इनपुट के रूप में उपयोग करती है। विचार यह है कि यदि मशीन अपने ही विचारों के माध्यम से भटक सकती है, तो वह एक नई दिशा पा सकती है, ठीक वैसे ही जैसे कोई व्यक्ति किसी समस्या को अपने मन में बैठने देने के बाद अचानक कोई अंतर्दृष्टि प्राप्त कर सकता है। एक नए अध्ययन ने इस विचार का अत्यधिक सटीकता के साथ परीक्षण करने के लिए एक जटिल प्रणाली को विघटित किया, जिसे मानवीय रचनात्मकता की नकल करने के लिए बनाया गया था, ताकि यह देखा जा सके कि कौन से हिस्से वास्तव में काम करते थे और कौन से केवल शोर थे।
शोधकर्ताओं ने एक परिष्कृत आर्किटेक्चर से शुरुआत की जो इस बात से प्रेरित था कि मानव मस्तिष्क कैसे कार्य करता है। उन्होंने एक "मॉनिटर" के साथ एक प्रणाली बनाई जो ऊब या दोहराव के संकेतों पर नज़र रखता था, एक "जज" जिसने लिखे जा रहे टेक्स्ट का मूल्यांकन किया, और मशीन की मेमोरी को रीसेट करने के लिए एक तंत्र जो फंस जाने पर काम करता था। उन्होंने इसे "स्कैफोल्ड" (scaffold) कहा। यह एक जटिल मशीन थी जिसे कहानी को आगे बढ़ाने, अपनी प्रगति का मूल्यांकन करने और आवश्यकता पड़ने पर हस्तक्षेप करने के लिए डिज़ाइन किया गया था। हालाँकि, जब उन्होंने इसका परीक्षण किया, तो उन्होंने पाया कि विस्तृत हिस्से काफी हद तक बेकार थे। मॉनिटर शायद ही कभी सक्रिय हुआ, और लूप के भीतर के जज ने कभी भी बदलाव को ट्रिगर नहीं किया। सिस्टम काम तो कर रहा था, लेकिन इसलिए नहीं क्योंकि उन्होंने जो जटिल मशीनरी बनाई थी वह काम कर रही थी।
जब टीम ने सिस्टम को अलग किया, तो उन्होंने पाया कि पूरा प्रभाव दो बहुत ही सरल क्रियाओं से आया था। पहली क्रिया शब्दों को बहुत जल्दी दोहराने के खिलाफ एक हल्का दंड (penalty) थी, एक ऐसी तकनीक जिसने टेक्स्ट को शाब्दिक रूप से खुद पर वापस लूप करने से रोका। दूसरी, और बहुत अधिक महत्वपूर्ण, एक साधारण व्यवधान (interruption) था। हर कुछ सौ शब्दों के बाद, शोधकर्ता मशीन को रोक देते थे और एक नया वाक्य डाल देते थे जो विषय को पूरी तरह से बदल देता था। यह ऐसा था जैसे, जबकि मशीन एक बेकर द्वारा ब्रेड गिनने के बारे में लिख रही थी, किसी ने चुपके से कहानी में एक नोट डाल दिया हो कि "इस बीच, एक बिना नाम वाले शहर में," और फिर मशीन को वहां से जारी रहने दिया। विषय को हर कुछ सौ शब्दों में बदलने का यह एकल कार्य ही टेक्स्ट को आश्चर्यजनक और मानव पाठक के लिए जुड़ा हुआ महसूस कराने के लिए पर्याप्त था, जिससे लेखन की गुणवत्ता काफी बढ़ गई।
अध्ययन ने यह भी खुलासा किया कि मशीनों में हमारी रचनात्मकता को मापने के तरीके में एक आश्चर्यजनक दोष है। शोधकर्ताओं ने कहानियों को ग्रेड देने के लिए एक आर्टिफिशियल इंटेलिजेंस का उपयोग किया, जो दिलचस्प होने का निर्णय लेने के लिए टेक्स्ट की छोटी खिड़कियों (windows) को देखता था। उन्होंने पाया कि यह जज आसानी से मूर्ख बन जाता है। यदि मशीन को घूमने के लिए समान चार "नए विषय" वाले वाक्यों को दिया जाता, तो वह पैटर्न सीख लेती और अपने ही पिछले लेखन की नकल करना शुरू कर देती, यह दिखाने के लिए कि वह नया है। जज, एक छोटी विंडो को देखते हुए, यह नहीं देख पाता था कि टेक्स्ट सैकड़ों शब्द पहले का एक पुनरावृत्ति (replay) है, इसलिए उसने उस टेक्स्ट को "आश्चर्य" और "जुड़ाव" के लिए उच्च अंक दिए जो वास्तव में केवल एक कॉपी था। एक बार जब शोधकर्ताओं ने इसे केवल ताज़ा टेक्स्ट को जज करके सुधारा जिसे पहले कभी नहीं देखा गया था, तो स्कोर गिर गए, लेकिन मुख्य निष्कर्ष बना रहा: विषय बदलने के सरल कार्य ने लेखन को बेहतर बनाया।
हालाँकि, अध्ययन ने एक गंभीर निष्कर्ष भी दिया कि इस सुधार का वास्तव में क्या अर्थ है। जबकि व्यवधानों ने छोटे टुकड़ों में टेक्स्ट को बेहतर दिखने में मदद की, लेकिन उन्होंने एक सुसंगत संपूर्णता (coherent whole) का निर्माण नहीं किया। जब शोधकर्ताओं ने पूरे 4,500 शब्दों की कहानी को शुरू से अंत तक पढ़ा, तो उन्होंने पाया कि बाधित टेक्स्ट एक विकसित होता हुआ वृत्तांत (narrative) नहीं था। इसके बजाय, यह असंबद्ध पुनरारंभों (disjointed restarts) का एक संग्रह था। मशीन ने बेकर के बारे में एक पैराग्राफ लिखा, फिर एक शहर पर कूद गई, फिर एक वृद्ध महिला पर कूद गई, लेकिन वह इन धागों को एक एकल, एकीकृत कहानी में कभी नहीं बुन पाई। मशीन एक नई शुरुआत करने में अच्छी थी, लेकिन वह एक ऐसा ढांचा बनाने में अच्छी नहीं थी जो समय के साथ एक साथ बना रहे।
यह सीमा तब भी बनी रही जब शोधकर्ताओं ने सिस्टम का एक व्यावहारिक समस्या पर परीक्षण किया, जिसमें उनसे वस्तुओं को बिन (bins) में पैक करने वाली एक गणितीय पहेली को हल करने के लिए कहा गया। व्यवधानों के कारण मशीन ने पहले की तुलना में बहुत अधिक वैध समाधान उत्पन्न किए, लेकिन उनमें से कोई भी उस सर्वश्रेष्ठ समाधान से बेहतर नहीं था जो मशीन स्वयं खोज सकती थी। व्यवधान एक 'वेरिएशन ऑपरेटर' (variation operator) के रूप में कार्य करते थे, जो अधिक विकल्प पैदा करते थे, लेकिन वे सर्वश्रेष्ठ विकल्प की गुणवत्ता में सुधार नहीं करते थे। मशीन को अच्छे विचारों को चुनने और उन पर निर्माण करने के तरीके की आवश्यकता थी, जो वर्तमान सिस्टम में नहीं था।
शोधकर्ताओं ने निष्कर्ष निकाला कि इन मशीनों में हम जो नवीनता देखते हैं वह किसी गहरे, रचनात्मक स्पार्क या जटिल आंतरिक मूल्यांकन से नहीं आती, बल्कि एक सरल संरचनात्मक ट्रिक से आती है: मशीन को खुद को दोहराने से रोकना और उसे हर कुछ सौ शब्दों में एक नया विचार शुरू करने के लिए मजबूर करना। यह सरल हस्तक्षेप टेक्स्ट को क्षणिक रूप से आश्चर्यजनक और जुड़ा हुआ महसूस कराने के लिए पर्याप्त है, लेकिन यह एक विकसित होती कहानी या हल की गई समस्या का निर्माण नहीं करता है। अध्ययन बताता है कि सच्ची रचनात्मकता पाने के लिए, हमें केवल मशीन को बोर होने से रोकने के तरीके से अधिक की आवश्यकता है; हमें इसे यह याद रखने में मदद करने के तरीके की आवश्यकता है कि इसने क्या सीखा है और उस पर निर्माण करने की आवश्यकता है, जिससे ताज़ा शुरुआतों की एक श्रृंखला को एक एकल, सार्थक यात्रा में बदला जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।