Do Language Models Consistently Encode the Current Year?
यह शोध पत्र प्रकट करता है कि भाषा मॉडल वर्तमान वर्ष को असंगत रूप से एनकोड करते हैं, जो तथ्यात्मक रिकॉल तंत्र के माध्यम से प्री-ट्रेनिंग-आधारित एक "एसोसिएटिव" (associative) धारणा को बनाए रखते हैं जो संशोधन का विरोध करती है, जबकि एक पोस्ट-ट्रेनिंग "डिक्लेरेटिव" (declarative) धारणा को प्रॉम्प्टिंग के माध्यम से आसानी से अपडेट किया जा सकता है, जो एक मौलिक विचलन पैदा करता है जो दोनों टेम्पोरल अवधारणाओं के एक साथ सुधार को रोकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कंप्यूटर जो भाषा को पढ़ और लिख सकते हैं, वे मानवीय बातचीत की नकल करने में आश्चर्यजनक रूप से कुशल हो गए हैं। वे समाचारों का सारांश लिख सकते हैं, कहानियाँ रच सकते हैं, और इतिहास के बारे में प्रश्नों के उत्तर दे सकते हैं। फिर भी, इन मशीनों में एक ऐसी कमी है जिसे ठीक करना कठिन है: वे वास्तव में यह नहीं जानते कि अभी क्या समय हुआ है। हालांकि वे अतीत के तथ्यों को दोहरा सकते हैं, लेकिन "अब" (वर्तमान) के प्रति उनकी आंतरिक समझ अक्सर उस डेटा की एक भ्रमित गूँज होती है जिसे उनके प्रशिक्षण के दौरान उन्हें खिलाया गया था, न कि वर्तमान क्षण की कोई जीवंत जागरूकता। यह भ्रम महत्वपूर्ण है क्योंकि यदि कोई मशीन यह मान लेती है कि वर्तमान वर्ष दस साल पहले का है, तो वह हालिया घटनाओं के बारे में प्रश्न पूछने से इनकार कर सकती है, या इससे भी बुरा, वह ऐसे भविष्य के बारे में आत्मविश्वास के साथ तथ्य गढ़ सकती है जो अभी तक हुआ ही नहीं है। शोधकर्ता लंबे समय से इस बात पर विचार करते रहे हैं कि ये डिजिटल मस्तिष्क समय की अवधारणा को कैसे संग्रहीत करते हैं, यह मानते हुए कि यदि किसी मॉडल को तारीख पता है, तो उसके भीतर एक एकल, एकीकृत घड़ी टिक-टिक कर रही होगी।
एक नया अध्ययन उस धारणा को चुनौती देता है, यह प्रकट करते हुए कि भाषा मॉडल (language models) के पास एक एकल, सुसंगत घड़ी नहीं होती है। इसके बजाय, उनके पास वर्तमान वर्ष के दो अलग और परस्पर विरोधी विचार होते हैं। एक विचार गहरा और संरचनात्मक है, जो उस व्याकरण में बुना हुआ है जो मॉडल ने इंटरनेट पढ़ते समय सीखा था। दूसरा विचार उथला और सतही है, जो एक सरल तथ्य है जिसे मॉडल ने तब सीखा जब उसे निर्देशों का पालन करना सिखाया गया था। शोधकर्ताओं ने पाया कि हालांकि ये दोनों विचार तारीख के मामले में अक्सर सहमत होते हैं, लेकिन वे पूरी तरह से अलग आंतरिक तंत्रों पर आधारित हैं। यह विभाजन एक जिद्दी समस्या पैदा करता है: जब वैज्ञानिक मॉडल के ज्ञान को वर्तमान वर्ष को दर्शाने के लिए अपडेट करने का प्रयास करते हैं, तो वे उथले तथ्य को आसानी से ठीक कर सकते हैं, लेकिन समय की गहरी, व्याकरणिक समझ टस से मस नहीं होती।
इस छिपी हुई द्वैतता को उजागर करने के लिए, शोधकर्ताओं ने मॉडल से यह पूछने के दो अलग तरीके डिजाइन किए कि वह क्या सोचता है कि वर्तमान वर्ष क्या है। पहला तरीका, जिसे वे 'एसोसिएटिव टास्क' (associance task) कहते हैं, सीधे तारीख नहीं पूछता है। इसके बजाय, यह मॉडल को एक वाक्य का अंश प्रस्तुत करता है जैसे "1960 में..." और पूछता है कि अगला शब्द क्या होगा। यदि मॉडल एक भूतकाल की क्रिया जैसे "था" (was) की भविष्यवाणी करता है, तो इसका तात्पर्य है कि मॉडल सोचता है कि 1960 अतीत में था। यदि यह वर्तमान या भविष्य की क्रिया जैसे "है" (is) या "होगा" (will) की भविष्यवाणी करता है, तो यह सुझाव देता है कि वह वर्ष अभी चल रहा है या आने वाला है। यह तरीका मॉडल की व्याकरण की सहज समझ का उपयोग करता है, जो एक ऐसा कौशल है जिसे उसने अपने प्रारंभिक प्रशिक्षण के दौरान अरबों वाक्यों को पढ़ते समय आत्मसात किया था। दूसरा तरीका, जिसे 'डिक्लेरेटिव टास्क' (declarative task) कहा जाता है, बहुत अधिक सीधा है। यह सीधे तौर पर पूछता है, "वर्तमान वर्ष क्या है?" या इसे उस वर्ष के साथ एक कहानी लिखने के लिए प्रेरित करता है। यह मॉडल की तथ्य बताने की क्षमता का परीक्षण करता है, जो एक ऐसा कौशल है जिसे आमतौर पर प्रशिक्षण के बाद के चरण में निखारा जाता है जहाँ वह मनुष्यों के निर्देशों का पालन करना सीखता है।
जब टीम ने इन तरीकों का विभिन्न मॉडलों पर परीक्षण किया, तो एक स्पष्ट पैटर्न उभर कर आया। दोनों तरीकों ने ऐसे उत्तर दिए जो उस तारीख के आश्चर्यजनक रूप से करीब थे जब मॉडल का प्रशिक्षण समाप्त हुआ था। गहरे, व्याकरणिक परीक्षण के लिए, मॉडलों ने लगातार एक ऐसे वर्ष का अनुमान लगाया जो उनके प्रशिक्षण कटऑफ से केवल लगभग दस महीने दूर था। यह सुझाव देता है कि मॉडल की समय की आंतरिक समझ उसके प्रशिक्षण डेटा में देखे गए अंतिम दिनांक से मजबूती से बंधी हुई है। हालाँकि, दोनों तरीके केवल अलग-अलग तरीकों से एक ही चीज़ को नहीं माप रहे थे; वे दो अलग-अलग चीज़ों को माप रहे थे। शोधकर्ताओं ने पाया कि समय की गहरी, व्याकरणिक समझ मॉडल के मस्तिष्क के भीतर एक विशिष्ट, संगठित मार्ग पर निर्भर करती है, ठीक वैसे ही जैसे वह दुनिया के तथ्यों को याद करता है। इसके विपरीत, केवल वर्ष को ज़ोर से बताने की क्षमता किसी एक सुसंगत मार्ग पर निर्भर नहीं करती है। यह एक लचीला, सतही व्यवहार है जिसे प्रश्न पूछने के तरीके के आधार पर मॉडल के कई अलग-अलग हिस्सों द्वारा सक्रिय किया जा सकता है।
सूचना के भंडारण के इस अंतर के गंभीर परिणाम होते हैं। शोधकर्ताओं ने सामान्य तकनीकों का उपयोग करके मॉडल की समय की समझ को अपडेट करने का प्रयास किया: बातचीत में मॉडल को संकेत देना, नए डेटा पर इसे फिर से प्रशिक्षित करना, और इसके आंतरिक भार (weights) को सर्जिकल रूप से बदलना। जब उन्होंने उथले, डिक्लेरेटिव वर्ष को अपडेट करने का प्रयास किया—वह वर्ष जिसे मॉडल पूछे जाने पर बताता है—तो वे तरीके पूरी तरह से काम कर गए। केवल एक सिस्टम प्रॉम्प्ट में मॉडल को यह बताकर कि वर्ष 2025 है, या उसे 2025 के नए डेटा को दिखाकर, मॉडल तुरंत उच्च सटीकता के साथ सही वर्ष बताने लगा। यह बिल्कुल वैसा ही था जैसे वे फाइल कैबिनेट पर एक लेबल बदल रहे हों।
हालाँकि, जब इन तकनीकों को गहरे, एसोसिएटिव वर्ष पर लागू किया गया, तो वे पूरी तरह से विफल रहीं। भले ही मॉडल को स्पष्ट रूप से बताया गया था कि वर्ष 2025 है, उसकी आंतरिक व्याकरणिक समझ अतीत में ही अटकी रही। जब "2025 में..." वाक्य को पूरा करने के लिए पूछा गया, तो मॉडल ने अभी भी भूतकाल की क्रियाओं की भविष्यवाणी की, जैसे कि 2025 एक ऐतिहासिक घटना हो। मॉडल को नए डेटा पर फिर से प्रशिक्षित करने से केवल थोड़ा ही लाभ हुआ, और वह भी केवल उन वर्षों के लिए जो उसके मूल प्रशिक्षण कटऑफ के बहुत करीब थे। एकमात्र तरीका जिसने समय की गहरी समझ को बदल दिया, वह मॉडल के आंतरिक कनेक्शनों का एक जटिल, सर्जिकल संपादन था। लेकिन यहाँ अंतिम मोड़ आया: जब शोधकर्ताओं ने गहरे, व्याकरणिक वर्ष को ठीक करने के लिए इस सर्जिकल पद्धति का उपयोग किया, तो मॉडल की वर्ष को ज़ोर से बताने की क्षमता अपरिवर्तित रही। दोनों घड़ियाँ आपस में तालमेल नहीं बिठा सकीं।
अध्ययन यह निष्कर्ष निकालता है कि इन मशीनों के भीतर वर्तमान वर्ष एक एकल अवधारणा नहीं है। समय की गहरी, व्याकरणिक समझ उस भाषाई संरचना का एक मौलिक हिस्सा है जिसे मॉडल ने अपने प्रारंभिक प्रशिक्षण के दौरान सीखा है, और यह परिवर्तन के प्रति अविश्वसनीय रूप से प्रतिरोधी है। यह इस तरह से बुना हुआ है कि मॉडल वर्षों को क्रियाओं से कैसे जोड़ता है, एक ऐसा पैटर्न जो इतना गहरा है कि मानक अपडेट इसे मिटा नहीं सकते। उथला, डिक्लेरेटिव बोध एक अलग परत है, जिसे बाद में सीखा गया जब मॉडल को मनुष्यों से बात करना सिखाया गया, और इसे आसानी से बदला जा सकता है। इसका अर्थ यह है कि केवल मॉडल को तारीख बताना या उसे नया टेक्स्ट प्रदान करना उसे वर्तमान की वास्तविक और सुसंगत समझ देने के लिए पर्याप्त नहीं है। मशीन सही वर्ष बोल सकती है, लेकिन वह अभी भी यह सोचती है कि दुनिया उसके वास्तविक समय से पुरानी है। यह विच्छेद सुझाव देता है कि इन मॉडलों को वास्तविक दुनिया के साथ तालमेल बिठाने के लिए ताज़ा करना पहले की तुलना में कहीं अधिक कठिन है, क्योंकि सत्य के एक संस्करण को ठीक करने से दूसरा संस्करण पीछे छूट जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।