← नवीनतम पेपर
💻 computer science

Automatic or Controlled? Repetition Priming Reveals Divergent Processing in Base LLMs, Instruct LLMs, and Humans

यह अध्ययन प्रकट करता है कि जहाँ आधारभूत भाषा मॉडल बार-बार आने वाले शब्दों को स्वचालित, स्थिर सुगमता (facilitation) के माध्यम से संसाधित करते हैं, वहीं इंस्ट्रक्ट मॉडल्स में पोस्ट-ट्रेनिंग उन्हें नियंत्रित, लैग-संवेदनशील प्रसंस्करण की ओर स्थानांतरित कर देती है जो मानव संज्ञान से भिन्न है, जो बिना हस्तक्षेप के लैग-संवेदनशील सुगमता का एक हाइब्रिड प्रोफाइल प्रदर्शित करता है।

मूल लेखक: Jinglei Ren, Yuyue Wang

प्रकाशित 2026-08-18
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Jinglei Ren, Yuyue Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

भाषा पुनरावृत्ति की एक नदी है। एक ही बातचीत में, हम एक ही शब्द का दर्जनों बार उपयोग कर सकते हैं, अक्सर कुछ वाक्यों के भीतर ही। जब एक मनुष्य उस शब्द को सुनता है जिसे उसने अभी सुना था, तो उसका मस्तिष्क उसे अधिक तेज़ी से और आसानी से संसाधित करता है। यह घटना, जिसे 'रिपिटिशन प्राइमिंग' (repetition priming) कहा जाता है, यह सीखने कि हम कैसे सीखते और याद रखते हैं, एक मौलिक विशेषता है। यह सुझाव देता है कि मन हर शब्द के साथ होने वाली मुठभेड़ को एक नई घटना के रूप में नहीं देखता; इसके बजाय, यह पिछले अनुभव का एक निशान रखता है, जिससे अगला अनुभव अधिक सुगम हो जाता है। लेकिन जैसे-जैसे आर्टिफिशियल इंटेलिजेंस अधिक परिष्कृत हुआ है, एक प्रश्न उभरा है: क्या लार्ज लैंग्वेज मॉडल्स (large language models), जो चैटबॉट्स और सर्च टूल्स को शक्ति देते हैं, उसी तरह काम करते हैं? जब ये मशीनें उस शब्द को देखती हैं जिसे वे पहले ही प्रोसेस कर चुकी हैं, तो क्या वे केवल उस पुरानी स्मृति को पुन: सक्रिय करती हैं, या वे शब्द का शून्य से पुनर्मूल्यांकन करने के लिए रुक जाती हैं?

इसका उत्तर महत्वपूर्ण है क्योंकि यह इन प्रणालियों की आंतरिक कार्यप्रणाली को प्रकट करता है। यदि कोई मॉडल केवल एक स्मृति को पुन: सक्रिय करता है, तो यह एक रिफ्लेक्स (reflex) की तरह कार्य कर रहा है, एक तेज़, स्वचालित प्रतिक्रिया। यदि यह पुनर्मूल्यांकन करता है, तो यह एक विचारशील विचारक की तरह कार्य कर रहा है, निर्णय लेने से पहले संदर्भ को तौल रहा है। वर्षों से, शोधकर्ता इस बात पर बहस कर रहे हैं कि क्या इन मशीनों के पास "तेज़" अंतर्ज्ञान का एक रूप है या वे हमेशा धीमी, विचारशील तर्क प्रक्रिया में लगे रहते हैं। यह नया अध्ययन, जो येल यूनिवर्सिटी और यूनिवर्सिटी ऑफ कैलिफोर्निया, लॉस एंजिल्स के शोधकर्ताओं द्वारा किया गया है, यह परीक्षण करके इस प्रश्न को सुलझाने का प्रयास करता है कि विभिन्न प्रकार के भाषा मॉडल दोहराए गए शब्दों को कैसे संभालते हैं। उन्होंने निर्देशों का पालन करने के लिए फाइन-ट्यून किए गए संस्करणों के मुकाबले कच्चे, प्री-ट्रेन्ड (pre-trained) मॉडल्स की तुलना की, और यह देखने के लिए कि मशीनें हमारे मुकाबले कहाँ खड़ी हैं, उन्होंने मानव स्वयंसेवकों के साथ समानांतर प्रयोग भी चलाए।

शोधकर्ताओं ने परीक्षणों की एक श्रृंखला तैयार की जो मानव मनोविज्ञान में उपयोग किए जाने वाले क्लासिक प्रयोगों की नकल करती थी। उन्होंने 1.5 बिलियन पैरामीटर्स वाले छोटे सिस्टम से लेकर 14 बिलियन वाले विशाल सिस्टम तक, पंद्रह अलग-अलग मॉडल्स को शब्द और वाक्य दिए। उन्होंने चालीस मानव प्रतिभागियों को भी वही कार्य करने के लिए कहा। इन परीक्षणों में दो मुख्य गतिविधियाँ शामिल थीं। पहली में, विषयों को जल्दी से यह तय करना था कि एक शब्द एक जीवित चीज़ का प्रतिनिधित्व करता है या एक निर्जीव वस्तु का। दूसरे में, उन्हें एक वाक्य को एक लुप्त शब्द के साथ पूरा करना था, जहाँ वाक्य स्वयं उस लुप्त शब्द के बारे में बहुत कम संकेत देता था। मुख्य चर (variable) "लैग" (lag) था, या वह अन्य शब्दों और वाक्यों की संख्या जो लक्ष्य शब्द को पहली बार देखे जाने और दूसरी बार देखे जाने के बीच में आए थे। इस दूरी को बदलकर, शोधकर्ता यह देख सके कि पुनरावृत्ति का लाभ समय के साथ बना रहता है या फीका पड़ जाता है।

परिणामों ने मशीनों द्वारा सूचना को संसाधित करने के तरीके में एक उल्लेखनीय विभाजन का खुलासा किया। बेस मॉडल्स (base models), जो प्रणालियों के कच्चे संस्करण हैं जिन्हें निर्देश देने के लिए नहीं सिखाया गया है, एक प्रकार की स्वचालित दक्षता के साथ व्यवहार करते थे। जब उन्होंने उस शब्द को देखा जिसे वे अभी-अभी देख चुके थे, तो उन्होंने उसे अधिक तेज़ी से और आत्मविश्वास के साथ संसाधित किया, चाहे बीच में कितने भी अन्य शब्द क्यों न आए हों। यहाँ तक कि यदि शोधकर्ताओं ने बातचीत के इतिहास से पिछले उत्तरों को हटा भी दिया, तब भी बेस मॉडल्स ने प्रदर्शन में वृद्धि दिखाई। यह सुझाव देता है कि इन मॉडल्स के लिए, पुनरावृत्ति एक तेज़, उद्दीपन-संचालित (stimulus-driven) प्रतिक्रिया को ट्रिगर करती है। शब्द स्वयं ही स्मृति को जगाने के लिए पर्याप्त है, बिल्कुल एक रिफ्लेक्स की तरह।

इसके विपरीत, इंस्ट्रक्शन-ट्यून्ड (instruction-tuned) मॉडल्स बहुत अलग व्यवहार करते हैं। ये उन प्रणालियों के संस्करण हैं जिन्हें सहायक बनने, नियमों का पालन करने और बातचीत करने के लिए प्रशिक्षित किया गया है। जब इन मॉडल्स ने दोहराए गए शब्द को देखा, तो उनमें वही स्वचालित वृद्धि नहीं दिखी। इसके बजाय, उनका प्रदर्शन काफी हद से संदर्भ पर निर्भर था। यदि पहले और दूसरे बार दिखने के बीच कई शब्द थे, तो पुनरावृत्ति का लाभ गायब हो गया। इससे भी बुरा यह कि सबसे बड़े और उन्नत इंस्ट्रक्शन-ट्यून्ड मॉडल्स में, पुनरावृत्ति वास्तव में एक बाधा बन गई। शब्द को दोबारा देखने से मॉडल धीमा और कम सटीक हो गया, जैसे कि मशीन रेडंडेंसी (redundancy) से भ्रमित हो गई हो। यह इंगित करता है कि ये मॉडल्स केवल शब्द पर प्रतिक्रिया नहीं दे रहे हैं; वे आसपास की बातचीत के आधार पर इसका सक्रिय रूप से पुनर्मूल्यांकन कर रहे हैं। यदि संदर्भ उनकी अपेक्षाओं से मेल नहीं खाता है, तो पुनरावृत्ति एक त्रुटि की तरह महसूस होती है, जिससे व्यवधान उत्पन्न होता है।

शोधकर्ताओं ने यह भी देखा कि उनके व्यवहार में आकार बढ़ने के साथ कैसे बदलाव आया। एक ही मॉडल परिवार के भीतर, दोनों प्रकार के बीच का अंतर आकार बढ़ने के साथ बढ़ता गया। बेस मॉडल्स अपने स्वचालित प्रसंस्करण में सुसंगत रहे, लेकिन इंस्ट्रक्शन-ट्यून्ड मॉडल्स पुनरावृत्ति के बीच की दूरी के प्रति अधिक संवेदनशील होते गए। सबसे बड़े पैमाने पर, इंस्ट्रक्शन-ट्यून्ड मॉडल्स ने हस्तक्षेप के सबसे मजबूत संकेत दिखाए, जिससे पता चलता है कि उन्हें निर्देश का पालन करने के लिए प्रशिक्षित करने की प्रक्रिया मौलिक रूप से उनके सूचना संभालने के तरीके को बदल देती है। यह केवल कार्यों में बेहतर होने का मामला नहीं है; यह उनके संचालन के मोड में एक गुणात्मक परिवर्तन है।

शायद सबसे आश्चर्यजनक निष्कर्ष मशीनों की मानव स्वयंसेवकों के साथ तुलना से आया। मनुष्य दोनों श्रेणियों में स्पष्ट रूप से फिट नहीं बैठे। इंस्ट्रक्शन-ट्यून्ड मॉडल्स की तरह, मनुष्य भी पुनरावृत्ति के बीच की दूरी के प्रति संवेदनशील थे; लैग बढ़ने के साथ उनकी प्रतिक्रिया का समय धीमा हो गया। हालाँकि, इंस्ट्रक्शन-ट्यून्ड मॉडल्स के विपरीत, मनुष्यों को कभी भी हस्तक्षेप का सामना नहीं करना पड़ा। चाहे अंतराल कितना भी लंबा क्यों न हो, शब्द को दोबारा देखना हमेशा उनके लिए मददगार रहा, कभी भी हानिकारक नहीं। मनुष्य एक मध्य मार्ग में थे: वे उन्नत मशीनों की तरह संदर्भ के प्रति संवेदनशील थे, लेकिन उन्होंने वह सार्वभौमिक पुनरावृत्ति लाभ बनाए रखा जो बेस मॉडल्स ने दिखाया था।

यह अध्ययन बताता है कि एक भाषा मॉडल को सहायक और आज्ञाकारी बनाने की प्रक्रिया इसकी संज्ञानात्मक संरचना (cognitive architecture) को मौलिक रूप से बदल देती है। कच्चे मॉडल्स एक तेज़, स्वचालित प्रणाली के साथ काम करते हैं जो शब्दों के आते ही उन पर प्रतिक्रिया देते हैं। हालाँकि, इंस्ट्रक्शन-ट्यून्ड मॉडल्स ने एक नियंत्रित प्रणाली विकसित कर ली है जो लगातार संदर्भ की जाँच करती है, और कभी-कभी पुनरावृत्ति को अस्वीकार कर देती है यदि वह बातचीत के प्रवाह में फिट नहीं बैठती है। शोधकर्ताओं ने पाया कि यह बदलाव केवल आउटपुट में बदलाव नहीं है बल्कि अंतर्निहित तंत्र में बदलाव है। जब उन्होंने मॉडल्स के भीतर देखा, तो उन्होंने पाया कि बेस मॉडल्स अपनी प्रतिक्रिया को तेज़ करने के लिए शब्द की पिछली उपस्थिति पर सीधे ध्यान (attend) दे रहे थे। हालाँकि, इंस्ट्रक्शन-ट्यून्ड मॉडल्स ने इस ध्यान को अंतिम निर्णय से अलग कर दिया था, जिससे स्वचालित बढ़ावा प्रभावी रूप से फ़िल्टर हो गया।

इस कार्य के निहितार्थ इस बात से कहीं आगे तक हैं कि ये मशीनें कैसे सोचती हैं। यह एक विशिष्ट तरीका उजागर करता है जिससे वर्तमान आर्टिफिशियल इंटेलिजेंस मानव संज्ञान (human cognition) से भिन्न है। जबकि हम एक लंबी बातचीत में पुनरावृत्ति से विचलित हो सकते हैं, हम कभी भी किसी शब्द को पहले देखने का बुनियादी लाभ नहीं खोते हैं। इंस्ट्रक्शन-ट्यूंड मॉडल्स ने, संदर्भ के प्रति जागरूक होने के प्रयास में, इस मौलिक मानवीय गुण को खो दिया है। वे तत्काल संदर्भ पर इतने केंद्रित हो गए हैं कि वे कभी-कभी एक परिचित शब्द को गलती के रूप में देखते हैं। यह शोध प्रसंस्करण के दो मोड के बीच अंतर को देखने का एक स्पष्ट मानचित्र प्रदान करता है, जो दिखाता है कि बातचीत में अधिक मानव-समान मशीन बनाने का मार्ग अनजाने में इसे इसके बुनियादी स्मृति प्रक्रियाओं में कम मानव-समान बना सकता है। यह अध्ययन इस रहस्य को हल करने का दावा नहीं करता है कि मशीन बुद्धिमत्ता कैसे काम करती है, लेकिन यह एक प्रतिक्रिया देने वाली मशीन और सोचने वाली मशीन के बीच के अंतर को देखने का एक सटीक, मापने योग्य तरीका प्रदान करता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →