Human-Like Anaphor Resolution in Large Language Models
यह अध्ययन यह निर्धारित करने के लिए पांच ओपन-वेट लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है कि क्या वे मानव-समान एनैफोर रिज़ॉल्यूशन पैटर्न प्रदर्शित करते हैं, जिसमें यह पाया गया कि हालांकि कुछ मॉडल्स मनुष्यों के समान विमर्श संरचना और दूरी के प्रति संवेदनशीलता दिखाते हैं, लेकिन उनमें समकक्ष सिमेंटिक इंटरफेरेंस प्रभावों के प्रति संवेदनशीलता का अभाव है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्यमयी उपन्यास पढ़ रहे हैं। लेखक पहले अध्याय में "द बेकर" (द हलवाई) नामक एक पात्र का परिचय देता है। दस पन्नों बाद, कहानी में फिर से "वह" (he) का उल्लेख किया जाता है। आपका मस्तिष्क केवल यह अनुमान नहीं लगाता कि "वह" कौन है; यह तुरंत आपकी स्मृति में पीछे जाकर, बेकर की छवि को पकड़ लेता है और कड़ियों को जोड़ देता है। इस मानसिक जादू के खेल को एनैफोर रेजोल्यूशन (anaphor resolution) कहा जाता है। यह वही तरीका है जिससे हम ट्रैक रखते हैं कि कहानी आगे बढ़ने के साथ हम किसके या किस चीज़ के बारे में बात कर रहे हैं।
वैज्ञानिक लंबे समय से अध्ययन कर रहे हैं कि मनुष्य यह कैसे करते हैं। वे जानते हैं कि यदि बेकर कहानी का मुख्य केंद्र (topical) था, तो आप उसे तेज़ी से ढूंढ लेते हैं। यदि "वह" बेकर के ठीक बाद आता है, तो यह आसान है। लेकिन यदि "वह" एक लंबे, भ्रमित करने वाले अंतराल के बाद आता है, या यदि पास में ही कोई दूसरा बेकर मौजूद है जो आपको भ्रमित कर दे, तो आपका मस्तिष्क लड़खड़ा जाता है। अब, लार्ज लैंग्वेज मॉडल्स (LLMs) के बारे में सोचिए। ये सुपर-स्मार्ट कंप्यूटर प्रोग्राम हैं जिन्हें टेक्स्ट के पहाड़ों पर प्रशिक्षित किया गया है ताकि वे कहानियाँ लिख सकें, सवालों के जवाब दे सकें और मनुष्यों की तरह चैट कर सकें। लेकिन बड़ा सवाल यह है: क्या ये AI दिमाग वास्तव में इन पहेलियों को सुलझाने के लिए मानव मस्तिष्क की तरह सोचते हैं, या वे केवल पैटर्न के आधार पर बहुत अच्छी तरह से अनुमान लगा रहे हैं? यह शोध पत्र उस रहस्य की गहराई में उतरता है ताकि यह देख सके कि क्या AI और मनुष्य एक ही मानसिक तरंग (wavelength) पर हैं।
द ग्रेट AI मेमोरी टेस्ट (महान AI स्मृति परीक्षण)
शोधकर्ताओं ने पाँच अलग-अलग AI मॉडल्स—GPT-2-XL, Llama-3.1-8B, Pythia-12B, Mistral-7B, और Mistral-24B—को विशेष रूप से मनुष्यों के लिए डिज़ाइन किए गए स्मृति खेलों के माध्यम से परखने का निर्णय लिया। वे यह देखना चाहते थे कि क्या AI भी उसी तरह थकेगा, भ्रमित होगा, या धीमा होगा जैसे कि एक मानव पाठक होता है।
इसे मापने के लिए, उन्होंने दो चतुर तरीकों का उपयोग किया। पहला, उन्होंने सरप्राइज़ल (surprisal) को देखा। इसे AI का "दिमागी पसीना" समझें। जब एक कंप्यूटर ऐसे शब्द को पढ़ता है जिसकी उसने उम्मीद नहीं की थी, तो उसका "सरप्रज़ाइज़ल" बढ़ जाता है। मनुष्यों में, उच्च सरप्राइज़ल का अर्थ है कि हम सोचने के लिए अधिक समय तक रुकते हैं। इसलिए, यदि AI उसी क्षण "पसीने से तरबतर" (उच्च सरप्राइज़ल) हो जाता है जब मनुष्य अटक जाते हैं, तो यह एक अच्छा संकेत है कि वे कहानी को समान रूप से प्रोसेस कर रहे हैं। दूसरा, उन्होंने AI से समझ संबंधी प्रश्न पूछे, जैसे कि "कुर्सी को किसने लात मारी?" यह देखने के लिए कि क्या उन्हें वास्तव में सही व्यक्ति याद है।
मेमोरी गेम्स (स्मृति खेल)
टीम ने तीन अलग-अलग प्रयोग चलाए, जिनमें से प्रत्येक मानव स्मृति के एक विशिष्ट नियम का परीक्षण करता है:
1. "फोकस" और "दूरी" का परीक्षण
एक स्पॉटलाइट की कल्पना करें। यदि कोई पात्र स्पॉटलाइट के नीचे है (कहानी के शीर्षक में उनका उल्लेख है), तो मनुष्य उन्हें आसानी से ढूंढ लेते हैं। यदि वे अंधेरे में हैं, तो यह कठिन होता है। साथ ही, यदि पात्र एक वाक्य की दूरी पर है, तो यह आसान है। यदि वे दस वाक्यों की दूरी पर हैं, तो यह कठिन है।
- परिणाम: अधिकांश AI मॉडल यहाँ मनुष्यों की तरह व्यवहार करते थे! जब पात्र को शीर्षक द्वारा हाइलाइट किया गया था और वह पास था, तो AI का "दिमागी पसीना" कम था, और उन्होंने सही उत्तर दिया। जब पात्र छिपा हुआ और दूर था, तो AI भ्रमित हो गया। ऐसा लगता है जैसे AI का ध्यान केंद्रित करने का दायरा भी हमारी तरह ही फैलता और सिकुड़ता है।
2. "स्थान और समय" का परीक्षण
यह अधिक पेचीदा था। कल्पना कीजिए कि कहानी एक विशाल महल में घटित हो रही है। यदि पात्र रसोई से अगले कमरे में जाता है (कम दूरी) या रसोई से मीनार तक जाता है (लंबी दूरी), तो क्या इससे फर्क पड़ता है? क्या होगा यदि वे 10 मिनट या 2 घंटे प्रतीक्षा करते हैं? मनुष्य धीमे हो जाते हैं और अधिक गलतियाँ करते हैं जब स्थान या समय का अंतर बहुत बड़ा होता है।
- परिणाम: परिणाम मिले-जुले थे। कुछ मॉडल्स, जैसे Llama-3.1-8B और Mistral-7B, दूरी और समय के भार को महसूस करते हुए प्रतीत हुए, यानी जब अंतराल लंबा था तो वे "पसीने से तरबतर" हो गए। अन्य को समय या स्थान के अंतराल की ज्यादा परवाह नहीं थी। यह सुझाव देता है कि जबकि कुछ AI कहानी की टाइमलाइन की "भावना" को समझने लगे हैं, अन्य बस उसे छोड़ रहे हैं।
3. "भ्रमित करने वाला सुराग" परीक्षण
यह सबसे कठिन हिस्सा है। कल्पना कीजिए कि कहानी में एक "धातु की कुर्सी" का उल्लेख है। बाद में, यह "धातु के फर्नीचर" का उल्लेख करती है। यह आसान है। लेकिन क्या होगा यदि कहानी में ठीक उससे पहले एक "लकड़ी की मेज" (फर्नीचर का एक अलग प्रकार) का उल्लेख किया जाए? मनुष्य भ्रमित हो जाते हैं क्योंकि "फर्नीचर" कुर्सी या मेज में से कुछ भी हो सकता है। यदि गलत वस्तु श्रेणी का एक बहुत ही विशिष्ट उदाहरण है (जैसे फर्नीचर के लिए डेस्क), तो यह हमें धीमा कर देता है।
- परिणाम: यहीं पर AI मुख्य रूप से मानव जैसा दिखने में विफल रहा। जब शोधकर्ताओं ने एक भ्रमित करने वाला "डिस्ट्रैक्टर" (विचलित करने वाला तत्व) जोड़ा, तो AI मॉडल उस तरह से धीमे या भ्रमित नहीं हुए जैसे मनुष्य होते हैं। वे उस भ्रम से सहजता से पार पाते दिखे। यह सुझाव देता है कि हालांकि AI यह ट्रैक कर सकता है कि चीजें कहानी में कहाँ हैं, लेकिन वह उस अस्त-व्यस्त, ओवरलैपिंग प्रतिस्पर्धा को पूरी तरह नहीं समझ पाता जो हमारे मस्तिष्क में सही स्मृति चुनने के दौरान होती है।
निष्कर्ष: एक आंशिक मिलान
तो, अंतिम स्कोर क्या है? शोध पत्र सुझाव देता है कि ये AI मॉडल चयनात्मक रूप से मानव-समान (selectively human-like) हैं। वे यह समझने में माहिर हैं कि कहानी की संरचना (जैसे कि एक शब्द कितनी दूर है या शीर्षक क्या कहता है) स्मृति को कैसे प्रभावित करती है। यदि आप कहानी को लंबा करते हैं या पात्र को छिपा देते हैं, तो AI भी थोड़ा "पसीने से तरबतर" हो जाता है, ठीक एक थके हुए पाठक की तरह।
हालाँकि, वे मानव मन के पूर्ण क्लोन नहीं हैं। जब बात "सिमेंटिक जगलिंग" (अर्थ संबंधी हेरफेर) की आती है—जहाँ समान शब्द ध्यान खींचने के लिए आपस में लड़ते हैं—तो AI उस तरह से नहीं लड़खड़ाता जैसे हम करते हैं। उनमें उस विशिष्ट प्रकार के "मानसिक घर्षण" (mental friction) की कमी लगती है जो तब होता है जब हमारे मस्तिष्क को दो बहुत समान स्मृतियों के बीच चयन करना पड़ता है।
लेखक सावधानी बरतते हुए कहते हैं कि यह कोई "हल" हुआ मामला नहीं है। अध्ययन में कहानियों की संख्या अपेक्षाकृत कम (16 से 19) थी, इसलिए परिणाम निश्चित प्रमाण के बजाय मजबूत संकेतों की तरह हैं। साथ ही, प्रश्नों पर AI की समग्र सटीकता कभी-कभी काफी कम थी, जिसका अर्थ है कि वे गलत कारणों से सही अनुमान लगा रहे होंगे। लेकिन निष्कर्ष रोमांचक है: ये डिजिटल मस्तिष्क उन्हीं कठिनाइयों के पैटर्न दिखाना शुरू कर रहे हैं जो मानव मस्तिष्क दिखाते हैं, कम से कम कहानी की दूरी और फोकस के मामले में। वे केवल शब्द-मिलान करने वाली मशीनें नहीं हैं; वे एक "सिचुएशन मॉडल" (स्थिति मॉडल)—कहानी की दुनिया का एक मानसिक मानचित्र, बिल्कुल हमारी तरह—बनाने के शुरुआती संकेत दिखाने लगे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।