Why are language models less surprised than humans? Testing the Parse Multiplicity Mismatch Hypothesis
यह शोध इस परिकल्पना का परीक्षण करता है कि भाषाई अस्पष्टता में मानव प्रसंस्करण कठिनाई का भाषा मॉडलों द्वारा कम आकलन उनके द्वारा मनुष्यों की तुलना में अधिक समवर्ती वाक्य पार्स (sentence parses) बनाए रखने की क्षमता से उत्पन्न होता है, लेकिन यह पाता है कि हालांकि पार्स बहुलता (parse multiplicity) को कम करने से अनुमानित गार्डन-पाथ प्रभाव बढ़ते हैं, फिर भी यह मानव पठन समय के अंतर के परिमाण की पूर्ण व्याख्या करने में विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कहानी पढ़ रहे हैं, और अचानक आपका सामना एक ऐसे वाक्य से होता है जो आपके मस्तिष्क को चकमा दे देता है। इसे "गार्डन पाथ" (garden path) वाक्य कहा जाता है।
यहाँ एक उदाहरण है: "The girl fed the lamb was upset because she asked for beef." (लड़की ने मेमने को खिलाया वह परेशान थी क्योंकि उसने बीफ माँगा था।)
जब आप पहली बार "The girl fed the lamb" पढ़ते हैं, तो आपका मस्तिष्क स्वाभाविक रूप से यह मान लेता है कि लड़की ही खिलाने का काम कर रही है। यह समझने का सबसे सामान्य तरीका है। लेकिन फिर आप "was" शब्द पर पहुँचते हैं। अचानक, आपके मस्तिष्क को एहसास होता है कि वह गलत था! वाक्य का वास्तविक अर्थ यह है कि लड़की को खिलाया गया था (किसी ने उसे खिलाया था), और वह बीफ को लेकर परेशान थी। भ्रम का वह क्षण और दोबारा पढ़ने की प्रक्रिया में समय लगता है। मनोवैज्ञानिक इसे "गार्डन पाथ प्रभाव" कहते हैं।
बड़ा सवाल
वैज्ञानिकों ने शक्तिशाली कंप्यूटर प्रोग्राम बनाए हैं जिन्हें "लैंग्वेज मॉडल्स" (Language Models) कहा जाता है (जैसे वे जो यह टेक्स्ट लिख रहे हैं) और वे एक वाक्य में अगले शब्द का अनुमान लगाने में बहुत माहिर हैं। "सरप्राइज़ल थ्योरी" (Surprisal Theory) नामक एक सिद्धांत सुझाव देता है कि कोई शब्द अनुमान लगाने में जितना कठिन होता है, मनुष्य को उसे पढ़ने में उतना ही अधिक समय लगता है।
समस्या क्या है? जब वैज्ञानिकों ने इन कंप्यूटरों का गार्डन पाथ वाक्यों पर परीक्षण किया, तो वे कंप्यूटर बहुत "शांत" थे। वे इस धोखे से इतने हैरान नहीं दिखे। उन्होंने अनुमान लगाया था कि भ्रम बहुत कम होगा, लेकिन मनुष्य वास्तव में एक बड़ा मानसिक "ठोकर" (stumble) महसूस करते हैं।
परिकल्पना: "फ्लैशलाइट" थ्योरी (The Flashlight Theory)
लेखकों ने सोचा: कंप्यूटर इतने शांत क्यों हैं?
उन्होंने अनुमान लगाया कि ऐसा इसलिए हो सकता है क्योंकि कंप्यूटर बहुत बुद्धिमान हैं। जब एक कंप्यूटर "The girl fed the lamb" पढ़ता है, तो वह एक ही समय में दर्जनों अलग-अलग व्याख्याओं को अपने दिमाग में रख सकता है। वह सोच रहा होता है: "शायद वह मेमने को खिला रही है। शायद मेमना उसे खिला रहा है। शायद यह किसी और तरह का मेमना है।" क्योंकि वह एक साथ इन सभी संभावनाओं को देख रहा है, इसलिए "was" शब्द उसे कोई झटका नहीं लगता; यह बस उन कई विकल्पों में से एक लगता है जिन पर वह पहले से विचार कर रहा था।
दूसरी ओर, मनुष्य एक अंधेरे कमरे में टॉर्च या फ्लैशलाइट की तरह हो सकते हैं। हम एक बार में केवल एक या दो रास्तों पर अपनी रोशनी डाल सकते हैं। हम "लड़की खिला रही है" वाले विचार के प्रति प्रतिबद्ध हो जाते हैं। जब हम "was" पर पहुँचते हैं, तो हमारी फ्लैशलाइट गलत दिशा में होती है, और हमें घूमकर नया रास्ता ढूँढना पड़ता है। इस घूमने में समय और प्रयास लगता है।
लेखकों ने इसे "पार्से मल्टीप्लिसिटी मिसमैच हाइपोथीसिस" (Parse Multiplicity Mismatch Hypothesis) कहा। सरल शब्दों में: कंप्यूटर कम हैरान होते हैं क्योंकि वे एक ही समय में बहुत सारी संभावनाओं को देख रहे होते हैं, जबकि मनुष्यों को केवल एक को चुनने के लिए मजबूर किया जाता है।
प्रयोग: फ्लैशलाइट को धीमा करना
इस परीक्षण के लिए, शोधकर्ताओं ने एक विशेष प्रकार के कंप्यूटर मॉडल का उपयोग किया जिसे ठीक से बताया जा सकता है कि कितने "रास्ते" देखने हैं। उन्होंने मॉडलों को अलग-अलग सेटिंग्स के साथ गार्डन पाथ वाक्यों के माध्यम से चलाया:
- उच्च बहुलता (High Multiplicity): कंप्यूटर एक साथ 1,000 अलग-अलग व्याख्याओं को देखता है (जैसे एक बहुत उज्ज्वल, चौड़ी फ्लैशलाइट)।
- कम बहुलता (Low Multiplicity): कंप्यूटर को केवल 1 या 2 व्याख्याओं को देखने के लिए मजबूर किया जाता है (जैसे एक धुंधली, संकीर्ण फ्लैशलाइट)।
परिणाम
- वे आंशिक रूप से सही थे: जब उन्होंने कंप्यूटर को कम रास्ते देखने के लिए मजबूर किया (संकीर्ण फ्लैशलाइट), तो वह वास्तव में अधिक हैरान हुआ। कंप्यूटर के अनुमान में आया "ठोकर" बढ़ गया।
- लेकिन वे मुख्य रूप से गलत थे: भले ही उन्होंने कंप्यूटर को केवल एक ही रास्ता (गलत वाला, बिल्कुल मनुष्य की तरह) देखने के लिए मजबूर किया, फिर भी कंप्यूटर का आश्चर्य बहुत मामूली था।
कंप्यूटर की "ठोकर" मानव प्रतिक्रिया की तुलना में अभी भी लगभग 40 गुना छोटी थी।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि कंप्यूटर को केवल "कम बुद्धिमान" बनाना या उन्हें कम विकल्प देखने के लिए मजबूर करना इस समस्या को हल नहीं करता है। कंप्यूटर और मनुष्यों के बीच भाषा को संसाधित करने का अंतर इतना बड़ा है कि इसे केवल इस बात से नहीं समझाया जा सकता कि वे एक साथ कितने विचारों को रख सकते हैं।
लेखक सुझाव देते हैं कि मानव मस्तिष्क में एक अतिरिक्त चरण हो सकता है जिसे कंप्यूटरों में नहीं होता है: एक विशिष्ट "पुनः विश्लेषण" (re-analysis) तंत्र। जब मनुष्य अटक जाते हैं, तो हम केवल थोड़ा आश्चर्य ही महसूस नहीं करते; हम सक्रिय रूप से अपनी पुरानी समझ को तोड़ते हैं और एक नई समझ का निर्माण करते हैं। वर्तमान कंप्यूटर मॉडल, सीमित होने के बावजूद, में वह "तोड़ो और पुनर्निर्माण करो" वाला बटन नहीं लगता है। वे बस अनुमान लगाते रहते हैं, और वे बहुत आसानी से अनुमान लगा लेते हैं।
संक्षेप में
शोधकर्ताओं ने यह देखने की कोशिश की कि क्या कंप्यूटर ट्रिकी वाक्यों से कम हैरान होते हैं क्योंकि वे "बहुत अधिक सोच" रहे थे (कई विचारों को रख रहे थे)। उन्होंने पाया कि भले ही उन्होंने कंप्यूटरों को "कम सोचने" के लिए मजबूर किया, फिर भी वे मनुष्यों की तुलना में बहुत अधिक शांत थे। इसका मतलब है कि कंप्यूटर और मनुष्यों के बीच का अंतर केवल इस बारे में नहीं है कि वे कितने विचारों को संभाल सकते हैं; बल्कि यह इस बारे में है कि वे गलत होने पर कैसे व्यवहार करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।