Clozing the Gap: Exploring Why Language Model Surprisal Outperforms Cloze Surprisal
यह शोध पत्र तर्क देता है कि भाषा मॉडल सरप्राइज़ल (surprisal), क्लोज़ सरप्राइज़ल (cloze surprisal) की तुलना में प्रोसेसिंग प्रयास (processing effort) की भविष्यवाणी करने में बेहतर है क्योंकि इसमें बेहतर रिज़ॉल्यूशन, अर्थपूर्ण रूप से समान शब्दों के बीच अंतर करने की क्षमता और कम आवृत्ति वाले शब्दों को सटीक रूप से संभालने की क्षमता है, साथ ही यह बेहतर क्लोज़ कार्यप्रणालियों और मानवीय पूर्वानुमान संवेदनशीलता में आगे के शोध का आह्वान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वाक्य में अगले शब्द का अनुमान लगाने की कोशिश कर रहे हैं। कभी-कभी उत्तर स्पष्ट होता है, और कभी-कभी यह पूरी तरह से चौंकाने वाला होता है। मनोवैज्ञानिकों ने लंबे समय से एक खेल का उपयोग किया है जिसे "क्लोज़ टास्क" (Cloze Task) कहा जाता है, ताकि यह मापा जा सके कि एक शब्द कितना अनुमान लगाने योग्य (predictable) है। इस खेल में, आप किसी व्यक्ति को एक वाक्य दिखाते हैं जिसमें अंतिम शब्द गायब होता है (जैसे, "बिल्ली चटाई पर...") और उनसे खाली स्थान भरने के लिए कहते हैं। यदि अधिकांश लोग "चटाई" कहते हैं, तो वह शब्द अत्यधिक अनुमान लगाने योग्य है। यदि वे कई अलग-अलग चीजें कहते हैं, तो वह अनिश्चित है।
दशकों तक, यह मानवीय खेल यह समझने के लिए स्वर्ण मानक (gold standard) रहा है कि हमारा मस्तिष्क भाषा को कैसे संसाधित करता है। लेकिन हाल ही में, एक नया दावेदार रिंग में आया है: लैंग्वेज मॉडल्स (LMs), जैसे कि इस स्पष्टीकरण के पीछे का AI। ये कंप्यूटर अरबों वाक्यों पर प्रशिक्षित किए गए हैं और वे सटीक गणितीय गणना कर सकते हैं कि अगला शब्द क्या होगा।
बड़ी खोज:
शोध पत्र में पाया गया है कि जब इंसान कितनी तेजी से शब्द पढ़ते हैं, इसका अनुमान लगाने की बात आती है, तो कंप्यूटर का गणित (LM संभावनाएँ), मानवीय खेल (Cloce Task) की तुलना में एक बहुत बेहतर अनुमान होता है। कंप्यूटर के अनुमान हमारी आँखों के रुकने के समय के साथ पूरी तरह मेल खाते हैं, जबकि मानवीय खेल थोड़ा त्रुटिपूर्ण है और लक्ष्य से चूक जाता है।
लेकिन लेखक एक महत्वपूर्ण प्रश्न पूछते हैं: क्या कंप्यूटर इसलिए जीत रहा है क्योंकि वह अधिक बुद्धिमान है, या सिर्फ इसलिए क्योंकि वह एक अलग खेल खेल रहा है?
यह जानने के लिए, शोधकर्ताओं ने तीन "प्रयोग" चलाए जहाँ उन्होंने कंप्यूटर को मानव के नियमों के अनुसार खेलने के लिए मजबूर किया। उन्होंने तीन कारणों का परीक्षण किया कि कंप्यूटर क्यों जीत रहा है:
1. "पिक्सेल रेजोल्यूशन" परीक्षण (परिकल्पना 1)
रूपक: कल्पना कीजिए कि मानवीय खेल एक कम-रेजोल्यूशन वाली, पिक्सेलेटेड फोटो है। आप चेहरे का सामान्य आकार देख सकते हैं, लेकिन आप तिल (freckles) नहीं देख सकते। कंप्यूटर, हालांकि, एक 4K अल्ट्रा-एचडी फोटो है जिसमें हर सूक्ष्म विवरण दिखाई देता है।
प्रयोग: शोधकर्ताओं ने कंप्यूटर को केवल सीमित संख्या में नमूने देखने के लिए मजबूर किया, ठीक वैसे ही जैसे मानवीय खेल (जो आमतौर पर केवल 40-90 लोगों के बारे में पूछता है)। उन्होंने कंप्यूटर के हाई-डेफिनिशन गणित को मानवीय डेटा से मेल खाने के लिए "पिक्सेलेट" कर दिया।
परिणाम: जब कंप्यूटर का विजन मानवीय खेल से मेल खाने के लिए धुंधला कर दिया गया, तो वह बेहतर भविष्यवक्ता बनना बंद हो गया। यह सुझाव देता है कि कंप्यूटर इसलिए जीतता है क्योंकि उसका "रेजोल्यूशन" बहुत अधिक है—वह उन सूक्ष्म बारीकियों के बीच अंतर कर सकता है जिन्हें मानवीय खेल पकड़ नहीं पाता क्योंकि उसके पास पर्याप्त लोग नहीं हैं।
2. "जुड़वां भाइयों" का परीक्षण (परिकल्पना 2)
रूपक: कल्पना कीजिए कि वाक्य है "वह ... पर बैठा" और संभावित उत्तर हैं "सोफा" और "कौच"। एक इंसान के लिए, ये जुड़वां हैं; इनका अर्थ एक ही है। यदि कोई इंसान "कौच" का अनुमान लगाता है, तो उसने शायद "सोफा" भी सोचा होगा। लेकिन कंप्यूटर इनके साथ दो पूरी तरह से अलग अजनबियों जैसा व्यवहार करता है जिनके अलग-अलग स्कोर होते हैं।
प्रयोग: शोधकर्ताओं ने कंप्यूटर को समान शब्दों को एक साथ समूहबद्ध करने के लिए कहा। यदि "कौच" और "सोफा" एक ही समूह में हैं, तो कंप्यूटर को उन्हें एक ही स्कोर देना था।
परिणाम: जब कंप्यूटर को समान शब्दों को एक टीम के रूप में मानने के लिए मजबूर किया गया, तो उसकी भविष्यवाणी करने की शक्ति गिर गई। इसका अर्थ है कि कंप्यूटर का लाभ शब्दों के बीच अत्यंत सूक्ष्म अंतर करने की उसकी क्षमता से आता है, जिसे मनुष्य एक समान देख सकते हैं।
3. "दुर्लभ शब्द" परीक्षण (परिकल्पना 3)
रूपक: एक वाक्य की कल्पना करें जहाँ अगला शब्द "हैरान कर देने वाला" (flabbergasted) है। एक मानवीय खेल में, शायद ही कोई उस दुर्लभ शब्द का अनुमान लगाए क्योंकि उन्होंने इसे अक्सर नहीं सुना है। लेकिन कंप्यूटर, जिसने पूरे इंटरनेट को पढ़ा है, जानता है कि उस दुर्लभ शब्द की संभावना कितनी है।
प्रयोग: शोधकर्ताओं ने कंप्यूटर को सभी दुर्लभ शब्दों को अनदेखा करने और केवल सामान्य शब्दों का अनुमान लगाने के लिए कहा, ठीक वैसे ही जैसे एक मानवीय प्रतिभागी जो उस शब्द का अनुमान नहीं लगाएगा जिसे उसने कभी नहीं देखा।
परिणाम: जब कंप्यूटर को दुर्लभ शब्दों को अनदेखा करने के लिए मजबूर किया गया, तो वह पढ़ने के समय (reading times) का अनुमान लगाने में और खराब हो गया। यह दर्शाता है कि कंप्यूटर "लॉन्ग टेल" (long tail) वाले दुर्लभ शब्दों को संभालने में बेहतर है जिन्हें मनुष्य खेल में उत्पन्न नहीं करते हैं।
निष्कर्ष: बेहतर उपकरणों का आह्वान
पत्र का निष्कर्ष है कि कंप्यूटर अनिवार्य रूप से मनुष्य की तरह "सोच" नहीं रहा है; यह बस एक बेहतर मापने का पैमाना है क्योंकि इसका रेजोल्यूशन अधिक है, यह सूक्ष्म अंतर देख सकता है, और दुर्लभ शब्दों को अच्छी तरह से संभालता है।
हालाँकि, लेखक हमें मानवीय खेल को पूरी तरह से छोड़ने के लिए नहीं कहते हैं। उनका तर्क है कि मानवीय खेल "लो-रेजोल्यूशन" है क्योंकि हर वाक्य के लिए हजारों उत्तर प्राप्त करना बहुत महंगा और धीमा है।
मुख्य बात:
हमें अपने मानवीय प्रयोगों को अपग्रेड करने की आवश्यकता है। केवल लोगों से एक बार अगला शब्द अनुमान लगाने के लिए पूछने के बजाय, हमें मानव भविष्यवाणी को मापने के नए तरीके चाहिए जो कंप्यूटर के गणित जितने संवेदनशील और विस्तृत हों। जब तक हम ऐसा नहीं करते, हम 100% निश्चित नहीं हो सकते कि कंप्यूटर यह अनुमान लगा रहा है कि इंसान कैसे सोचते हैं, या यह केवल एक बहुत अच्छा कैलकुलेटर है जो गलत कारणों से हमारे पढ़ने की गति से मेल खाता है।
संक्षेप में: कंप्यूटर वर्तमान में पढ़ने की गति को मापने के लिए बेहतर पैमाना है, लेकिन यह उन चीजों को माप रहा है जो शायद इंसान नोटिस भी नहीं करते। हमें एक बेहतर पैमाना बनाने की आवश्यकता है ताकि यह देखा जा सके कि क्या वे वास्तव में दुनिया को उसी तरह देखते हैं जैसे कंप्यूटर देखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।