On the Proper Treatment of Units in Surprisal Theory
यह शोध पत्र सरप्राइज़ल थ्योरी (surprisal theory) में भाषाई इकाइयों की परिभाषा को मूल्यांकन क्षेत्रों से अलग करने के लिए एक एकीकृत रूपरेखा प्रस्तावित करता है, और यह तर्क देता है कि मानव प्रसंस्करण प्रयास (human processing effort) के स्पष्ट और कठोर मॉडलिंग को सुनिश्चित करने के लिए टोकनाइज़ेशन को एक वैज्ञानिक मूल तत्व (scientific primitive) के बजाय एक कार्यान्वयन विवरण (implementation detail) के रूप में माना जाना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "On the Proper Treatment of Units in Surprisal Theory" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
बड़ी समस्या: "गलत पैमाना"
कल्पना कीजिए कि आप एक मनोवैज्ञानिक हैं जो यह मापने की कोशिश कर रहे हैं कि मानव मस्तिष्क के लिए एक वाक्य पढ़ना कितना कठिन है। आपके पास एक सिद्धांत है जिसे सरप्राइज़ल थ्योरी (Surprisal Theory) कहा जाता है, जो कहता है: किसी शब्द की भविष्यवाणी करना जितना कठिन होगा, उसे पढ़ने में मानसिक प्रयास उतना ही अधिक लगेगा।
इसे परखने के लिए, आपको उस प्रयास को मापने के लिए एक "पैमाने" (रूलर) की आवश्यकता है। अतीत में, शोधकर्ता एक ऐसा पैमाना उपयोग करते थे जो शब्दों से पूरी तरह मेल खाता था (जैसे मेज को इंच में मापना)। लेकिन आज, हम मापने के लिए शक्तिशाली AI मॉडल (जैसे GPT-2) का उपयोग करते हैं। समस्या क्या है? ये AI मॉडल "मानवीय शब्द" नहीं बोलते। वे "टोकन्स" (tokens) में बात करते हैं।
एक टोकन को 'लेगो ब्रिक' (Lego brick) की तरह समझें।
- एक इंसान "don't" शब्द देखता है।
- AI दो ईंटें देखता है: "don" और "'t"।
- एक इंसान "words" शब्द देखता है।
- AI एक ईंट देखता है: "words"।
- एक इंसान "equal" शब्द देखता है।
- AI एक ईंट देखता है: "equal"।
क्योंकि AI की ये "ईंटें" (टोकन्स) हमारे "शब्दों" से मेल नहीं खातीं, इसलिए शोधकर्ता AI की इन ईंटों को जोड़ने की कोशिश कर रहे हैं ताकि वे मानवीय शब्दों के समान हो सकें। वे इसके लिए "एड हॉक" (अस्थायी/जुगाड़ू) गोंद का उपयोग कर रहे हैं। कभी वे शब्द के आगे स्पेस जोड़ते हैं; कभी पीछे। कभी वे विराम चिह्नों को अनदेखा कर देते हैं।
शोध पत्र का मुख्य दावा: यह "जोड़ने" की प्रक्रिया अव्यवस्थित और असंगत है। यह एक ऐसे कमरे को मापने की कोशिश करने जैसा है जिसमें पैमाना हर बार देखने पर अपनी लंबाई बदल लेता है। लेखक तर्क देते हैं कि यह चुनना कि एक "इकाई" (यूनिट) क्या है (शब्द, अक्षर, या वाक्यांश), एक वैज्ञानिक निर्णय है, न कि केवल एक तकनीकी विवरण। हमें AI की आंतरिक ईंट संरचना को अपने विज्ञान को निर्देशित करने से रोकना होगा।
समाधान: "अपनी इकाइयाँ स्वयं लाएँ"
लेखक एक नया ढांचा प्रस्तावित करते हैं जहाँ शोधकर्ता AI को देखने से पहले ही तय करता है कि एक "इकाई" क्या है।
- आप इकाई चुनते हैं: क्या आप पूरे शब्दों का अध्ययन करना चाहते हैं? व्यक्तिगत अक्षरों का? या शायद व्याकरण के विशिष्ट हिस्सों का?
- आप AI का अनुवाद करते हैं: AI को बदलने के बजाय, आप एक "अनुवादक" (एक गणितीय उपकरण जिसे ट्रांसड्यूसर कहा जाता है) बनाते हैं जो AI की अजीब ईंटों को आपकी चुनी हुई इकाइयों में परिवर्तित करता है।
उपमा:
कल्पना कीजिए कि AI एक शेफ (रसोइया) है जो केवल "आटे, चीनी और अंडों के ग्राम" में बात करता है। आप, एक वैज्ञानिक, यह जानना चाहते हैं कि कितना "केक" बनाया जा रहा है।
- पुराना तरीका: आप अंदाज़ा लगाने की कोशिश करते हैं कि शेफ के रैंडम माप के आधार पर कितने ग्राम मिलकर एक केक बनाते हैं।
- नया तरीका: आप एक मशीन बनाते हैं जो शेफ के ग्राम लेती है और उन्हें स्वचालित रूप से आपके द्वारा चुने गए "केक" (या "कपकेक," या "मफिन") में असेंबल करती है, जो आपके विशिष्ट नुस्खे (रेसिपी) पर आधारित है। शेफ नहीं बदलता; आपकी मशीन बस आपके विशिष्ट प्रश्न के लिए उसके आउटपुट की सही व्याख्या करती है।
प्रयोग: विभिन्न पैमाने (रुलर्स) का परीक्षण
अपने बिंदु को सिद्ध करने के लिए, लेखकों ने MECO डेटासेट (पाठ पढ़ते समय लोगों की आँखों की गति का एक संग्रह) का उपयोग करके एक प्रयोग किया। उन्होंने यह देखने के लिए चार अलग-अलग "पैमानों" (इकाई सूची) का परीक्षण किया कि वे लोगों की आँखों के एक शब्द पर रुकने के समय की कितनी अच्छी भविष्यवाणी करते हैं:
- टोकन्स (Tokens): AI की मूल ईंटों का उपयोग करना (जैसे, "don" और "'t" को अलग-अलग चीज़ों के रूप में देखना)।
- कैरेक्टर्स (Characters): प्रत्येक अक्षर को मापना (जैसे, d, o, n, ', t)।
- असंदर्भिक शब्द (Acontextual Words): सरल नियमों द्वारा टेक्स्ट को विभाजित करना (जैसे, "हर स्पेस पर काटें")। यह मोतियों की एक माला को हर अंतराल पर काटने जैसा है, चाहे मोती कैसे भी हों।
- संदर्भात्मक शब्द (Contextual Words): स्मार्ट नियमों का उपयोग करना (जैसे, पेंस ट्रीबैंक दिशानिर्देश), जो संदर्भ को समझते हैं। उदाहरण के लिए, यह जानना कि "1,000" में कॉमा संख्या का हिस्सा है, लेकिन "Hello, world" में कॉमा एक ठहराव है।
परिणाम: आप क्या मापते हैं, यह मायने रखता है
अध्ययन में पाया गया कि पैमाना बदलने से परिणाम बदल जाते हैं।
- पूरे शब्द (संदर्भात्मक): जब उन्होंने विराम चिह्नों और व्याकरण का सम्मान करने वाले "स्मार्ट" शब्द इकाइयों का उपयोग किया, तो AI की भविष्यवाणियाँ मानव नेत्र गति (eye movements) से बहुत अच्छी तरह मेल खाती थीं।
- टोकन्स: AI की मूल ईंटें ठीक-ठाक काम करती थीं, लेकिन स्मार्ट शब्दों जितनी अच्छी नहीं थीं।
- कैरेक्टर्स: अक्षर-दर-अक्षर मापने से पढ़ने के समय की भविष्यवाणी करने में सफलता नहीं मिली। क्यों? क्योंकि इंसान शायद ही कभी किसी एक अक्षर पर अपनी आँखें रोकते हैं; वे पूरे शब्दों को देखते हैं।
- "गोंद" की समस्या: उन्होंने पाया कि स्पेस (स्पेस को आगे या पीछे रखने का तरीका) को संभालने के तरीके ने गणित को महत्वपूर्ण रूप से बदल दिया।
निष्कर्ष:
यदि आप एक खराब पैमाने का उपयोग करते हैं, तो आप यह निष्कर्ष निकाल सकते हैं कि "सरप्राइज़ल थ्योरी गलत है" या "AI मॉडल खराब हैं", जबकि वास्तव में, आपने बस गलत चीज़ मापी थी।
मुख्य सबक
शोध पत्र निष्कर्ष निकालता है कि टोकेनाइजेशन (tokenization) केवल एक तकनीकी विवरण है, जैसे कैमरा लेंस का ब्रांड। इसे मुख्य आकर्षण नहीं बनना चाहिए।
- पुरानी मानसिकता: "AI टोकन का उपयोग करता है, इसलिए हमें टोकन का अध्ययन करना चाहिए।"
- नई मानसिकता: "मैं यह अध्ययन करना चाहता हूँ कि मनुष्य शब्दों को कैसे संसाधित करते हैं। मैं AI के आउटपुट को गणितीय रूप से शब्दों में बदलूँगा ताकि मैं अपने वैज्ञानिक प्रश्न का सही उत्तर दे सकूँ।"
एक "इकाई" की परिभाषा को एक डिफ़ॉल्ट सेटिंग के बजाय एक जानबूझकर किए गए वैज्ञानिक विकल्प के रूप में मानकर, शोधकर्ता मानव मस्तिष्क द्वारा भाषा के प्रसंस्करण के बारे में अधिक स्पष्ट और सटीक उत्तर प्राप्त कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।