Are you going to finish that? A Practical Study of the Partial Token Problem
यह शोध पत्र "पार्शियल टोकन समस्या" (partial token problem) की जांच करता है, जो यह प्रदर्शित करता है कि वास्तविक प्रॉम्प्ट्स का टोकन के बीच में समाप्त होना—विशेष रूप से बिना व्हाइटस्पेस वाली भाषाओं, कंपाउंडिंग भाषाओं और कोड में—लार्ज लैंग्वेज मॉडल्स में गंभीर संभाव्यता विरूपण (probability distortions) का कारण बनता है जो स्केल के साथ भी सुधरते नहीं हैं, जबकि सटीक इन्फरेंस-टाइम समाधानों की प्रभावशीलता को भी मान्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े कठोर (rigid) रोबोट के साथ "वाक्य पूरा करो" (Finish the Sentence) का खेल खेल रहे हैं। आप एक वाक्य टाइप करते हैं, और रोबोट को अगला शब्द पहचानने का काम दिया जाता है।
आमतौर पर, यह पूरी तरह से काम करता है। लेकिन यह शोध पत्र एक विशिष्ट गड़बड़ी (glitch) की खोज करता है जहाँ रोबक भ्रमित हो जाता है, इसलिए नहीं कि वह शब्दों को नहीं जानता, बल्कि इसलिए क्योंकि वह उन्हें गिनने के तरीके में उलझ जाता है।
यहाँ समस्या, प्रमाण और समाधान का विवरण दिया गया है, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है।
1. मुख्य समस्या: "हाफ-ब्रिक" (आधे ईंट) वाली गड़बड़ी
रोबोट के मस्तिष्क को एक पुस्तकालय के रूप में सोचें जहाँ हर किताब ईंटों (टोकन्स) से बनी है।
- उपयोगकर्ता का दृष्टिकोण: आप शब्द देखते हैं (जैसे "apple" या "is")।
- रोबोट का दृष्टिकोण: वह ईंटें देखता है। कभी-कभी, एक ईंट एक पूरे शब्द को कवर करती है। कभी-कभी, एक ईंट दो शब्दों को कवर करती है। कभी-कभी, एक ईंट आधी कटी हुई होती है।
पार्शियल टोकन समस्या (The Partial Token Problem) तब होती है जब आप इन ईंटों में से किसी एक के बीच में ही टाइप करना बंद कर देते हैं।
- उपमा: कल्पना करें कि रोबोट उम्मीद करता है कि "processing" शब्द एक एकल, ठोस ईंट होगा।
- गलती: आप "process" टाइप करते हैं और रुक जाते हैं।
- भ्रम: रोबोट देखता है "process" और सोचता है, "रुको, मैं 'process' वाली ईंट को जानता हूँ। लेकिन मैं 'processing' वाली ईंट को भी जानता हूँ। अगर मैं बस इसके आगे 'ing' जोड़ दूँ, तो मैं अपने ही नियमों को तोड़ दूँगा क्योंकि 'processing' को एक अटूट ईंट होना चाहिए!"
क्योंकि रोबले को केवल पूरी ईंट देखने के लिए प्रशिक्षित किया गया था, वह उस तरह से शब्द को पूरा करने से डरता है जैसा आप उम्मीद करते हैं। वह सोचता है, "अगर आपने 'process' पर रुक गए हैं, तो शायद आप इसके आगे 'ing' नहीं चाहते; शायद आप कुछ बिल्कुल अलग चाहते हैं।"
2. यह कहाँ होता है? (तीन जाल)
शोध पत्र ने पाया कि यह केवल अंग्रेजी की कोई दुर्लभ गड़बड़ी नहीं है। यह तीन विशिष्ट स्थितियों में अक्सर होता है जहाँ "शब्द" और "ईंटें" आपस में मेल नहीं खातीं:
- बिना स्पेस वाली भाषाएँ (जैसे चीनी): अंग्रेजी में, स्पेस बताते हैं कि एक शब्द कहाँ समाप्त होता है। चीनी में, कोई स्पेस नहीं होता। रोबोट को खुद अंदाजा लगाना पड़ता है कि एक शब्द कहाँ समाप्त होता है और दूसरा कहाँ शुरू होता है।
- उदाहरण: "is a" जैसा वाक्यांश एक एकल ईंट हो सकता है। यदि आप "is" टाइप करते हैं और रुक जाते हैं, तो आपने उस ईंट को आधा काट दिया है। रोबोट घबरा जाता है।
- ऐसी भाषाएँ जो शब्दों को आपस में जोड़ती हैं (जैसे जर्मन): जर्मन अक्सर दो शब्दों को एक विशाल शब्द में मिला देता है (जैसे "Eigelb" जो अंडे की जर्दी के लिए है)।
- उदाहरण: यदि रोबोट "Ei" (अंडा) देखता है और आप वहीं रुक जाते हैं, लेकिन रोबोट सोचता है कि "Eigelb" एक ही ईंट है, तो वह इस बात को लेकर भ्रमित हो जाता है कि आगे क्या आना चाहिए।
- कंप्यूटर कोड: कोड में
()या:जैसे प्रतीक होते हैं। अक्सर, प्रतीकों का एक पूरा समूह एक ही ईंट होता है।- उदाहरण: यदि आप
def main()टाइप करते हैं और रुक जाते हैं, लेकिन रोबोट सोचता है कि():एक ही एकल ईंट है, तो वह अगले प्रतीक का अनुमान लगाने में फंस जाता है।
- उदाहरण: यदि आप
3. यह कितना बुरा है? (द साइलेंट क्रैश)
शोधकर्ताओं ने कई अलग-अलग रोबोटों (AI मॉडल्स) के साथ इसका परीक्षण किया। परिणाम चौंकाने वाले थे:
- संभावना में गिरावट (The Probability Drop): जब रोबोट को एक "हाफ-ब्रिक" के बाद अनुमान लगाने के लिए मजबूर किया जाता है, तो वह आपको सही उत्तर देने के प्रति 1,000 से 10,000 गुना कम आश्वस्त हो जाता है। यह एक ऐसे छात्र की तरह है जो उत्तर जानता है, लेकिन शिक्षक के ग्रेडिंग नियमों से इतना डरा हुआ है कि वह उसे लिखने से इनकार कर देता है।
- सटीकता में गिरावट (The Accuracy Drop): रोबोट सही उत्तर देना 60% से 95% बार छोड़ देता है। वह एक अक्षर छोड़ सकता है, एक अजीब सा स्पेस जोड़ सकता है, या पूरी तरह से गलत शब्द दे सकता है।
- बड़ा होने का मतलब बेहतर होना नहीं है: आप सोच सकते हैं, "यदि हम रोबोट को अधिक स्मार्ट (बड़ा मॉडल) बनाते हैं, तो यह इसे ठीक कर देगा।" नहीं। शोध पत्र ने पाया कि बड़े, स्मार्ट रोबोट इस मामले में और भी खराब हो जाते हैं। वे अपने विशिष्ट "ईंट" नियमों पर इतने प्रशिक्षित होते हैं कि वे उन्हें तोड़ने के प्रति और भी अधिक जिद्दी हो जाते हैं।
4. समाधान: इस गड़बड़ी को कैसे ठीक करें
शोध पत्र ने "सोचने" के चरण (inference) के दौरान इसे ठीक करने के दो तरीकों का परीक्षण किया:
विधि A: "टोकन हीलिंग" (पीछे हटना - The Retreat):
- यह कैसे काम करता है: यदि आप "process" टाइप करते हैं और रोबोट भ्रमित है, तो यह विधि रोबोट को कहती है, "ठीक है, पिछले हिस्से को भूल जाओ। मान लो कि तुमने केवल 'pro' देखा था।"
- परिणाम: यह कभी-कभी मदद करता है, लेकिन यह अनिश्चित है। यह एक टूटे हुए फूलदान को ठीक करने के लिए उसके ऊपरी हिस्से को काटने जैसा है; यह फिट हो सकता है, लेकिन यह पूर्ण नहीं है।
विधि B: "बाइटसैम्प्लर" (नक्शा - The Map):
- यह कैसे काम करता है: अनुमान लगाने के बजाय, यह विधि आपके वाक्य को पढ़ने के हर संभव तरीके का एक नक्शा बनाती है। यह उस पथ को ढूंढती है जो आपके टेक्स्ट से बिल्कुल मेल खाता है और फिर वहीं से आगे बढ़ती है।
- परिणाम: यह पूरी तरह से काम करता है। परीक्षणों में, इस विधि ने रोबोट को सही उत्तर देने में 100% सफलता दिलाई, भले ही प्रॉम्प्ट (prompt) एक ईंट के बीच में ही कटा हुआ क्यों न हो। यह एक GPS की तरह है जो तुरंत रास्ता फिर से तैयार करता है जब आप गलत मोड़ ले लेते हैं, जिससे यह सुनिश्चित होता है कि आप अभी भी मंजिल तक पहुँचेंगे।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि जबकि AI मॉडल भाषा को समझने में अद्भुत हैं, वे शब्दों को गिनने के विशिष्ट तरीके (tokenization) के गुलाम भी हैं। यदि कोई उपयोगकर्ता इस तरह से टाइप करना बंद करता है जो रोबोट के आंतरिक गिनती नियमों से मेल नहीं खाता, तो रोबोट का आत्मविश्वास गिर जाता है।
अच्छी खबर? हमें रोबोटों को फिर से बनाने की ज़रूरत नहीं है। हमें बस उनके सोचने के दौरान एक स्मार्ट "GPS" (जैसे ByteSampler) का उपयोग करने की आवश्यकता है ताकि वे अपने स्वयं के गिनती के नियमों में न फंसें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।