🤖 machine learning

ReconSpan: Reconstruction-Guided Adaptive Latent Tokenization

ReconSpan एक पुनर्निर्माण-निर्देशित अनुकूली लेटेंट टोकेनाइजेशन (reconstruction-guided adaptive latent tokenization) विधि है जो टेक्स्ट को एक बैकवर्ड डिकोडर की किसी प्रीफ़िक्स से उन्हें पुनर्निर्मित करने की क्षमता के आधार पर परिवर्तनशील-लंबाई वाले चंक्स में विभाजित करती है, जिससे सटीक विवरण की रिकवरी की कीमत पर विषय संबंधी जानकारी को संरक्षित करते हुए कुशल संपीड़न प्राप्त होता है।

मूल लेखक: Lixing Li

प्रकाशित 2026-08-14

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Lixing Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने एक मित्र को एक लंबी, जटिल कहानी भेजने की कोशिश कर रहे हैं, लेकिन आप एक बार में केवल कुछ ही शब्द फुसफुसा सकते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटरों को भी इसी तरह की समस्या का सामना करना पड़ता है। वे कहानियों को वैसे नहीं पढ़ते जैसे हम शब्द दर शब्द पढ़ते हैं; इसके बजाय, वे सोचने से पहले ही टेक्स्ट को "टोकन्स" नामक छोटे, पूर्व-निर्धारित टुकड़ों में काट देते हैं। यह बिल्कुल वैसा ही है जैसे यदि कोई पुस्तकालय हर किताब को ठीक 100 शब्दों के पृष्ठों में काटने के लिए मजबूर करे, चाहे वाक्य वहीं समाप्त हो रहा हो या नया अध्याय शुरू हो रहा हो। यह ठीक तो काम करता है, लेकिन यह कठोर है। कभी-कभी कंप्यूटर छोटे, अर्थहीन टुकड़ों पर ऊर्जा बर्बाद करता है, और कभी-कभी वह एक विशाल टुकड़े से अभिभूत हो जाता है जो एक साथ समझने के लिए बहुत कठिन होता है। वैज्ञानिक टेक्स्ट को काटने के अधिक स्मार्ट तरीके बनाने की कोशिश कर रहे हैं—ऐसे तरीके जो इस आधार पर बदल सकें कि उस सटीक क्षण में कहानी पढ़ना कितना कठिन है। यह "एडेप्टिव टोकनाइजेशन" (adaptive tokenization) का खेल है, जहाँ लक्ष्य कंप्यूटर को यह तय करने देना है, "ठीक है, यह हिस्सा आसान है, मैं इसे एक साथ समेट दूँगा; यह हिस्सा पेचीदा है, मैं धीमा हो जाऊंगा और इसे ध्यान से देखूँगा।"

यहाँ आता है ReconSpan, कॉर्नेल यूनिवर्सिटी के शोधकर्ताओं द्वारा प्रस्तावित एक नई विधि, जो AI के लिए एक बहुत ही सख्त, पीछे की ओर देखने वाले संपादक (backward-looking editor) की तरह कार्य करती है। टेक्स्ट को कहाँ काटना है इसका अनुमान लगाने के बजाय, ReconSpan एक चतुर तरकीब का उपयोग करता है: यह एक टुकड़े के अंत से शुरुआत की ओर पीछे बढ़ते हुए टेक्स्ट को "पुनर्निर्मित" (reconstruct) करने की कोशिश करता है। कल्पना कीजिए कि आपके पास एक जादुई डिकोडर रिंग है जो एक बार में केवल कुछ ही शब्द याद रख सकती है। आप एक वाक्य की ओर इशारा करते हैं और पूछते हैं, "क्या तुम आखिरी कुछ शब्द याद रख सकते हो?" यदि वह कहता है "हाँ," तो आप आगे बढ़ते रहते हैं। लेकिन जिस क्षण वह लड़खड़ाता है और एक शब्द भूल जाता है, आप रुक जाते हैं और कहते हैं, "ठीक है, यह इस समूह का अंत है।" फिर आप उस "लड़खड़ाने वाले बिंदु" को एक विशेष मार्कर (एक लेटेंट टोकन) के रूपв रूप में सहेज लेते हैं और जहाँ से आपने छोड़ा था वहीं से फिर से शुरू करते हैं। इसका मतलब है कि टेक्स्ट के आसान हिस्सों को लंबे, कुशल समूहों में समेटा जाता है, जबकि कठिन, भ्रमित करने वाले हिस्सों को छोटे, सावधानीपूर्ण टुकड़ों में तोड़ दिया जाता है। शोधकर्ताओं ने पाया कि यह विधि, "भूलने" के नियम के सख्त होने के आधार पर, औसतन 6.5 से 12.2 शब्दों के बीच के टुकड़े बनाती है।

उनकी खोज का सबसे रोमांचक हिस्सा यह है कि यह विधि कहानी के सार (gist) को बनाए रखने में आश्चर्यजनक रूप से अच्छी है। जब उन्होंने परीक्षण किया कि क्या अन्य AI मॉडल इन विशेष मार्करों को पढ़ सकते हैं और आपको बता सकते हैं कि कहानी किस बारे में थी, तो उन्होंने बहुत अच्छा काम किया। मॉडल विश्वसनीय रूप से विषय को पहचान सके, जैसे यह जानना कि कहानी "अंतरिक्ष अन्वेषण" या "खाना पकाने" के बारे में थी। हालाँकि, जब बात बारीक विवरणों की आई—जैसे किसी पात्र का सटीक नाम या कोई विशिष्ट संख्या याद रखना—तो मॉडल संघर्ष कर गए। यह ऐसा है जैसे ReconSpan विधि एक बेहतरीन सारांश लेखक तो है लेकिन एक बुरा नोट लेने वाला है। शोधकर्ताओं ने दिखाया कि ये स्मार्ट, पीछे की ओर देखने वाली सीमाएँ, समान लंबाई के स्थानों पर कहानी को बेतरतीब ढंग से काटने की तुलना में मूल टेक्स्ट के अधिक हिस्से को सुरक्षित रखती हैं। हालाँकि यह प्रणाली अभी भी हर एक विवरण को पकड़ने में पूरी तरह सक्षम नहीं है, फिर भी यह एक नया और आशाजनक तरीका सुझाती है जिससे AI को तेज़ और स्मार्ट बनाया जा सकता है, यह तय करके कि टेक्स्ट की कठिनाई ही यह तय करेगी कि उसे कैसे विभाजित किया जाए।

तकनीकी सारांश: ReconSpan: पुनर्निर्माण-निर्देशित अनुकूलनशील लेटेंट टोकेनाइजेशन (Reconstruction-Guided Adaptive Latent Tokenization)

समस्या विवरण

पारंपरिक भाषा मॉडल निश्चित सबवर्ड टोकेनाइज़र (जैसे BPE, WordPiece) पर निर्भर करते हैं जो मॉडल निष्पादन से पूर्व कॉर्पस-स्तरीय आवृत्ति सांख्यिकी के आधार पर टोकन सीमाओं को निर्धारित करते हैं। यह निश्चित सूक्ष्मता (granularity) इनपुट की विशिष्ट सामग्री या कठिनाई के अनुकूल होने में विफल रहती है, जिससे सूक्ष्म जानकारी के अक्षम प्रतिनिधित्व या अनावश्यक अनुक्रम लंबाई की संभावना बनी रहती है। जबकि बाइट- और कैरेक्टर-स्तरीय इनपुट सूक्ष्म विवरणों को सुरक्षित रखते हैं, वे काफी लंबी अनुक्रमों का परिणाम होते हैं, जिससे कम्प्यूटेशनल लागत बढ़ जाती है। अनुकूलनशील लेटेंट टोकेनाइजेशन (Adaptive latent tokenization) का लक्ष्य पड़ोसी इकाइयों को इनपुट-निर्भर स्पैन (spans) में समूहित करना है, जो प्रत्येक स्पैन को एक एकल निरंतर लेटेंट टोकन के रूप में प्रदर्शित करता है। हालाँकि, इन स्पैन सीमाओं को निर्धारित करने के मौजूदा तरीके अक्सर निश्चित स्थितियों, भविष्य कहनेवाला एंट्रॉपी (predictive entropy), या भाषा मॉडलिंग उद्देश्य के हिस्से के रूप में प्रशिक्षित किए गए लर्नड राउटर पर निर्भर करते हैं, जिनमें मूल पाठ के पुनर्निर्माण के लिए पर्याप्त होने वाले लेटेंट प्रतिनिधित्व सुनिश्चित करने के लिए प्रत्यक्ष तंत्र का अभाव है।

कार्यप्रणाली (Methodology)

यह शोध पत्र ReconSpan नामक एक अनुकूलनशील लेटंत टोकेनाइजेशन पद्धति प्रस्तुत करता है जो पुनर्निर्माण निष्ठा (reconstruction fidelity) के आधार पर टेक्स्ट को चंक्स (chunks) में विभाजित करती है। मुख्य धारणा यह है कि एक चंक उतना लंबा होना चाहिए जितना कि एक बैकवर्ड डिकोडर एक एकल कॉन्टेक्स्टुअल प्रीफिक्स कोड से सफलतापूर्वक पुनर्निर्माण कर सके।

आर्किटेक्चर (Architecture)

ReconSpan दो सीखे हुए घटकों का उपयोग करता है:

प्रीफिक्स एनकोडर ( $E$ ): एक कॉज़ल मॉडल (जैसे ट्रांसफार्मर) जो किसी भी टोकन अनुक्रम $x_{1:t}$ को एक एकल निरंतर कोड $c_t$ में मैप करता है।
बैकवर्ड डिकोडर ( $D$ ): एक मॉडल जो एक कोड $c_t$ लेता है और पिछले टोकनों को उल्टे क्रम में ( $x_t, x_{t-1}, \dots$ ) पुनर्निर्मित करने का प्रयास करता है।

बैकवर्ड डिकोडर का उपयोग महत्वपूर्ण है: वह बिंदु जहाँ डिकोडर सही टोकन की भविष्यवाणी करने में पहली बार विफल होता है, यह सीधे तौर पर मापता है कि वह एकल कोड कितनी दूर तक "पहुंच" सकता है।

चंकिंग एल्गोरिदम (Chunking Algorithm)

टोकेनाइजेशन प्रक्रिया अनुमान (inference) के समय एक ग्रीडी, टीचर-फोर्स्ड एल्गोरिदम का उपयोग करके होती है:

एनकोडर एक ही पास में पूरे इनपुट अनुक्रम के लिए प्रीफिक्स कोड उत्पन्न करता है।
अंतिम स्थिति से शुरू करते हुए, बैकवर्ड डिकोडर उल्टे क्रम में टोकनों को पुनर्निर्मित करने का प्रयास करता है।
प्रक्रिया तब तक जारी रहती है जब तक कि एक स्टॉपिंग रूल (stopping rule) ट्रिगर नहीं हो जाता। पेपर दो प्रकार के स्टॉपिंग रूल्स को परिभाषित करता है:
- Failure( $m$ ): रुक जाता है जब $m$ -वाँ टोकन गलत तरीके से पुनर्निर्मित होता है।
- Logit-gap( $\tau$ ): रुक जाता है जब सही टोकन के प्रेडिक्टेड लॉजिट और अधिकतम लॉजिट के बीच संचयी अंतर (cumulative gap) थ्रेशोल्ड $\tau$ से अधिक हो जाता है।
सफलतापूर्वक पुनर्निर्मित सफिक्स (suffix) एक चंक (chunk) बन जाता है। चंक की अंत सीमा के संगत प्रीफिक्स कोड को उस चंक के लिए लेटेंट टोकन के रूप में रखा जाता है।
प्रक्रिया पहले अपूर्ण पुनर्निर्मित स्थान से तब तक दोहराई जाती है जब तक कि पूरा टेक्स्ट कवर न हो जाए।

प्रशिक्षण (Training)

मॉडल को केवल एक ऑटोएन्कोडर पुनर्निर्माण उद्देश्य (autoencoder reconstruction objective) पर प्रशिक्षित किया जाता है। एनकोडर और डिकोडर को संयुक्त रूप से (एक फ्रोजन एनकोडर प्री-ट्रेनिंग चरण वाले दो-चरणीय प्रक्रिया के माध्यम से) प्रशिक्षित किया जाता है। स्पैन आवंटन को स्पष्ट रूप से किसी लंबाई उद्देश्य द्वारा लक्षित नहीं किया जाता है; बल्कि, यह डिकोडर की पुनर्निर्माण क्षमता से उभरता है। यह मॉडल को पुनरप्रशिक्षित किए बिना स्टॉपिंग रूल थ्रेशोल्ड को समायोजित करके ग्रैनुलैरिटी पर पोस्ट-ट्रेनिंग नियंत्रण प्रदान करता है।

मुख्य योगदान (Key Contributions)

आवंटन मानदंड के रूप में पुनर्निर्माण निष्ठा: पेपर प्रस्तावित करता है कि स्पैन सीमाओं को निर्धारित करने के लिए निश्चित स्थितियों, एंट्रॉपी, या सिमेंटिक समानता के बजाय 'बैकवर्ड रिकंस्ट्रक्शन रीच' का उपयोग किया जाए।
पोस्ट-ट्रेनिंग ग्रैनुलैरिटी कंट्रोल: लेखक प्रदर्शित करते हैं कि एक एकल प्रशिक्षित ऑटोएन्कोडर स्टॉपिंग क्राइटेरिया को शिथिल करके विभिन्न औसत चंक लंबाई (6.5 से 12.2 टोकन तक) का समर्थन कर सकता है, जो अनुक्रम लंबाई और पुनर्निर्माण गुणवत्ता के बीच एक लचीला ट्रेड-ऑफ प्रदान करता है।
लेटेंट सूचना का लक्षण वर्णन: डायरेक्ट रीडआउट प्रयोगों के माध्यम से, पेपर ऑटोएन्कोडर द्वारा रिटेन की गई सूचना और डाउनस्ट्रीम रीडर्स के लिए सुलभ सूचना के बीच अंतर करता है।

परिणाम (Results)

टोकेनाइजेशन गुण

पुनर्निर्माण गुणवत्ता: नेटिव पुनर्निर्माण कार्यों पर ReconSpan की सीमाएं मैच-लेंथ रैंडम बाउंड्रीज़ से बेहतर प्रदर्शन करती हैं। उदाहरण के लिए, WikiText पर, 6.5 की औसत चंक लंबाई के साथ ReconSpan ने 15.95 की पर्प्लेक्सिटी प्राप्त की, जबकि रैंडम बाउंड्रीज़ के लिए यह 20.03 थी।
अनुकूलनशील स्पैन आवंटन: विधि परिवर्तनशील चंक लंबाई उत्पन्न करती है, जिसमें कठिन स्पैन को छोटे चंक और आसान स्पैन को लंबे चंक दिए जाते हैं। हालांकि, सख्त नियमों (Failure(1)) के तहत एक महत्वपूर्ण हिस्सा सिंगल टोकन के रूप में होता है (28.1% चंक, जो केवल 4.3% टेक्स्ट को कवर करते हैं), जिसे लेखक बैकवर्ड डिकोडिंग प्रक्रिया का एक मैकेनिकल आर्टिफैक्ट बताते हैं।
सिमेंटिक ज्योमेट्री: कच्चे लेटेंट कोड मजबूत सिमेंटिक क्लस्टरिंग प्रदर्शित नहीं करते हैं (SONAR की तुलना में MTEB बेंचमार्क पर कम प्रदर्शन), जो दर्शाता है कि कोड सिमेंटिक समानता के बजाय पुनर्निर्माण के लिए अनुकूलित हैं।

डाउनस्ट्रीम रीडआउट

विषय बनाम विवरण: लेटेंट टोकन से सीधे टेक्स्ट की भविष्यवाणी करने के लिए प्रशिक्षित डाउनस्ट्रीम लैंग्वेज मॉडल्स (रीडर्स) विषय संबंधी जानकारी (जैसे AG News वर्गीकरण सटीकता जो रॉ टेक्स्ट के करीब है) को विश्वसनीय रूप से रिकवर कर सकते हैं, लेकिन सटीक लेक्सिकल विवरण (जैसे LAMBADA वर्ड प्रेडिक्शन जो राउंड-ट्रिप रिकंस्ट्रक्शन बेसलाइन से बहुत नीचे रहता है) निकालने में संघर्ष करते हैं।
टास्क अडैप्टेशन: विशिष्ट कार्यों के लिए रीडर का सुपरवाइज्ड फाइन-ट्यूनिंग, डायरेक्ट रीडआउट और नेटिव रिकंस्ट्रक्शन के बीच के अंतर को कम करता है, विशेष रूप से HotpotQA जैसे रिट्रीवल कार्यों के लिए, हालांकि सटीक विवरण निष्कर्षण अभी भी एक सीमा बनी हुई है।
मजबूती (Robustness): एक ग्रैनुलैरिटी (जैसे Failure(1)) पर प्रशिक्षित रीडर्स बिना पुनरप्रशिक्षण के अन्य कोर्सर ग्रैनुलैरिटी (जैसे Failure(2)) पर मूल्यांकन किए जाने पर भी कार्यात्मक रहते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ReconSpan अनुकूलनशील लेटेंट टोकेनाइजेशन के लिए एक व्यवहार्य और नियंत्रणीय मानदंड के रूप में पुनर्निर्माण निष्ठा को स्थापित करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

यह प्रदर्शित करना कि एक एकल ऑटोएन्कोडर वेरिएबल-लेंथ लेटेंट टोकन उत्पन्न कर सकता है जो मैच-लेंथ सीक्वेंस लेंथ पर रैंडम बाउंड्रीज़ की तुलना में अधिक टेक्स्ट को सुरक्षित रखता है।
यह उजागर करना कि ऑटोएन्कोडर द्वारा रिटेन की गई सूचना (जो उच्च-गुणवत्ता वाले पुनर्निर्माण के लिए पर्याप्त है) और डाउनस्ट्रीम रीडर्स के लिए सुलभ सूचना (जो सिमेंटिक्स के लिए मजबूत है लेकिन सटीक विवरण के लिए कमजोर है) के बीच एक अंतर है।
कोर मॉडल को पुनरप्रशिक्षित किए बिना इनपुट-डिपेंडेंट एलोकेशन और पोस्ट-ट्रेनिंग कंट्रोल के लिए एक तंत्र प्रदान करना।

लेखक वर्तमान सीमाओं के प्रति विनम्र बने हुए हैं, यह स्वीकार करते हुए कि "सटीक-विवरण रीडआउट" (exact-detail readout) वर्तमान सिस्टम की केंद्रीय सीमा है, और सीमाएँ आवश्यक रूप से भाषाई संरचनाओं (सिंटैक्स या डिस्कोर्स) के साथ संरेखित नहीं होती हैं। इस कार्य को इनपुट कंटेंट की कठिनाई के आधार पर प्रतिनिधित्व क्षमता को गतिशील रूप से आवंटित करने के तरीके को समझने की दिशा में एक कदम के रूप में प्रस्तुत किया गया है।