💬 NLP

Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

यह शोध पत्र LenVM को प्रस्तुत करता है, जो एक स्केलेबल, एनोटेशन-मुक्त फ्रेमवर्क है जो शेष जनरेशन लंबाई को टोकन-स्तरीय मान संकेत (value signal) के रूप में मॉडल करता है, जिससे सटीक लंबाई मिलान में महत्वपूर्ण सुधार होता है और ऑटोरेग्रेसिव मॉडलों में प्रदर्शन-दक्षता के बीच निरंतर नियंत्रण सक्षम होता है।

मूल लेखक: Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

प्रकाशित 2026-05-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कहानीकार को कहानी सुनाते हुए देख रहे हैं। कभी-कभी वे कुछ वाक्यों के बाद रुक जाते हैं; अन्य समय में वे घंटों तक बड़बड़ाते रहते हैं। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, यह "कहानी सुनाना" टेक्स्ट को, टोकन दर टोकन, जेनरेट करने की प्रक्रिया है।

समस्या यह है कि वर्तमान AI मॉडल ऐसे कहानीकारों की तरह हैं जिन्हें यह नहीं पता कि कब रुकना है। वे बहुत जल्दी रुक सकते हैं (कहानी अधूरी छोड़ देते हैं) या बहुत लंबे समय तक चल सकते हैं (समय और पैसा बर्बाद करते हैं)। इसे नियंत्रित करने के मौजूदा तरीके एक बहुत ही साधारण निर्देश देने जैसे हैं जो बिल्कुल शुरुआत में दिया जाता है: "एक 5 मिनट की कहानी सुनाओ।" कहानीकार को एक भी शब्द बोलने से पहले पूरी लंबाई का अनुमान लगाना पड़ता है, जिससे अक्सर गलतियाँ होती हैं।

यह पेपर एक नया टूल पेश करता है जिसे LenVM (Length Value Model) कहा जाता है। LenVM को एक स्मार्ट आंतरिक दिशा-सूचक यंत्र (internal compass) के रूप में सोचें जिसे AI अपने साथ लेकर चलता है जबकि वह बोल रहा होता है।

मुख्य विचार: "समाप्ति तक की दूरी" का दिशा-सूचक यंत्र

कुल कहानी की लंबाई का अनुमान लगाने के बजाय, LenVM हर एक कदम पर एक सरल प्रश्न का उत्तर देता है: "मुझे और कितनी दूर जाना है?"

यह कैसे काम करता है, यहाँ कुछ उपमाएँ दी गई हैं:

1. "टोल रोड" की उपमा
कल्पना कीजिए कि AI एक हाईवे पर गाड़ी चला रहा है। हर बार जब वह एक शब्द (एक "टोकन") जेनरेट करता है, तो उसे एक छोटा सा टोल देना पड़ता है।

लक्ष्य: AI चाहता है कि वह (वाक्य के अंत तक) गंतव्य तक यथासंभव कुशलता से पहुँचे।
गणना: LenVM गणना करता है कि AI इस सटीक क्षण से यात्रा के अंत तक कुल कितना "टोल" चुकाने की उम्मीद करता है।
परिणाम: यदि AI अभी एक लंबी व्याख्या शुरू कर रहा है, तो "कुल टोल" अधिक होगा (एक बड़ी नकारात्मक संख्या)। यदि AI समाप्त करने वाला है, तो "कुल टोल" बहुत कम होगा (शून्य के करीब)।

2. "थर्मोस्टेट" की उपमा
आमतौर पर, AI जनरेशन एक हीटर की तरह होता है जो तब तक गर्मी फेंकता रहता है जब तक कि आप इसे मैन्युअल रूप से बंद न कर दें। LenVM एक स्मार्ट थर्मोस्टेट की तरह काम करता है। यह लगातार महसूस करता है कि कमरा लक्ष्य तापमान (लक्षित लंबाई) के कितने करीब है।

यदि AI को जल्द ही रुकने की आवश्यकता है, तो LenVM संकेत देता है: "हम करीब हैं! ऐसे शब्द चुनें जो जल्दी समाप्ति की ओर ले जाएं।"
यदि AI को चलते रहने की आवश्यकता है, तो LenVM संकेत देता है: "हम दूर हैं! ऐसे शब्द चुनें जो अधिक विवरण की अनुमति दें।"

LenVM वास्तव में क्या करता है (पेपर के दावे)

शोधकर्ताओं ने इस "दिशा-सूचक यंत्र" को एक चतुर ट्रिक का उपयोग करके प्रशिक्षित किया है: उन्हें डेटा को लेबल करने के लिए इंसानों की आवश्यकता नहीं थी। उन्होंने बस AI को कहानियाँ जेनरेट करने दिया, शब्दों को गिना, और LenVM को उन कहानियों को पूरा करने की "शेष लागत" (remaining cost) का अनुमान लगाना सिखाया। क्योंकि यह हर एक शब्द पर होता है, इसलिए प्रशिक्षण डेटा विशाल और स्वचालित है।

यहाँ वह है जो यह पेपर साबित करता है कि LenVM कर सकता है:

1. सटीक लंबाई नियंत्रण (एक "सटीक फिट" होने वाला दर्जी)
यदि आप AI को ठीक 500 शब्द लिखने के लिए कहते हैं, तो मानक मॉडल अक्सर लक्ष्य से काफी चूक जाते हैं। LenVM एक मापने वाले टेप के साथ एक दर्जी की तरह काम करता है।

परिणाम: LIFEBench नामक एक टेस्ट पर, LenVM का उपयोग करने वाले एक मानक 7-बिलियन-पैरामीटर मॉडल ने सटीक शब्द गणना को हिट करने की अपनी क्षमता को 30.9 से बढ़ाकर 64.8 कर दिया।
तुलना: LenVM के साथ यह ओपन-सोर्स मॉडल सटीक लंबाई को हिट करने में कुछ सबसे उन्नत, क्लोज्ड-सोर्स "ब्लैक बॉक्स" मॉडलों (जैसे GPT-4o या Claude) से भी बेहतर प्रदर्शन करता है जो सरल प्रॉम्प्ट्स पर निर्भर करते हैं।

2. "एफिशिएंसी डायल" (प्रदर्शन बनाम गति का ट्रेड-ऑफ)
कभी-कभी आप एक सटीक, लंबा उत्तर चाहते हैं। कभी-कभी आप एक त्वरित, "काम चलाऊ" उत्तर चाहते हैं।

परिणाम: LenVM आपको एक डायल घुमाने की अनुमति देता है। आप AI को कह सकते हैं, "मुझे अपना सबसे अच्छा उत्तर दें, लेकिन कोशिश करें कि यह 200 शब्दों के भीतर रहे।"
जादू: बिना LenVM के, यदि आप AI को 200 शब्दों पर रुकने के लिए मजबूर करते हैं, तो गणित की समस्याओं पर इसकी सटीकता गिरकर 6% रह जाती है। LenVM द्वारा शब्दों के चयन को निर्देशित करने के साथ, सटीकता उच्च 63% पर बनी रहती है। यह उन "शॉर्टकट" को खोज लेता है जिन्हें AI पहले से जानता है लेकिन आमतौर पर अनदेखा कर देता है।

3. "क्रिस्टल बॉल" (भवििकावाणी करना)
LenVM शुरुआती प्रॉम्प्ट को देख सकता है (AI द्वारा एक भी शब्द बोलने से पहले) और यह अनुमान लगा सकता है कि उत्तर कितना लंबा होगा।

परिणाम: यह उच्च सटीकता के साथ किसी गणित की समस्या के समाधान या कोड स्निपेट की लंबाई का अनुमान लगा सकता है। यह कंप्यूटरों को काम शुरू करने से पहले ही अपनी मेमोरी और बजट की योजना बनाने में मदद करता है।

4. "एक्स-रे विजन" (AI के मन को समझना)
चूंकि LenVM हर कदम पर "समाप्ति तक की दूरी" की जांच करता है, यह प्रकट करता है कि AI कहाँ रुकने या चलने का निर्णय लेता है।

खोज: पेपर में पाया गया कि "Ah," "Wait," या "Let's think" जैसे शब्द अक्सर संकेत देते हैं कि AI एक लंबी यात्रा शुरू करने वाला है (एक "पॉजिटिव लेंथ टोकन")। "Therefore," "Perfect," या चेक मार्क (✓) जैसे इमोजी संकेत देते हैं कि AI समापन कर रहा है (एक "नेगेटिव लेंथ टोकन")। यह हमें AI की तर्क प्रक्रिया में एक खिड़की प्रदान करता है।

सारांश

LenVM AI को यह समझने का एक नया तरीका है कि उसकी अपनी "फिनिश लाइन से दूरी" कितनी है। यह लंबाई की अस्पष्ट अवधारणा को एक सटीक, गणितीय संकेत में बदल देता है जिसका उपयोग AI वास्तविक समय में कर सकता है।

यह एनोटेशन-मुक्त है: यह स्वतः ही AI के अपने आउटपुट से सीखता है।
यह स्केलेबल है: जैसे-जैसे AI बड़ा होता है, यह बेहतर काम करता है।
यह व्यावहारिक है: यह हमें AI के दिमाग को बदले बिना, केवल उसके शब्दों के चुनाव को निर्देशित करके, यह नियंत्रित करने की अनुमति देता है कि वह कितनी देर तक बात करेगा।

पेपर निष्कर्ष निकालता है कि यह "टोकन-लेवल वैल्यू सिग्नल" AI को अधिक कुशल, पूर्वानुमानित और नियंत्रणीय बनाने के लिए एक शक्तिशाली नया उपकरण है।

यहाँ शोध पत्र "Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling" (LenVM) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधुनिक ऑटो-रिग्रेसिव मॉडल्स (LLMs और VLMs) में, जनरेशन की लंबाई (generation length) गणना की एक मौलिक इकाई है जो सीधे इन्फरेंस लागत (कंप्यूट, मेमोरी, लेटेंसी) और रीजनिंग प्रदर्शन को प्रभावित करती है। जबकि मौजूदा विधियाँ जनरेशन की लंबाई को नियंत्रित या अनुमान लगाने का प्रयास करती हैं, वे महत्वपूर्ण सीमाओं से ग्रस्त हैं:

कोर्स-ग्रेन्ड कंट्रोल (Coarse-Grained Control): अधिकांश दृष्टिकोण सीक्वेंस स्तर पर कार्य करते हैं (जैसे प्रशिक्षण के दौरान सीक्वेंस-लेवल पेनल्टी या इन्फरेंस के दौरान प्रॉम्प्ट-आधारित निर्देश), न कि टोकन स्तर पर जनरेशन की गतिशीलता को मॉडल करने के लिए।
बारीक संकेतों का अभाव (Lack of Fine-Grained Signals): प्रत्येक डिकोडिंग स्टेप पर शेष जनरेशन क्षितिज (remaining generation horizon) का अनुमान लगाने के लिए एक तंत्र की कमी है।
एनोटेशन बाधाएं (Annotation Bottlenecks): लंबाई के लिए पारंपरिक रिवॉर्ड मॉडलिंग के लिए अक्सर मानव लेबलिंग या जटिल रिवॉर्ड मॉडल्स की आवश्यकता होती है, जो अच्छी तरह से स्केल नहीं हो पाते।
ट्रेड-ऑफ रिजिडिटी (Trade-off Rigidity): हार्ड कंस्ट्रेंट्स (जैसे, "200 टोकन पर रुकें") अक्सर प्रदर्शन को कम कर देते हैं, जबकि वर्तमान विधियों में रीजनिंग क्वालिटी और टोकन बजट के बीच संतुलन बनाने के लिए एक सुचारू तंत्र का अभाव है।

2. कार्यप्रणाली: लेंथ वैल्यू मॉडल (LenVM)

लेखक LenVM का प्रस्ताव करते हैं, जो एक टोकन-स्तरीय फ्रेमवर्क है जो शेष जनरेशन लंबाई को एक मानक रीइन्फोर्समेंट लर्निंग (RL) वैल्यू-फंक्शन फ्रेमवर्क के भीतर एक वैल्यू एस्टीमेशन समस्या के रूप में मॉडल करता है।

मुख्य सूत्रीकरण (Core Formulation)

कच्ची टोकन गणनाओं (raw token counts) का सीधे अनुमान लगाने के बजाय, LenVM लंबाई मॉडलिंग को एक डिस्काउंटेड रिटर्न समस्या के रूप में स्वरूपित करता है:

रिवॉर्ड स्ट्रक्चर (Reward Structure): प्रत्येक उत्पन्न टोकन को एक निरंतर नकारात्मक रिवॉर्ड दिया जाता है: $r_t = -(1 - \gamma)$ , जहाँ $\gamma \in (0, 1)$ एक डिस्काउंट फैक्टर है। टर्मिनल स्टेट (EOS) का रिवॉर्ड 0 होता है।
डिस्कउंटेड रिटर्न (Discounted Return): कुल लंबाई $L$ के ट्राजेक्टरी के लिए स्टेप $t$ पर टारगेट वैल्यू $G_t$ को भविष्य के डिस्काउंटेड रिवार्ड्स के योग के रूप में परिभाषित किया गया है:
$G_t = \sum_{i=0}^{L-t-1} \gamma^i r_{t+i} = -(1 - \gamma^{L-t})$
विशेषताएं (Properties):
- बाउंडेड (Bounded): $G_t \in (-1, 0)$ , जो कच्चे लंबाई के अनबाउंडेड डायनेमिक रेंज से बचता है।
- मोनोटोन (Monotone): कम शेष क्षितिज (horizons) शून्य के करीब मान देते हैं; लंबे क्षितिज -1 के करीब मान देते हैं।
- बेलमैन-कंसिस्टेंट (Bellman-Consistent): यह $G_t = r_t + \gamma G_{t+1}$ पुनरावृत्ति (recursion) को संतुष्ट करता है।

आर्किटेक्चर और ट्रेनिंग (Architecture and Training)

हेड (Head): LenVM एक बेस LLM या VLM के अंतिम-लेयर हिडन स्टेट से एक स्केलर वैल्यू हेड (SiLU एक्टिवेशन के साथ 2-लेयर MLP) जोड़ता है।
आउटपुट (Output): हेड एक वैल्यू $V_\theta(s_t) = -\sigma(z_t)$ आउटपुट करता है, यह सुनिश्चित करते हुए कि आउटपुट $(-1, 0)$ की रेंज में रहे।
ट्रेनिंग ऑब्जेक्टिव (Training Objective): मॉडल को एनोटेशन-फ्री, डेंस, टोकन-लेवल रिग्रेशन के माध्यम से प्रशिक्षित किया जाता है।
- डेटा जनरेशन: एक दिए गए प्रॉम्प्ट के लिए, एक फिक्स्ड रोलआउट पॉलिसी से कई कंप्लीशंस (completions) को सैंपल किया जाता है।
- सुपरविजन (Supervision): सैंपल किए गए कंप्लीशन की वास्तविक लंबाई से $G_t$ को नियत रूप से (deterministically) कंप्यूट किया जाता है।
- लॉस (Loss): अनुमानित वैल्यू और वास्तविक रिटर्न के बीच टोकन-एवरेज मीन स्क्वेर्ड एरर (MSE)।
- स्केलेबिलिटी (Scalability): सुपरविजन सिग्नल घना (dense) है, निष्पक्ष (unbiased) है (फिक्स्ड पॉलिसी के तहत मोंटे कार्लो सैंपल), और मॉडल साइज, प्रॉम्प्ट काउंट और सैंपल किए गए कंप्लीशंस की संख्या के साथ स्वाभाविक रूप से स्केल करता है।

3. मुख्य योगदान (Key Contributions)

टोकन-लेवल लेंथ मॉडलिंग: LenVM पहला फ्रेमवर्क है जो शेष जनरेशन लंबाई को एक निरंतर, टोकन-लेवल वैल्यू सिग्नल के रूप में मॉडल करता है, जिससे सूक्ष्म नियंत्रण और भविष्यवाणी सक्षम होती है।
एनोटेशन-फ्री स्केलेबिलिटी: ट्रेनिंग सिग्नल पूरी तरह से सैंपल किए गए कंप्लीशंस से प्राप्त होता है, जिसमें मानव लेबलिंग या बाहरी रिवॉर्ड मॉडल्स की आवश्यकता नहीं होती, जिससे यह विभिन्न मॉडल साइज और डेटासेट्स के लिए अत्यधिक स्केलेबल बन जाता है।
इन्फरेंस-टाइम कंट्रोल: LenVM बेस मॉडल के वेट्स को बदले बिना जनरेशन की लंबाई को नियंत्रित करने का एक तंत्र प्रदान करता है, जो हार्ड कंस्ट्रेंट्स और निरंतर ट्रेड-ऑफ दोनों का समर्थन करता है।
व्याख्यात्मकता (Interpretability): टोकन-लेवल वैल्यूज उन "लेंथ टोकन्स" को प्रकट करती हैं जो रीजनिंग रिजीम में बदलाव का संकेत देते हैं (जैसे, "wait" या "ah" जैसे टोकन लंबे रीजनिंग की ओर इशारा करते हैं, बनाम "therefore" जो क्लोजर का संकेत देते हैं)।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने गणित, कोड और इंस्ट्रक्शन-फॉलोइंग डोमेन में LLMs (Qwen2.5, Qwen3) और VLMs पर LenVM का मूल्यांकन किया।

लेंथ-कंट्रोल्ड जनरेशन (LIFEBench):
- LenVM सटीक लंबाई मिलान (exact length matching) में फ्रंटियर क्लोज्ड-सोर्स मॉडल्स (GPT-4o, Claude, Gemini) से काफी बेहतर प्रदर्शन करता है।
- एक 7B मॉडल पर, "Equal To" कंस्ट्रेंट पर लेंथ स्कोर 30.9 से बढ़कर 64.8 हो गया, जबकि लेंथ डेविएशन 71% से घटकर 44% रह गया।
परफॉरमेंस-एफिशिएंसी ट्रेड-ऑफ (Performance–Efficiency Trade-off):
- LenVM के अनुमानित मूल्यों के आधार पर एक्सपोनेंशियल टिल्टिंग (exponential tilting) का उपयोग करके, मॉडल सटीकता और टोकन बजट के बीच निरंतर संतुलन बना सकता है।
- 200-टोकन बजट के साथ GSM8K पर, LenVM ने 63% सटीकता बनाए रखी, जबकि एक हार्ड टोकन-बजट बेसलाइन केवल 6% प्राप्त कर सकी। यह दर्शाता है कि बेस मॉडल में छोटे सफल रीजनिंग पाथ मौजूद हैं जिन्हें LenVM खोज सकता है।
जनरेशन लेंथ प्रेडिक्शन (Generation Length Prediction):
- LenVM प्रॉम्प्ट बाउंड्री (बिना कोई टोकन जनरेट किए) से अपेक्षित जनरेशन क्षितिज का अनुमान लगा सकता है।
- 32B स्केल पर, यह गणित के लिए 9.8%, कोड के लिए 14.9%, और इंस्ट्रक्शन फॉलोइंग के लिए 17.1% का मीन रिलेटिव एरर (MRE) प्राप्त करता है।
स्केलेबिलिटी (Scalability):
- मॉडल साइज, ट्रेनिंग प्रॉम्प्ट्स की संख्या और प्रति प्रॉम्प्ट सैंपल किए गए कंप्लीशंस की संख्या बढ़ने के साथ वैलिडेशन लॉस लगातार घटता है।
केस स्टडी (लेंथ टोकन्स):
- टेम्पोरल-डिफरेंस रेसिडुअल्स (temporal-difference residuals) का विश्लेषण उन विशिष्ट टोकन्स को प्रकट करता है जो लेंथ शिफ्ट के मार्कर के रूप में कार्य करते हैं (जैसे, लंबा रीजनिंग बढ़ाने के लिए "ah", "but"; और समाप्त करने के लिए "therefore", "perfect")।

5. महत्व और भविष्य के निहितार्थ (Significance and Future Implications)

सामान्य फ्रेमवर्क: LenVM यह स्थापित करता है कि जनरेशन लेंथ को प्रभावी ढंग से एक टोकन-लेवल वैल्यू सिग्नल के रूप में मॉडल किया जा सकता है, जो कोर्स-ग्रेन्ड पेनल्टी के लिए एक सिद्धांत आधारित विकल्प प्रदान करता है।
RL फाउंडेशन: यह पेपर रेखांकित करता है कि LenVM PPO-स्टाइल RL के लिए एक प्राकृतिक, लेंथ-विशिष्ट वैल्यू बेसलाइन के रूप में कार्य करता है। इसका उपयोग या तो एक प्रत्यक्ष ऑब्जेक्टिव घटक (दक्षता को अनुकूलित करने के लिए) या एक पोटेंशियल-बेस्ड रिवॉर्ड शेपिंग सिग्नल (टास्क ऑब्जेक्टिव को बदले बिना क्रेडिट असाइनमेंट में सुधार के लिए) के रूप में किया जा सकता है।
व्यावहारिक उपयोगिता: लंबाई का अनुमान लगाने और जनरेशन को डायनेमिक रूप से नियंत्रित करने की क्षमता उत्पादन LLM सिस्टम में इन्फरेंस शेड्यूलिंग, मेमोरी मैनेजमेंट और लागत में कमी के लिए तत्काल लाभ प्रदान करती है।
व्याख्यात्मकता: यह विज़ुअलाइज़ करना कि कैसे विशिष्ट टोकन अनुमानित क्षितिज को बदलते हैं, LenVM को रीजनिंग मॉडल्स की आंतरिक गतिशीलता को समझने के लिए एक नया नजरिया प्रदान करता है।

संक्षेप में, LenVM जनरेशन लेंथ कंट्रोल को सीक्वेंस-लेवल कंस्ट्रेंट से एक घने, स्केलेबल, टोकन-लेवल वैल्यू एस्टीमेशन टास्क में बदल देता है, जिससे सटीक नियंत्रण, कुशल इन्फरेंस और ऑटो-रिग्रेसिव जनरेशन की गहरी व्याख्यात्मकता संभव होती है।