💬 NLP

Text-to-Distribution Prediction with Quantile Tokens and Neighbor Context

यह शोध पत्र क्वांटटाइल टोकन रिग्रेशन (Quantile Token Regression) प्रस्तुत करता है, जो एक नवीन दृष्टिकोण है जो इनपुट अनुक्रमों में समर्पित क्वांटटाइल टोकन सम्मिलित करता है और उन्हें प्रत्यक्ष इनपुट-आउटपुट पथों और स्थानीय ग्राउंडिंग को सक्षम करने के लिए रिट्रीवल-आधारित पड़ोसी संदर्भ (retrieval-based neighbor context) के साथ संवर्धित करता है, जिससे यह LLM-आधारित वितरण संबंधी रिग्रेशन कार्यों में मौजूदा बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Yilun Zhu, Yuan Zhuang, Nikhita Vedula, Dushyanta Dhyani, Shaoyuan Xu, Moyan Li, Mohsen Bayati, Bryan Wang, Shervin Malmasi

प्रकाशित 2026-04-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yilun Zhu, Yuan Zhuang, Nikhita Vedula, Dushyanta Dhyani, Shaoyuan Xu, Moyan Li, Mohsen Bayati, Bryan Wang, Shervin Malmasi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी घर के विवरण को पढ़कर, जिसे आपने पहले कभी नहीं देखा, उसकी कीमत का अनुमान लगाने की कोशिश कर रहे हैं।

पुराना तरीका (द "सिंगल गेस" समस्या):
आज के अधिकांश AI मॉडल एक घबराए हुए रियल एस्टेट एजेंट की तरह काम करते हैं जो आपको केवल एक संख्या देता है। "इस घर की कीमत $500,000 है।" लेकिन क्या होगा अगर बाजार अनिश्चित हो? क्या होगा अगर यह$ 400k या $600k हो सकता है? पुराना AI आपको यह नहीं बताता। यह केवल एक एकल पॉइंट एस्टीमेट (point estimate) देता है, अनिश्चितता को नजरअंदाज कर देता है।

यहाँ तक कि नए AI मॉडल जो कीमतों की एक रेंज (सीमा) बताने की कोशिश करते हैं, वे अक्सर एक "बॉटलनेक" (bottleneck) दृष्टिकोण का उपयोग करते हैं। कल्पना कीजिए कि AI घर के विवरण को पढ़ता है, उस सारी जानकारी को एक एकल, नन्हे से मानसिक नोट में सिकोड़ देता है, और फिर केवल उस एक छोटे से नोट के आधार पर 99 अलग-अलग कीमतें (सबसे सस्ती से लेकर सबसे महंगी तक) अनुमानित करने की कोशिश करता है। यह एक ही बूंद पेंट का उपयोग करके एक उत्कृष्ट कृति (masterpiece) बनाने जैसा है। घर के विवरण और विशिष्ट मूल्य अनुमानों के बीच का संबंध कमजोर और अप्रत्यक्ष होता है।

नया तरीका (द "क्वांटाइल टोकन" दृष्टिकोण):
यह पेपर AI को यह सिखाने का एक स्मार्ट तरीका पेश करता है कि कैसे केवल एक संख्या के बजाय संभावनाओं की एक पूरी श्रृंखला (डिस्ट्रीब्यूशन) की भविष्यवाणी की जाए। इसके लिए वे दो मुख्य तरकीबों का उपयोग करते हैं:

1. "विशेषज्ञ इंटर्न" (क्वांटाइल टोकन)

AI को एक ही छोटे से मानसिक नोट से सभी 99 कीमतें अनुमानित करने के बजाय, लेखक AI को 99 विशेषज्ञ इंटर्न देते हैं।

प्रत्येक इंटर्न को एक विशिष्ट कार्य सौंपा गया है: एक 10वें पर्सेंटाइल (सबसे "सस्ती" कीमत) का अनुमान लगाता है, दूसरा 50वें (मध्यम/median) का, और तीसरा 90वें (सबसे "महंगी" कीमत) का।
जादू: ये इंटर्न सीधे घर के विवरण से बात कर सकते हैं। "सस्ती कीमत" वाला इंटर्न विवरण को देखता है और सोचता है, "ओह, यह घर छोटा है और एक खराब इलाके में है, इसलिए मैं कम कीमत का अनुमान लगाऊंगा।" "महंगी कीमत" वाला इंटर्न उसी विवरण को देखता है लेकिन सोचता है, "लेकिन इसमें एक शानदार दृश्य और नए उपकरण हैं, इसलिए मैं उच्च कीमत का अनुमान लगाऊंगा।"
यह क्यों काम करता है: उन्हें सब कुछ एक नोट में नहीं दबाना पड़ता। प्रत्येक इंटर्न अपने विशिष्ट अनुमान के लिए घर की अपनी विशेष समझ विकसित करता है। यह पूरे मूल्य रेंज की एक बहुत अधिक स्पष्ट और सटीक तस्वीर बनाता है।

2. "पड़ोस की निगरानी" (रिट्रीवल-ऑगमेंटेड कॉन्टेक्स्ट)

इंसान शून्य में कीमतों का अनुमान नहीं लगाते। यदि आप जानना चाहते हैं कि एक घर की कीमत क्या है, तो आप पास के समान घरों को देखते हैं।

लेखक AI को भी यही करना सिखाते हैं। भविष्यवाणी करने से पहले, AI अपने डेटाबेस में 8 ऐसे घर खोजता है जो आपके द्वारा पूछे गए घर के बहुत समान दिखते हैं।
ट्विस्ट: यह केवल उन समान घरों की कीमत को नहीं देखता है। यह उन समान घरों की कीमतों के पूरे इतिहास को देखता है। यह देखता है कि इस पड़ोस में समान घर आमतौर पर $450k और$ 550k के बीच बिकते हैं, जिनमें कुछ मामले $600k तक भी जाते हैं।
यह क्यों काम करता है: यह AI को "स्थानीय साक्ष्य" (local evidence) प्रदान करता है। यह इसकी भविष्यवाणी को वास्तविकता में स्थापित करता है। यदि AI देखता है कि समान घरों की कीमत की सीमा बहुत विस्तृत है, तो वह आपके घर के लिए भी एक विस्तृत सीमा की भविष्यवाणी करता है। यदि समान घर बहुत स्थिर हैं, तो वह एक संकीर्ण (narrow) सीमा की भविष्यवाणी करता है।

परिणाम: सटीक और स्मार्ट भविष्यवाणियाँ

जब उन्होंने वास्तविक दुनिया के डेटा (जैसे Airbnb लिस्टिंग और Stack Overflow के सवाल कि उत्तर मिलने में कितना समय लगता है) पर इसका परीक्षण किया, तो परिणाम प्रभावशाली थे:

अधिक सटीक: AI के अनुमान सच्चाई के बहुत करीब थे।
तंग रेंज (Tighter Ranges): यह कहने के बजाय कि "कीमत $100 और$ 1,000,000 के बीच है" (जो तकनीकी रूप से सही है लेकिन बेकार है), AI ने कहा, "कीमत संभवतः $480k और$ 520k के बीच है।"
कम डेटा के लिए बेहतर: यह तरीका विशेष रूप से तब चमका जब सीखने के लिए बहुत अधिक डेटा उपलब्ध नहीं था। यह एक स्मार्ट छात्र की तरह था जो कम पाठ्यपुस्तक होने के बावजूद परीक्षा में उत्कृष्ट प्रदर्शन कर सकता था क्योंकि उसे अपने "इंटर्न" और "पड़ोसियों" का प्रभावी ढंग से उपयोग करना पता था।

"लॉस फंक्शन" का सबक (द स्कोरकार्ड)

इस पेपर ने यह भी पता लगाया कि AI को कैसे ग्रेड किया जाए।

कुछ शिक्षक (लॉस फंक्शन्स) केवल इस बात पर ध्यान देते हैं कि AI ने औसत को सही पकड़ा या नहीं, और चरम सीमाओं (extremes) को नजरअंदाज कर देते हैं।
लेखकों ने एक बेहतर "स्कोरकार्ड" (जिसे Wasserstein loss कहा जाता है) पाया जो AI को पूरे वितरण के आकार (shape of the distribution) को सही करने के लिए पुरस्कृत करता है। यह केवल एक छात्र के अंतिम परीक्षा स्कोर को ग्रेड करने के बजाय, इस बात पर ग्रेड देने जैसा है कि उसने पूरे पाठ्यक्रम को कितनी अच्छी तरह समझा है, जिसमें कठिन हिस्से भी शामिल हैं।

संक्षेप में

यह पेपर AI को केवल एकल संख्या का अनुमान लगाने के बजाय संभावनाओं की पूरी कहानी बताने के लिए प्रशिक्षित करता है। यह ऐसा इसलिए करता है क्योंकि यह AI को कहानी के हर हिस्से के लिए विशेषज्ञों देता है और इसे वास्तविकता में जमीनी स्तर पर रखने के लिए समान उदाहरणों के पड़ोस से परामर्श करने देता है। परिणाम स्वरूप, एक ऐसा मॉडल मिलता है जो अनिश्चितता को बेहतर समझता है और आपको बहुत अधिक उपयोगी और सटीक भविष्यवाणियाँ देता है।

यहाँ शोध पत्र "Text-to-Distribution Prediction with Quantile Tokens and Neighbor Context" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह शोध पत्र टेक्स्ट-टू-डिस्ट्रीब्यूशन प्रेडिक्शन (Text-to-Distribution Prediction) के विषय को संबोधित करता है, जो एक ऐसा कार्य है जहाँ एक लार्ज लैंग्वेज मॉडल (LLM) को एक अनस्ट्रक्चर्ड टेक्स्ट इनपुट $X$ दिए जाने पर केवल एक सिंगल पॉइंट एस्टीमेट के बजाय एक पूर्ण कंडीशनल प्रोबेबिलिटी डिस्ट्रीब्यूशन $F_{Y|X}$ की भविष्यवाणी करनी होती है।

सुपरविजन (Supervision): प्रशिक्षण डेटा में इनपुट्स को कई अवलोकित परिणामों (जैसे, एक समान Airbnb लिस्टिंग के लिए कई मूल्य बिंदु या समान Stack Overflow प्रश्नों के लिए कई रिस्पॉन्स टाइम) के साथ जोड़ा जाता है।
लक्ष्य प्रतिनिधित्व (Target Representation): लक्ष्य वितरण (target distribution) को एम्पिरिकल क्वांटाइल्स (जैसे, 1st से 99th परसेंटाइल) के एक सघन ग्रिड के रूप में दर्शाया गया है।
मुख्य चुनौतियाँ:
1. प्रतिनिधित्व बाधा (Representation Bottleneck): मौजूदा विधियाँ (जैसे, Vedula et al., 2025) सभी क्वांटाइल भविष्यवाणियों के लिए एक साझा हिडन स्टेट का उपयोग करती हैं, जिससे इनपुट फीचर्स और विशिष्ट क्वांटाइल आउटपुट के बीच एक अप्रत्यक्ष मार्ग बनता है।
2. स्थानीय ग्राउंडिंग का अभाव (Lack of Local Grounding): मॉडल अक्सर केवल क्वेरी टेक्स्ट पर निर्भर रहते हैं, जिससे वे समृद्ध वितरण संबंधी संदर्भ (distributional context) को खो देते हैं जो अर्थपूर्ण रूप से समान उदाहरणों द्वारा प्रदान किया जाता है (जैसे, यह जानना कि समान उत्पादों के समान औसत मूल्य नहीं, बल्कि समान मूल्य वितरण होते हैं)।
3. लॉस फंक्शन बेमेल (Loss Function Mismatch): मानक क्वांटाइल रिग्रेशन लॉस (पिनबॉल लॉस) कच्चे परिणामों (raw outcomes) के लिए डिज़ाइन किए गए हैं, न कि कई अवलोकनों से प्राप्त एम्पिरिकल क्वांटाइल लक्ष्यों के लिए, जिससे सैद्धांतिक विसंगतियां और पूर्वाग्रह उत्पन्न होते हैं।

2. कार्यप्रणाली (Methodology)

लेखक क्वांटाइल टोकन रिग्रेशन (Quantile Token Regression) और रिट्रीवल-ऑगमेंटेड डिस्ट्रीब्यूशन एस्टीमेशन (Retrieval-Augmented Distribution Estimation) को संयोजित करने वाला एक नया ढांचा प्रस्तावित करते हैं।

A. क्वांटाइल टोकन रिग्रेशन (QTR)

अलग-अलग लीनियर हेड्स के साथ एक साझा प्रतिनिधित्व का उपयोग करने के बजाय, लेखक इनपुट सीक्वेंस में सीधे समर्पित सीखने योग्य क्वांटाइल टोकन ( $\langle Q_{\tau_1} \rangle, \dots, \langle Q_{\tau_Q} \rangle$ ) सम्मिलित करते हैं।

तंत्र (Mechanism): इनपुट सीक्वेंस $[x_1, \dots, x_n, \langle Q_{\tau_1} \rangle, \dots, \langle Q_{\tau_Q} \rangle]$ बन जाता है।
सेल्फ-अटेंशन (Self-Attention): प्रत्येक क्वांटाइल टोकन ट्रांसफार्मर के सेल्फ-अटेंशन मैकेनिज्म के माध्यम से इनपुट टेक्स्ट के विभिन्न हिस्सों पर ध्यान केंद्रित (attend) करता है। उदाहरण के लिए, 90वें परसेंटाइल (टेल रिस्क) की भविष्यवाणी करने वाला टोकन जटिलता के संकेतकों पर ध्यान दे सकता है, जबकि 10वें परसेंटाइल की भविष्यवाणी करने वाला टोकन लोकप्रियता के संकेतों पर ध्यान दे सकता है।
आउटपुट: एक साझा लीनियर रिग्रेसर प्रत्येक विशिष्ट क्वांटाइल टोकन की हिडन स्टेट को उसके अनुमानित मान (predicted value) पर मैप करता है। यह प्रत्येक क्वांटाइल स्तर के लिए एक प्रत्यक्ष इनपुट-आउटपुट पाथवे बनाता है।

B. रिट्रीवल-ऑगमेंटेड डिस्ट्रीब्यूशन एस्टीमेशन

भविानों को स्थानीय साक्ष्यों के आधार पर सटीक बनाने के लिए, मॉडल एक कैंडिडेट पूल से $K$ अर्थपूर्ण रूप से समान पड़ोसी उदाहरणों को रिट्रीव (प्राप्त) करता है।

ऑग्मेंटेशन (Augmentation): पिछले रिट्रीवल तरीकों के विपरीत, जो केवल एक सिंगल पॉइंट लेबल (जैसे, एक एकल मूल्य) को पड़ोसियों से जोड़ते हैं, यह विधि पड़ोसी के पूर्ण एम्पिरिकल डिस्ट्रीब्यूशन (क्वांटाइल्स के एक सेट के रूप में दर्शाया गया) को संलग्न करती है।
इनपुट फॉर्मेट: मॉडल इनपुट में क्वेरी टेक्स्ट के बाद रिट्रीव किए गए पड़ोसी और उनके संबंधित क्वांटाइल डिस्ट्रीब्यूशन शामिल होते हैं। यह मॉडल को क्वेरी की तुलना समान वस्तुओं के वितरण से करके फैलाव (dispersion) और टेल व्यवहार (tail behavior) सीखने की अनुमति देता है।

C. लॉस फंक्शन्स का सैद्धांतिक विश्लेषण

यह शोध पत्र एम्पिरिकल-क्वांटाइल सुपरविजन के लिए लॉस फंक्शन्स का सैद्धांतिक विश्लेषण प्रदान करता है:

$\ell_1$ और $\ell_2$ वासेरस्टीन लॉस ( $\ell_1$ and $\ell_2$ Wasserstein Losses): एम्पिरिकल क्वांटाइल्स को लेटेंट पॉपुलेशन क्वांटाइल्स के शोर वाले माप (noisy measurements) के रूप में मानना। क्वांटाइल ग्रिड पर एलिमेंट-वाइज $\ell_p$ लॉस को मिनिमाइज करना लक्षित वितरण के लिए फिशर-कंसिस्टेंट (Fisher-consistent) दिखाया गया है।
पिनबॉल लॉस वेरिएंट्स (Pinball Loss Variants):
- पिनबॉल-Q (Pinball-Q): एम्पिरिकल क्वांटाइल लक्ष्यों पर मानक पिनबॉल लॉस लागू करना पक्षपाती (biased) पाया गया है, जो वास्तविक पैरामीटर के बजाय एस्टीमेटर के क्वांटाइल को लक्षित करता है।
- पिनबॉल-मिड (Pinball-Med): केवल मीडियन को स्केलर लक्ष्य के रूप में उपयोग करने से वितरण के आकार की जानकारी लुप्त हो जाती है।
निष्कर्ष: $\ell_1$ वासेरस्टीन लॉस सैद्धांतिक और अनुभवजन्य रूप से श्रेष्ठ है, जो सटीकता और शार्पनेस के बीच सबसे अच्छा संतुलन प्रदान करता है।

3. मुख्य योगदान (Key Contributions)

क्वांटाइल टोकन आर्किटेक्चर: इनपुट सीक्वेंस में समर्पित क्वांटाइल टोकन डालने वाला यह पहला कार्य है, जो प्रत्यक्ष, क्वांटाइल-विशिष्ट अटेंशन पाथवे को सक्षम बनाता है और व्याख्यात्मकता (interpretability) में सुधार करता है।
डिस्ट्रिब्यूशनल रिट्रीवल: रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) को डिस्ट्रिब्यूशनल प्रेडिक्शन तक विस्तारित करना, जिसमें सिंगल पॉइंट लेबल के बजाय पूर्ण एम्पिरिकल डिस्ट्रीब्यूशन (क्वांटाइल्स) को रिट्रीव किया जाता है।
सैद्धांतिक स्पष्टीकरण: एक कठोर विश्लेषण जो यह सिद्ध करता है कि एम्पिरिकल-क्वांटाइल सुपरविजन के लिए वासेरस्टीन मैचिंग ( $\ell_1/\ell_2$ ऑन क्वांटाइल्स) सही उद्देश्य है, जो इस विशिष्ट सेटिंग में पिनबॉल लॉस के गलत उपयोग को ठीक करता है।
अनुभवजन्य सत्यापन: विविध डेटासेट्स और मॉडल स्केल्स पर व्यापक प्रयोग जो प्रदर्शित करते हैं कि QTR और नेबर रिट्रीवल का संयोजन बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन दो डेटासेट्स पर किया गया: Inside Airbnb (मूल्य भविष्यवाणी, ~840k नमूने) और StackSample (रिस्पॉन्स टाइम भविष्यवाणी, ~58k नमूने), जिसमें Qwen3 मॉडल्स का उपयोग किया गया (1.7B से 14B पैरामीटर्स तक)।

प्रदर्शन लाभ (Performance Gains):
- सटीकता (Accuracy): प्रस्तावित विधि (क्वांटाइल टोकन + नेबर्स) ने लगातार औसत मीन एब्सोल्यूट परसेंटेज एरर (MAPE) को कम किया। StackSample पर, इसने बिना रिट्रीवल वाले बेसलाइन की तुलना में MAPE में 68% और केवल रिट्रीवल वाले बेसलाइन की तुलना में 14% की कमी की।
- शार्पनेस (Sharpness - अंतराल चौड़ाई): इस विधि ने काफी संकीर्ण प्रेडिक्शन इंटरवल (prediction intervals) उत्पन्न किए। StackSample पर, 99% रिलेटिव कवरेज इंटरवल विड्थ (RCIW) बेसलाइन की तुलना में 131x कम हो गया।
- छोटे डेटा रेजिम (Small Data Regimes): लाभ सबसे अधिक छोटे और चुनौतीपूर्ण StackSample डेटासेट पर देखे गए, जहाँ रिट्रीवल ने महत्वपूर्ण वितरण संबंधी साक्ष्य प्रदान किया जिसे मॉडल केवल क्वेरी टेक्स्ट से नहीं सीख सका।
एब्लेशन स्टडीज (Ablation Studies):
- लॉस फंक्शन्स: $\ell_1$ वासेरस्टीन लॉस ने पिनबॉल वेरिएंट्स से बेहतर प्रदर्शन किया, जिससे कम MAPE और टाइट इंटरवल्स प्राप्त हुए।
- नेबर काउंट: रिट्रीव किए गए पड़ोसियों की संख्या ( $K$ ) बढ़ाने से प्रदर्शन में सुधार हुआ, जिसमें $K=8$ से $K=16$ के बाद घटते प्रतिफल (diminishing returns) देखे गए।
- मोनोटोनिसिटी (Monotonicity): पोस्ट-प्रोसेसिंग (प्रेडिक्टेड क्वांटाइल्स को सॉर्ट करना) को सटीकता से समझौता किए बिना या इंटरवल्स को अत्यधिक चौड़ा किए बिना मोनोटोनिसिटी लागू करने का सबसे प्रभावी तरीका पाया गया।

5. महत्व (Significance)

यह कार्य LLM क्षमताओं और कठोर सांख्यिकीय वितरण प्रतिगमन (distributional regression) के बीच के अंतर को पाटता है।

व्यावहारिक प्रभाव: यह LLMs को केवल पॉइंट प्रेडिक्शन के बजाय मजबूत अनिश्चितता अनुमान (जैसे, जोखिम मूल्यांकन, मांग पूर्वानुमान) प्रदान करने में सक्षम बनाता है, जो उच्च-दांव वाले अनुप्रयोगों के लिए महत्वपूर्ण है।
आर्किटेक्चरल नवाचार: "क्वांटाइल टोकन" की अवधारणा ट्रांसफॉर्मर्स में स्ट्रक्चर्ड प्रेडिक्शन के लिए एक नया प्रतिमान (paradigm) पेश करती है, जो साझा बॉटलनेक्स से हटकर विशिष्ट, अटेंशन-ड्रिवन रिप्रेजेंटेशन की ओर ले जाती है।
मेथोडोलॉजिकल रिगर (Methodological Rigor): एम्पिरिकल-क्वांटाइल सुपरविजन में लॉस फंक्शन बेमेल को ठीक करके, यह शोध पत्र LLMs का उपयोग करने वाले भविष्य के डिस्ट्रिब्यूशनल लर्निंग कार्यों के लिए एक सैद्धांतिक रूप से सुदृढ़ आधार प्रदान करता है।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि समर्पित क्वांटाइल टोकन को डिस्ट्रिब्यूशन-अवेयर रिट्रीवल के साथ जोड़ने से LLMs को उच्च सटीकता और शार्पनेस के साथ जटिल, विषम कंडीशनल डिस्ट्रीब्यूशन सीखने में मदद मिलती है, विशेष रूप से डेटा-दुर्लभ या उच्च-अनिश्चितता वाले परिदृश्यों में।