📊 statistics

Total Variation Distance Estimation in Autoregressive Models

यह शोध पत्र सैंपल (sample), लॉजिट (logit) और नॉइज़ी लॉजिट (noisy logit) एक्सेस मॉडल्स के तहत दो लंबाई- $n$ वाले ऑटोरेग्रेसिव डिस्ट्रीब्यूशन्स के बीच टोटल वेरिएशन डिस्टेंस (total variation distance) का अनुमान लगाने के लिए कुशल एल्गोरिदम प्रस्तुत करता है, जो पूर्ववर्ती विधियों की तुलना में महत्वपूर्ण सुधार प्रदान करता है और आधुनिक एलएलएम (LLM) इन्फरेंस इंजनों के बीच वितरण संबंधी अंतर को मापने में व्यावहारिक उपयोगिता प्रदर्शित करता है।

मूल लेखक: Eric Price, Kevin Tian, Zhiyang Xun, Yusong Zhu

प्रकाशित 2026-07-23

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eric Price, Kevin Tian, Zhiyang Xun, Yusong Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एआई जुड़वा बच्चों के बीच अदृश्य अंतर

कल्पना कीजिए कि आपके पास दो जुड़वा बच्चे हैं। उनका पालन-पोषण बिल्कुल एक ही घर में हुआ, वे एक जैसा भोजन करते हैं और उनका डीएनए भी एक समान है। यदि आप उनसे कोई प्रश्न पूछते हैं, तो आप उम्मीद करते हैं कि वे शब्द-दर-शब्द बिल्कुल एक जैसा उत्तर देंगे। आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) में, "डीएनए" मॉडल के 'वेट्स' (weights) होते हैं—जो एक फ़ाइल में संग्रहीत गणितीय दिमागी शक्ति है। लेकिन वास्तविक दुनिया में, चीजें इतनी सरल नहीं हैं। ठीक वैसे ही जैसे जुड़वा बच्चे इस आधार पर अलग तरह से प्रतिक्रिया दे सकते हैं कि वे थके हुए हैं, भूखे हैं, या किसी मित्र से बात कर रहे हैं, एआई मॉडल भी इस आधार पर अलग परिणाम दे सकते हैं कि वे किस कंप्यूटर हार्डवेयर पर चल रहे हैं, वे एक साथ कितने सवालों के जवाब दे रहे हैं, या सॉफ्टवेयर कोड में सूक्ष्म, अदृश्य गड़बड़ी (glitches) मौजूद हैं।

दो चीजों के बीच अंतर को मापने के लिए, वैज्ञानिक अक्सर "टोटल वेरिएशन डिस्टेंस" (TV) नामक टूल का उपयोग करते हैं। इसे एक "मिसमैच मीटर" (बेमेल मापने वाला यंत्र) के रूप में समझें। यदि आपके पास कंचों के दो बैग हैं, और आप प्रत्येक में से एक कंचा निकालते हैं, तो TV दूरी यह बताती है कि दोनों कंचों के अलग रंग होने की अधिकतम संभावना क्या है। यह इस बात का सटीक स्कोर है कि "इन दो चीजों के बीच असहमति होने की कितनी संभावना है?" यह अन्य उपकरणों से अलग है जो यह मापने की कोशिश करते हैं कि मॉडल कितना "हैरान" है, क्योंकि वे पूरी तरह से विफल हो सकते हैं यदि मॉडल एक भी शब्द पर असहमत हो जाए। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: यदि दो कंपनियां दावा करती हैं कि वे बिल्कुल एक ही एआई मॉडल चला रही हैं, तो क्या वे वास्तव में आपको एक ही अनुभव दे रही हैं, या कोड में छिपे हुए अंतर मौजूद हैं?

शोध का मिशन: मशीन में छिपे भूतों को पकड़ना

"टोटल वेरिएशन डिस्टेंस एस्टीमेशन इन ऑटोरेग्रेसिव मॉडल्स" नामक यह शोध पत्र उन छिपे हुए अंतरों को खोजने की एक जासूसी कहानी है। ऑस्टिन, टेक्सास विश्वविद्यालय की एक टीम के लेखकों ने महसूस किया कि जबकि दो एआई इंजन कागज़ पर समान दिख सकते हैं, जिस तरह से वे वास्तव में टेक्स्ट जनरेट करते हैं, वे "बैचिंग" (एक साथ कई सवालों के जवाब देना) या "क्वांटाइजेशन" (स्पेस बचाने के लिए संख्याओं को सरल बनाना) जैसी चीजों के कारण अलग हो सकते हैं। वे दो एआई इंजनों के बीच टोटल वेरिएशन डिस्टेंस को मापने का एक विश्वसनीय तरीका बनाने चाहते थे ताकि यह देखा जा सके कि वे वास्तव में कितने असहमत हैं।

लेखकों ने पाया कि इस दूरी को मापना कठिन है क्योंकि एआई मॉडल केवल उत्तर नहीं देते; वे उन्हें एक-एक शब्द करके बनाते हैं, जैसे कि एक चेन रिएक्शन। यदि आप केवल अंतिम उत्तर (जैसे एक सैंपल) देख पाते हैं, तो यह एक फिल्म के अंतिम दृश्य को देखकर उसकी कहानी का अनुमान लगाने जैसा है। इसे हल करने के लिए, उन्होंने तीन अलग-अलग "सुपरपावर्स" या पर्दे के नीचे झांकने के तरीके विकसित किए, और उन्होंने पाया कि आप जितना अधिक देख सकते हैं, काम उतना ही आसान हो जाता है।

1. "सैंपल" सुपरपावर (आंखों पर पट्टी बांधकर अनुमान लगाना)
एआई को जांचने का सबसे बुनियादी तरीका यह है कि उससे एक प्रश्न पूछें और देखें कि वह क्या कहता है। इसे "सैंपल एक्सेस" कहा जाता है। लेखकों ने पाया कि यदि आपके पास केवल यही दृश्य है, तो एक अच्छा माप प्राप्त करने के लिए आपको एआई से बहुत सारे प्रश्न पूछने की आवश्यकता होगी। विशेष रूप से, आपके द्वारा पूछे जाने वाले प्रश्नों की संख्या कहानी की लंबाई ( $n^2$ ) और शब्दावली की "सक्रिय" सूची के आकार ( $K$ ) के वर्ग के साथ बढ़ती है। यह एक विशाल जंगल का मानचित्र बनाने के लिए एक एकल पथ पर चलने जैसा है; आपको सुनिश्चित करने के लिए कि आपने कोई छिपा हुआ हिस्सा छोड़ नहीं दिया है, इसे कई बार चलना होगा। उनकी विधि पिछले प्रयासों में सुधार करती है, जिससे यह तेज़ हो जाती है, लेकिन फिर भी इसके लिए भारी संख्या में क्वेरी की आवश्यकता होती है।

2. "लॉगिट" सुपरपावर (एक्स-रे विजन)
कई एआई सिस्टम अपने "लॉगिट्स" (logits) भी दिखाते हैं, जो वे कच्चे नंबर हैं जिनका उपयोग मॉडल अंतिम विकल्प में बदलने से पहले अगले शब्द को तय करने के लिए करता है। यह एआई की आंतरिक विचार प्रक्रिया को देखने जैसा है। लेखकों ने दिखाया कि यदि आपके पास इन नंबरों तक पहुंच है, तो काम अविश्वसनीय रूप से आसान हो जाता है। आपको केवल उन प्रश्नों की आवश्यकता होती है जो कहानी की लंबाई ( $n$ ) के साथ रैखिक (linearly) रूप से बढ़ते हैं। यह एक बड़ी छलांग है—जैसे जंगल में पैदल चलने के बजाय हेलीकॉप्टर से ऊपर से उड़ना। उन्होंने सिद्ध किया कि यह करने का सबसे तेज़ तरीका है; आप इससे अधिक तेज़ी से इसे नहीं कर सकते।

3. "नॉइजी लॉगिट" सुपरपावर (धुंधली खिड़की)
यहाँ मामला वास्तव में दिलचस्प हो जाता है। वास्तविक दुनिया में, वे "लॉगिट" नंबर हमेशा सटीक नहीं होते। कभी-कभी कंप्यूटर व्यस्त होता है, या सॉफ्टवेयर थोड़ा त्रुटिपूर्ण होता है, और नंबर थोड़े धुंधले या "नॉइजी" (noisy) आते हैं। लेखकों ने महसूस किया कि यदि आप इस शोर (noise) को एक ज्ञात मात्रा के रूप में देखते हैं (जैसे कि यह जानना कि आपकी खिड़की कितनी धुंधली है), तो आप अभी भी एक बेहतरीन माप प्राप्त कर सकते हैं। उन्होंने एक ऐसा तरीका बनाया जो "ब्लाइंडफोल्डेड" (आंखों पर पट्टी वाले) और "एक्स-रे" दृष्टिकोणों को सहजता से मिलाता है। यदि शोर कम है, तो आप एक्स-रे विजन की तरह व्यवहार करते हैं। यदि शोर अधिक है, तो आप आंखों पर पट्टी बांधे हुए व्यक्ति की तरह व्यवहार करते हैं। यह सबसे व्यावहारिक उपकरण है क्योंकि यह तब भी काम करता है जब एआई पूरी तरह से सही व्यवहार नहीं कर रहा होता है।

परीक्षण के लिए प्रस्तुत करना: वास्तविक दुनिया का मुकाबला

अपने तरीकों को सिद्ध करने के लिए, लेखक केवल लैब तक सीमित नहीं रहे। उन्होंने एक वास्तविक दुनिया का प्रयोग सेट किया जिसमें दो लोकप्रिय एआई इंजन, vllm और sglang की तुलना की गई, जो एक ही मॉडल (Qwen3-0.6B) चला रहे थे। वे देखना चाहते थे कि क्या ये दोनों इंजन, जो समान होने चाहिए, वास्तव में एक ही टेक्स्ट उत्पन्न करते हैं।

उन्होंने पाया कि इंजन वास्तव में असहमत थे। 500 शब्दों की कहानी के लिए उनके बीच की टोटल वेरिएशन डिस्टेंस लगभग 0.586 थी। यह संख्या किसी भी संभावित परिणाम के लिए दोनों इंजनों के बीच संभाव्यता (probability) के अधिकतम अंतर का प्रतिनिधित्व करती है। व्यावहारिक रूप से, इसका मतलब है कि यदि आप दोनों इंजनों के बीच अंतर बताने के लिए एक विशिष्ट परीक्षण चलाते, तो वह परीक्षण लगभग 59% बार सफल होता। यह एक सीधा संभाव्यता नहीं है कि एक इंजन द्वारा उत्पन्न कोई भी यादृच्छिक वाक्य दूसरे से अलग होगा, बल्कि यह एक माप है कि दोनों इंजन कितने अलग पहचाने जा सकते हैं।

अध्ययन ने यह भी खुलासा किया कि वे क्यों असहमत थे। कभी-कभी, एक इंजन एक ऐसा शब्द चुनता था जिसे दूसरे इंजन ने असंभव माना (एक "सपोर्ट मिसमैच"), जिससे दूरी बढ़ जाती थी। अन्य समय में, उन्होंने एक ही शब्द चुने लेकिन उन्हें थोड़ी अलग संभाव्यता सौंपी। लेखकों ने यह भी देखा कि सिस्टम में "शोर" (noise) कैसे बदलता है। उदाहरण के लिए, यदि आप इंजनों को एक साथ 256 सवालों के जवाब देने के लिए कहते हैं, तो शोर बढ़ जाता है, जिससे माप धुंधला हो जाता है। लेकिन उनका नया "मल्टीलेवल" तरीका स्मार्ट था और इसे संभालने में सक्षम था। एक ही प्रश्न को कई बार पूछकर और परिणामों का औसत निकालकर, वे शोर को फ़िल्टर कर सके और वास्तविक दूरी का पता लगा सके।

निष्कर्ष

शोध पत्र यह निष्कर्ष निकालता है कि अब हम यह विश्वसनीय रूप से माप सकते हैं कि दो एआई इंजन कितने अलग हैं, भले ही वे अलग हार्डवेयर का उपयोग कर रहे हों या अलग सॉफ्टवेयर ट्रिक्स का उपयोग कर रहे हों। उन्होंने सिद्ध किया कि हालांकि यह करना कठिन है यदि आप केवल अंतिम उत्तर देखते हैं, लेकिन यदि आप आंतरिक नंबरों को देख सकते हैं तो यह बहुत आसान हो जाता है। सबसे महत्वपूर्ण बात यह है कि उन्होंने दिखाया कि भले ही वे नंबर थोड़े नॉइजी हों, हम अभी भी अपने नए सांख्यिकीय ट्रिक्स का उपयोग करके एक सटीक चित्र प्राप्त कर सकते हैं।

यह महत्वपूर्ण है क्योंकि जैसे-जैसे एआई आम होता जा रहा है, कंपनियों को यह जानने की आवश्यकता है कि क्या उनका "सस्ता" मॉडल वास्तव में उसी के समान है जैसा कि "महंगा" मॉडल है, या क्या एक नया, तेज़ सॉफ्टवेयर अपडेट गुप्त रूप से एआई के व्यवहार को बदल रहा है। लेखकों ने इन अदृश्य अंतरों को मापने के लिए एक पैमाना प्रदान किया है, यह सुनिश्चित करते हुए कि जब हम कहते हैं कि दो एआई एक ही हैं, तो वे वास्तव में एक ही हैं। उनका कोड अब उपयोग के लिए उपलब्ध है, जो इस जटिल गणित को एआई के भविष्य के लिए एक व्यावहारिक उपकरण में बदल देता है।

तकनीकी सारांश: ऑटोरेग्रेसिव मॉडलों में टोटल वेरिएशन डिस्टेंस एस्टीमेशन (Total Variation Distance Estimation)

1. समस्या विवरण (Problem Statement)

आधुनिक लार्ज लैंग्वेज मॉडल (LLM) डिप्लॉयमेंट में अक्सर कार्यान्वयन के चुनाव और इन्फरेंस ऑप्टिमाइज़ेशन (जैसे कि बैचिंग, कस्टम कर्नेल, क्वांटाइजेशन, स्पेकुलेटिव डिकोडिंग) शामिल होते हैं जो यह कारण बन सकते हैं कि "एक ही मॉडल" को सर्व करने वाले दो इंजन काफी अलग आउटपुट वितरण (output distributions) उत्पन्न करें। जबकि पूर्ववर्ती कार्यों ने कलबैक-लीब्लर (KL) डाइवर्जेंस के माध्यम से इन अंतरों को मापने पर ध्यान केंद्रित किया है, यह शोध पत्र तर्क देता है कि KL डाइवर्जेंस इस कार्य के लिए अक्सर अनुपयुक्त है। KL डाइवर्जेंस विलगित सपोर्ट (disjoint supports) होने पर अनबाउंडेड (unbounded) हो जाता है (जो कि top- $k$ ट्रंकेशन या बग्स के कारण एक सामान्य घटना है), जिससे इसे सीमित नमूनों (finite samples) से $\epsilon$ परिशुद्धता तक अनुमानित करना असंभव हो जाता है।

इसके विपरीत, टोटल वेरिएशन (TV) डिस्टेंस $[0, 1]$ में बाउंडेड, व्याख्या योग्य और उन छोटे कार्यान्वयन अंतरों के प्रति सुदृढ़ है जो सपोर्ट को बदलते हैं। यह शोध पत्र दो लंबाई- $n$ वाले ऑटोरेग्रेसिव वितरणों, $\pi$ और $\mu$ , के बीच TV डिस्टेंस को एक एडिटिव एरर $\epsilon$ तक अनुमानित करने की समस्या को संबोधित करता है, जहाँ टोकन अल्फाबेट $\Sigma$ का आकार $m$ है। अध्ययन इन वितरणों के लिए तीन अलग-अलग एक्सेस मॉडल्स पर विचार करता है:

सैंपल एक्सेस (Sample Access): एक प्रीफिक्स को क्वेरी करना और अगले-टोकन वितरण से एक सैंपल प्राप्त करना।
लॉगिट एक्सेस (Logit Access): एक प्रीफिक्स को क्वेरी करना और अगले-टोकन लॉग-प्रोबेबिलिटीज़ का पूर्ण वेक्टर (सटीक) प्राप्त करना।
नॉइजी लॉगिट एक्सेस (Noisy Logit Access): एक प्रीफिक्स को क्वेरी करना और बाउंडेड रिलेटिव वेरिएंस $\sigma^2$ के साथ अगले-टोकन वितरण का एक अनबायस्ड एस्टिमेटर प्राप्त करना।

2. कार्यप्रणाली और सैद्धांतिक परिणाम (Methodology and Theoretical Results)

यह शोध पत्र प्रत्येक एक्सेस मॉडल के तहत TV एस्टीमेशन के लिए एल्गोरिदम और लोअर बाउंड्स प्रदान करता है, जो क्वेरी कॉम्प्लेक्सिटी, सीक्वेंस लेंथ $n$ , सपोर्ट साइज $K$ , और नॉइज़ लेवल $\sigma$ के बीच ट्रेड-ऑफ को औपचारिक रूप देता है।

A. लॉगिट एक्सेस (सटीक) (Logit Access - Exact)

कार्यप्रणाली: लेखक देखते हैं कि प्रीफिक्स लॉगिट ओरैकल्स के $O(n)$ क्वेरीज़ से किसी भी सीक्वेंस $x$ के लिए लाइकलीहुड रेशियो $\pi(x)/\mu(x)$ की सटीक गणना की जा सकती है। वे [CR14] से एक लाइकलीहुड-रेशियो एस्टिमेटर को अनुकूलित करते हैं, जो एक वितरण से सीक्वेंस को सैंपल करके और दूसरे के तहत लाइकलीहुड रेशियो का मूल्यांकन करके TV डिस्टेंस का अनुमान लगाता है।
परिणाम (थ्योरम 2): एक एल्गोरिदम मौजूद है जो $O(n/\epsilon^2)$ क्वेरीज़ का उपयोग करके $\epsilon$ एरर के साथ TV डिस्टेंस का अनुमान लगाता है। इस बाउंड को एक लोअर बाउंड कंस्ट्रक्शन के माध्यम से टाइट (constant factors तक) दिखाया गया है, जो TV एस्टीमेशन को एक हिडन बर्नौली पैरामीटर $p$ को सीखने में बदल देता है, जहाँ $p$ के एक सैंपल को प्रकट करने के लिए $\approx n$ क्वेरीज़ की आवश्यकता होती है।
महत्व: यह लॉगिट एक्सेस के तहत TV डिस्टेंस एस्टीमेशन का पहला औपचारिककरण है, जो सीक्वेंस की लंबाई $n$ पर लीनियर डिपेंडेंस प्रदान करता है और अल्फाबेट साइज $m$ या सपोर्ट साइज $K$ पर निर्भरता को समाप्त करता है।

B. सैंपल एक्सेस (Sample Access)

कार्यप्रणाली: सैंपल एक्सेस के तहत, एल्गोरिदम सीधे लाइकलीहुड रेशियो की गणना नहीं कर सकता है। शोध पत्र एक ऐसा एस्टिमेटर प्रस्तावित करता है जो [MKP25] के $O(n^3 m / \epsilon^5)$ बाउंड में सुधार करता है। नया दृष्टिकोण "टैमिंंग" (distributions को uniform noise के साथ पैडिंग करना) से बचता है, जो पहले पूर्ण अल्फाबेट साइज $m$ पर निर्भरता पैदा करता था। इसके बजाय, यह ऑटोरेग्रेसिव मॉडल्स की विशिष्ट संरचना और अगले-टोकन वितरण के अधिकतम सपोर्ट साइज $K$ का लाभ उठाता है।
परिणाम (थ्योरम 1): प्रस्तावित एल्गोरिदम $\tilde{O}(n^2 K / \epsilon^2)$ क्वेरीज़ का उपयोग करके $\epsilon$ एरर के साथ TV डिस्टेंस का अनुमान लगाता है। एक मैचिंग लोअर बाउंड $\Omega(n K / \epsilon^2 \log K)$ प्रदान किया गया है।
महत्व: यह $n$ पर निर्भरता को क्यूबिक से क्वाड्रेटिक में, $\epsilon$ पर $1/\epsilon^5$ से $1/\epsilon^2$ में सुधार करता है, और अल्फाबेट साइज $m$ को सपोर्ट साइज $K$ से बदल देता है, जो व्यवहार में अक्सर बहुत छोटा होता है (जैसे कि top- $k$ सैंपलिंग)।

C. नॉइजी लॉगिट एक्सेस (Noisy Logit Access)

कार्यप्रणाली: यह पहचानते हुए कि वास्तविक दुनिया के इन्फरेंस इंजन (बैचिंग, कर्नेल वेरिएशंस या प्रिसिजन इश्यूज के कारण) शोर/नॉइज़ पेश करते हैं, लेखक एक्सेस को बाउंडेड रिलेटिव वेरिएंस $\sigma^2$ वाले एक अनबायस्ड एस्टिमेटर के रूप में मॉडल करते हैं। वे एक मल्टीलेवल मोंटे कार्लो (MLMLC) वेरिएंस रिडक्शन स्कीम का उपयोग करते है।

वे विभिन्न सटीकता स्तरों (जो $r_\ell$ पुनरावृत्तियों द्वारा नियंत्रित होते हैं) पर एस्टिमेटर्स $Z_\ell$ का एक टेलिस्कोपिंग सम (telescoping sum) बनाते हैं।
विभिन्न स्तरों के बीच सैंपल्स को कपल (couple) करके, वे सुनिश्चित करते हैं कि अंतर एस्टिमेटर का वेरिएंस ज्यामितीय रूप से (geometrically) कम हो जाता है।
यह मोटे (coarse) स्तरों पर सस्ते, हाई-वेरिएंस क्वेरीज़ को सूक्ष्म (fine) स्तरों पर महंगे, लो-वेरिएंस क्वेरीज़ के साथ ट्रेड-ऑफ करने की अनुमति देता है।
परिणाम (थ्योरम 3): एल्गोरिदम $\tilde{O}((n + n^2 \sigma^2)/\epsilon^2)$ क्वेरीज़ का उपयोग करके $\epsilon$ एरर के साथ TV डिस्टेंस का अनुमान लगाता है।
महत्व: यह परिणाम सैंपल एक्सेस बाउंड (जहाँ $\sigma^2 \approx K$ ) और लॉगिट एक्सेस बाउंड (जहाँ $\sigma^2 = 0$ ) के बीच सुचारू रूप से इंटरपोलेट करता है। यह प्रदर्शित करता है कि नॉइजी ओरकल्स के साथ भी, TV डिस्टेंस अनुमानित रहता है जहाँ KL डाइवर्जेंस अनंत हो सकता है।

3. अनुभवजन्य मूल्यांकन (Empirical Evaluation)

लेखक दो प्रोडक्शन इन्फरेंस इंजनों, vllm और sglang, की तुलना करके अपने सैद्धांतिक निष्कर्षों को मान्य करते हैं, जो समान Qwen3-0.6B वेट्स को सर्व कर रहे हैं।

नॉइज़ कैरेक्टराइजेशन: उन्होंने विभिन्न बैकएंड्स (cuDNN, FlashAttention-2) और बैचिंग स्थितियों के तहत लॉग-प्रोबेबिलिटीज़ के रिलेटिव स्टैंडर्ड डेविएशन $\sigma$ को मापा। उन्होंने पाया कि हालांकि कुछ कॉन्फ़िगरेशन आइसोलेशन में नियत (deterministic) होते हैं, सर्विंग स्थितियाँ महत्वपूर्ण शोर पेश करती हैं।
डिस्टेंस एस्टीमेशन: vllm और sglang के बीच अनुमानित TV डिस्टेंस पर्याप्त पाया गया (उदाहरण के लिए, $n=500$ सीक्वेंस लेंथ पर $\approx 0.58$ )। इस दूरी को एक "शेयर्ड-सपोर्ट" घटक (लॉग-प्रोबेबिलिटी अंतर) और एक "सपोर्ट मिसमैच" घटक (एक इंजन के top- $k$ में मौजूद लेकिन दूसरे में नहीं) में विभाजित किया गया था, जिसमें बाद वाला घटक कुल दूरी में महत्वपूर्ण योगदान देता है।
MLLM एफिशिएंसी: प्रयोगों ने मल्टीलेवल शेड्यूल की उपयोगिता की पुष्टि की। फिक्स्ड सिंगल-लेवल रेपिटिशन स्ट्रैटेजी की तुलना में, पायलट-चुनित मल्टीलेवल शेड्यूल ने $1.28\times$ तक कम ओरकल क्वेरीज़ के साथ समान सटीकता प्राप्त की। परिणामों ने यह भी उजागर किया कि अनुमानित दूरी सर्विंग कॉन्फ़िगरेशन (बैच साइज) और प्रॉम्प्ट कंटेंट के प्रति संवेदनशील है।

4. प्रमुख योगदान और महत्व (Key Contributions and Significance)

सैद्धांतिक बाउंड्स: यह पेपर तीन एक्सेस मॉडल्स के तहत ऑटोरेग्रेसिव मॉडलों में TV डिस्टेंस एस्टीमेशन के लिए टाइट क्वेरी कॉम्प्लेक्सिटी बाउंड्स स्थापित करता है, जो सीक्वेंस लेंथ $n$ और सपोर्ट साइज $K$ पर निर्भरता को हल करता है।
शोर के प्रति सुदृढ़ता (Robustness to Noise): यह एक नॉइजी लॉगिट एक्सेस के लिए एक मॉडल पेश करता है जो वास्तविक दुनिया के इन्फरेंस विसंगतियों को कैप्चर करता है, यह दिखाते हुए कि TV डिस्टेंस का अनुमान लगाया जा सकता है भले ही लॉगिट मान नॉन-डिटरमिनिस्टिक हों।
व्यावहारिक प्रासंगिकता: यह कार्य LLM प्रदाताओं के ऑडिट करने और यह सत्यापित करने के लिए एक उपकरण प्रदान करता है कि इन्फरेंस ऑप्टिमाइज़ेशन (जैसे क्वांटाइजेशन या अलग बैकएंड) आउटपुट वितरण को महत्वपूर्ण रूप से नहीं बदलते हैं।
KL की सीमाएं: यह पेपर LLMs की तुलना करने के लिए KL डाइवर्जेंस की तुलना में TV डिस्टेंस के अधिक व्यावहारिक मेट्रिक होने के तर्क को पुख्ता करता है, विशेष रूप से जब सपोर्ट मिसमैच (जो top- $k$ सैंपलिंग में आम है) KL को अनंत या अनएस्टिमेबल बना देता है।

लेखक निष्कर्ष निकालते हैं कि जबकि TV डिस्टेंस अनुमानित करने योग्य है, इसकी क्वेरी कॉम्प्लेक्सिटी शोर के स्तर और विशिष्ट एक्सेस मॉडल पर भारी रूप से निर्भर करती है, और अलग-अलग एक्सेस मॉडल्स के लिए लीनियर और क्वाड्रेटिक डिपेंडेंस के बीच का अंतर भविष्य के कार्य के लिए एक खुला प्रश्न बना हुआ है।