📊 statistics

Concentration bounds on response-based vector embeddings of black-box generative models

यह शोध पत्र डेटा कर्नेल पर्सपेक्टिव स्पेस पद्धति का उपयोग करके ब्लैक-बॉक्स जनरेटिव मॉडल्स के रिस्पॉन्स-आधारित वेक्टर एम्बेडिंग्स के लिए उच्च-संभाव्यता सांद्रता सीमाएं (high-probability concentration bounds) स्थापित करता है, जिससे जनसंख्या-स्तर के एम्बेडिंग्स को सटीक रूप से अनुमानित करने के लिए आवश्यक नमूना आकार निर्धारित होता है और शोर युक्त क्लासिकल मल्टीडायमेंशनल स्केलिंग (noisy Classical Multidimensional Scaling) पर लागू होने वाले बीजगणितीय उपकरण प्रदान करता है।

मूल लेखक: Aranyak Acharyya, Joshua Agterberg, Youngser Park, Carey E. Priebe

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aranyak Acharyya, Joshua Agterberg, Youngser Park, Carey E. Priebe

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास अलग-अलग "ब्लैक बॉक्स" AI मॉडल से भरा एक कमरा है। आप यह समझने के लिए उनके अंदर नहीं देख सकते कि वे कैसे काम करते हैं, लेकिन आप उनसे सवाल पूछ सकते हैं और उनके जवाब देख सकते हैं। इस शोध पत्र का लक्ष्य यह पता लगाना है कि इन AI मॉडलों को एक सरल चार्ट में गणितीय रूप से कैसे मैप किया जाए ताकि हम उनकी तुलना कर सकें, और अधिक महत्वपूर्ण बात यह है कि यह सिद्ध करना कि हमें उस मैप को सटीक बनाने के लिए कितने सवाल और जवाबों की आवश्यकता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "ब्लैक बॉक्स" का रहस्य

प्रत्येक AI मॉडल को एक रसोई में एक रहस्यमय शेफ (chef) के रूप में सोचें। आप उनकी रेसिपी (कोड) नहीं देख सकते, लेकिन आप व्यंजन (queries) ऑर्डर कर सकते हैं।

लक्ष्य: आप जानना चाहते हैं कि कौन से शेफ समान हैं और कौन से अलग।
विधि: आप प्रत्येक शेफ से प्रश्नों का एक ही सेट (queries) पूछते हैं। आप उनके उत्तर लेते हैं, उन्हें संख्याओं (vectors) में बदलते हैं, और गणना करते हैं कि उनके उत्तर एक-दूसरे से कितने "अलग" हैं।
मैप (नक्शा): मल्टीडायमेंशनल स्केलिंग (जिसे डेटा के लिए GPS मान सकते हैं) नामक एक तकनीक का उपयोग करके, आप इन शेफ को उनके उत्तरों की समानता के आधार पर एक 2D या 3D मैप पर दर्शाते हैं। जो शेफ समान उत्तर देते हैं वे पास में होते हैं; जो अलग उत्तर देते हैं वे दूर होते हैं।

2. पेच: हमारे पास केवल नमूने (Samples) हैं

एक आदर्श दुनिया में, हमें उस हर संभावित उत्तर की सटीक संभावना (probability) पता होगी जो एक शेफ दे सकता है। इससे हमें एक "परफेक्ट मैप" (population-level embedding) मिल जाएगा।

वास्तविकता: हमें सटीक संभावनाओं का ज्ञान नहीं है। हम केवल प्रत्येक शेफ से सीमित संख्या में बार (मान लीजिए 100 बार) पूछ सकते हैं और उनके उत्तरों का औसत ले सकते हैं। इससे हमें एक "सैंपल मैप" मिलता है।
जोखिम: यदि आप पर्याप्त सवाल नहीं पूछते हैं, तो हमारा सैंपल मैप धुंधला या गलत हो सकता है। शेफ गलत पड़ोस में दिखाई दे सकते हैं।

3. इस शोध पत्र का बड़ा दावा: "सेफ्टी नेट" (सुरक्षा जाल)

इस शोध पत्र के लेखकों ने न केवल मैप बनाया; उन्होंने इसके चारों ओर एक गणितीय सुरक्षा जाल बनाया। उन्होंने एक "कंसंट्रेशन बाउंड" (concentration bound) की गणना की।

उपमा:
कल्पना कीजिए कि आप कुछ लोगों को मापकर लोगों के एक समूह की औसत ऊंचाई का अनुमान लगाने की कोशिश कर रहे हैं।

यदि आप केवल 2 लोगों को मापते हैं, तो आपका अनुमान बहुत गलत हो सकता है।
यदि आप 1,000 लोगों को मापते हैं, तो आपका अनुमान सच्चाई के बहुत करीब होता है।
यह शोध पत्र एक फॉर्मूला प्रदान करता है जो कहता है: "यदि आप X लोगों को मापते हैं, तो आप 99% सुनिश्चित हो सकते हैं कि आपका अनुमान वास्तविक औसत से Y इंच के भीतर है।"

इस शोध पत्र में, "लोग" AI मॉडल हैं, "मापन" प्रश्नों के प्रति प्रतिक्रियाएं हैं, और "अनुमान" मैप पर उनकी स्थिति है।

4. मुख्य निष्कर्ष (खेल के नियम)

यह शोध पत्र सिद्ध करता है कि इस मैप के सटीक होने के लिए, आपको तीन संख्याओं से जुड़ी एक विशिष्ट विधि का पालन करने की आवश्यकता है:

$n$ : AI मॉडलों (शेफों) की संख्या।
$m$ : पूछे गए विभिन्न प्रश्नों की संख्या।
$r$ : प्रत्येक मॉडल को प्रत्येक प्रश्न कितनी बार दोहराया जाता है (replicates)।

जादुई फॉर्मूला:
पेपर दिखाता है कि एक सटीक मैप प्राप्त करने के लिए, प्रश्नों को दोहराने की संख्या ( $r$ ) को मॉडलों की संख्या ( $n$ ) की तुलना में बहुत तेजी से बढ़ना चाहिए।

विशेष रूप से, यदि आप मॉडलों की संख्या को दोगुना करते हैं, तो आपको मैप को सटीक बनाए रखने के लिए अपने सैंपल साइज ( $r$ ) को चार गुना (या उससे अधिक) बढ़ाना होगा।
उन्होंने यह भी पाया कि अधिक अलग-अलग प्रश्न ( $m$ ) पूछने से मदद मिलती है, लेकिन त्रुटि को कम करने का सबसे शक्तिशाली तरीका पुनरावृत्ति ( $r$ ) की संख्या बढ़ाना है।

5. "वास्तविक दुनिया" का परीक्षण

लेखकों ने केवल कागज पर गणित नहीं किया। उन्होंने दो प्रकार के प्रयोग चलाए:

सिमुलेशन (Simulations): उन्होंने नकली AI मॉडल बनाए जो रैंडम नंबर निकालते थे। उन्होंने दिखाया कि जैसे-जैसे वे नमूनों (samples) की संख्या बढ़ाते गए, मैप पर त्रुटि ठीक वैसे ही कम होती गई जैसा उनके फॉर्मूले ने भविष्यवाणी की थी।
वास्तविक AI: उन्होंने एक वास्तविक लार्ज लैंग्वेज मॉडल (Google का Gemma) का उपयोग किया। उन्होंने उससे सवाल पूछे, उत्तर लिए और उन उत्तरों को वेक्टर्स में बदल दिया। वास्तविक, अव्यवस्थित (messy) डेटा के साथ भी, "सेफ्टी नेट" कायम रहा। हर एक टेस्ट में, वास्तविक त्रुटि उनके फॉर्मूले द्वारा अनुमानित अधिकतम त्रुटि से कम थी।

सारांश

यह शोध पत्र उन सभी के लिए एक गारंटी मैनुअल है जो उनके उत्तरों का उपयोग करके AI मॉडलों की तुलना करने की कोशिश कर रहे हैं।

यह क्या करता है: यह आपको बताता है कि आप कितने डेटा (सवाल और दोहराव) एकत्र करने की आवश्यकता है ताकि आप आश्वस्त हो सकें कि आपका तुलनात्मक मैप सटीक है।
मुख्य बात: आप केवल कुछ मॉडलों से कुछ सवाल पूछकर विश्वसनीय परिणाम की उम्मीद नहीं कर सकते। एक स्पष्ट तस्वीर पाने के लिए, आपको कई सवाल कई बार पूछने होंगे, खासकर जब आप अधिक मॉडल जोड़ते हैं। यह शोध पत्र आपको वह गणित देता है जिससे आप जान सकें कि आपके पास "पर्याप्त" डेटा कब है।

तकनीकी सारांश: ब्लैक-बॉक्स जनरेटिव मॉडल्स के रिस्पॉन्स-आधारित वेक्टर एम्बेडिंग्स पर कंसन्ट्रेशन बाउंड्स

समस्या विवरण
जनरेटिव मॉडल्स, जैसे कि लार्ज लैंग्वेज मॉडल्स (LLMs) और टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल्स, तेजी से सर्वव्यापी हो रहे हैं, फिर भी वे अक्सर 'ब्लैक बॉक्स' के रूप में कार्य करते हैं, जहाँ उनके आंतरिक कार्यात्मक रूप (functional forms) सुलभ नहीं होते हैं। ऐसे मॉडल्स के संग्रह पर सांख्यिकीय विश्लेषण और अनुमान लगाने के लिए, शोधकर्ताओं को उपयोगकर्ता के प्रश्नों (queries) के प्रति उनकी प्रतिक्रियाओं के आधार पर उन्हें एक परिमित-आयामी (finite-dimensional) यूक्लिडियन स्पेस में वेक्टर के रूप में निरूपित करने वाली विधियों की आवश्यकता होती है। जबकि मॉडल प्रतिक्रियाओं की युग्म-विषमता (pairwise dissimilarities) की गणना करके वेक्टर प्रतिनिधित्व उत्पन्न करने के लिए डेटा कर्नेल पर्सपेक्टिव स्पेस (DKPS) एम्बेडिंग जैसी विधियाँ मौजूद हैं, मौजूदा साहित्य मुख्य रूप से एसिम्प्टोटिक कंसिस्टेंसी (asymptotic consistency) पर केंद्रित रहा है। परिमित-नमूना (finite-sample) परिदृश्यों के लिए सैद्धांतिक गारंटी का अभाव है, विशेष रूप से इस संबंध में कि एक विशिष्ट सटीकता और आत्मविश्वास स्तर (confidence level) के साथ जनसंख्या-स्तरीय वेक्टर प्रतिनिधित्वों का अनुमान लगाने के लिए कितने नमूना प्रतिक्रियाओं की आवश्यकता है। यह शोध पत्र इन नमूना-आधारित वेक्टर एम्बेडिंग्स के लिए हाई-प्रोबेबिलिटी कंसन्ट्रेशन बाउंड्स (high-probability concentration bounds) की आवश्यकता को संबोधित करता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र DKPS एम्बेडिंग फ्रेमवर्क का उपयोग करता है, जो क्लासिकल मल्टीडायमेंशनल स्केलिंग (MDS) का एक रूपांतर है। सेटिंग में $n$ जनरेटिव मॉडल्स $\{f_1, \dots, f_n\}$ और $m$ क्वेरीज $\{q_1, \dots, q_m\}$ शामिल हैं।

जनसंख्या स्तर (Population Level): क्वेरी $q_j$ के प्रति मॉडल $f_i$ की वास्तविक प्रतिक्रिया एक रैंडम वेक्टर $g(f_i(q_j))$ है जिसका वितरण $F_{ij}$ है। जनसंख्या प्रतिनिधित्व को अपेक्षित प्रतिक्रियाओं के मैट्रिक्स $\mu_i$ द्वारा परिभाषित किया जाता है। युग्म जनसंख्या विषमताओं $\Delta_{ii'}$ की गणना $\mu_i$ और $\mu_{i'}$ के बीच के अंतर के नॉर्मलाइज्ड फ्रोबेनियस नॉर्म (normalized Frobenius norm) के रूप में की जाती है। इन विषमताओं को $\mathbb{R}^d$ में एम्बेड करने के लिए MDS का उपयोग किया जाता है ताकि वास्तविक पर्सपेक्टिव $\psi$ प्राप्त हो सके।
नमूना स्तर (Sample Level): चूंकि वास्तविक वितरण अज्ञात हैं, इसलिए लेखक प्रत्येक मॉडल-क्वेरी जोड़ी के लिए $r$ स्वतंत्र और समान रूप से वितरित (iid) रेप्लिकेट्स का उपयोग करके माध्य प्रतिक्रियाओं $\bar{X}_i$ का अनुमान लगाते हैं। एक नमूना विषमता मैट्रिक्स $D$ का निर्माण इन अनुभवजन्य माध्यों (empirical means) से किया जाता है।
एम्बेडिंग (Embedding): नमूना विषमता मैट्रिक्स को $\hat{B}$ बनाने के लिए 'डबली सेंटर्ड' (doubly centered) किया जाता है, और वेक्टर एम्बेडिंग्स $\hat{\psi}$ प्राप्त करने के लिए MDS लागू किया जाता है।

मुख्य सैद्धांतिक दृष्टिकोण नमूना मैट्रिक्स $\hat{B}$ और जनसंख्या मैट्रिक्स $B$ के बीच स्पेक्ट्रल नॉर्म अंतर के लिए कंसन्ट्रेशन इनइक्वालिटीज (concentration inequalities) स्थापित करने में निहित है। लेखक परिणामी वेक्टर एम्बेडिंग्स में त्रुटि को विषमता मैट्रिसेस में त्रुटि से जोड़ने के लिए आइजनवेक्टर्स (eigenvectors) (डेविस-काहन्स प्रमेय) और आइजनवैल्यूज़ (eigenvalues) (वेल्स इनइक्वालिटी) के लिए पर्टर्बेशन बाउंड्स पर निर्भर करते हैं।

मुख्य धारणाएँ (Key Assumptions)
सैद्धांतिक परिणाम दो प्राथमिक धारणाओं पर आधारित हैं:

धारणा 1 (वितरणात्मक): मानकीकृत संकेंद्रीकृत (concatenated) माध्य प्रतिक्रियाएं लाइट-टेल्ड (light-tailed) हैं और उनके एंट्रीज अनकोरिलेटेड हैं। मानकीकृत वेक्टर का घनत्व (density) $e^{-U(w)}$ के समानुपाती है जिसका हेसियन (Hessian) बाउंडेड है, और प्रतिक्रियाएं लगभग निश्चित रूप से (almost surely) बाउंडेड हैं। यह बड़े नमूना आकार के लिए सेंट्रल लिमिट थ्योरम और LLM आउटपुट की परिमित टोकन प्रकृति द्वारा न्यायसंगत है।
धारणा 2 (रैंक): जनसंख्या विषमता मैट्रिक्स $B$ का रैंक एक स्थिरांक $d$ है जो $n$ के साथ नहीं बढ़ता है। इसका तात्पर्य है कि वास्तविक पर्सपेक्टिव एक निश्चित-आयामी स्थान में रहते हैं।

मुख्य परिणाम
शोध पत्र वेक्टर एम्बेडिंग्स के अनुमान त्रुटि के लिए हाई-प्रोबेबिलिटी कंसन्ट्रेशन बाउंड्स स्थापित करता है:

मैट्रिक्स कंसन्ट्रेशन (थ्योरम 1): धारणा 1 के तहत और यह मानते हुए कि प्रतिक्रिया कोवेरिएंस मैट्रिसेस का ट्रेस $\Gamma$ द्वारा यूनिफॉर्मली बाउंडेड है, स्पेक्ट्रल नॉर्म एरर $\|\hat{B} - B\|$ कम से कम $1 - e^{-nc}$ की प्रायिकता के साथ $\frac{n}{\sqrt{mr}} + \frac{1}{r}$ के रूप में स्केल होता है।
एम्बेडिंग कंसन्ट्रेशन (थ्योरम 2): धारणा 1 और 2 के तहत, और एक सिग्नल-टू-नॉइज़ स्थिति के तहत, एक ऑर्थोगोनल मैट्रिक्स $W^*$ मौजूद है जिससे अनुमान त्रुटि $\|\hat{\psi}W^* - \psi\|$ उच्च प्रायिकता के साथ बाउंडेड है। यह बाउंड $B$ के कंडीशन नंबर और टर्म $\left(\frac{n}{\sqrt{mr}} + \frac{1}{r}\right)$ के साथ स्केल होता है।
कंसिस्टेंसी कंडीशंस (प्रपोजिशन 2): शोध पत्र $B$ के आइजनवैल्यूज़ के लिए एक पर्याप्त स्थिति प्रदान करता है कि वे $n$ के साथ रैखिक रूप से बढ़ते हैं (विशेष रूप से $\lambda_d(B) \geq C(d)n$ )। यह तब होता है जब जनसंख्या माध्य प्रतिक्रिया मैट्रिसेस के संग्रह में केवल सीमित संख्या में विशिष्ट सदस्य (कम्युनिटीज) होते हैं जिनकी सदस्यता आनुपातिक होती है। इन स्थितियों के तहत, यदि रेप्लिकेट्स की संख्या $r$ , $n^2$ से अधिक तेजी से बढ़ती है (अर्थात $r = \omega(n^2)$ ) जबकि $m$ स्थिर है, तो अनुमान त्रुटि शून्य की ओर जाती है।

संख्यात्मक प्रयोग (Numerical Experiments)
लेखक दो प्रयोगों के माध्यम से अपने सैद्धांतिक बाउंड्स को मान्य करते हैं:

सिमुलेशन: LLM प्रतिक्रियाओं को सिम्युलेट करने के लिए उच्च-आयामी रैंडम वेक्टर्स का उपयोग करते हुए, अध्ययन प्रदर्शित करता है कि जैसे-जैसे $n$ बढ़ता है (जहाँ $r \approx n^{2.25}$ ), अनुभवजन्य अनुमान त्रुटि घटती है और सैद्धांतिक ऊपरी सीमा के भीतर रहती है। बाउंड्स 100% मोंटे कार्लो सैंपल्स के लिए सही रहे।
वास्तविक डेटा विश्लेषण: Google-gemma-2-2b-it मॉडल और Nomic-embed-text-v2-moe का उपयोग करके, लेखकों ने दो विशिष्ट क्वेरीज के प्रति प्रतिक्रियाओं को सैंपल किया। $r \approx n^{2.75}$ के साथ, अनुभवजन्य अनुमान त्रुटि विभिन्न $n$ के मानों के लिए सैद्धांतिक बाउंड से लगातार छोटी रही, जिससे 100% एम्पीरिकल कवरेज प्राप्त हुआ।

महत्व और दावे
शोध पत्र दावा करता है कि यह ब्लैक-बॉक्स जनरेटिव मॉडल्स के रिस्पॉन्स-आधारित वेक्टर एम्बेडिंग्स के लिए पहला परिमित-नमूना, हाई-प्रोबेबिलिटी कंसन्ट्रेशन बाउंड प्रदान करता है। इसका महत्व निम्नलिखित है:

व्यावहारिक मार्गदर्शन: बाउंड्स एक विशिष्ट आत्मविश्वास स्तर के साथ वांछित सटीकता प्राप्त करने के लिए आवश्यक नमूना आकार $r$ को निर्धारित करने के लिए एक सैद्धांतिक आधार प्रदान करते हैं (उदाहरण के लिए, यह परीक्षण करना कि क्या दो मॉडल्स का पर्सपेक्टिव समान है)।
ट्रेड-ऑफ विश्लेषण: परिणाम बताते हैं कि सटीकता में न केवल रेप्लिकेट्स ( $r$ ) की संख्या बढ़ाकर, बल्कि क्वेरीज ( $m$ ) की संख्या बढ़ाकर भी सुधार किया जा सकता है, हालांकि पेपर नोट करता है कि $m$ और रो-वाइज एस्टिमेटर्स की गुणवत्ता के बीच के ट्रेड-ऑफ की आगे जांच की आवश्यकता है।
नॉन-एसिम्प्टोटिक फाउंडेशन: इन बाउंड्स को स्थापित करके, यह कार्य अनंत नमूना आकार की अवास्तविक धारणा से आगे बढ़कर, नॉन-एसिम्प्टोटिक रिजीम में सांख्यिकीय विश्लेषण को सुगम बनाता है।
यथार्थवादी सेटिंग: कार्यप्रणाली एक ब्लैक-बॉक्स सेटिंग के तहत काम करती है, जिसमें केवल मॉडल प्रतिक्रियाओं तक पहुंच की आवश्यकता होती है, जिससे यह प्रोप्रायटरी या क्लोज्ड-सोर्स मॉडल्स के लिए लागू करने योग्य बन जाता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि $B$ के रैंक और आइजनवैल्यूज़ के विकास के बारे में उनकी स्थिति पर्याप्त है लेकिन भविष्य के कार्यों में इसे बढ़ते हुए विशिष्ट मॉडल कम्युनिटीज के परिदृश्यों को समायोजित करने के लिए शिथिल (relax) किया जा सकता है। वे यह भी अनुमान लगाते हैं कि उनकी सिग्नल-टू-नॉइज़ स्थिति आवश्यक है, जो मौजूदा साहित्य में सरल सेटिंग्स के साथ समानताएं खींचती है।