📊 statistics

Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons

यह शोध पत्र विरल युग्म तुलनाओं (sparse pairwise comparisons) के तहत कार्य-विशिष्ट LLM रैंकिंग के लिए एक अनिश्चितता-जागरूक, लो-रैंक फ्रेमवर्क प्रस्तावित करता है जो साझा कार्य सूचना के माध्यम से नमूना दक्षता (sample efficiency) में सुधार करता है और डिबायस्ड एस्टीमेशन एवं बूटस्ट्रैप कैलिब्रेशन के माध्यम से सांख्यिकीय रूप से वैध कॉन्फिडेंस इंटरवल और समवर्ती रैंकिंग प्रमाणपत्र प्रदान करता है।

मूल लेखक: Jiachun Li, David Simchi-Levi, Will Wei Sun

प्रकाशित 2026-05-29

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiachun Li, David Simchi-Levi, Will Wei Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: "टेस्ट ऑफ टेस्ट" (स्वाद परीक्षण) की समस्या

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि 30 अलग-अलग शेफ में से सबसे अच्छा कुक कौन है। लेकिन आप उन सभी को सबके लिए पूरा 10-कोर्स का भोजन बनाने के लिए नहीं कह सकते। इसके बजाय, आपके पास केवल कुछ "स्वाद परीक्षण" (taste tests) हैं जहाँ लोग दो व्यंजनों की तुलना आमने-सामने करते हैं और कहते हैं, "मुझे शेफ A का सूप शेफ B के सूप से अधिक पसंद आया।"

आजकल हम लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन इसी तरह करते हैं। "Chatbot Arena" जैसे प्लेटफॉर्म लोगों से दो AI प्रतिक्रियाओं की तुलना करने और विजेता चुनने के लिए कहते हैं।

समस्या:

बहुत सारे शेफ, बहुत कम स्वाद: कार्यों के कई अलग-अलग प्रकार होते हैं (कोडिंग, गणित, रचनात्मक लेखन, आदि)। कुछ कार्यों के लिए, हमारे पास हजारों तुलनाएँ होती हैं। अन्य कार्यों के लिए, हमारे पास केवल कुछ ही हो सकती हैं।
"ग्लोबल" जाल: यदि आप एक बड़ा लीडरबोर्ड बनाने के लिए सभी स्वाद परीक्षणों का औसत निकाल देते हैं, तो आप सच्चाई को मिस कर सकते हैं। एक शेफ बेकिंग (रचनात्मक लेखन) में अद्भुत हो सकता है लेकिन सूप बनाने (गणित) में बहुत बुरा हो सकता है। एक एकल ग्लोबल रैंक इन विशिष्ट शक्तियों और कमजोरियों को छिपा देती है।
"शोर" (Noise) की समस्या: यदि आप केवल उन कुछ सूप-स्वाद परीक्षणों के आधार पर शेफ को रैंक करने की कोशिश करते हैं जो आपके पास हैं, तो आपकी रैंकिंग अस्थिर होगी। आपको लग सकता है कि शेफ A, शेफ B से बेहतर है, लेकिन यह केवल संयोग या 'रैंडम लक' हो सकता है क्योंकि आपके पास पर्याप्त डेटा नहीं था। आप नहीं जानते कि अंतर वास्तविक है या केवल शोर (noise) है।

समाधान: "साझा प्रतिभा" (Shared Talent) दृष्टिकोण

लेखक "Low Rank for Rank" नामक एक नया सांख्यिकीय ढांचा प्रस्तावित करते हैं।

उपमा 1: "साझा प्रतिभा" मैट्रिक्स

कल्पना कीजिए कि प्रत्येक शेफ के पास एक छिपा हुआ "टैलेंट प्रोफाइल" है।

शेफ A "फ्लेवर" और "प्रेजेंटेशन" में अच्छा है।
शेफ B "स्पीड" और "फ्लेवर" में अच्छा है।
शेफ C "प्रेजेंटेशन" में अच्छा है लेकिन "फ्लेवर" में बुरा है।

भले ही हमने हर शेफ का हर व्यंजन पर परीक्षण नहीं किया है, लेकिन हम जानते हैं कि "फ्लेवर" एक साझा कौशल है। यदि शेफ A और शेफ B दोनों उन व्यंजनों में अच्छा प्रदर्शन करते हैं जिनमें "फ्लेवर" की आवश्यकता होती है, तो हम उस साझा जानकारी का उपयोग यह अनुमान लगाने के लिए कर सकते हैं कि वे एक नए व्यंजन पर कैसे प्रदर्शन करेंगे जिसका हमने बहुत कम परीक्षण किया है।

पेपर टास्क (व्यंजन) और मॉडल (शेफ) के बीच के संबंध को एक विशाल ग्रिड (मैट्रिक्स) के रूप में मानता है। वे मानते हैं कि यह ग्रिड "Low Rank" है। सरल शब्दों में, इसका अर्थ है कि ग्रिड रैंडम अराजकता नहीं है; यह कुछ अंतर्निहित "थीम्स" या "कौशलों" (जैसे तर्क, कोडिंग, या रचनात्मकता) से बना है जो कई कार्यों पर लागू होते हैं। इन छिपे हुए विषयों को खोजकर, मॉडल उन कार्यों से "शक्ति उधार" ले सकता है जहाँ हमारे पास बहुत अधिक डेटा है, ताकि उन कार्यों को समझने में मदद मिल सके जहाँ हमारे पास बहुत कम डेटा है।

उपमा 2: "कॉन्फिडेंस बैज" (विश्वास का प्रतीक)

अधिकांश वर्तमान लीडरबोर्ड आपको केवल एक नंबर देते हैं: "शेफ A नंबर 1 है।" वे आपको यह नहीं बताते कि वे कितने आश्वस्त हैं।

यह पेपर Uncertainty-Aware Ranking पेश करता है। केवल यह कहने के बजाय कि "शेफ A नंबर 1 है," नया तरीका कहता है:

"हमें 95% विश्वास है कि शेफ A टॉप 10 में है।"
"हमें 95% विश्वास है कि शेफ B टॉप 10 में नहीं है।"
"हम शेफ C के बारे में अनिश्चित हैं। डेटा इतना कम है कि यह बताने के लिए पर्याप्त नहीं है कि वे टॉप 10 में हैं या नहीं।"

यह प्रत्येक शेफ को एक बैज देने जैसा है जिस पर लिखा है "सर्टिफाइड टॉप 10," "सर्टिफाइड नॉट टॉप 10," या "अधिक टेस्टिंग की आवश्यकता है।" यह लोगों को कमजोर डेटा के आधार पर अति-आत्मविश्वासी दावे करने से रोकता है।

यह कैसे काम करता है (तीन चरण)

1. "स्मार्ट गेस" (अनुमान लगाना - Estimation)
सबसे पहले, सिस्टम सभी स्पार्स तुलनाओं (जो थोड़े स्वाद परीक्षण हमारे पास हैं) को देखता है। प्रत्येक कार्य को एक पूरी तरह से अलग ब्रह्मांड मानने के बजाय, यह "साझा प्रतिभा" के विचार का उपयोग करके रिक्त स्थानों को भरने के लिए करता है। यह प्रत्येक मॉडल के लिए प्रत्येक कार्य पर एक "बेस्ट गेस" स्कोर बनाता है।

जादू: यह गणितीय रूप से सिद्ध करता है कि यह "स्मंत गेस" प्रत्येक कार्य के लिए व्यक्तिगत रूप से डेटा के आधार पर अनुमान लगाने की तुलना में बहुत अधिक सटीक है।

2. "डी-बायसिंग" (Inference)
इसके बाद, यह दो मॉडलों के बीच के अंतर की गणना करता है (जैसे, "गणित पर शेफ A, शेफ B से कितना बेहतर है?")। क्योंकि प्रारंभिक अनुमान में कुछ त्रुटि हो सकती है, सिस्टम शोर को साफ करने के लिए एक विशेष गणितीय ट्रिक (जिसे "debiased one-step estimator" कहा जाता है) का उपयोग करता है। यह सुनिश्चित करता है कि उनके द्वारा निकाला गया अंतर यथासंभव सटीक हो, जो सटीकता की सैद्धांतिक सीमा तक पहुँचता है।

3. "सेफ्टी नेट" (सुरक्षा जाल - Certification)
अंत में, यह "मल्टीपल टेस्टिंग" समस्या को संभालता है। यदि आप 1,000 अलग-अलग तुलनाओं की जाँच करते हैं, तो आप अंततः कुछ ऐसी तुलनाएँ पा लेंगे जो शुद्ध संयोग से महत्वपूर्ण दिखती हैं।

पेपर Multiplier Bootstrap तकनीक का उपयोग करता है (इसे कंप्यूटर में स्वाद परीक्षणों के हज़ार वर्चुअल सिमुलेशन चलाने के रूप में सोचें) यह पता लगाने के लिए कि शोर का "वर्स्ट-केस सिनेरियो" क्या है।
यह उन्हें प्रत्येक रैंक के चारों ओर एक "कॉन्फिडेंस बैंड" खींचने की अनुमति देता है। यदि बैंड संकीर्ण है और टॉप 10 लाइन के ऊपर रहता है, तो वे मॉडल को सर्टिफाई कर सकते हैं। यदि बैंड चौड़ा है और लाइन को पार करता है, तो वे स्वीकार करते हैं कि वे अभी नहीं जानते।

प्रयोगों ने क्या दिखाया

लेखकों ने दो चीजों पर परीक्षण किया:

फेक डेटा (नकली डेटा): उन्होंने शेफ और स्वाद परीक्षणों का एक कंप्यूटर सिमुलेशन बनाया।
- परिणाम: उनके तरीके ने पुराने तरीके (जिसने प्रत्येक कार्य को अकेले देखा था) की तुलना में वास्तविक शीर्ष शेफ को बहुत अधिक बार खोजा, विशेष रूप से जब डेटा कम था।
रियल डेटा (Chatbot Arena): उन्होंने AI मॉडल्स के वास्तविक मानव तुलनाओं पर इसे लागू किया।
- परिणाम: "स्पार्स" श्रेणियों में (जहाँ बहुत कम लोगों ने वोट दिया), उनका तरीका आत्मविश्वास से कह सका कि कौन से मॉडल अच्छे थे और कौन से बुरे थे। पुराना तरीका अक्सर या तो बहुत अनिश्चित था कि कोई दावा कर सके, या उसने ऐसे दावे किए जो सांख्यिकीय रूप से अस्थिर थे।

सारांश

यह पेपर हमें AI मॉडल्स को रैंक करने का एक नया तरीका देता है जो:

समान कार्यों के बीच ज्ञान साझा करता है ताकि डेटा की कमी होने पर बेहतर अनुमान लगाया जा सके।
अनिश्चितता को मापता है, जिससे हमें पता चलता है कि रैंकिंग कब ठोस है और कब यह केवल एक अनुमान है।
अति-आत्मविश्वास को रोकता है, यह सुनिश्चित करता है कि लीडरबोर्ड के दावे केवल कुछ भाग्यशाली तुलनाओं के बजाय सांख्यिकीय प्रमाणों पर आधारित हों।

यह एक "बेस्ट गेस" लीडरबोर्ड को एक "सर्टिफाइड" लीडरबोर्ड में बदल देता है।

तकनीकी सारांश: लो रैंक फॉर रैंक: स्पार्स पेयरवाइज़ कंपैरिजन के तहत अनसर्टेन्टी-अवेयर टास्क-स्पेसिफिक LLM रैंकिंग

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन तेजी से मानव-पसंद प्लेटफॉर्म (जैसे चैटबॉट एरिना) पर आधारित पेयरवाइज़ तुलनाओं के माध्यम से किया जा रहा है। जबकि वैश्विक रैंकिंग सामान्य हैं, वे अक्सर सूक्ष्म कार्यों (जैसे कोडिंग, गणित, रचनात्मक लेखन) के बीच मौजूद महत्वपूर्ण विषमता (heterogeneity) को छिपा देती हैं। अभ्यासकर्ताओं को यह निर्धारित करने के लिए विश्वसनीय, कार्य-विशिष्ट (task-specific) रैंकिंग की आवश्यकता होती है कि कौन से मॉडल विशिष्ट डोमेन के लिए भरोसेमंद हैं। हालाँकि, मौजूदा दृष्टिकोण एक सांख्यिकीय ट्रेड-ऑफ का सामना करते हैं:

स्वतंत्र कार्य-वार अनुमान (Independent Task-wise Estimation): प्रत्येक कार्य के लिए अलग-अलग ब्रैडली-टेरी-लुस (BTL) मॉडल का उपयोग करना कार्य-विशिष्ट विषमता का सम्मान करता है, लेकिन यह विशिष्ट श्रेणियों के भीतर डेटा विरल (sparse) या असंतुलित होने पर सांख्यिकीय रूप से अस्थिर हो जाता है।
पूर्णतः पूलिंग अनुमान (Fully Pooled Estimation): सभी कार्यों के डेटा को पूल करने से विचरण (variance) कम होता है, लेकिन यह उस कार्य-विशिष्ट विषमता को मिटा देता है जो सूक्ष्म मूल्यांकन के लिए प्रेरित करती है।
रैंकिंग अनसर्टेन्टी (Ranking Uncertainty): वर्तमान विधियाँ बिना अनिश्चितता को मात्रात्मक रूप से दर्शाए केवल पॉइंट एस्टीमेट प्रदान करती हैं। विरल शासन (sparse regimes) में, टॉप- $K$ सीमा के पास स्कोर अंतराल नमूना शोर (sampling noise) को दर्शा सकते हैं न कि वास्तविक प्रदर्शन अंतर को। टॉप- $K$ सदस्यता और रैंकों के सत्यापन के लिए रैंकिंग फंकशनल्स की नॉन-स्मूथ प्रकृति और स्कोर-गैप परपल्स के बीच मजबूत निर्भरता को संभालना आवश्यक है।

कार्यप्रणाली (Methodology)
लेखक एक लो-रैंक फ्रेमवर्क प्रस्तावित करते हैं जो लेटेंट टास्क-बाय-मॉडल एबिलिटी मैट्रिक्स $\Theta^\star \in \mathbb{R}^{d_t \times d_m}$ को लगभग लो-रैंक ( $r \ll \min\{d_t, d_m\}$ ) के रूप में मॉडल करता है। यह संरचना सूचना साझाकरण (information sharing) की अनुमति देती है (जैसे साझा लेटेंट क्षमताएं जैसे रीजनिंग या इंस्ट्रक्शन फॉलोइंग), जबकि कार्य-विशिष्ट अंतरों को सुरक्षित रखती है।

कार्यप्रणाली तीन चरणों में आगे बढ़ती है:

एंट्रीवाइज एस्टीमेशन (स्कोर रिकवरी):
- इनिशियलाइजेशन: एक न्यूक्लियर-नॉर्म पेनलाइज्ड कॉनवेक्स एस्टीमेटर की गणना की जाती है ताकि एक फ्रोबेनियस-एक्यूरेट इनिशियलाइज़र $\hat{\Theta}_0$ प्राप्त किया जा सके।
- रिफाइनमेंट: $\hat{\Theta}_0$ पर एक रो-वाइज़ पेयरवाइज़-लॉजिस्टिक्स रिफाइनमेंट स्टेप लागू किया जाता है। यह वैश्विक फ्रोबेनियस सटीकता को यूनिफॉर्म एंट्रीवाइज (मैक्स-नॉर्म) नियंत्रण में बदल देता है। रिफाइनमेंट टास्क-साइड और मॉडल-साइड लेटेंट वेक्टर्स के लिए पेयरवाइज़-लॉजिस्टिक्स स्कोर समीकरणों को पुनरावृत्ति (iteratively) से हल करता है।
- परिणाम: थ्योरम 3.1 स्थापित करता है कि रिफाइंड एस्टीमेटर $\hat{\Theta}$ एंट्ररीवाइज एरर $\|\hat{\Theta} - \Theta^\star\|_\infty \lesssim \sqrt{\bar{d} \text{polylog}(n\bar{d})/n}$ प्राप्त करता है, जहाँ $\bar{d} = \max(d_t, d_m)$ है। यह दर एक मार्जिन कंडीशन के तहत सटीक टॉप- $K$ रिकवरी सक्षम करती है, जो सिंगल-टास्क सिद्धांतों को युग्मित (coupled) कार्य-विशिष्ट रैंकिंग तक विस्तारित करती है।
कुशल स्कोर-गैप इन्फरेंस (Efficient Score-Gap Inference):
- रैंकिंग निर्णयों पर इन्फरेंस करने के लिए, लेखक लीनियर कॉन्ट्रास्ट्स (स्कोर गैप्स) $\psi_\Gamma(\Theta^\star) = \langle \Gamma, \Theta^\star \rangle$ के लिए डिबायस्ड वन-स्टेप एस्टीमेटर्स का निर्माण करते हैं।
- एस्टीमेटर लो-रैंक मैनिफोल्ड के टेंगेंट स्पेस और प्रतिबंधित फिशर इंफॉर्मेशन ऑपरेटर का उपयोग करके सेमीपैरामेट्रिक एफिशिएंसी प्राप्त करता है।
- जॉइंट इन्फरेंस: फ्रेमवर्क कई स्कोर-गैप एस्टीमेटर्स के जॉइंट कोवेरिएंस को कैरेक्टराइज करता है। थ्योरम 4.1 सिद्ध करता है कि एक निश्चित संग्रह के लिए, एस्टीमेटर्स जॉइंटली एसिम्प्टोटिकली गॉसियन हैं, जिनका कोवेरिएंस मैट्रिक्स सेमीपैरामेटिक एफिशिएंसी लोअर बाउंड प्राप्त करता है।
सिमल्टेनियस रैंकिंग सर्टिफिकेशन (Simultaneous Ranking Certification):
- पेपर उच्च-आयामी शासन (high-dimensional regime) को संबोधित करता है जहाँ रैंक और टॉप- $K$ सदस्यता कई आश्रित स्कोर-गैप हाइपोथीसिस द्वारा निर्धारित होती है।
- कैलिब्रेशन: गॉसियन और मल्टीप्लायर-बूटस्ट्रैप एप्रोक्सिमेशन का उपयोग करके, विधि स्टूडेंटाइज्ड डिबायस्ड गैप स्टैटिस्टिक्स के मैक्सिमम को कैलिब्रेट करती है।
- आउटपुट: यह टास्क-स्पेसिफिक रैंकों के लिए सिमल्टेनियस कॉन्फिडेंस सेट्स और टॉप- $K$ सदस्यता के लिए वैध टेस्ट प्रदान करता है। आउटपुट मॉडल्स को तीन समूहों में वर्गीकृत करता है: प्रमाणित टॉप- $K$ , प्रमाणित नॉन-टॉप- $K$ , और सांख्यिकीय रूप से अनसुलझा (जहाँ शोर एक निर्णायक निर्णय को रोकता है)।

प्रमुख योगदान

टास्क-वाइज़ टॉप- $K$ सटीकता: लेखक टास्क-विशिष्ट रैंकिंग के लिए अनुकूलित मैक्स-नॉर्म एस्टीमेशन गारंटी प्राप्त करते हैं, जो दिखाते हैं कि कैसे लो-रैंक शेयरिंग स्वतंत्र BTL एस्टीमेशन की तुलना में सैंपल एफिशिएंसी में सुधार करती है। उनकी थ्योरी रैंकिंग एरर को $K$ -बाउंड्री के पास मॉडल्स की संख्या के माध्यम से कैरेक्टराइज करती है।
कुशल स्कोर-गैप इन्फरेंस: वे टास्क-स्पेसिफिक स्कोर गैप्स के लिए डिबायस्ड वन-स्टेप एस्टीमेटर्स का निर्माण करते हैं जो सेमीपैरामेटिकली एफिशिएंट हैं, जो सहसंबंधित रैंकिंग हाइपोथीसिस के लिए जॉइंट कोवेरिएंस कैरेक्टराइजेशन प्रदान करते हैं।
सिमल्टेनियस रैंक सर्टिफिकेशन: पेपर कार्यों और मॉडल्स के बीच सिमल्टेनियस इन्फरेंस के लिए एक फ्रेमवर्क पेश करता है। स्टूडेंटाइज्ड स्टैटिस्टिक्स के मैक्सिमम को कैलिब्रेट करके, यह रैंक और टॉप- $K$ सदस्यता के लिए वैध कॉन्फिडेंस सेट्स प्रदान करता है, जो विश्वसनीय दावों को अनसुलझे तुलनाओं से अलग करता है।
अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक डेटा और LM एरिना डेटासेट पर प्रयोगों से पता चलता है कि लो-रैंक फ्रेमवर्क स्वतंत्र प्रति-कार्य BTL एस्टीमेशन की तुलना में टाइट और बेहतर-कैलिब्रेटेड रैंक सर्टिफिकेट और उच्च टॉप- $K$ रिकवरी दर प्रदान करता है, विशेष रूप से विरल डेटा शासन में।

परिणाम और महत्व
पेपर का दावा है कि लो-रैंक शेयरिंग सैंपल एफिशिएंसी में महत्वपूर्ण सुधार करती है। सिमुलेशन में, जॉइंट एस्टीमेटर स्वतंत्र प्रति-कार्य BTL की तुलना में कम फ्रोबेनियस और सुप-नॉर्म एरर और बेहतर टॉप- $K$ रिकवरी (हैमिंग डिस्टेंस द्वारा मापा गया) प्राप्त करता है, विशेष रूप से जब प्रति कार्य तुलनाओं की संख्या कम होती है।

LM एरिना केस स्टडी (10 टास्क कैटेगरी, 30 मॉडल्स) में, लो-रैंक विधि ने कम सब-सैंपलिंग अंशों ( $f \le 0.10$ ) पर टॉप- $K$ रिकवरी में प्रति-कार्य BTL से बेहतर प्रदर्शन किया। महत्वपूर्ण रूप से, फ्रेमवर्क "अनसर्टेन्टी-अवेयर सर्टिफिकेशन" को सक्षम बनाता है। उदाहरण के लिए, विरल शासन में जहाँ प्रति-कार्य BTL मॉडल की टॉप- $K$ स्थिति को प्रमाणित नहीं कर सकता था (चौड़े कॉन्फिडेंस इंटरवल के साथ), लो-रैंक विधि ने क्रॉस-टास्क जानकारी का लाभ उठाकर सदस्यता को सफलतापूर्वक प्रमाणित किया।

इस कार्य का महत्व प्रमाणित कार्य-विशिष्ट लीडरबोर्ड के लिए एक सांख्यिकीय आधार प्रदान करने में निहित है। पॉइंट एस्टीमेट्स से आगे बढ़कर अनसर्टेंटी-अवेयर रैंकिंग की ओर बढ़कर, यह फ्रेमवर्क विरल या असंतुलित प्राथमिकता डेटा के आधार पर अति-आत्मविश्वासी दावों को कम करने में मदद करता है। यह स्पष्ट करता है कि कब स्पष्ट लीडरबोर्ड अंतर सांख्यिकीय रूप से अनसुलझे हैं, जो वास्तविक दुनिया के LLM अनुप्रयोगों में मॉडल चयन, खरीद और तैनाती के लिए एक अधिक कठोर उपकरण प्रदान करता है।