🤖 machine learning

Prompt-Dependent Ranking of Large Language Models with Uncertainty Quantification

यह शोध पत्र बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) को रैंक करने के लिए एक निर्णय-सुरक्षित ढांचे का प्रस्ताव करता है जो प्रॉम्प्ट-निर्भर रैंकिंग के लिए सांख्यिकीय रूप से वैध कॉन्फिडेंस सेट्स (confidence sets) बनाने के लिए एक कॉन्टेक्स्टुअल ब्रैडली-टेरी-लूस मॉडल का उपयोग करता है, जिससे अनिश्चितता को मात्रात्मक रूप से मापकर और सार्थक प्रदर्शन अंतर को शोर (noise) से अलग करके पॉइंट एस्टिमेट्स की सीमाओं को संबोधित किया जा सके।

मूल लेखक: Angel Rodrigo Avelar Menendez, Yufeng Liu, Xiaowu Dai

प्रकाशित 2026-03-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Angel Rodrigo Avelar Menendez, Yufeng Liu, Xiaowu Dai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जहाज के कप्तान हैं और अपनी अगली यात्रा के लिए आपके पास पांच अलग-अलग पायलटों (लार्ज लैंग्वेज मॉडल्स, या LLMs) की एक टीम चुनने का विकल्प है। आप उनमें से सबसे बेहतरीन को चुनना चाहते हैं।

परंपरागत रूप से, जो "लीडरबोर्ड" हम ऑनलाइन देखते हैं, वे एक निश्चित स्कोरबोर्ड की तरह काम करते हैं। वे कहते हैं: "पायलट A नंबर 1 है, पायलट B नंबर 2 है, और पायलट C नंबर 3 है।" वे इन रैंकिंग्स को पूर्ण सत्य मानते हैं, जैसे कि बास्केटबॉल के खेल का अंतिम स्कोर।

समस्या:
इस पेपर के लेखक तर्क देते हैं कि यह स्कोरबोर्ड भ्रामक है। यह कोई अंतिम स्कोर नहीं है; यह एक एकल, अस्थिर थर्मामीटर के आधार पर दिए गए मौसम के पूर्वानुमान जैसा है।

संदर्भ मायने रखता है (Context Matters): पायलट A तूफानों (कोडिंग कार्यों) के बीच नेविगेट करने में अद्भुत हो सकता है, लेकिन शांत समुद्रों (क्रिएटिव राइटिंग) में वह बहुत खराब हो सकता है। पायलट B इसके विपरीत हो सकता है। एक एकल वैश्विक रैंकिंग आपकी यात्रा की विशिष्ट परिस्थितियों को अनदेखा कर देती है।
शोर का कारक (The Noise Factor): इन रैंकिंग्स को बनाने के लिए उपयोग किया गया डेटा मानवीय विचारों से आता है, जो शोर भरा और अपूर्ण है। कभी-कभी, "पायलट A नंबर 1 है" और "पायलट B नंबर 1 है" के बीच का अंतर वास्तविक कौशल का अंतर नहीं, बल्कि केवल एक सांख्यिकीय संयोग (fluke) होता है।
खतरा (The Danger): यदि आप आँख मूंदकर एक निश्चित लीडरबोर्ड का पालन करते हैं, तो आप अपने जहाज को ऐसे पायलट के साथ तूफान में भेज सकते हैं जो केवल इसलिए "नंबर 1" रैंक किया गया था क्योंकि वह एक सांख्यिकीय संयोग था, जिससे दुर्घटना हो सकती है।

समाधान: "धुंधला मानचित्र" दृष्टिकोण (The "Foggy Map" Approach)

एक एकल, कठोर रेखा देने के बजाय जो यह दिखाए कि कौन नंबर 1 है, यह पेपर एक गतिशील, अनिश्चितता-जागरूक मानचित्र का प्रस्ताव करता है।

इसे इस प्रकार समझें:

पुराना तरीका: एक GPS जो कहता है, "आप यहाँ हैं, और सबसे अच्छा रास्ता निश्चित रूप से पथ A है।" (भले ही मानचित्र धुंधला हो)।
नया तरीका: एक GPS जो कहता है, "एक छोटी यात्रा के लिए, पायलट A निश्चित रूप से सबसे अच्छा है। लेकिन एक लंबी, जटिल यात्रा के लिए, डेटा बहुत अस्पष्ट है कि कौन बेहतर है। इसलिए, यहाँ संभावनाओं का एक बादल है जहाँ पायलट A, B और C सभी प्रथम स्थान के लिए बराबरी पर हैं।"

यह कैसे काम करता है (रूपक):

संदर्भगत उपयोगिता (The "Specialist" Lens):
कल्पित कीजिए कि पायलटों के पास अलग-अलग उपकरण हैं। यह मॉडल यह पूछकर निर्माण करता है: "पायलट A विशेष रूप से 500 शब्दों की रचनात्मक कहानी के लिए कितना अच्छा है?" बनाम "पायलट A 2,000 शब्दों के कानूनी अनुबंध के लिए कितना अच्छा है?"
मॉडल यह समझ जाता है कि जैसे-जैसे "प्रॉम्प्ट" (कार्य) बदलता है, रैंकिंग भी बदल जाती है। एक पायलट जो छोटे कार्यों के लिए नंबर 1 है, वह लंबे, जटिल कार्यों के लिए नंबर 5 पर गिर सकता है।
विश्वास सेट (The "Fog of War"):
यह सबसे महत्वपूर्ण हिस्सा है। केवल यह कहने के बजाय कि "पायलट A नंबर 1 है," मॉडल उत्तर के चारों ओर एक धुंधला घेरा खींचता है।

साफ धुंध (Clear Fog): यदि डेटा मजबूत है, तो घेरा छोटा होता है। "हम 95% आश्वस्त हैं कि पायलट A, पायलट B से बेहतर है।"
घनी धुंध (Thick Fog): यदि डेटा कमजोर है (उदाहरण के लिए, कार्य बहुत लंबा और कठिन है), तो घेरा फैल जाता है। "सच तो यह है कि हमें नहीं पता कि कौन बेहतर है। वे नंबर 1 से लेकर नंबर 5 तक कहीं भी हो सकते हैं।"
परिणाम: सिस्टम यह स्वीकार करता है कि वह नहीं जानता। जब प्रमाण मौजूद नहीं होते, तो यह एक नकली रैंकिंग थोपने से इनकार कर देता है।

यह आपके लिए क्यों महत्वपूर्ण है:

अति-प्रतिक्रिया देना बंद करें: यदि आप किसी मॉडल को लीडरबोर्ड पर नंबर 4 से नंबर 3 पर जाते देखते हैं, तो यह नया तरीका कहता है, "रुको, यह शायद केवल शोर (noise) है। केवल इस आधार पर अपना पूरा सिस्टम न बदलें।"
स्मार्ट रूटिंग: यदि आप हजारों अनुरोध भेजने वाली एक कंपनी हैं, तो आप "रचनात्मक लेखन" के कार्यों को उस मॉडल को भेज सकते हैं जो सांख्यिकीय रूप से उस विशिष्ट प्रकार के लिए सबसे अच्छा साबित हुआ है, और "गणित" के कार्यों को किसी अन्य मॉडल को भेज सकते हैं।
सुरक्षा सर्वोपरि: जब "धुंध" बहुत घनी होती है (अर्थात मॉडल एक विशिष्ट कार्य के लिए एक दूसरे से अलग नहीं पहचाने जा सकते), तो सिस्टम आपको बताता है: "गुणवत्ता के आधार पर चुनाव न करें; लागत या गति के आधार पर चुनें।" यह नकली सटीकता के आधार पर महंगी गलतियाँ करने से आपको बचाता है।

संक्षेप में:
यह पेपर हमें सिखाता है कि AI रैंकिंग को एक अंतिम परीक्षा के स्कोर की तरह देखना बंद करें और इसे एक मौसम रिपोर्ट की तरह मानना शुरू करें। कभी-कभी धूप खिली होती है (स्पष्ट प्रभुत्व), लेकिन अक्सर धुंध छाई होती है (अनिश्चितता)। बुद्धिमान निर्णय लेने वाले धुंध को अनदेखा नहीं करते; वे यह जानकर अपनी यात्रा की योजना बनाते हैं कि धुंध कितनी घनी है।

यहाँ मेनेन्डेज़, लियू और दाई के शोध पत्र "Prompt-Dependent Ranking of Large Language Models with Uncertainty Quantification" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र वर्तमान लार्ज लैंग्वेज मॉडल (LLM) मूल्यांकन प्रणालियों में एक गंभीर दोष को संबोधित करता है: युग्मवार (pairwise) मानव प्राथमिकताओं से प्राप्त रैंकिंग के लिए पॉइंट एस्टीमेट्स (point estimates) पर निर्भरता। मौजूदा लीडरबोर्ड (जैसे LMSys Arena) आमतौर पर रैंकिंग को स्थिर, सुस्पष्ट वस्तुओं के रूप में देखते हैं, जो दो प्रमुख वास्तविकताओं की अनदेखी करते हैं:

संदर्भ निर्भरता (Context Dependence): LLM का प्रदर्शन इनपुट प्रॉम्प्ट्स (जैसे लंबाई, अर्थ संबंधी श्रेणी, कार्य प्रकार) के आधार पर काफी भिन्न होता है। एक एकल वैश्विक उपयोगिता स्कोर (global utility score) इस विषमता को पकड़ने में विफल रहता है।
सांख्यिकीय अनिश्चितता (Statistical Uncertainty): रैंकिंग सीमित, शोर युक्त (noisy) मानव निर्णयों से प्राप्त होती है। पॉइंट एस्टीमेट्स को पूर्ण सत्य मानने से "अति-आत्मविश्वासी" (overconfident) निर्णय लेने की स्थिति पैदा होती है, जहाँ स्पष्ट रैंक अंतर वास्तव में सांख्यिकीय रूप से अविभेदित होते हैं।

मुख्य समस्या: ऐसे निर्णय-सुरक्षित रैंकिंग (decision-safe rankings) का निर्माण कैसे किया जाए जो विशिष्ट इनपुट प्रॉम्प्ट्स पर आधारित हों और केवल पॉइंट एस्टीमेट्स के बजाय सांख्यिकीय रूप से वैध अनिश्चितता गारंटी (confidence sets) प्रदान करें। इसका लक्ष्य उन डाउनस्ट्रीम सिस्टमों (रूटिंग, खरीद, चयन) में गलत आवंटन और कल्याण हानि (welfare loss) को रोकना है, जो स्पूरियस (spurious) क्रमों पर कार्य करने के कारण उत्पन्न होती है।

2. कार्यप्रणाली (Methodology)

लेखक एक कॉन्टेक्स्टुअल ब्रैडली-बेटर-लूस (BTL) मॉडल को सिमल्टेनियस कॉन्फिडेंस इंटरवल्स (Simultaneous Confidence Intervals) के साथ जोड़कर एक ढांचा प्रस्तावित करते हैं।

A. मॉडल

कॉन्टेक्स्टुअल BTL: एक स्थिर लेटेंट यूटिलिटी $\theta_m$ के बजाय, प्रॉम्प्ट कोवेरिएट्स (covariates) $x$ के संदर्भ में मॉडल $m$ की उपयोगिता एक फलन है:
$\theta_m(x) = \beta_{0m} + x^\top \beta_m$
यहाँ, $\beta_{0m}$ अंतर्निहित प्रदर्शन का प्रतिनिधित्व करता है, और $\beta_m$ यह दर्शाता है कि प्रॉम्प्ट विशेषताओं (जैसे लंबाई, श्रेणी) के साथ प्रदर्शन कैसे बदलता है।
वरीयता प्रायिकता (Preference Probability): प्रॉम्प्ट $x$ दिए जाने पर मॉडल $j$ द्वारा $i$ पर वरीयता दिए जाने की प्रायिकता है:
$P(y=1 | x, (i,j)) = \frac{e^{\theta_j(x)}}{e^{\theta_j(x)} + e^{\theta_i(x)}}$

B. अनुमान (Estimation)

प्रतिबंधित अधिकतम संभावना अनुमान (Constrained Maximum Likelihood Estimation - MLE): लेखक देखे गए युग्मवार वरीयताओं की संभावना को अधिकतम करके $\beta$ का अनुमान लगाते हैं।
पहचान (Identification): चूँकि केवल उपयोगिता अंतर ही पहचाने जा सकते हैं, इसलिए वे संदर्भ स्तर को स्थिर करने के लिए सामान्यीकरण बाधाएं ( $\sum \beta_{0i} = 0, \sum \beta_i = 0$ ) लागू करते हैं, जिससे रैंकिंग प्रभावित नहीं होती।

C. निष्कर्ष और विश्वास सेट (Inference and Confidence Sets)

मुख्य नवाचार उपयोगिता अनुमान से रैंक निष्कर्ष (rank inference) की ओर बढ़ने में निहित है।

उपयोगिता अंतरों के लिए सिमल्टेनियस कॉन्फिडेंस इंटरवल्स:
- व्यक्तिगत उपयोगिताओं के लिए अंतराल बनाने के बजाय, वे उपयोगिता अंतरों के वेक्टर $\Delta_{ij}(x) = \theta_j(x) - \theta_i(x)$ के लिए आयताकार सिमल्टेनियस कॉन्फिडेंस सेट्स का निर्माण करते हैं।
- वे सभी जोड़ों $(i, j)$ में सिमल्टेनियस कवरेज सुनिश्चित करने के लिए मैक्स-टाइप सांख्यिकी (max-type statistics) और पैरामीट्रिक बूटस्ट्रैपिंग का उपयोग करते हैं।
अंतरों से रैंकिंग तक:
- एक युग्मवार रैंकिंग तब "सांख्यिकीय रूप से सुस्पष्ट" (statistically resolved) होती है जब उपयोगिता अंतर का कॉन्फिडेंस इंटरवल शून्य को बाहर करता है।
- यदि इंटरवल में शून्य शामिल है, तो सापेक्ष क्रम "सांख्यिकीय रूप से अनिर्धारित" (statistically unresolved) है।
- मार्जिनल और सिमल्टेनियस रैंक कॉन्फिडेंस सेट्स: सुस्पष्ट और अनिर्धारित युग्मवार तुलनाओं को एकत्रित करके, यह विधि $R_L(x)$ जैसे सेट्स बनाती है जो एक मॉडल द्वारा धारण की जा सकने वाली संभावित रैंकों का प्रतिनिधित्व करती है।
- आंशिक पहचान (Partial Identification): यदि डेटा मॉडलों को अलग करने के लिए अपर्याप्त है, तो आउटपुट एक सेट होता है (जैसे, "रैंक 2 और 5 के बीच है") न कि एक मजबूर पॉइंट एस्टेट। यह स्वाभाविक रूप से आंशिक क्रम (partial orders) को प्रेरित करता है।

3. मुख्य योगदान (Key Contributions)

प्रॉम्प्ट-निर्भर रैंकिंग का औपचारिककरण: एक कॉन्टेक्स्टुअल BTL ढांचे के भीतर कोवेरिएट्स पर निर्भर रैंडम ऑब्जेक्ट के रूप में रैंकिंग को औपचारिक रूप देता है, जिससे स्टैटिक लीडरबोर्ड से डायनेमिक, कॉन्टेक्स्ट-अवेयर इन्फरेंस की ओर बदलाव आता है।
रैंक के लिए वैध अनिश्चितता मात्रा निर्धारण: रैंकों के लिए मार्जिनल और सिमल्टेनियस कॉन्फिडेंस सेट्स बनाने के लिए एक कठोर सांख्यिकीय प्रक्रिया विकसित करता है। यह सही एसिम्प्टोटिक कवरेज सुनिश्चित करता है, जो रैंकिंग फंक्शन की नॉन-स्मूथ प्रकृति (जहाँ छोटे उपयोगिता परिवर्तन डिस्क्रीट रैंक जंप का कारण बनते हैं) को संबोधित करता है।
निर्णय-सैद्धांतिक ढांचा (Decision-Theoretic Framework): अनिश्चितता के तहत निर्णय लेने के लिए एक सिद्धांतपूर्ण तरीका प्रदान करता है। यह ढांचा निर्णय लेने वालों को डेटा द्वारा समर्थित होने पर प्रभुत्व (dominance) का लाभ उठाने और रैंकिंग अस्पष्ट होने पर अति-आत्मविश्वासी विकल्पों से बचने की अनुमति देता है।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने अपने ढांचे को 10 प्रमुख LLMs वाले एरिना ह्यूमन प्रेफरेंस 140k डेटासेट पर लागू किया।

प्रॉम्प्ट लंबाई संवेदनशीलता (Prompt Length Sensitivity):
- छोटे प्रॉम्प्ट्स के लिए, रैंकिंग अक्सर सुस्पष्ट होती है (जैसे, GPT-4 मॉडल स्पष्ट रूप से शीर्ष रैंक पर हैं)।
- जैसे-जैसे प्रॉम्प्ट की लंबाई बढ़ती है (~1127 टोकन से अधिक), अनिश्चितता बढ़ती है। कॉन्फिडेंस सेट्स चौड़े हो जाते हैं जब तक कि सभी मॉडल सांख्यिकीय रूप से अविभेदित न हो जाएं (रैंकिंग सेट्स $[1, M]$ में सिमट जाते हैं)। यह सुझाव देता है कि बहुत लंबे संदर्भों के लिए, वर्तमान मॉडल समान प्रदर्शन करते हैं, और पॉइंट एस्टीमेट्स भ्रामक हैं।
कार्य विशेषज्ञता (श्रेणी विश्लेषण):
- जनरलिस्ट (Generalists): ChatGPT-4o और DeepSeek-R1 जैसे मॉडल विविध श्रेणियों में मजबूत, उच्च रैंकिंग और संकीर्ण कॉन्फिडेंस इंटरवल दिखाते हैं।
- स्पेशलिस्ट (Specialists):
  - Grok-4: "क्रिएटिविटी", "डोमेन नॉलेज" और "स्पेसिफिसिटी" में हावी है (रैंक 1 पर सिंगलटन कॉन्फिडेंस इंटरवल), लेकिन कोडिंग कार्यों में खराब प्रदर्शन करता है।
  - Qwen-Max: "कोड" और "मैथ" में उत्कृष्ट है लेकिन रचनात्मक कार्यों में काफी नीचे गिर जाता है।
- अंतर्निहित बनाम कॉन्टेक्स्टुअल: वैश्विक रैंकिंग अक्सर इन विशेषज्ञताओं को छिपा देती है। विशिष्ट श्रेणियों पर विचार करने पर, रैंक क्रम और अनिश्चितता नाटकीय रूप से बदल जाती है।
अनिश्चितता जागरूकता: मानक लीडरबोर्ड में कई स्पष्ट रैंक अंतर (जैसे, मॉडल A रैंक 2 है, मॉडल B रैंक 3 है) को सांख्यिकीय रूप से अनिर्धारित (unresolved) दिखाया गया है (कॉन्फिडेंस इंटरवल ओवरलैप होते हैं), जिसका अर्थ है कि डेटा एक सख्त क्रम का समर्थन नहीं करता है।

5. महत्व और निहितार्थ (Significance and Implications)

आर्थिक और कम्प्यूटेशनल निर्णय लेना: शोध पत्र तर्क देता है कि पॉइंट-एस्टीमेट रैंकिंग पर कार्य करने से गलत आवंटन (जैसे, किसी क्वेरी को उस मॉडल पर रूट करना जो वास्तव में उस विशिष्ट कार्य के लिए बेहतर नहीं है) और कल्याण हानि होती है।
मजबूत तंत्र डिजाइन (Robust Mechanism Design): अनिश्चितता को शामिल करके, सिस्टम रोबस्ट सिलेक्शन रूल्स लागू कर सकते हैं। यदि कोई मॉडल सांख्यिकीय रूप से डोमिनेंट नहीं है, तो सिस्टम शोर पर आधारित उप-इष्टतम विकल्प चुनने के बजाय लागत, विलंबता (latency), या अन्य गैर-प्रदर्शन मेट्रिक्स पर डिफ़ॉल्ट कर सकता है।
लीडरबोर्ड से परे: यह कार्य स्थिर LLM लीडरबोर्ड की वैधता को चुनौती देता है, यह सुझाव देता है कि उन्हें डायनेमिक, अनिश्चितता-जागरूक डैशबोर्ड द्वारा प्रतिस्थापित या संवर्धित किया जाना चाहिए जो उपयोगकर्ता की क्वेरी के विशिष्ट संदर्भ को दर्शाते हैं।
सैद्धांतिक प्रगति: यह कॉन्टेक्स्टुअल प्रेफरेंस लर्निंग और सांख्यिकीय रैंक इन्फरेंस के बीच के अंतर को पाटता है, जो रैंकिंग सांख्यिकी में "नॉन-स्मूथ फंक्शनल" समस्या के लिए समाधान प्रदान करता है।

संक्षेप में, यह शोध पत्र LLM मूल्यांकन को "सबसे अच्छा मॉडल कौन सा है?" से बदलकर "इस विशिष्ट प्रॉम्प्ट के लिए कौन सा मॉडल सबसे अच्छा है, और हम इस पर कितने आश्वस्त हैं?" की ओर ले जाने के लिए एक गणितीय रूप से कठोर ढांचा प्रदान करता है।