तकनीकी सारांश: कई LLM जजों के साथ बजट के भीतर इंस्टेंस-ऑप्टिमल एस्टीमेशन

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र सख्त बजट सीमाओं के तहत "LLM-as-a-judge" फ्रेमवर्क का उपयोग करके लार्ज लैंग्वेज मॉडल्स (LLMs) के मूल्यांकन की चुनौती को संबोधित करता है। इस सेटिंग में, $K$ प्रॉम्प्ट-रिस्पॉन्स पेयर्स (क्वेरीज) हैं जिनका मूल्यांकन $J$ उपलब्ध LLM जजों द्वारा किया जाना है। प्रत्येक जज $j$ की एक ज्ञात क्वेरी लागत $c_j$ है, लेकिन उनके मूल्यांकन की विश्वसनीयता भिन्न होती है। विशेष रूप से, जज $j$ द्वारा क्वेरी $k$ पर दिए गए स्कोर का वेरिएंस (variance) $\sigma^2_{k,j}$ अज्ञात है और हेटरोस्केडैस्टिक (heteroskedastic) है (जो जज और क्वेरी की अंतर्निहित कठिनाई दोनों पर निर्भर करता है)।

लक्ष्य एक निश्चित कुल बजट $B$ को $K \times J$ क्वेरी-जज पेयर्स के बीच अनुकूल रूप से आवंटित करना है ताकि वास्तविक स्कोर वेक्टर $s \in \mathbb{R}^K$ का यथासंभव सटीक अनुमान लगाया जा सके। सटीकता को एक निश्चित $p \in [1, \infty]$ के लिए $\ell_p$-एरर ($\|\hat{s} - s\|_p$) को कम करने के माध्यम से मापा जाता है। इस समस्या को बजेटेड हेटरोस्केडैस्टिक मल्टी-जज एस्टीमेशन के रूप में औपचारिक रूप दिया गया है, जो नेयमैन एलोकेशन (Neyman allocation) का एक लागत-जागरूक सामान्यीकरण है जहाँ वेरिएंस अज्ञात हैं और स्कोर एक ज्ञात अंतराल $[0, R]$ के भीतर सीमित हैं।

2. कार्यप्रणाली (Methodology)

ओरैकल एलोकेशन (ज्ञात वेरिएंस)

लेखक पहले इनवर्स-वेरिएंस वेटेड एस्टीमेटर (IVWE) का विश्लेषण करते हैं, यह मानते हुए कि वेरिएंस $\sigma^2_{k,j}$ ज्ञात हैं। वे IVWE की एरर रेट को कम करने के लिए ओरैकल एलोकेशन प्राप्त करते हैं।

• मुख्य अंतर्दृष्टि: इष्टतम आवंटन स्पार्स (sparse) है। प्रत्येक क्वेरी $k$ के लिए, उस क्वेरी को आवंटित संपूर्ण बजट को एक एकल "इष्टतम" जज $j^*(k)$ को सौंपा जाना चाहिए जो लागत और वेरिएंस के गुणनफल को न्यूनतम करता है: $j^*(k) = \arg\min_j c_j \sigma^2_{k,j}$।
• एलोकेशन नियम: बजट को क्वेरीज के बीच इस तरह वितरित किया जाता है कि एलोकेशन वेट $\omega^*_{k, j^*(k)}$ अनुपात $(c_{j^*(k)} \sigma^2_{k, j^*(k)})^{\frac{p}{p+2}}$ के समान हो। यह पिछले कार्यों (जैसे, साहा एट अल., 2026) का सामान्यीकरण करता है जो $p=\infty$ और एकल जज तक सीमित थे।

एडैप्टिव एल्गोरिदम: EST-IVWE (अज्ञात वेरिएंस)

चूंकि व्यवहार में वेरिएंस अज्ञात होते हैं, इसलिए शोध पत्र एक दो-चरणीय एडैप्टिव एल्गोरिदम, EST-IVWE प्रस्तावित करता है:

1. फेज I (फोर्स्ड एक्सप्लोरेशन): एल्गोरिदम प्रत्येक $(k, j)$ पेयर को एक निश्चित संख्या ($N_0$) बार क्वेरी करता है ताकि एम्पिरिकल वेरिएंस अनुमान $\hat{\sigma}^2_{k,j}$ की गणना की जा सके।
2. फेज II (एलोकेशन): शेष बजट को इन अनुमानों से प्राप्त एम्पिरिकल इष्टतम आवंटन के आधार पर आवंटित किया जाता है।
   • तकनीकी नवाचार: शून्य के पास वेरिएंस अनुमानों की अस्थिरता (जो एलोकेशन फॉर्मूला में संख्यात्मक समस्याएँ पैदा कर सकती है) को संभालने के लिए, एल्गोरिदम एक ऑप्टिमिस्टिकली बायस्ड वेरिएंस एस्टीमेटर $\bar{\sigma}_{k,j} = \hat{\sigma}_{k,j} + \tau$ का उपयोग करता है। यह बायस "आसान-से-मूल्यांकन" वाले पेयर्स (कम वेरिएंस) के लिए आवंटन को स्थिर करता है बिना एम्पिरिकल एरर रेट को महत्वपूर्ण रूप से प्रभावित किए।
   • सैंपल स्प्लिटिंग: फेज I में वेरिएंस अनुमान के लिए उपयोग किए गए सैंपल्स का उपयोग फेज II में अंतिम मीन (mean) एस्टीमेशन के लिए नहीं किया जाता है। यह वेरिएंस अनुमानों की रैंडमनेस को मीन एस्टीमेट्स से अलग करता है, जिससे यह सुनिश्चित होता है कि अंतिम एस्टीमेटर वेरिएंस अनुमानों के आधार पर अनबायस्ड (unbiased) रहे।

सैद्धांतिक लोअर बाउंड्स (Theoretical Lower Bounds)

शोध पत्र EST-IVWE की इंस्टेंस-ऑप्टिमलिटी सिद्ध करने के लिए लोकल मिनिमैक्स लोअर बाउंड्स स्थापित करता है।

• फैनो की असमानता (Fano's Inequality) की सीमा: लेखक प्रदर्शित करते हैं कि पैकिंग आर्गुमेंट्स पर आधारित मानक हाई-प्रोबेबिलिटी लोअर बाउंड्स इस समस्या के लिए बहुत मोटे (coarse) हैं। वे आवश्यक स्थानीय वेरिएंस स्ट्रक्चर को कैप्चर करने में विफल रहते हैं, जिससे $p < \infty$ के लिए सब-ऑप्टिमल दरें प्राप्त होती हैं।
• एसौ-टाइप आर्गुमेंट (Assouad-Type Argument): इसके बजाय, लेखक स्थानीय परटर्बेशन्स (perturbations) पर आधारित एक एसौ-टाइप इन-एक्सपेक्टेशन आर्गुमेंट का उपयोग करते हैं। यह तकनीक स्थानीय वेरिएंस स्ट्रक्चर को सुरक्षित रखती है और एक शार्प लोअर बाउंड प्रदान करती है जो EST-IVWE के अपर बाउंड से केवल लोअर-ऑर्डर टर्म्स तक मेल खाती है। यह सिद्ध करता है कि एल्गोरिदम इंस्टेंस-ऑप्टिमल है।

3. मुख्य योगदान

1. समस्या का औपचारिक रूप: बजट-बाधित हेटरोस्केडैस्टिक मल्टी-जज एस्टीमेशन समस्या को परिभाषित किया, जो अज्ञात, हेटरोस्केडैस्टिक वेरिएंस और बाउंडेड स्कोर के साथ नेयमन एलोकेशन का विस्तार करती है।
2. ओरैकल विश्लेषण: ज्ञात वेरिएंस के तहत IVWE के लिए स्पार्स एलोकेशन को प्राप्त किया, यह दिखाते हुए कि बजट को प्रति क्वेरी एकल सर्वश्रेष्ठ जज पर केंद्रित किया जाना चाहिए।

• एडैप्टिव एल्गोरिदम: EST-IVWE प्रस्तावित किया, जो वेरिएंस के पूर्व ज्ञान के बिना ओरकल एरर रेट प्राप्त करता है, जिसमें बाउंडेड, नॉन-गौसियन स्कोर को संभालने के लिए ऑप्टिमिस्टिक बायस और सैंपल स्प्लिटिंग का उपयोग किया गया है।

3. शार्प लोअर बाउंड्स: एक एसौ-टाइप इन-एक्सपेक्टेशन फ्रेमवर्क का उपयोग करके एक मैचिंग लोकल मिनिमैक्स लोअर बाउंड सिद्ध किया, जो प्रस्तावित विधि की इंस्टेंस-ऑप्टिमलिटी को स्थापित करता है। शोध पत्र रेखांकित करता है कि इस सेटिंग में सटीक एलोकेशन ज्योमेट्री को कैप्चर करने के लिए फैनो-टाइप आर्गुमेंट्स अपर्याप्त हैं और एसौ (Assouad) प्रकार के इन-एक्सपेक्टेशन आर्गुमेंट्स आवश्यक हैं।
4. अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक डेटा और वास्तविक दुनिया के HelpSteer2 डेटासेट पर दृष्टिकोण को मान्य किया, जो यूनिफॉर्म एलोकेशन की तुलना में महत्वपूर्ण सुधार प्रदर्शित करता है।

4. परिणाम

• सैद्धांतिक प्रदर्शन: EST-IVWE की एरर रेट लोअर-ऑर्डर टर्म्स तक ओरकल IVWE रेट (जो ज्ञात वेरिएंस मानता है) के लीडिंग टर्म से मेल खाती है। विशेष रूप से, $p \ge 2$ के लिए, एरर $O(\sqrt{A^*_p/B})$ के रूप में स्केल होता है, जहाँ $A^*_p$ इष्टतम एलोकेशन ऑब्जेक्टिव है।
• अनुभवजन्य प्रदर्शन: सिंथेटिक डेटा ($K=1000, J=10$) और HelpSteer2 डेटासेट ($K \approx 178, J=3$) पर प्रयोगों से पता चलता है कि EST-IVWE लगातार यूनिफॉर्म एलोकेशन से बेहतर प्रदर्शन करता है और जैसे-जैसे बजट बढ़ता है, यह ओरकल रणनीति के प्रदर्शन की ओर तेजी से अभिसरित (converge) होता है।
• मजबूती (Robustness): एल्गोरिदम विभिन्न लागत संरचनाओं (जैसे, जब उच्च-वेरिएंस वाले जज सस्ते होते हैं) और विभिन्न एरर नॉर्म्स ($\ell_1, \ell_2, \ell_\infty$) के बीच भी मजबूत रहता है।

5. महत्व और दावे

शोध पत्र दावा करता है कि यह विषम जजों (heterogeneous judges) के साथ बजट-बाधित मूल्यांकन की समस्या के लिए एक पूर्ण सैद्धांतिक और एल्गोरिद्मिक समाधान प्रदान करता है। इसका प्राथमिक महत्व है:

• इंस्टेंस-ऑप्टिमलिटी: यह सिद्ध करना कि प्रस्तावित एडैप्टिव रणनीति किसी विशिष्ट समस्या इंस्टेंस (वेरिएंस प्रोफाइल द्वारा परिभाषित) के लिए सैद्धांतिक रूप से इष्टतम है, न कि केवल एक वर्स्ट-केस (worst-case) के संदर्भ में।
• मेथोडोलॉजिकल इनसाइट: यह प्रदर्शित करना कि मानक हाई-प्रोबेबिलिटी लोअर बाउंड तकनीकें (फैनो) उन समस्याओं के लिए अपर्याप्त हैं जहाँ इष्टतम आवंटन सूक्ष्म-स्तरीय स्थानीय वेरिएंस स्ट्रक्चर पर निर्भर करता है, और शार्प बाउंड प्राप्त करने के लिए एसौ (Assou وط) प्रकार के इन-एक्सपेक्टेशन आर्गुमेंट्स आवश्यक हैं।
• व्यावहारिक उपयोगिता: एक व्यावहारिक, दो-चरणीय एल्गोरिदम प्रदान करना जिसके लिए जज की विश्वसनीयता के पूर्व ज्ञान की आवश्यकता नहीं है, जिससे यह वास्तविक दुनिया के LLM मूल्यांकन पाइपलाइनों के लिए तुरंत लागू करने योग्य बन जाता है जहाँ लागत और वेरिएंस भिन्न होते हैं।

लेखक नोट करते हैं कि हालांकि उनके फ्रेमवर्क का प्रेरणा स्रोत LLM-as-a-judge है, लेकिन यह एडैप्टिव रिसोर्स एलोकेशन की एक व्यापक श्रेणी को संबोधित करता है। वे स्वीकार करते हैं कि स्टोकेस्टिक लागतों (जैसे, टोकन-लेंथ डिपेंडेंट) को शामिल करना और जज बायस मॉडल को एकीकृत करना भविष्य के शोध के विषय हैं, और एक मैचिंग हाई-प्रोबेबिलिटी लोअर बाउंड प्राप्त करना अभी भी एक खुला सैद्धांतिक चुनौती बना हुआ है।