तकनीकी सारांश: LLM जजों के साथ बायस-अवेयर बेयसियन एक्टिव टॉप-k रैंकिंग

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग प्रतिक्रियाओं की युग्म तुलना (pairwise comparisons) करने, मॉडल्स को चुनने, या दस्तावेजों को छांटने के लिए "जज" के रूप में तेजी से किया जा रहा है। हालांकि यह लागत प्रभावी है, इन जजों में दो महत्वपूर्ण कमियां हैं: शोर (noise) (असंगत निर्णय) और व्यवस्थित पूर्वाग्रह (systematic bias) (शब्दों की अधिकता/verbosity, विशिष्ट फॉर्मेटिंग, या प्रस्तुति क्रम के प्रति प्राथमिकता)।

मुख्य समस्या एक निश्चित तुलना बजट के तहत शीर्ष-$k$ आइटम्स की पहचान करना (जैसे, सर्वश्रेष्ठ $k$ प्रतिक्रियाएं) है। लेखक तर्क देते हैं कि LLM वोटों का सरल एकत्रीकरण (जैसे, साधारण जीत-गणना) विफल रहता है क्योंकि यह प्रस्तुति की गुणवत्ता को वास्तविक वस्तु की गुणवत्ता के साथ मिला देता है। फलस्वरूप, सरल विधियां "सत्य" के बजाय "प्रस्तुति" की रैंकिंग की ओर अभिसरित (converge) होती हैं, और यह त्रुटि इस बात पर निर्भर नहीं करती कि कितने तुलनात्मक कार्य किए गए हैं। इसके अलावा, मानक सक्रिय शिक्षण (active learning) रणनीतियां जो संपूर्ण रैंकिंग को हल करने का लक्ष्य रखती हैं, वे शीर्ष-$k$ चयन के लक्ष्य के लिए अक्षम हैं, क्योंकि वे उन आइटम्स पर बजट बर्बाद करती हैं जो शीर्ष-$k$ सीमा से बहुत दूर हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक ढांचा प्रस्तावित करता है जो बायस-अवेयर बेयसियन इन्फरेंस को टॉप-$k$-अवेयर एक्टिव एक्विजिशन के साथ जोड़ता है।

1. बायस-अवेयर बेयसियन ब्रैडली-टेरी मॉडल

लेखक जजिंग प्रक्रिया को आइटम्स की गुप्त गुणवत्ता ($\theta$) पर एक बेयसियन इन्फरेंस समस्या के रूप में मॉडल करते हैं। वे जज-विशिष्ट पूर्वाग्रहों को स्पष्ट रूप से शामिल करने के लिए मानक ब्रैडली-टेरी मॉडल का विस्तार करते हैं:

$$\Pr(y = 1 | a, b) = \sigma \left( \theta_a - \theta_b + \sum_{m=1}^d c_m (x_{a,m} - x_{b,m}) + \kappa \right)$$

जहाँ:

• $\theta_a, \theta_b$: आइटम्स $a$ और $b$ के गुप्त गुणवत्ता स्कोर हैं।
• $x_{a,m}, x_{b,m}$: अवलोकन योग्य कोवेरियेट्स (जैसे, प्रतिक्रिया की लंबाई/verbosity, फॉर्मेटिंग संकेतक) हैं।
• $c_m$: गुणवत्ता के साथ संयुक्त रूप से सीखे गए बायस गुणांक (bias coefficients) हैं।
• $\kappa$: पहले दिखाए गए आइटम के प्रति प्राथमिकता को दर्शाने वाला एक पोजीशन टर्म है।
• $\sigma$: लॉजिस्टिक फंक्शन है।

एडेप्टिव श्रिंकेज (Adaptive Shrinkage): बायस गुणांकों ($c, \kappa$) पर एक श्रिंकेज प्रायर (छोटे वेरिएंस $\tau^2$ के साथ गॉसियन) का उपयोग करना एक महत्वपूर्ण घटक है। यह डेटा को यह निर्धारित करने की अनुमति देता है कि कौन से बायस सक्रिय हैं। यदि कोई जज निष्पक्ष है, तो गुणांक शून्य की ओर सिकुड़ (shrink) जाते हैं, जिससे मॉडल मानक ब्रैडली-टेरी मॉडल में बदल जाता है। यह सुनिश्चित करता है कि विधि अज्ञात जजों के लिए लागू करने हेतु "सुरक्षित" है, और यदि कोई बायस मौजूद नहीं है तो न्यूनतम दंड (penalty) लगाती है।

2. टॉप-$k$-अवेयर एक्टिव एक्विजिशन

पूरी रैंकिंग की वैश्विक सटीकता (जैसे, D-ऑप्टिमल डिजाइन) को अधिकतम करने के बजाय, लेखक एक एक्विजिशन नियम पेश करते हैं जो टॉप-$k$ सदस्यता सीमा (membership boundary) को लक्षित करता है।

एक कैंडिडेट पेयर $(i, j)$ के लिए एक्विजिशन स्कोर $s(i, j)$ को निम्नानुसार परिभाषित किया गया है:
$$s(i, j) = \underbrace{\hat{p}_{ij}(1 - \hat{p}_{ij})}_{\text{Informativeness}} \times \underbrace{(\Sigma_{ii} + \Sigma_{jj} - 2\Sigma_{ij})}_{\text{Variance of } \theta_i - \theta_j} \times \underbrace{(H(p_i) + H(p_j))}_{\text{Boundary Relevance}}$$

• Informativeness और Variance: गुणवत्ता अंतर $\theta_i - \theta_j$ के बारे में सूचना लाभ (information gain) का अनुमान लगाने वाले मानक पद।
• Boundary Relevance: पद $H(p_i) + H(p_j)$ बाइनरी एंट्रॉपी का उपयोग करता है, जहाँ $p_i = \Pr(i \in \text{Top-}k)$ है। यह पद तब अधिकतम होता है जब किसी आइटम की शीर्ष-$k$ सदस्यता अनिश्चित होती है ($p \approx 0.5$) और उन आइटम्स के लिए लुप्त हो जाता है जो स्पष्ट रूप से अंदर या बाहर हैं। यह बजट को शीर्ष-$k$ सेट की विशिष्ट सीमा को हल करने पर केंद्रित करता है।

3. इन्फरेंस और प्रक्रिया

सिस्टम एक लूप में कार्य करता है:

1. Fit: लैपलेस एप्रोक्सिमेशन (L-BFGS के माध्यम से पेनलाइज्ड नेगेटिव लॉग-पोस्टीरियर को मिनिमाइज करना) का उपयोग करके $\theta, c, \kappa$ पर पोस्टीरियर का अनुमान लगाएं।
2. Estimate: पोस्टीरियर से मोंटे कार्लो सैंपलिंग के माध्यम से टॉप-$k$ सदस्यता संभावनाओं $p_i$ की गणना करें।
3. Acquire: अगला पेयर $(i, j)$ चुनें जो $s(i, j)$ को मैक्सिमाइज करता हो, उसे जज के सामने रैंडमाइज्ड ऑर्डर में प्रस्तुत करें, और निर्णय देखें।
4. Update: नए डेटा को जोड़ें और बजट समाप्त होने तक दोहराएं।

मुख्य योगदान (Key Contributions)

1. बायस-अवेयर बेयसियन मॉडल: एक जेनेरेटिव मॉडल जो श्रिंकेज प्रायर का उपयोग करके प्रस्तुति पूर्वाग्रहों (verbosity, position) को गुप्त गुणवत्ता से स्पष्ट रूप से अलग करता है। यह वास्तविक गुणवत्ता के मजबूत अनुमान की अनुमति देता है, भले ही जज पक्षपाती हो, जबकि निष्पक्ष जजों के लिए यह सुरक्षित (गैर-दंडित) रहता है।
2. टॉप-$k$-अवेयर एक्विजिशन नियम: एक बजट-कुशल रणनीति जो वैश्विक अनिश्चितता (D-optimal) या राउंड-रॉबिन के बजाय शीर्ष-$k$ सदस्यता सीमा को प्राथमिकता देती है। पेपर यह प्रदर्शित करता है कि सीमित बजट के तहत यह ग्लोबल-अनिश्चितता और राउंड-रॉबिन बेसलाइन से बेहतर है।
3. वास्तविक LLMs पर अनुभवजन्य साक्ष्य: ज्ञात ग्राउंड ट्रुथ पर एक नियंत्रित बेंचमार्क पर 16 वास्तविक LLM जजों (Llama, Qwen, GPT-4o, Gemini, Claude आदि जैसे ओपन-सोर्स और प्रोप्रायटरी परिवारों को कवर करते हुए) पर व्यापक मूल्यांकन।

प्रयोगात्मक परिणाम (Experimental Results)

शुद्धता (Top-$k$ रिकवरी)

• नाइव एग्रीगेशन की विफलता: पक्षपाती जजों (जैसे, Llama-3.1-8B, Qwen-2.5, GPT-4o-mini) पर, साधारण विन-काउंटिंग गलत टॉप-$k$ सेट की ओर अभिसरित होती है, चाहे बजट कितना भी हो। रिकॉल एक निम्न स्तर (जैसे, ~0.50–0.60) पर स्थिर हो जाता है।
• बायस-अवेयर रिकवरी: प्रस्तावित मॉडल सही टॉप-$k$ सेट को रिकवर करता है, जिससे पक्षपाती जजों पर रिकॉल बढ़कर 0.84–1.00 हो जाता है।
• पूर्वाग्रह की विषमता (Heterogeneity of Bias): पूर्वाग्रह समान नहीं है। "फ्रंटियर" जज (जैसे, GPT-5.1, Claude Opus) बहुत कम या कोई पूर्वाग्रह नहीं दिखाते और पहले से ही नाइव विधियों के साथ परफेक्ट रिकॉल प्राप्त कर लेते हैं। बायस-अवेयर मॉडल वहां नगण्य लाभ प्रदान करता है, जो श्रिंकेज प्रायर की सुरक्षा की पुष्टि करता है। इसके विपरीत, सस्ते/मिड-टियर जज मजबूत वर्बोसिटी बायस दिखाते हैं, जिसे मॉडल सफलतापूर्वक ठीक करता है।
• क्षमता के साथ सहसंबंध: एक जज की कच्ची क्षमता (नाइव रिकॉल) और बायस सुधार से मिलने वाले लाभ के बीच एक मजबूत नकारात्मक सहसंबंध (Spearman $\rho = -0.88$) है। यह विधि उन जजों के लिए सबसे अधिक फायदेमंद है जो रैंक करने के लिए पर्याप्त सक्षम हैं लेकिन पूर्वाग्रह से दूषित हैं।

दक्षता (बजट उपयोग)

• टॉप-$k$-अवेयर एक्विजिशन नियम ग्लोबल-अनिश्चितता या राउंड-रॉबिन रणनीतियों की तुलना में काफी कम तुलनाओं के साथ बायस-अवेयर प्रदर्शन की सीमा तक पहुँच जाता है।
• $B=120$ के बजट पर, टॉप-$k$-अवेयर नियम ने 0.80 रिकॉल प्राप्त किया, जबकि ग्लोबल-अनिश्चितता के लिए 0.70 और राउंड-रॉबिन के लिए 0.61 था।
• एब्लेशन स्टडीज ने पुष्टि की कि एक्विजिशन स्कोर में "बाउंड्री रेलेवेंस" पद ही इस दक्षता का प्राथमिक चालक है; इसे हटाने से प्रदर्शन ग्लोबल D-ऑप्टिमलिटी के स्तर पर गिर जाता है।

लागत-प्रभावशीलता (Cost-Effectiveness)

• पेपर दिखाता है कि समान रिकॉल (0.90) प्राप्त करने के लिए एक फ्रंटियर, निष्पक्ष जज (जैसे, GPT-5.1) का उपयोग करने की तुलना में एक सस्ते, पक्षपाती जज (जैसे, GPT-4o-mini) पर बायस सुधार लागू करना लगभग 20 गुना सस्ता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि बायस वास्तविक, विषम और क्षमता-निर्भर है। यह तर्क देता है कि:

1. नाइव एग्रीगेशन मौलिक रूप से त्रुटिपूर्ण है क्योंकि यह एक भ्रमित मात्रा (गुणवत्ता + प्रस्तुति प्राथमिकता) का अनुमान लगाता है, जिससे एक अपूरणीय त्रुटि का स्तर (error plateau) बनता है।
2. स्पष्ट मॉडलिंग आवश्यक है: पूर्वाग्रह को शून्य नहीं माना जा सकता और न ही इसे सरल ह्यूरिस्टिक्स (जैसे, ऑर्डर स्वैपिंग) द्वारा संभाला जा सकता है क्योंकि वर्बोसिटी बायस, पोजीशन बायस से अलग है और जज के अनुसार भिन्न होता है।
3. ऑनलाइन अनुमान समाधान है: बायस को प्रति-जज अनुमानित किए जाने वाले एक गुप्त पैरामीटर (श्रिंकेज द्वारा नियमित) के रूप में मानकर, सिस्टम जज के बायस प्रोफाइल के बारे में पूर्व ज्ञान के बिना उसके व्यवहार के अनुकूल हो जाता है।
4. लक्षित एक्विजिशन मायने रखता है: बजट-बाधित सेटिंग्स में, पूरी रैंकिंग को हल करने में प्रयास करना व्यर्थ है। शीर्ष-$k$ सीमा पर तुलनाओं को केंद्रित करने से बहुत अधिक उपयोगिता (utility) मिलती है।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण उच्च-दांव वाले मूल्यांकन कार्यों के लिए सस्ते, पक्षपाती LLM जजों का उपयोग करने में सक्षम बनाता है, जो उनके व्यवस्थित त्रुटियों को ठीक करता है। यह फ्रंटियर मॉडल्स पर निर्भर रहने के बजाय स्केलेबल, सटीक रैंकिंग का एक लागत प्रभावी मार्ग प्रदान करता है। वे यह नोट करते हैं कि कोवेरियेट्स (जैसे, लंबाई) के स्प्यूरियस होने की धारणा के संबंध में सीमाएं हैं; यदि लंबाई वास्तव में गुणवत्ता का संकेत देती है (जैसा कि कुछ समराइजेशन कार्यों में होता है), तो डिबायसिंग प्रदर्शन को नुकसान पहुँचा सकता है, जो यह सुझाव देता है कि कब सुधार लागू करना है, यह निर्धारित करने के लिए एक "ट्रस्टेड-एंकर" गेट की आवश्यकता है।