तकनीकी सारांश: संवेदनशीलता, असहमति और आत्मविश्वास के साथ विषम जज-जागरूक रैंकिंग (Heterogeneous Judge-Aware Ranking)

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) मूल्यांकन तेजी से कई जजों (मानव एनोटेटर्स, मॉडल-आधारित जज, या विभिन्न प्रोटोकॉल) के पैनलों से युग्मवार तुलनाओं (pairwise comparisons) पर निर्भर हो रहा है। मानक रैंकिंग पाइपलाइन आमतौर पर इन निर्णयों को एक एकल लेटेंट स्कोर वेक्टर में मिलाने का प्रयास करती है, जिससे जजों के बीच व्यवस्थित असहमति को विनिमेय शोर (exchangeable noise) मान लिया जाता है। हालांकि, हालिया साक्ष्य संकेत देते हैं कि जज की असहमति अक्सर संरचित होती है, जो विभिन्न जज मॉडलों, भाषाओं, कार्यों और प्रोटोकॉल के बीच काफी भिन्न होती है। यह विषमता विशेष रूप से व्यक्तिपरक मूल्यांकनों और "निकट-टाई" (near-tie) तुलनाओं में अत्यंत महत्वपूर्ण है, जहाँ छोटे परिवर्तन अंतिम लीडरबोर्ड को नाटकीय रूप से बदल सकते हैं।

मुख्य समस्या यह है कि एक एकल जज से एक पैनल की ओर बढ़ना केवल शास्त्रीय रैंकिंग समस्या के लिए नमूना आकार (sample size) में वृद्धि नहीं है; यह वास्तव में अनुमान (inference) के विषय को ही बदल देता है। लक्ष्य एक एकल पूलिंग रैंकिंग से हटकर एक संरचित बहु-जज रैंकिंग समस्या को समझने की ओर स्थानांतरित हो जाता है, जो आम सहमति (consensus), जज-विशिष्ट संवेदनशीलता और व्यवस्थित अवशिष्ट असहमति (systematic residual disagreement) को ध्यान में रखता है।

कार्यप्रणाली: विषम जज-जागरूक (HJA) रैंकिंग

लेखक विषम जज-जागरूक (HJA) रैंकिंग का प्रस्ताव करते हैं, जो जज-विशिष्ट लेटेंट स्कोर को तीन अलग-अलग, पहचानने योग्य घटकों में विभाजित करता है:

1. मॉडल सूत्रीकरण

यह ढांचा लेटेंट स्कोर मैट्रिक्स $S \in \mathbb{R}^{K \times N}$ (जहाँ $K$ जजों की संख्या है और $N$ वस्तुओं की संख्या है) को एक संरचित अपघटन (decomposition) का उपयोग करके मॉडल करता है:
$$S = \gamma\mu^\top + UV^\top$$

• आम सहमति रैंकिंग ($\mu$): एक पंक्ति-औसत आम सहमति दिशा जो जनसंख्या-स्तर के रैंकिंग लक्ष्य का प्रतिनिधित्व करती है।
• आम सहमति संवेदनशीलता ($\gamma$): जजों के विशिष्ट पैरामीटर ($\gamma_k$) का एक वेक्टर जो यह मापता है कि जज $k$ साझा आम सहमति सिग्नल को कितनी मजबूती से ट्रैक करता है। वैश्विक गुणवत्ता मेट्रिक्स के विपरीत, $\gamma_k$ विशेष रूप से आम सहमति दिशा के साथ संरेखण (alignment) को मापता है।
• संरचित असहमति ($UV^\top$): एक लो-रैंक अवशिष्ट घटक (residual component) जो आम सहमति से व्यवस्थित विचलन को कैप्चर करता है जिसे केवल स्केलर रीस्केलिंग द्वारा नहीं समझाया जा सकता है। यह पद आम सहमति दिशा के लंबवत (orthogonal) होने के लिए बाध्य है।

युग्मवार प्राथमिकता प्रायिकताएं ब्रैडली-टेरी-लूस (BTL) मॉडल का पालन करती हैं:
$$\text{logit}(p_{kij}) = \gamma_k(\mu_i - \mu_j) + U_{k,:}(V_{i,:} - V_{j,:})^\top$$

2. पहचान क्षमता (Identifiability) और प्रतिबंध

इस अपघटन को सांख्यिकीय रूप से सुपरिभाषित करने के लिए, लेखक विशिष्ट सामान्यीकरण और रैंक शर्तों (शर्त 1) को लागू करते हैं:

• सेंटरिंग (Centering): $\mu$ और $V$ के कॉलम केंद्रित हैं; $U$ की पंक्तियों का योग शून्य है।
• स्केलिंग (Scaling): $\gamma$ का योग $K$ है; $U$ और $V$ यूनिट नॉर्म्स के लिए स्केल किए गए हैं।
• लंबवतता (Orthogonality): आम सहमति दिशा $\mu$, अवशिष्ट स्पेस $V$ के लंबवत है।
• सबस्पेस एंकरिंग (Subspace Anchoring): अवशिष्ट घटक के सिंगुलर मान विशिष्ट और क्रमबद्ध हैं।

इन शर्तों के तहत और यह मानते हुए कि क्रॉस-जज एगोग्रेट स्कोर गैर-शून्य है, लेखक सिद्ध करते हैं (प्रपोजिशन 1) कि आम सहमति दिशा, संवेदनशीलता पैरामीटर और अवशिष्ट असहमति सबस्पेस, कॉलम-वार साइन परिवर्तनों तक अद्वितीय होने के नाते, युग्मवार तुलना डेटा से पहचानने योग्य (identifiable) हैं।

3. अनुमान एल्गोरिदम

लेखक एक प्रतिबंधित अधिकतम संभावना अनुमानक (MLE) विकसित करते हैं। गैर-कॉन्वेक्स बाइलिनियर फैक्टराइजेशन और गैर-रेखीय एंकरिंग बाधाओं के कारण, वे एक एंकोर्ड प्रॉक्सिमल अल्टरनेटिंग एल्गोरिदम (एल्गोरिदम 1) का प्रस्ताव करते हैं:

• ब्लॉक अपडेट्स: स्थिरता सुनिश्चित करने के लिए प्रॉक्सिमल टर्म्स के साथ जज पैरामीटर्स ($\gamma, U$) और आइटम पैरामीटर्स ($\mu, V$) पर अल्टरनेटिंग मिनिमाइजेशन।
• री-एंकरिंग (Re-anchoring): एक महत्वपूर्ण चरण (एल्गोरिदम C.2) जो प्रत्येक ब्लॉक अपडेट के बाद गैर-रेखीय पहचान बाधाओं को बहाल करता है, जिससे अपघटन की पहचान योग्य ज्यामिति सुरक्षित रहती है।
• अभिसरण (Convergence): यह एल्गोरिदम मानक नियमितता धारणाओं के तहत स्थानीय रैखिक अभिसरण (थ्योरम 2) का आनंद लेने के लिए सिद्ध है।

4. अनिश्चितता मात्रा निर्धारण (Uncertainty Quantification)

यह ढांचा एक फिक्स्ड-पैनल रिपीटेड-कंपेरिजन रिजीम में सांख्यिकीय अनुमान का समर्थन करता है, जहाँ जजों की संख्या $K$ स्थिर रह सकती है जबकि बार-बार तुलनाओं के माध्यम से सूचना बढ़ती है।

• एसिम्प्टोटिक नॉर्मलिटी (Asymptotic Normality): बाधित MLE को दिखाया गया है कि वह एसिम्प्टोटिक रूप से सामान्य है (थ्योरम 3)।
• कॉन्फिडेंस इंटरवल: तुलनाओं की ग्राफ संरचना से प्राप्त फिशर इंफॉर्मेशन मैट्रिक्स का उपयोग करके, यह विधि आम सहमति स्कोर कंट्रास्ट, जज-विशिष्ट कंट्रास्ट, संवेदनशीलता पैरामीटर और युग्मवार प्रायिकताओं के लिए कॉन्फिडेंस इंटरवल प्रदान करती है। यह सीमित या स्थिर जज पैनल होने पर भी अनिश्चितता का मात्रा निर्धारण करने की अनुमति देता है।

मुख्य परिणाम

सिंथेटिक प्रयोग

• रिकवरी: HJA सफलतापूर्वक आम सहमति रैंकिंग, जज-विशिष्ट व्यवहार और संरचित विषमता को रिकवर करता है जैसे-जैसे तुलनात्मक जानकारी बढ़ती है।
• मजबूती (Robustness): मिसस्पेसिफाइड बेसलाइन्स (पूलड BTL और संवेदनशीलता-ओनली मॉडल जैसे JA-Ranking) मजबूत विषमता के तहत काफी खराब प्रदर्शन करते हैं, जो पक्षपाती स्कोर मैट्रिक्स के आसपास केंद्रित हो जाते हैं।
• अनिश्चितता अंशांकन (Uncertainty Calibration): HJA अच्छी तरह से कैलिब्रेटेड अनिश्चितता कथन प्रदान करता है, जबकि बेसलाइन्स संरचित असहमति में वास्तविक भिन्नता को पकड़ने में विफल रहते हैं।

रियल-डेटा बेंचमार्क

Chatbot Arena, MT-Bench, UltraFeedback और एक इन-हाउस डेटासेट पर मूल्यांकन किए जाने पर, HJA प्रदर्शित करता है:

• बेहतर मजबूती: नॉइजी जजों को इंजेक्ट करने पर रैंकिंग में उच्च स्थिरता।
• बेहतर भविष्यवाणी: बेहतर होल्ड-आउट युग्मवार भविष्यवाणी सटीकता।
• नियर-टाई प्रदर्शन: अनुभवजन्य रूप से अस्पष्ट "नियर-टाई" जोड़ों के लिए सटीकता में महत्वपूर्ण लाभ, जहाँ मानक विधियाँ नाजुक होती हैं।
• डायग्नोस्टिक उपयोगिता: फिट किया गया मॉडल उच्च-लीवरेज वाले जजों (वे जो उच्च संवेदनशीलता के साथ उच्च अवशिष्ट असहमति भी रखते हैं) की पहचान करता है और संरचित जज-मॉडल एफिनिटी पैटर्न (जैसे परिवार-आधारित स्व-वरीयता प्रभाव) को प्रकट करता है, बिना उन्हें सार्वभौमिक निष्कर्षों के रूप में माने।

महत्व और दावे

यह शोध पत्र विषम तुलनात्मक निर्णयों के तहत रैंकिंग के लिए एक सांख्यिकीय रूप से ठोस ढांचे का दावा करता है। इसके प्राथमिक योगदान हैं:

1. लक्ष्यों का अपघटन: यह आम सहमति रैंकिंग, जज संवेदनशीलता और संरचित असहमति को अलग-अलग अनुमानित लक्ष्यों में विभाजित करता है, बजाय इसके कि उन्हें एक एकल स्कोर में समाहित किया जाए या असहमति को शोर माना जाए।
2. पहचान क्षमता (Identifiability): यह उन स्थितियों को स्थापित करता है जिनमें इन घटकों को युग्मवार डेटा से अद्वितीय रूप से रिकवर किया जा सकता है, जो मनमाने लेटेंट स्पेस फैक्टराइजेशन से आगे बढ़ता है।
3. फिक्स्ड-पैनल अनुमान: यह जजों का पैनल न बढ़ने पर भी रैंकिंग लक्ष्यों के लिए कठोर अनिश्चितता मात्रा निर्धारण (कॉन्फिडेंस इंटरवल) को सक्षम बनाता है, जो LLM मूल्यांकन में एक सामान्य बाधा है।
4. डायग्नोस्टिक पावर: यह ढांचा अविश्वसनीय जजों का पता लगाने, आम सहमति के प्रति संवेदनशीलता को मापने और अवशिष्ट असहमति पद के भीतर व्यवस्थित एफिनिटी पैटर्न (जैसे स्व-वरीयता पूर्वाग्रह) को स्थानीयकृत करने के लिए एक नैदानिक उपकरण के रूप में कार्य करता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि इस ढांचे का उद्देश्य प्रतिकूल जज पैनलों के तहत प्रमाणन करना नहीं है जहाँ गंभीर समन्वित पूर्वाग्रह आम सहमति अनुमान को प्रभावित कर सकते हैं, और न ही यह गैर-कॉन्वेक्स अनुकूलन के कारण वैश्विक इष्टतमता (global optimality) की गारंटी देता है। इसके बजाय, इसे विषम मूल्यांकन के लिए एक डायग्नोस्टिक लेयर के रूप में रखा गया है ताकि रैंकिंग निष्कर्षों की मजबूती और व्याख्यात्मकता में सुधार किया जा सके।