💬 NLP

Rank Reversal in Multilingual LLM Judges: A Label-Free Double-Centering Calibrator

यह शोध पत्र कंसेंसस-बेस्ड कैलिब्रेशन (CBC) को प्रस्तुत करता है, जो टू-वे एनोवा (two-way ANOVA) से व्युत्पन्न एक लेबल-मुक्त पोस्ट-हॉक कैलिब्रेटर है, जो भाषा-बैकबोन इंटरैक्शन टर्म्स को पुनः प्राप्त करके और उन्हें हटाकर बहुभाषी एलएलएम (LLM) जजों में भाषा-प्रेरित रैंक रिवर्सल को समाप्त करता है, जिससे बिना किसी ग्राउंड-ट्रुथ लेबल की आवश्यकता के रैंकिंग निरंतरता और मानवीय प्राथमिकताओं के साथ संरेखण में महत्वपूर्ण सुधार होता है।

मूल लेखक: Alhasan Mahmood, Samir Abdaljalil, Hasan Kurban

प्रकाशित 2026-08-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alhasan Mahmood, Samir Abdaljalil, Hasan Kurban

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, शोधकर्ताओं को अक्सर यह जानने की आवश्यकता होती है कि कौन सा कंप्यूटर प्रोग्राम किसी समस्या को हल करने में सबसे अच्छा है। यह पता लगाने के लिए, वे अन्य कंप्यूटर प्रोग्रामों का उपयोग करते हैं, जिन्हें "जज" (न्यायाधीश) कहा जाता है, जो उत्तरों को पढ़ते हैं और उन्हें एक स्कोर देते हैं। यह तरीका नए मॉडलों का परीक्षण करने का एक मानक तरीका बन गया है क्योंकि यह तेज़ और स्केलेबल है। हालाँकि, एक छिपी हुई जटिलता उभर कर सामने आई है: ये जज हमेशा खुद से सहमत नहीं होते हैं। जब एक जज अंग्रेजी, अरबी या स्पेनिश जैसी विभिन्न भाषाओं में उत्तरों के एक ही सेट का मूल्यांकन करता है, तो वह अक्सर इस बारे में अपना मन बदल लेता है कि कौन सा मॉडल सबसे अच्छा है। एक मॉडल जिसे एक भाषा में शीर्ष स्कोर प्राप्त होता है, वह दूसरी भाषा में नीचे गिर सकता है। यह विसंगति एक भ्रमित करने वाला परिदृश्य बनाती है जहाँ "विजेता" पूरी तरह से उस भाषा पर निर्भर करता है जिसका उपयोग प्रश्न पूछने के लिए किया गया है, जिससे परिणामों पर भरोसा करना या सही उपकरण चुनना कठिन हो जाता है।

शोधकर्ताओं की एक टीम ने अब इस भ्रम के स्रोत की पहचान कर ली है और बिना मानव विशेषज्ञों द्वारा हजारों उत्तरों को फिर से ग्रेड दिए, इसे ठीक करने का एक तरीका विकसित किया है। उन्होंने पाया कि समस्या यादृच्छिक शोर (रैंडम नॉइज़) नहीं है, बल्कि एक विशिष्ट, अनुमानित पैटर्न है जहाँ जज की भाषा और परीक्षण किए जा रहे मॉडल के बीच एक ऐसा संबंध बनता है जो स्कोर को बिगाड़ देता है। स्कोर को पूर्ण सत्य के बजाय डेटा बिंदुओं के एक संग्रह के रूप में मानकर, उन्होंने एक गणितीय समायोजन बनाया जो इस भाषाई पूर्वाग्रह को हटा देता है। परिणाम एक स्पष्ट, अधिक सुसंगत रैंकिंग है जो इस बात पर कायम रहती है कि प्रश्न पूछने के लिए किस भाषा का उपयोग किया गया था।

शोधकर्ताओं ने इस घटना का बड़े पैमाने पर परीक्षण करके शुरुआत की। उन्होंने छह अलग-अलग शक्तिशाली एआई मॉडलों को लिया और उन्हें सॉफ्टवेयर इंजीनियरिंग के पचास-पचपन अलग-अलग कार्यों को हल करने के लिए कहा। फिर उन्होंने उन समाधानों की गुणवत्ता का निर्णय लेने के लिए छह अन्य एआई मॉडलों का उपयोग किया। महत्वपूर्ण रूप से, उन्होंने यह पूरा प्रयोग आठ अलग-अलग भाषाओं में चलाया। परिणाम चौंकाने वाले थे। मॉडलों के पंद्रह संभावित संयोजनों में से सात में, भाषा के आधार पर रैंकिंग पूरी तरह से बदल गई। उदाहरण के लिए, एक मॉडल स्पष्ट पसंदीदा हो सकता है जब जज अंग्रेजी बोलता है, लेकिन जब जज स्पेनिश बोलता है तो वह एक प्रतिद्वंद्वी से पीछे रह जाता है। कुछ मामलों में, अंतर इतना बड़ा था कि एक भाषा में पसंदीदा मॉडल दूसरी भाषा में सबसे कम पसंदीदा बन गया। इससे सिद्ध हुआ कि जज केवल असंगत नहीं थे; वे प्रॉम्प्ट की भाषा के आधार पर सामग्री के प्रति अलग तरह से प्रतिक्रिया दे रहे थे।

इसे हल करने के लिए, शोधकर्ताओं ने स्कोर को माप के ग्रिड की तरह माना। उन्होंने महसूस किया कि एक मॉडल को प्राप्त अंतिम स्कोर तीन भागों से बना था: कार्य कितना कठिन था, मॉडल वास्तव में कितना कुशल था, और तीसरा, अदृश्य कारक जो भाषा को मॉडल के साथ मिलाता था। यही तीसरा कारक अपराधी था। यह एक फिल्टर की तरह काम करता था जो भाषा के आधार पर मॉडल की क्षमता के दृश्य को विकृत कर देता था। टीम ने इस फिल्टर को हटाने के लिए 'कंसेंसस-बेस्ड कैलिब्रेशन' (आम सहमति-आधारित अंशांकन) नामक एक विधि विकसित की। यह प्रक्रिया आश्चर्यजनक रूप से सरल है: उन्होंने सभी भाषाओं और सभी मॉडलों में औसत स्कोर को देखा, प्रत्येक भाषा-मॉडल जोड़ी के लिए विशिष्ट विरूपण (डिस्टॉर्शन) की गणना की, और उसे हटा दिया। यह ऑपरेशन, जिसे वे 'डबल-सेंटरिंग' कहते हैं, प्रभावी रूप से भाषाई पूर्वाग्रह को रद्द कर देता है जबकि मॉडलों के वास्तविक कौशल को बरकरार रखता है।

इस पद्धति की प्रभावशीलता का कड़ाई से परीक्षण किया गया। समायोजन से पहले, मॉडलों की रैंकिंग भाषा से भाषा में नाटकीय रूप से बदल जाती थी, जिसकी निरंतरता स्कोर केवल 0.650 थी। उनके कैलिब्रेशन को लागू करने के बाद, रैंकिंग सभी आठ भाषाओं में लगभग पूरी तरह से स्थिर हो गई, और निरंतरता स्कोर बढ़कर 0.902 हो गया। सात भाषाओं में सात हजार पांच सौ वस्तुओं के एक अलग सेट का उपयोग करते हुए किए गए एक अलग परीक्षण में, सुधार और भी नाटकीय था, जहाँ निरंतरता 0.430 से बढ़कर 0.900 हो गई। शायद सबसे महत्वपूर्ण बात यह है कि जब उन्होंने अपने सुधारे गए रैंकिंग की तुलना मानव-पसंद उत्तरों के एक सेट से की, तो सहमति 68.7% से बढ़कर 76.6% हो गई। यह सुझाव देता है कि भाषाई पूर्वाग्रह को हटाकर, कंप्यूटर जज वास्तव में उस स्तर के करीब पहुँच गए थे जो मानव विशेषज्ञ तय करते।

शोधकर्ता सावधानीपूर्वक यह नोट करते हैं कि यह विधि एक पूर्ण, सार्वभौमिक सत्य नहीं बनाती है। यह तब सबसे अच्छा काम करती है जब समान कार्यों का मूल्यांकन समान सेट की भाषाओं में किया जाता है। यह उस स्थिति को भी ठीक नहीं कर सकती जहाँ हर एक जज पूरे स्तर पर एक विशिष्ट भाषा के प्रति कठोर या दयालु है; यह केवल इस बात को ठीक करती है कि भाषा विशिष्ट मॉडल के साथ कैसे परस्पर क्रिया करती है। इसके अलावा, यह विधि एक पूर्ण डेटा सेट पर निर्भर करती है जहाँ प्रत्येक मॉडल का हर भाषा में मूल्यांकन किया गया हो। यदि डेटा गायब है, तो गणना अधिक कठिन हो जाती है। हालाँकि, बहुभाषी मूल्यांकन के विशाल बहुमत के लिए, जहाँ डेटा उपलब्ध है, यह दृष्टिकोण एक शक्तिशाली उपकरण प्रदान करता है। यह शोधकर्ताओं को यह अनुमान लगाने के बजाय कि कौन सा मॉडल वास्तव में बेहतर है, परिणामों को स्पष्ट रूप से देखने की अनुमति देता है, जो प्रश्न पूछने के लिए उपयोग की जाने वाली भाषा के विरूपण से मुक्त है।

यह कार्य वैश्विक संदर्भ में आर्टिफिशियल इंटेलिजेंस के मूल्यांकन के बारे में हमारी सोच को बदल देता है। यह क्षेत्र को असंगत, भाषा-निर्भर स्कोर को अंतिम शब्द के रूप में स्वीकार करने से दूर ले जाता है। इसके बजाय, यह विभिन्न भाषाओं को एक एकल, साझा गुणवत्ता मानक पर संरेखित करने का एक विश्वसनीय तरीका प्रदान करता है। ऐसा करके, यह सुनिश्चित करता है कि जब हम कहते हैं कि एक एआई मॉडल दूसरे से बेहतर है, तो वह कथन तब भी सत्य रहता है जब बातचीत टोक्यो, काहिरा या न्यूयॉर्क में हो रही हो। समाधान के लिए महंगे मानव श्रम या नए डेटा संग्रह की आवश्यकता नहीं है; इसके लिए केवल हमारे पास मौजूद डेटा को देखने के एक स्मार्ट तरीके की आवश्यकता है।

तकनीकी सारांश: बहुभाषी LLM जजों में रैंक प्रतिलोमन (Rank Reversal)

समस्या विवरण
बहुभाषी लार्ज लैंग्वेज मॉडल (LLM) जज, प्रॉम्प्ट भाषा के आधार पर अस्थिर व्यवहार प्रदर्शित करते हैं। एक आठ-भाषा वाले "एजेंट-एज़-ए-जज" (Agent-as-a-Judge) बेंचमार्क पर, इवैल्यूएटर बैकबोन (स्कोरिंग के लिए उपयोग किए जाने वाले अंतर्निहित LLMs) की रैंकिंग भाषाओं (अंग्रेजी, अरबी, चीनी, हिंदी, जापानी, स्पेनिश, तुर्की और स्वाहिली) के बीच महत्वपूर्ण रूप से बदलती रहती है। विशेष रूप से, 15 बैकबोन जोड़ों में से 7 सांख्यिकीय रूप से महत्वपूर्ण युग्मवार रैंक प्रतिलोमन (pairwise rank reversals) दिखाते हैं, जिसका अर्थ है कि एक बैकबोन जो एक भाषा में दूसरे से बेहतर प्रदर्शन करता है, वह दूसरी भाषा में उससे कम प्रदर्शन कर सकता है। इस घटना को एक माप समस्या (measurement problem) के रूप में माना जाता है जहाँ प्रेक्षित स्कोर एक भाषा-बैकबोन इंटरेक्शन टर्म द्वारा भ्रमित (confounded) होता है। मौजूदा समाधान अक्सर महंगी मानव एनोटेशन या उन एंसेम्बल विधियों पर निर्भर करते हैं जो बहु-इवैल्यूएटर, बहुभाषी बेंचमार्क में निहित योगात्मक (additive) भाषा-बैकबोन इंटरेक्शन को सीधे लक्षित नहीं करते हैं।

कार्यप्रणाली: कंसेंसस-बेस्ड कैलिब्रेशन (CBC)
यह शोध पत्र एक लेबल-मुक्त, पोस्ट-हॉक कैलिब्रेटर प्रस्तावित करता है जिसे कंसेंसस-बेस्ड कैलिब्रेशन (CBC) कहा जाता है। यह दृष्टिकोण एक कार्य $t$ , भाषा $\ell$ , और बैकबोन $b$ के लिए जज स्कोर $S(t, \ell, b)$ को इंटरेक्शन के साथ एक टू-वे एडिटिव लेआउट का उपयोग करके मॉडल करता है:
$S(t, \ell, b) = \mu(t) + \alpha(b) + \beta(\ell, b) + \gamma(t, \ell) + \epsilon$
जहाँ:

$\mu(t)$ कार्य की कठिनाई है।
$\alpha(b)$ बैकबोन का कौशल है।
$\beta(\ell, b)$ भाषा-बैकबोन इंटरेक्शन है (जिसे हटाने का लक्ष्य है)।
$\gamma(t, \ell)$ एक रेसिडुअल टास्क-लैंग्वेज इफेक्ट है।
$\epsilon$ शोर (noise) है।

एस्टिमेटर (Estimator):
CBC सेल-मीन स्कोर मैट्रिक्स को डबल-सेंटरिंग (double-centering) करके इंटरेक्शन टर्म $\beta(\ell, b)$ का अनुमान लगाता है। प्रत्येक भाषा-बैकबोन जोड़ी के लिए औसत स्कोर $\bar{S}(\ell, b)$ को देखते हुए:
$\hat{\beta}(\ell, b) = \bar{S}(\ell, b) - \bar{S}(\cdot, b) - \bar{S}(\ell, \cdot) + \bar{S}(\cdot, \cdot)$
कैलिब्रेटेड स्कोर फिर इस अनुमान को घटाकर प्राप्त किया जाता है: $\hat{S}(t, \ell, b) = S(t, \ell, b) - \hat{\beta}(\ell, b)$ ।

सैद्धांतिक गारंटी:

पहचान क्षमता (Identifiability): सम-टू-ज़ीरो (sum-to-zero) बाधाओं के तहत, $\beta(\ell, b)$ को डबल-सेंटरिंग के माध्यम से जनसंख्या सेल मीन्स से विशिष्ट रूप से पहचाना जा सकता है।
परिमित-नमूना अभिसरण (Finite-Sample Concentration): स्वतंत्र होमोस्केडास्टिक गॉसियन शोर को मानते हुए, एस्टिमेटर $O(1/\sqrt{n})$ की दर से अभिसरित होता है, जिसका स्पष्ट वेरिएंस कांस्टेंट $(1 - 1/m)(1 - 1/k)$ है, जहाँ $m$ बैकबोन की संख्या है और $k$ भाषाओं की संख्या है।
मिस्पेसिफिकेशन के प्रति मजबूती (Robustness to Misspecification): महत्वपूर्ण रूप से, एस्टिमेटर $\beta(\ell, b)$ के लिए अनबायस्ड (unbiased) रहता है भले ही टास्क-लैंग्वेज इंटरेक्शन $\gamma(t, \ell)$ मौजूद हो, क्योंकि ये टर्म्स डबल-सेंटरिंग ऑपरेशन के दौरान समाप्त हो जाते हैं। हालाँकि, यह विधि वास्तविक थ्री-वे इंटरेक्शन $\gamma(t, \ell, b)$ या साझा भाषा-स्तर के बदलावों को ठीक नहीं करती है जहाँ सभी बैकबोन एक विशिष्ट भाषा में समान रूप से पक्षपाती होते हैं।

प्रमुख योगदान

अनुभवजन्य लक्षण वर्णन (Empirical Characterization): लेखक प्रदर्शित करते हैं कि रैंक प्रतिलोमन एक व्यापक समस्या है, जिसमें उनके विस्तारित बेंचमार्क में शीर्ष-रैंक वाला बैकबोन सभी 8 भाषाओं में बदलता रहता है।
लेबल-मुक्त एस्टिमेटर: CBC के लिए किसी मानव लेबल की आवश्यकता नहीं है, यह केवल मौजूदा मल्टी-बैकबोन इवैल्यूएशन डेटा का उपयोग करता है।
स्पष्ट सैद्धांतिक सीमाएँ: पेपर एक परिमित-नमूना अभिसरण सीमा प्रदान करता है और टास्क-लैंग्वेज मिस्पेसिफिकेशन के तहत अनबायस्डनेस को सिद्ध करता है, जो इसे मानक ANOVA अनुप्रयोगों से अलग करता है जो सही मॉडल स्पेसिफिकेशन का अनुमान लगाते हैं।
वैधीकरण (Validation): विधि को उनके आंतरिक बेंचमार्क और एक अलग से एकत्र किए गए बाहरी पैनल (M-RewardBench) दोनों पर मान्य किया गया है।

परिणाम

आंतरिक बेंचमार्क (8 भाषाएँ, 6 बैकबोन, 55 कार्य):
- रैंक निरंतरता (Rank Consistency): CBC ने होल्ड-आउट क्रॉस-टास्क केंडल रैंक कोरिलेशन ( $\tau$ ) को 0.650 (रॉ) से बढ़ाकर 0.902 कर दिया।
- निर्णय सटीकता (Decision Accuracy): प्रति-भाषा परिनियोजन निर्णयों में, CBC होल्ड-आउट एडिटिव-मॉडल ओरेकल के साथ 100% मामलों में सहमत था, जबकि रॉ स्कोर के लिए यह 68.5% था।
- रैंक अलाइनमेंट: कैलिब्रेशन के बाद, सभी 8 भाषाएँ एक एकल बैकबोन ऑर्डरिंग पर संरेखित हुईं (Gemini > GPT-4o > GPT-5.4 > Sonnet > DeepSeek > Qwen)।
बाहरी सत्यापन (M-RewardBench, 7 भाषाएँ, 5 इवैल्यूएटर):
- रैंक निरंतरता: $\tau$ 0.430 से सुधरकर 0.900 हो गया।
- ह्यूमन एंकर एग्रीमेंट: सार्वजनिक मानव स्वर्ण प्राथमिकताओं (human gold preferences) के साथ सहमति 68.7% से बढ़कर 76.6% हो गई (7.9 प्रतिशत अंक की वृद्धि, 95% CI [6.0, 9.9])।
- तुलना: CBC ने क्वांटाइल नॉर्मलाइजेशन, ComBat-EB, और अनुकूलित पेयरवाइज ब्रैडली-टिल्लूस (Bradley-Terry-Luce) मॉडल्स सहित बेसलाइन्स को काफी पीछे छोड़ दिया।

महत्व और दावे
पेपर दावा करता है कि CBC बहुभाषी LLM जजों की अस्थिरता के लिए एक व्यावहारिक, लेबल-मुक्त समाधान प्रदान करता है। भाषा-बैकबोन इंटरेक्शन टर्म को हटाकर, यह एक भाषा-अपरिवर्तनीय (language-invariant) इवैल्यूएटर रैंकिंग प्राप्त करने में सक्षम बनाता है, जो कई परिनियोजन परिदृश्यों के लिए एक परिचालन लक्ष्य है।

लेखक अपने दावों में विनम्र हैं, और इस बात पर जोर देते हैं कि:

ये परिणाम कंसिस्टेंसी डायग्नोस्टिक्स और मॉडल-रेफरेंस सुधार हैं, न कि मानव-आधारित शुद्धता के पूर्ण माप।
विधि एक पूर्ण, संतुलित पैनल का अनुमान लगाती है; यह अनदेखी भाषाओं (LOLO परिणामों ने केवल मामूली लाभ दिखाया) के लिए ज़ीरो-शॉट ट्रांसफर को हल नहीं करती है।
यह साझा भाषा-स्तर के बदलावों (जैसे, यदि सभी जज एक विशिष्ट भाषा में समान रूप से कठोर हैं) या थ्री-वे इंटरेक्शन (विशिष्ट भाषाओं में बैकबोन-विशिष्ट कार्य अनुकूलन) को ठीक नहीं करती है।
M-RewardBench पर "ह्यूमन-एंकर" सुधार को डाउनस्ट्रीम उपयोगिता के सबसे मजबूत बाहरी प्रमाण के रूप में प्रस्तुत किया गया है, लेकिन यह एक एग्रीगेट साक्ष्य है, न कि पूर्वाग्रह बनाम वास्तविक विशेषज्ञता का प्रति-भाषा निदान।

यह कार्य CBC को सभी मूल्यांकन पूर्वाग्रहों के लिए सार्वभौमिक समाधान के रूप में नहीं, बल्कि मल्टी-बैकबोन द्वारा कई भाषाओं में समान वस्तुओं को स्कोर किए जाने वाले मल्टीलिंगुअल इवैल्यूएशन मैट्रिसेस में इंटरेक्शन टर्म्स को रिकवर करने के लिए एक विशिष्ट, सांख्यिकीय रूप से आधारित टूल के रूप में स्थापित करता है।

तकनीकी सारांश: बहुभाषी LLM जजों में रैंक प्रतिलोमन (Rank Reversal)

इसी तरह के और पेपर