🤖 AI

RoPoLL: Robust Panel of LLM Judges

यह शोध पत्र RoPoLL को प्रस्तुत करता है, जो LLM मूल्यांकन के लिए एक सुदृढ़ ढांचा है जो दूषित जजों से होने वाले अनियंत्रित पूर्वाग्रह को प्रभावी ढंग से कम करने के लिए मानक पैनल सर्वसम्मति के स्थान पर एक ज्यामितीय माध्य अनुमानक (geometric median estimator) का उपयोग करता है, और उच्च भ्रष्टाचार दरों के तहत भी पारंपरिक विधियों की तुलना में बेहतर सटीकता और दक्षता प्राप्त करता है।

मूल लेखक: Anish Acharya, Kris W Pan, Brian Verkhovsky

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anish Acharya, Kris W Pan, Brian Verkhovsky

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी समस्या: एक खराब सेब पूरे समूह को बिगाड़ देता है

कल्पना कीजिए कि आप एक छात्र के निबंध का मूल्यांकन करने की कोशिश कर रहे हैं। निष्पक्ष होने के लिए, आप केवल एक शिक्षक से नहीं पूछते; आप पाँच अलग-अलग शिक्षकों के एक पैनल से उसे पढ़ने और स्कोर देने के लिए कहते हैं। यह LLM जूरी (LLM Juries) का विचार है: किसी अन्य AI के आउटपुट की गुणवत्ता को परखने के लिए एक विशाल, महंगे AI पर निर्भर रहने के बजाय छोटे AI मॉडल्स के एक समूह का उपयोग करना।

वर्तमान मानक विधि (जिसे POLL कहा जाता है) सरल है: पाँचों स्कोर लें, उन्हें जोड़ें, और पाँच से विभाजित करें। यह अंकगणितीय माध्य (arithmetic mean) यानी औसत है।

खामी: यह तरीका तब बहुत अच्छा काम करता है जब शिक्षक केवल थोड़े थके हुए हों या उनके विचारों में मामूली अंतर हो (जैसे "गौसियन नॉइज़")। लेकिन, यह विफल हो जाता है यदि एक शिक्षक टूटा हुआ (broken) या पक्षपाती (biased) हो।

"पार्सर क्रैश" (The Parser Crash): कल्पना करें कि एक शिक्षक की कलम की स्याही खत्म हो गई है, और वह हर चीज़ के लिए केवल "0" लिख रहा है।
"जी-हज़ूर" (The Sycophant): कल्पना करें कि एक शिक्षक एक "हाँ में हाँ मिलाने वाला" व्यक्ति है जो काम की परवाह किए बिना सबको 10 का परफेक्ट स्कोर देता है।
"भ्रमित करने वाला" (The Hallucinator): कल्पना करें कि एक शिक्षक भ्रमित हो गया है और 1,000,000 का स्कोर लिख रहा है।

यदि आप इन स्कोर को ईमानदार शिक्षकों के साथ औसत करते हैं, तो वह एक पागलपन भरा स्कोर पूरे समूह के औसत को बहुत गलत दिशा में खींच ले जाता है। शोध पत्र गणितीय रूप से सिद्ध करता है कि चाहे आप कितने भी शिक्षक जोड़ दें, यदि उनमें से एक भी किसी विशिष्ट तरीके से टूटा हुआ है, तो औसत स्कोर पूरी तरह से गलत होगा।

समाधान: ROPOLL (ज्यामितीय माध्य - The Geometric Median)

लेखक स्कोर को संयोजित करने का एक नया तरीका प्रस्तावित करते हैं जिसे ROPOLL कहा जाता है। औसत लेने के बजाय, वे एक गणितीय उपकरण का उपयोग करते हैं जिसे ज्यामितीय माध्य (Geometric Median) कहा जाता है।

उपमा: एक समूह के केंद्र को खोजना
कल्पना कीजिए कि पाँच लोग एक मैदान में खड़े हैं।

औसत (POLL): यदि एक व्यक्ति बाईं ओर 10 मील दूर भाग जाता है, तो समूह की "औसत" स्थिति उनकी ओर काफी झुक जाती है। औसत आउटलेर्स (outliers) द्वारा आसानी से खींचा जा सकता है।
ज्यामितीय माध्य (ROPOLL): यह उस स्थान को खोजता है जहाँ अन्य सभी से कुल दूरी सबसे कम होती है। यदि एक व्यक्ति 10 मील दूर भाग जाता है, तो "मीडियन" (मध्य) स्थान शायद ही हिलता है। यह ईमानदार समूह के बिल्कुल बीच में रहता है, प्रभावी रूप से उस व्यक्ति को अनदेखा कर देता है जो दूर भाग गया है।

पेपर के शब्दों में, ROPOLL पूरे स्कोर वेक्टर (उदाहरण के लिए, हेल्पफुलनेस, ईमानदारी और स्पष्टता के स्कोर एक साथ) को देखता है। यह उन न्यायाधीशों को अनदेखा करता है जो अजीब या असंभव स्कोर का संयोजन देते हैं, भले ही वे स्कोर व्यक्तिगत रूप से ठीक लग रहे हों।

यह क्यों महत्वपूर्ण है: "बीमा पॉलिसी"

लेखकों ने तीन अलग-अलग बेंचमार्क पर 13 अलग-अलग AI मॉडल्स (4-बिलियन पैरामीटर से लेकर विशाल 675-बिलियन पैरामीटर वाले मॉडल्स तक) के खिलाफ इसका परीक्षण किया।

यह एक सुरक्षा जाल है: जब न्यायाधीश पूरी तरह से काम कर रहे होते हैं, तो ROPOLL औसत के लगभग बराबर होता है। इस सुरक्षा के लिए आपको बहुत कम "सटीकता बीमा" (6% से कम खराब) की लागत चुकानी पड़ती है।
यह एक ढाल है: जब न्यायाधीशों पर हमला किया जाता है (उदाहरण के लिए, 30% समय, एक न्यायाधीश को नकली, टूटा हुआ स्कोर देने के लिए मजबूर किया जाता है), तो ROPOLL पुराने तरीके को कुचल देता है।
- एक परीक्षण में, जब एक विशिष्ट प्रकार के "हैवी-टेल्ड" हमले (जहाँ स्कोर अनंत तक जाते हैं) का सामना करना पड़ा, तो पुराना तरीका (POLL), ROPOLL की तुलना में 540 गुना बदतर था।
- एक अन्य परीक्षण में, तीन छोटे AI का एक छोटा समूह (कुल 38 बिलियन पैरामीटर) जिसने ROPOLL का उपयोग किया, एक एकल विशाल AI (675 बिलियन पैरामीटर) को 18% से भी बेहतर प्रदर्शन करते हुए पीछे छोड़ दिया, भले ही 30% डेटा दूषित था।

"बाइजेंटाइन" समस्या (The Byzantine Problem)

शोध पत्र बाइजेंटाइन विफलता (Byzantine failure) शब्द का उपयोग करता है। इसे एक समिति की बैठक की तरह समझें जहाँ अधिकांश सदस्य ईमानदार हैं, लेकिन एक सदस्य एक तोड़-फोड़ करने वाला (saboteur) है जो समूह को गलत निर्णय लेने के लिए छलने की कोशिश कर रहा है।

POLL एक ऐसी समिति की तरह है जो सभी की बात सुनती है और वोट लेती है। यदि तोड़-फोड़ करने वाला व्यक्ति पर्याप्त जोर से चिल्लाता है (अत्यधिक स्कोर देता है), तो वह जीत जाता है।
ROPOLL एक ऐसी समिति की तरह है जो सबसे तेज़ आवाज़ों को अनदेखा करती है और शांत, तर्कसंगत बहुमत का सर्वसम्मति खोजती है।

मुख्य निष्कर्ष

औसत पर भरोसा न करें: यदि आप AI न्यायाधीशों के एक पैनल का उपयोग कर रहे हैं, तो उनके स्कोर का औसत निकालना खतरनाक है क्योंकि एक टूटा हुआ न्यायाधीश परिणाम को बर्बाद कर सकता है।
"ज्यामितीय माध्य" का उपयोग करें: यह स्कोर को संयोजित करने का एक स्मार्ट तरीका है जो स्वाभाविक रूप से अजीब आउटलेर्स को फ़िल्टर करता है।
छोटा सुंदर है: एक अच्छा निर्णय प्राप्त करने के लिए आपको एक विशाल, महंगे AI की आवश्यकता नहीं है। सस्ते AI की एक विविध टीम, ROPOLL पद्धति के साथ मिलकर, वास्तव में एक एकल विशाल AI की तुलना में अधिक सटीक और मजबूत हो सकती है।
यह शोर (noise) के बारे में नहीं है: लेखकों ने पुष्टि की है कि यह तरीका केवल "अस्पष्ट" न्यायाधीशों (जो केवल थोड़े अनिश्चित हैं) को ठीक नहीं कर रहा है; यह विशेष रूप से पक्षपाती (biased) न्यायाधीशों को ठीक कर रहा है (जो व्यवस्थित रूप से गलत या टूटे हुए हैं)।

संक्षेप में, ROPOLL AI जूरी के लिए एक नया नियम पुस्तिका है जो यह सुनिश्चित करती है कि अंतिम निर्णय ईमानदार बहुमत द्वारा निर्धारित किया जाए, न कि एक अकेले टूटे हुए या दुर्भावनापूर्ण न्यायाधीश द्वारा बाधित हो।

तकनीकी सारांश: ROPOLL – LLM जजों का सुदृढ़ पैनल (Robust Panel of LLM Judges)

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन अब "LLM-as-a-Judge" प्रतिमान की ओर स्थानांतरित हो गया है, जहाँ एक एकल मॉडल एक रूब्रिक के आधार पर आउटपुट को स्कोर करता है। जबकि पैनल ऑफ LLM इवैल्यूएटर्स (POLL) (Verga et al., 2024) ने व्यक्तिगत पूर्वाग्रहों को कम करने के लिए अंकगणितीय माध्य (arithmetic mean) के माध्यम से छोटे जजों के एक विविध समूह से स्कोर को एकत्रित करने का प्रस्ताव दिया था, यह दृष्टिकोण एक गंभीर सांख्यिकीय भंगुरता (statistical fragility) से ग्रस्त है।

यह शोध पत्र पहचानता है कि LLM जज हल्के-पूंछ वाले गॉसियन शोर (light-tailed Gaussian noise) के माध्यम से विफल नहीं होते, बल्कि बाइज़ेंटाइन विफलताओं (Byzantine failures) के माध्यम से विफल होते हैं: व्यवस्थित, पक्षपाती विचलन जैसे कि मोड कोलैप्स (पार्सर द्वारा शून्य पर फॉलबैक), सिकोफैसी (अति-स्फीत स्कोर), क्रॉस-एट्रिब्यूट कन्फ्यूजन, और हेवी-टेल्डेड हैलुसिनेशन। हुबर $\epsilon$ -कंटैमिनेशन मॉडल (Huber $\epsilon$ -contamination model) के तहत, लेखक सिद्ध करते हैं कि अंकगणितीय माध्य एग्रीगेटर (जो POLL में उपयोग किया जाता है) में तब अनबाउंड बायस (unbounded bias) होता है जब भी कोई सकारात्मक कंटैमिनेशन दर मौजूद होती है, चाहे जूरी का आकार $N$ कुछ भी हो। जजों की संख्या बढ़ाने से वेरिएंस तो कम होता है, लेकिन यह उस एग्रीगेटर को ठीक नहीं कर सकता जिसका बायस भ्रष्टाचार वर्ग (corruption class) पर अनबाउंड है।

2. कार्यप्रणाली: ROPOLL

लेखक ROPOLL (Robust Panel of LLM-as-Judge) का प्रस्ताव करते हैं, जो POLL पाइपलाइन में अंकगणितीय माध्य को एक सुदृढ़ माध्य अनुमानक (robust mean estimator) से बदल देता है।

2.1 अनुमानक का चयन (Choice of Estimator)

शोध पत्र तीन शास्त्रीय सुदृढ़ अनुमानकों का मूल्यांकन करता है:

कोऑर्डिनेट-वाइज मीडियन (CoMed): यह प्रत्येक आयाम पर स्वतंत्र रूप से कार्य करता है। यह उन "क्रॉस-डायमेंशनल" भ्रष्टाचारों का पता लगाने में विफल रहता है जहाँ एक वेक्टर प्रति-अक्ष (per-axis) के अनुसार प्रशंसनीय है लेकिन संयुक्त रूप से विसंगत है (जैसे, जब सत्य $(2.5, 2.5)$ हो, तब स्कोर वेक्टर $(0, K)$ होना)।
ट्रिम्ड मीन (Trimmed Mean): इसके लिए $\beta$ (वह अंश जिसे ट्रिम किया जाना है) नामक हाइपरपैरामीटर को ट्यून करने की आवश्यकता होती है, जिसके लिए कंटैमिनेशन दर $\alpha$ के ज्ञान की आवश्यकता होती है।
जियोमेट्रिक मीडियन (GM): लेखक ROPOLL के मूल के रूप में जियोमेट्रिक मीडियन का चयन करते हैं क्योंकि यह है:
- ट्यूनिंग-मुक्त (Tuning-free): इसके लिए कंटैमिनेशन दर के ज्ञान की आवश्यकता नहीं है।
- संयुक्त-दूरी संरक्षित (Joint-distance preserving): यह यूक्लिडियन दूरियों $\sum \|z - \hat{y}_i\|_2$ के योग को न्यूनतम करता है, जिससे प्रभावी रूप से उन वेक्टर्स को कम महत्व दिया जाता है जो संयुक्त स्थान (joint space) में विसंगत हैं।
- इष्टतम ब्रेकडाउन पॉइंट (Optimal Breakdown Point): यह $\lceil N/2 \rceil / N \to 1/2$ का परिमित-नमूना ब्रेकडाउन पॉइंट प्राप्त करता है, जो ट्रांसलेशन-इक्विवेरिएंट अनुमानकों के लिए इष्टतम है।

2.2 एल्गोरिदम (Algorithm)

ROPOLL, संशोधित वीज़फेल्ड इटरेशन (modified Weiszfeld iteration) (एल्गोरिदम 1) का उपयोग करके जियोमेट्रिक मीडियन की गणना करता है।

आरंभीकरण (Initialization): अंकगणितीय माध्य से शुरुआत करें।
पुनरावृत्ति (Iteration): अनुमान $z^{(t+1)}$ को जूरी स्कोर के भारित माध्य (weighted mean) के रूप में अपडेट करें, जहाँ भार वर्तमान अनुमान से दूरी के व्युत्क्रमानुपाती है ( $w_i = 1/\max(\|z^{(t)} - \hat{y}_i\|_2, \eta)$ )।
जटिलता (Complexity): प्रति क्वेरी $O(Nd \log(1/\epsilon))$ , जो LLM जजों की इन्फरेंस लागत की तुलना में नगण्य है।

3. सैद्धांतिक गारंटी (Theoretical Guothes)

शोध पत्र हुबर कंटैमिनेशन मॉडल के तहत ROPOLL के लिए कठोर सैद्धांतिक सीमाएं स्थापित करता है:

परिमित-नमूना त्रुटि सीमा (Finite-Sample Error Bound - Theorem 1): उच्च संभावना के साथ, त्रुटि $\|\hat{y}_{GM} - y^\star\|_2$ को $C_{\alpha+\beta} \cdot \rho$ द्वारा सीमित किया गया है, जहाँ $\rho$ सक्षम जजों का सब-गॉसियन क्लस्टर रेडियस है और $C_{\alpha+\beta}$ कंटैमिनेशन दर पर निर्भर एक स्थिरांक है। महत्वपूर्ण रूप से, त्रुटि किसी भी मनमाने भ्रष्टाचार के तहत सीमित (bounded) रहती है, बशर्ते कि भ्रष्टाचार का अंश $\alpha < 1/2$ हो।
मिनिमैक्स लोअर बाउंड (Minimax Lower Bound - Theorem 2): लेखक किसी भी अनुमानक के लिए एक सूचना-सैद्धांतिक निचली सीमा (information-theoretic lower bound) निकालते हैं। ROPOLL का ऊपरी स्तर पैरामीट्रिक टर्म ( $\sigma\sqrt{d/N}$ ) पर मिनिमैक्स दर से मेल खाता है, लेकिन ब्रेकडाउन फ्लोर पर $\sqrt{d}$ के कारक से भिन्न होता है। यह अंतर सांख्यिकीय-संगणनात्मक ट्रेड-ऑफ (statistical-computational trade-off) के कारण है: इष्टतम अनुमानक (टकी हाफस्पेस मीडियन) को कंप्यूट करना NP-hard है, जबकि जियोमेट्रिक मीडियन बहुपद-समय (polynomial-time) में सुलभ है।
सह-संबंधित जूरी (Correlated Juries - Lemma 3): सिद्धांत को इक्विकोरिलेटेड जूरी (equicorrelated juries) (जहाँ जज साझा प्रशिक्षण डेटा साझा करते हैं और सहसंबंध $\bar{\gamma}$ प्रदर्शित करते हैं) के लिए विस्तारित किया गया है। ब्रेकडाउन संरचना अपरिवर्तित रहती है, हालांकि उच्च-संभावना गारंटी $N$ में घातांकीय (exponential) से बदलकर प्रभावी जूरी आकार $N_{eff} = N / (1 + (N-1)\bar{\gamma})$ में बहुपद (polynomial) हो जाती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क: HelpSteer 2, HelpSteer 3, और UltraFeedback पर 13 ओपन-वेट जजों (4B–675B पैरामीटर्स) पर ROPOLL का मूल्यांकन किया। उन्होंने चार भ्रष्टाचार व्यवस्थाओं (corruption regimes) का अनुकरण किया: जीरोस (पार्सर विफलता), इनवर्टेड (बाइज़ेंटाइन एंटी-कोरिलेशन), बाइमोडल-रैंडम (क्रॉस-डायमेंशनल), और कॉची-फार (हेवी-टेल्डेड)।

मुख्य निष्कर्ष:

हेवी-टेल्डेड भ्रष्टाचार (Heavy-Tailed Corruption): कॉची-फार भ्रष्टाचार (अनबाउंड मीन) के तहत, ROPOLL ने POLL की तुलना में RMSE में 1 से 3 ऑर्डर ऑफ मैग्नीट्यूड बेहतर प्रदर्शन किया। POLL की त्रुटि भ्रष्टाचार शिफ्ट के साथ रैखिक रूप से बढ़ी, जबकि ROPOL स्थिर रहा।
क्रॉस-डायमेंशनल भ्रष्टाचार (Cross-Dimensional Corruption): बाइमोडल-रैंडम भ्रष्टाचार (प्रति-अक्ष प्रशंसनीय, संयुक्त रूप से विसंगत) के तहत, ROPOLL ने POLL और कोऑर्डिनेट-वाइज मीडियन दोनों से काफी बेहतर प्रदर्शन किया।
- दक्षता दावा (Efficiency Claim): 3-जज ROPOLL समिति (3も 38B कुल पैरामीटर्स) ने 30% भ्रष्टाचार के तहत HelpSteer 2 पर एकल Mistral-Large-3 (675B) को सटीकता में 1.31× से पछाड़ दिया, जो कि एक 18× पैरामीटर लाभ का प्रतिनिधित्व करता है।
पैरामीटर दक्षता (Parameter Efficiency): ROPOLL समितियाँ भ्रष्टाचार के तहत व्यक्तिगत जजों के स्केलिंग लॉ से लगातार नीचे रहीं, जो यह दर्शाता है कि सुदृढ़ एकत्रीकरण (robust aggregation) सरल औसत की तुलना में समान कंप्यूट बजट से अधिक सिग्नल निकालता है।
क्लीन बेसलाइन (Clean Baseline): भ्रष्टाचार ( $\alpha=0$ ) की अनुपस्थिति में, ROPOLL ने अंकगणितीय माध्य की तुलना में अधिकतम +6.4% सापेक्ष RMSE का एक छोटा "इंश्योरेंस प्रीमियम" लिया, जो पुष्टि करता है कि सुदृढ़ता (robustness) स्वच्छ डेटा पर प्रदर्शन को महत्वपूर्ण रूप से कम नहीं करती है।
नियंत्रण प्रयोग (Control Experiments): एक "Noisy-GT" नियंत्रण (अनबायस्ड गॉसियन शोर इंजेक्ट करना) ने दिखाया कि POLL अपूर्णता (imprecision) के लिए इष्टतम है, जो पुष्टि करता है कि ROPOLL का लाभ विशेष रूप से पक्षपाती कंटैमिनेशन (biased contamination) के विरुद्ध है, न कि सामान्य शोर के विरुद्ध।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि एक छोटी, विविध समिति का सुदृढ़ एकत्रीकरण एक बड़े एकल LLM-जज को स्केल करने का एक पैरामीटर-कुशल और सांख्यिकीय रूप से सिद्धांत-आधारित विकल्प है।

औपचारिकीकरण (Formalization): यह LLM जूरी एकत्रीकरण को एक सुदृढ़ माध्य अनुमान समस्या के रूप में औपचारिक रूप से प्रस्तुत करता है, और जज की विफलताओं को हुबर मॉडल के तहत बाइज़ेंटाइन दोषों के रूप में वर्णित करता है।
असंभवता परिणाम (Impossibility Result): यह सिद्ध करता है कि अंकगणितीय माध्य (POLL) LLM मूल्यांकन के लिए मौलिक रूप से त्रुटिपूर्ण है क्योंकि किसी भी सकारात्मक कंटैमिनेशन दर के तहत इसका बायस अनबाउंड है।
व्यावहारिक समाधान (Practical Solution): ROPOLL एक ड्रॉप-इन रिप्लेसमेंट प्रदान करता है जो इष्टतम ब्रेकडाउन पॉइंट्स के साथ बाउंड एरर प्राप्त करता है, जिसे विभिन्न प्रकार के भ्रष्टाचार और विविध मॉडल आकारों पर सत्यापित किया गया है।
संसाधन योगदान (Resource Contribution): लेखक तीन बेंचमार्क पर 13 जजों के 28,000 स्कोर किए गए सेल्स का एक मानकीकृत संग्रह जारी करते हैं, जो इन्फरेंस लागत को दोबारा चलाए बिना जज कैलिब्रेशन और एकत्रीकरण पर भविष्य के अनुसंधान को सक्षम बनाता है।

कार्य यह निष्कर्ष निकालता है कि जबकि एकल मॉडल को स्केल करना एक सामान्य रणनीति है, एक विविध मॉडल की एक छोटी समिति जिसे सुदृढ़ अनुमानक (जियोमेट्रिक मीडियन) के माध्यम से एकत्रित किया जाता है, LLMs में अंतर्निहित विशिष्ट, पक्षपाती विफलता मोड के विरुद्ध बेहतर सुदृढ़ता प्रदान करती है।