तकनीकी सारांश: LLM-as-Judge की ज्यामिति (The Geometry of LLM-as-Judge)

समस्या विवरण (Problem Statement)

ओपन-एंडेड जनरेशन के मूल्यांकन के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) मानक बन गए हैं, फिर भी एक महत्वपूर्ण संरचनात्मक विषमता (structural asymmetry) बनी हुई है: LLM जज आपस में मजबूती से सहमत होते हैं, लेकिन मानव मूल्यांकनकर्ताओं के साथ केवल कमजोर रूप से सहमत होते हैं। इस घटना को या तो उच्च विश्वसनीयता (जो एन्सेम्बल विधियों का समर्थन करती है) या साझा पूर्वाग्रह (जो LLM मूल्यांकन की वैधता को कम करती है) के रूप में व्याख्यायित किया जाता है। यह शोध पत्र तर्क देता है कि बिना एक संरचनात्मक परीक्षण के, ये दोनों व्याख्याएं अविभाज्य हैं। मुख्य समस्या यह निर्धारित करना है कि क्या अंतर-LLM सहमति वास्तविक मानव संरेखण (alignment) का प्रतिनिधित्व करती है या केवल एक "एक ध्वस्त सबस्पेस के भीतर सहमति" (consensus inside a collapsed subspace) है जहाँ जज साझा पूर्वाग्रहों को साझा करते हैं लेकिन मानव मूल्यांकन अक्ष (human evaluation axis) को चूक जाते हैं।

कार्यप्रणाली (Methodology)

लेखक एक ज्यामितीय ढांचे (geometric framework) का प्रस्ताव करते हैं जो LLM-as-judge को एक लेटेंट क्वालिटी मैनिफोल्ड (latent quality manifold) पर एक रैंक-डेफिशिएंट प्रोजेक्शन ऑपरेटर के रूप में औपचारिक रूप देता है। वे चार विशिष्ट समुदायों द्वारा निर्मित इंडिक (Indic) डेटासेट्स, आठ इंडिक भाषाओं और 41 LLM जजों (जिसमें बेस, फाइन-ट्यून, प्रेफरेंस-ऑप्टिमाइज्ड और कैलिब्रेटेड वेरिएंट शामिल हैं) में चार विशिष्ट ज्यामितीय मात्राओं का परीक्षण करते हैं:

1. स्कोर स्प्रेड ($\sigma_J / \sigma_H$): मानवों के सापेक्ष जज के स्कोर रेंज के संपीड़न (compression) को मापना।
2. प्रभावी रैंक ($r_{95}$): मानवों की तुलना में जज द्वारा कैप्चर किए गए वेरिएंस की आयामशीलता (dimensionality) को निर्धारित करना।
3. प्रिंसिपल एंगल ($\theta$): जज के मूल्यांकन सबस्पेस और मानव सबस्पेस के बीच के कोण की गणना करना।
4. स्टैक्ड कोरिलेशन (Stacked Correlations): अंतर-LLM सहमति ($r_{LL}$) की तुलना LLM-मानव सहमति ($r_{LH}$) से करना।

अध्ययन दो प्राथमिक बेंचमार्क का उपयोग करता है:

• कम्युनिटी-हेल्थ (Community-Health): एक मेडिकल-एडवाइजरी बेंचमार्क जिसमें चार व्यक्तिपरक रूब्रिक्स (स्पष्टता, उपयोगिता, सटीकता, पूर्णता) और युग्मित स्टैंडअलोन/तुलनात्मक लेबल शामिल हैं।
• रियल-वर्ल्ड कल्चरल QA (DLQ): तीन डोमेन (स्वास्थ्य और कल्याण, वित्त, रोजमर्रा का जीवन) जो आठ इंडिक भाषाओं को कवर करते हैं, जिसमें व्यक्तिपरक रूब्रिक्स (भाषाई स्वीकार्यता, मतिभ्रम/hallucinations) और एक सत्यापन योग्य तथ्यात्मक रूब्रिक (कार्य गुणवत्ता) शामिल है।

लेखक सांख्यिकीय अनुमान के लिए बूटस्ट्रैप इंटरवल (1,000 रेप्लिकेट्स) का उपयोग करते हैं और ट्रेनिंग डेल्टा को "स्ट्रेच" (मूल रैंकिंग को बढ़ाना), "रोटेशन" (मानव अक्ष की ओर बढ़ना) और "रेसिडुअल" (पुनर्गठन) घटकों में विभाजित करते हैं।

मुख्य योगदान (Key Contributions)

1. सहमति का ज्यामितीय निदान (Geometric Diagnosis of Consensus): यह पेपर स्थापित करता है कि व्यक्तिपरक रूब्रिक्स पर अंतर-LLM सहमति मानव संरेखण का प्रमाण नहीं है। इसके बजाय, जज एक रेडंडेंट, लो-रैंक सबस्पेस पर सिमट जाते हैं जो मानव मूल्यांकन अक्ष के लगभग ऑर्थोगोनल (लंबवत) है।
2. सीमा स्थिति (The Boundary Condition): अध्ययन व्यक्तिपरक और वस्तुनिष्ठ रूब्रिक्स के बीच एक स्पष्ट सीमा की पहचान करता है। उन रूब्रिक्स पर जिनमें सत्यापन योग्य तथ्यात्मक उत्तर होते हैं, ज्यामितीय हस्ताक्षर (कोण, रैंक, स्प्रेड) मानव श्रेणियों के साथ संरेखित होते हैं, जबकि व्यक्तिपरक रूब्रिक्स पर, वे काफी भिन्न हो जाते हैं।
3. ट्रेनिंग डायनेमिक्स विश्लेषण: लेखक प्रदर्शित करते हैं कि मानक प्रशिक्षण तकनीकें (Fine-tuning, Direct Preference Optimization) मुख्य रूप से स्कोर स्प्रेड ($\sigma$) को बहाल करती हैं लेकिन मूल्यांकन अक्ष को मानव सबस्पेस की ओर घुमाने में विफल रहती हैं। केवल एक छोटे मानव-केंद्रित सेट पर पोस्ट-हॉक कैलिब्रेशन सभी रूब्रिक्स पर प्रदर्शन में सुधार करता है, हालांकि यह पूर्ण मानव विश्वसनीयता तक नहीं पहुँच पाता है।
4. सबस्पेस टोपोलॉजी (Subspace Topology): विश्लेषण से पता चलता है कि अंतर-LLM सहमति साझा प्री-ट्रेनिंग डेटा और उद्देश्यों द्वारा संचालित होती है, जो मजबूत 'विदिन-फैमिली कोवेरिएंस' बनाती है, जबकि मानव सबस्पेस स्कोर स्प्रेड को हटाने के बाद भी विशिष्ट और बहु-आयामी बना रहता है।

अनुभवजन्य परिणाम (Empirical Results)

• व्यक्तिपरक रूब्रिक्स: व्यक्तिपरक कार्यों पर, LLM जज मानव स्कोर रेंज के आधे से भी कम का उपयोग करते हैं ($\sigma_J / \sigma_H \approx 0.3\text{--}0.5$)। उनका मूल्यांकन अक्ष मानव अक्ष के लगभग ऑर्थोगोनल है ($87\text{--}89^\circ$ बनाम मानव इंटर-रेटर कोण $78\text{--}81^\circ$)। अंतर-LLM सहमति ($r_{LL} \approx 0.35$) LLM-मानव सहमति ($r_{LH} \approx 0.27\text{--}0.32$) से काफी आगे निकल जाती है।
• वस्तुनिष्ठ रूब्रिक्स: सत्यापन योग्य तथ्यात्मक रूब्रिक पर, ज्यामितीय अंतर कम हो जाता है। प्रिंसिपल एंगल गिरकर $58.5^\circ$ (मानव फ्लोर के भीतर) हो जाता है, और LLM-मानव सहमति बढ़कर $0.519$ हो जाती है, जो अंतर-LLM सहमति ($0.530$) से मेल खाती है।
• ट्रेनिंग प्रभाव: फाइन-ट्यूनिंग और प्रेफरेंस ऑप्टिमाइज़ेशन स्कोर स्प्रेड अनुपात को $0.32$से$1.08$तक बढ़ा देते हैं लेकिन प्रिंसिपल एंगल को बदलने में बहुत कम प्रभावी रहते हैं ($87\text{--}88^\circ$पर बने रहना)। ट्रेनिंग डेल्टा का अपघटन दिखाता है कि मानव अक्ष की ओर रोटेशन कुल परिवर्तन के$\le 3%$ का प्रतिनिधित्व करता है; शेष हिस्सा "स्ट्रेच" (मौजूदा बेस रैंकिंग को बढ़ाना) या "रीशफलिंग" है।
• कैलिब्रेशन: एक छोटे मानव-केंद्रित सेट पर पोस्ट-हॉक कैलिब्रेशन सफलतापूर्वक सभी कम्युनिटी-हेल्थ रूब्रिक्स को ऊपर उठाता है, जिससे एक कैलिब्रेटेड 24B इंडिक जज ($r=0.184$) gpt-5.5 जैसे फ्रंटियर मॉडल ($r=0.123$) से आगे निकल जाता है, फिर भी मानव विश्वसनीयता ($r_{HH} \approx 0.474$ फैक्टुअल रूब्रिक पर) से कम ही रहता है।

महत्व और दावे (Significance and Claims)

यह पेपर तर्क देता है कि अंतर-LLM सहमति को मानव संरेखण के प्रमाण के रूप में तभी गिना जाना चाहिए जब जज के स्कोर सबस्पेस पर सीधा ज्यामितीय चेक पास हो जाए। ऐसे चेक के बिना, LLMs के बीच उच्च सहमति केवल यह दर्शाती है कि वे सभी एक ही लो-रैंक, मॉडल-पठनीय सबस्पेस पर प्रोजेक्ट हो रहे हैं, जो प्रभावी रूप से मानव निर्णय की बहु-आयामी, सांस्कृतिक रूप से स्थित बारीकियों को अनदेखा कर रहा है।

लेखक निष्कर्ष निकालते हैं कि वास्तविक दुनिया, सांस्कृतिक रूप से स्थित और व्यक्तिपरक मूल्यांकन के लिए, यहाँ तक कि ज्यामिति-पास करने वाले LLM एन्सेम्बल भी मानव-इन-द-लूप की आवश्यकता को समाप्त नहीं करते हैं। LLM जजों में देखी गई "सहमति" अक्सर वास्तविक संरेखण के बजाय एक परिप्रेक्ष्य पतन (perspective collapse) है, और वर्तमान में उपलब्ध प्रशिक्षण तकनीकें केवल स्प्रेड को ठीक करती हैं, मूल्यांकन अक्ष के अभिविन्यास (orientation) को नहीं। इसलिए, सूक्ष्म, बहु-परिप्रेक्ष्य मानव निर्णय एक महत्वपूर्ण सिग्नल बना हुआ है जिसे वर्तमान LLM-as-judge प्रतिमानों द्वारा पूरी तरह से बदला नहीं जा सकता है।