💻 computer science

JudgeSense: A Benchmark for Prompt Sensitivity in LLM-as-a-Judge Systems

यह शोध पत्र JudgeSense को प्रस्तुत करता है, जो एक ऐसा बेंचमार्क है जिसे प्रॉम्प्ट्स को पैराफ्रेज़ (paraphrase) करने पर उनके निर्णयों में होने वाले बदलावों को मापकर LLM-as-a-judge सिस्टम की स्थिरता को मापने के लिए डिज़ाइन किया गया है, जो विभिन्न मॉडलों के बीच कार्य प्रदर्शन में महत्वपूर्ण विसंगतियों और अंतर्निहित पूर्वाग्रहों को प्रकट करता है।

मूल लेखक: Rohith Reddy Bellibatlu

प्रकाशित 2026-04-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rohith Reddy Bellibatlu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

"मूड स्विंग वाला जज" की समस्या: आपकी AI मूल्यांकनकर्ता अविश्वसनीय क्यों हो सकती है

कल्पना कीजिए कि आप एक कुकिंग प्रतियोगिता में प्रवेश कर रहे हैं। आप एक जज को एक स्वादिष्ट लासग्ना (lasagna) पेश करते हैं।

पहली बार जब आप पूछते हैं, "आप इस लासग्ना को 1 से 10 के पैमाने पर कैसे रेट करेंगे?", तो जज आपको 9 देता है।

अगले दिन, आप उसी जज से बिल्कुल थोड़े अलग तरीके से पूछते हैं: "1 से 10 के पैमाने पर, यह लासग्ना कितना स्वादिष्ट है?" अचानक, जज आपको 6 देता है।

लासग्ना नहीं बदला। जज नहीं बदला। पैमाना भी वही है। लेकिन क्योंकि आपने कुछ शब्द बदल दिए, इसलिए फैसला पलट गया। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक बहुत बड़ी समस्या है, और JudgeSense नामक एक नए शोध पत्र ने इस पर रोशनी डाली है।

मुख्य अवधारणा: "जज सेंसिटिविटी स्कोर" (JSS)

आजकल, इंसानों द्वारा AI मॉडल्स को ग्रेड देने के बजाय, हम दूसरे AI को ग्रेड देने के लिए "AI जजों" (जैसे GPT-4 या Claude) का उपयोग करते हैं। हम मान लेते हैं कि ये AI जज पेशेवर रेफरी की तरह निष्पक्ष होते हैं।

हालाँकि, JudgeSense के पीछे के शोधकर्ताओं ने पाया कि कई AI जज वास्तव में काफी "मूड स्विंग वाले" (moody) होते हैं। वे इस बात के प्रति अत्यधिक संवेदनशील होते हैं कि सवाल कैसे पूछा गया है। यदि आप "क्या यह सही है?" को "क्या यह सटीक है?" में बदलते हैं, तो AI अपना निर्णय बदल सकता है।

इस "मूड स्विंग" को मापने के लिए, उन्होंने जज सेंसिटिविटी स्कोर (JSS) बनाया:

1.0 का स्कोर एक चट्टान की तरह मजबूत जज की तरह है: आप सवाल कैसे भी पूछें, जवाब हमेशा एक ही रहता है।
कम स्कोर हवा के झोंके से आसानी से बह जाने वाले जज की तरह है: आपके शब्दों में मामूली बदलाव भी उन्हें अपने फैसले को बदलने पर मजबूर कर देता है।

चार बड़ी खोजें

शोधकर्ताओं ने नौ अलग-अलग AI मॉडल्स का चार अलग-अलग "कार्यों" (जैसे तथ्यों की जांच करना या यह देखना कि सारांश कितना सुव्यवस्थित है) के माध्यम से परीक्षण किया। यहाँ उन्हें जो मिला वह है:

1. "कोहेरेंस" (Coherence) का रोलरकोस्टर (सबसे मूडी कार्य)

जब AI से यह पूछने की बात आई कि एक कहानी कितनी अच्छी तरह "बहती" है (कोहेरेंस), तो परिणाम बहुत ही अनिश्चित थे। Claude जैसे कुछ मॉडल अविश्वसनीय रूप से स्थिर (लगभग पूर्ण 1.0) थे। लेकिन Gemini जैसे अन्य मॉडल बेहद असंगत थे। यह स्पष्ट है कि केवल तथ्य की जांच करने की तुलना में "गुणवत्ता" का न्याय करना AI के लिए बहुत कठिन है, जिससे शब्दों का चयन उन्हें भ्रमित करने में बहुत आसान हो जाता है।

2. "पोलैरिटी ट्रैप" (The Polarity Trap) (भ्रमित छात्र)

शोधकर्ताओं ने तथ्यों को संभालने के तरीके में एक अजीब गड़बड़ी पाई। यदि आप पूछते हैं, "क्या यह सच है? हाँ या ना में उत्तर दें," तो AI हाँ कह सकता है। लेकिन यदि आप पूछते हैं, "क्या इसमें त्रुटियां हैं? हाँ या ना में उत्तर दें," तो AI भ्रमित हो सकता है और फिर से हाँ कह सकता है—भले ही अब "हाँ" का अर्थ उल्टा हो गया हो! यह इसलिए नहीं है कि AI "मूर्ख" है, बल्कि इसलिए है क्योंकि सवाल को पलटने का तरीका (पोलैरिटी) इसके तर्क को भ्रमित कर देता है।

3. आकार स्थिरता की गारंटी नहीं है ("बड़ा हमेशा बेहतर नहीं होता" का नियम)

AI की दुनिया में, बड़े मॉडल्स (जिनमें अधिक "ब्रेन सेल्स" या पैरामीटर्स होते हैं) को आमतौर पर अधिक स्मार्ट माना जाता है। लेकिन JudgeSense ने साबित किया कि बड़ा होने का मतलब हमेशा अधिक सुसंगत होना नहीं है। एक छोटा, केंद्रित मॉडल कभी-कभी एक विशाल, महंगे "फ्रंटियर" मॉडल की तुलना में बहुत अधिक विश्वसनीय जज हो सकता है, जो फैंसी शब्दों से विचलित हो जाता है।

4. "हमेशा-A" वाली गड़बड़ी (The "Always-A" Glitch) (आलसी रेफरी)

कुछ परीक्षणों में, AI जज "आलसी" हो गए। जब उन्हें दो विकल्पों (विकल्प A या विकल्प B) के बीच चुनने के लिए कहा गया, तो उनमें से अधिकांश ने वास्तव में सामग्री की परवाह किए बिना, हर बार विकल्प A को चुना। यह एक ऐसे रेफरी की तरह है जो केवल इसलिए होम टीम को पेनल्टी दे देता है क्योंकि वह मैदान के बाईं ओर खड़ा है। इसे "पोजीशन बायस" (position bias) कहा जाता है, और यह जज को वास्तविक तुलना करने के लिए बेकार बना देता है।

निष्कर्ष: AI जजों का सुरक्षित रूप से उपयोग कैसे करें

यदि आप अपने काम को ग्रेड देने के लिए AI का उपयोग करने वाले डेवलपर हैं, तो यह शोध पत्र तीन "उत्तरजीविता सलाह" (survival advice) देता है:

एक अकेले प्रश्न पर भरोसा न करें: क्योंकि AI शब्दों के प्रति संवेदनशील होते हैं, इसलिए केवल एक प्रॉम्प्ट पर निर्भर न रहें। यदि सवाल को फिर से लिखने पर जवाब बदल जाता है, तो आपका जज अविश्वसनीय है।
अपने "हाँ/ना" के तर्क पर नज़र रखें: उन सवालों के मामले में बहुत सावधान रहें जो अर्थ को उलट देते हैं (जैसे "क्या यह गलत है?" बनाम "क्या यह सही है?")।
केवल "स्मार्टनेस" के लिए नहीं, बल्कि स्थिरता के लिए चुनें: अपना AI जज चुनते समय, केवल सबसे प्रसिद्ध या सबसे बड़े मॉडल को न चुनें। उस मॉडल को चुनें जो यह साबित करता है कि वह एक ही बात को दो बार समान रूप से कह सकता है।

संक्षेप में: JudgeSense हमें याद दिलाता है कि सुपर-इंटेलिजेंट AI के युग में भी, सवाल पूछने का तरीका उतना ही महत्वपूर्ण है जितना कि मिलने वाला जवाब।

तकनीकी सारांश: JudgeSense: LLM-as-a-Judge प्रणालियों के लिए प्रॉम्प्ट संवेदनशीलता (Prompt Sensitivity) का एक बेंचमार्क

1. समस्या विवरण (Problem Statement)

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग स्वचालित मूल्यांकनकर्ता ("LLM-as-a-Judge") के रूप में बढ़ रहा है, एक महत्वपूर्ण पद्धतिगत भेद्यता उभर कर आई है: प्रॉम्प्ट संवेदनशीलता (prompt sensitivity)। जबकि शोधकर्ता अक्सर प्रॉम्प्ट टेम्प्लेट को केवल कार्यान्वयन विवरण (implementation details) मानते हैं, यह शोध पत्र तर्क देता है कि मामूली अर्थपूर्ण पैराफ्रेस (semantic paraphrases) एक जज के निर्णय को बदल सकते हैं। यह अस्थिरता जज को एक विश्वसनीय माप उपकरण से बदलकर शोर (noise) का एक स्रोत बना देती है, जिससे संभावित रूप से विभिन्न शोधकर्ता एक ही अंतर्निहित डेटा से परस्पर विरोधी निष्कर्ष निकाल सकते हैं। मौजूदा साहित्य 'टास्क-सॉल्वर' (मॉडल प्रश्न का उत्तर कैसे देता है) में प्रॉम्प्ट संवेदनशीलता पर केंद्रित है, लेकिन 'जजों' (एक मॉडल किसी दूसरे के उत्तर को लेबल कैसे देता है) के लिए मानकीकृत मेट्रिक्स की कमी है।

2. कार्यप्रणाली (Methodology)

लेखक JudgeSense पेश करते हैं, जो अर्थपूर्ण रूप से समान प्रॉम्प्ट्स के बीच निर्णय स्थिरता को मापने के लिए डिज़ाइन किया गया एक ढांचा है।

मेट्रिक: जज सेंसिटिविटी स्कोर (JSS): मुख्य योगदान JSS है, जिसे पैराफ्रेस युग्मों (paraphrase pairs) के उस अंश के रूप में परिभाषित किया गया है जिस पर एक जज समान निर्णय देता है।
$JSS(j, t) = \frac{1}{|P|} \sum_{i=1}^{|P|} \delta(j(p_i), j(p'_i))$
जहाँ $j$ एक जज है, $t$ एक कार्य है, और $P$ पैराफ्रेस युग्मों का एक सेट है। 1.0 का JSS पूर्ण निरंतरता दर्शाता है, जबकि 0.8 से नीचे के मान व्यावहारिक अविश्वसनीयता दर्शाते हैं।
बेंचमार्क डेटासेट: लेखकों ने चार मूल्यांकन आयामों में 494 सत्यापित पैराफ्रेस युग्मों का एक डेटासेट तैयार किया:
1. तथ्यात्मकता (Factuality) (TruthfulQA से)
2. सुसंगतता (Coherence) (SummEval से)
3. प्रासंगिकता (Relevance) (BEIR से)
4. वरीयता (Preference) (MT-Bench से)
  पैराफ्रेस समानता को एक स्वतंत्र क्लासिफायर के रूप में GPT-4o-mini का उपयोग करके सत्यापित किया गया था।
प्रायोगिक सेटअप (Experimental Setup): नौ मॉडल्स (5 कमर्शियल, 4 ओपन-सोर्स) का मूल्यांकन ग्रीडी डिकोडिंग (तापमान $\approx$ 0) का उपयोग करके किया गया। अध्ययन ने चेन-ऑफ-थॉट (Chain-of-Thought) या रोल-प्राइमिंग जैसे अन्य कारकों से प्राकृतिक भाषा पुनर्गठन के प्रभाव को अलग करने के लिए न्यूनतम निर्देश टेम्प्लेट का उपयोग किया।

3. मुख्य योगदान (Key Contributions)

एक औपचारिक मेट्रिक (JSS): जज स्थिरता के लिए एक सरल, पुनरुत्पादित (reproducible) और रिपोर्ट करने योग्य एकल-संख्या मेट्रिक।
एक मानकीकृत बेंचमार्क: कई महत्वपूर्ण मूल्यांकन आयामों में फैले सत्यापित पैराफ्रेस युग्मों का एक सार्वजनिक डेटासेट।
अनुभवजन्य विश्लेषण (Empirical Analysis): नौ प्रमुख LLM परिवारों का एक बड़े पैमाने पर अध्ययन, जो यह प्रकट करता है कि विभिन्न कार्य और मॉडल आर्किटेक्चर प्रॉम्प्ट भिन्नता के प्रति कैसे प्रतिक्रिया करते हैं।
व्यवसायी मार्गदर्शन (Practitioner Guidance): विशिष्ट कार्यों के लिए किन मॉडल्स का उपयोग करना चाहिए और "फ्लिप" आर्टिफैक्ट्स से बचने के लिए प्रॉम्प्ट कैसे डिजाइन करने चाहिए, इस पर ठोस सिफारिशें।

4. मुख्य परिणाम (Key Results)

निष्कर्षों से पता चलता है कि प्रॉम्प्ट संवेदनशीलता अत्यधिक कार्य-निर्भर (task-dependent) है:

सुसंगतता (Coherence - द डिस्क्रिमिनेटर): यह एकमात्र कार्य था जहाँ जजों ने महत्वपूर्ण भिन्नता दिखाई। JSS का दायरा 0.389 (Gemini-2.5-flash) से 0.992 (Claude-Sonnet-4.5) के बीच था। उल्लेखनीय रूप से, मॉडल का पैमाना (scale) निरंतरता की भविष्यवाणी नहीं करता था; एक फ्रंटियर मॉडल (Gemini) मध्यम आकार के या विशिष्ट मॉडल्स की तुलना में काफी खराब प्रदर्शन करता है।
तथ्यात्मकता (Factuality - द प्रॉम्प्ट आर्टिफैक्ट): सभी नौ जजों ने लगभग 37% का समान 'फ्लिप रेट' दिखाया। लेखकों ने पाया कि यह मॉडल का दोष नहीं बल्कि एक प्रॉम्प्ट डिजाइन आर्टिफैक्ट था जो "पोलैरिटी इन्वर्जन" (जैसे, एक प्रॉम्प्ट पूछता है "क्या यह सही है?" जबकि दूसरा पूछता है "क्या इसमें त्रुटियां हैं?") के कारण हुआ। पोलैरिटी के लिए सुधार करने के बाद, JSS $\approx$ 0.9+ तक बढ़ गया।
वरीयता और प्रासंगिकता (Preference & Relevance - द डिजेनेरेसी): नौ में से आठ जजों ने "हमेशा-A" व्यवहार (पोजीशन बायस) प्रदर्शित किया, जो प्रॉम्प्ट की परवाह किए बिना समान लेबल लौटाते हैं। इसके परिणामस्वरूप JSS 1.0 प्राप्त हुआ, लेकिन यह सूचनात्मक नहीं था क्योंकि मॉडल वास्तव में "जज" नहीं कर रहे थे बल्कि एक स्थिति पर एंकर (anchor) हो रहे थे।
नेगेटिव कप्पा ( $\kappa$ ): दो मॉडल्स (Gemini-2.5-flash और Mistral-7b) ने सुसंगतता पर नेगेटिव कोहेन का $\kappa$ (Cohen’s $\kappa$ ) उत्पन्न किया, जिसका अर्थ है कि वे व्यवस्थित रूप से अपने आप के विरुद्ध (anti-correlated) थे—विभिन्न वाक्यांशों ने उन्हें लिकर्ट स्केल (Likert scale) पर विपरीत दिशाओं में धकेल दिया।

5. महत्व और निहितार्थ (Significance and Implications)

इस शोध पत्र के LLM-आधारित बेंचमार्किंग की विश्वसनीयता पर गहरे निहितार्थ हैं:

विश्वसनीयता बनाम सटीकता (Reliability vs. Accuracy): लेखक एक जज के सही होने (उच्च मानव सहमति) और स्थिर होने (उच्च JSS) के बीच अंतर करते हैं। एक जज लगातार गलत हो सकता है, या सटीक रूप से सही लेकिन शब्दों के प्रति अत्यधिक संवेदनशील हो सकता है। दोनों को रिपोर्ट किया जाना चाहिए।
मॉडल चयन (Model Selection): मूल्यांकन के लिए डिफ़ॉल्ट रूप से सबसे बड़े/नवीनतम मॉडल का चयन नहीं करना चाहिए। सुसंगतता-आधारित कार्यों के लिए, Claude-Sonnet-4.5 और Qwen-2.5-72b जैसे मॉडल्स उच्च निर्देश-अनुपालन अनुशासन के कारण बेहतर हैं।
जजों के लिए प्रॉम्प्ट इंजीनियरिंग: शोर को कम करने के लिए, शोधकर्ताओं को पोलैरिटी-इनवर्टिंग टेम्प्लेट्स से बचना चाहिए और पेयरवाइज (pairwise) कार्यों में देखे गए पोजीशन बायस को कम करने के लिए विकल्प-क्रम रैंडमाइजेशन (A/B टेस्टिंग) लागू करना चाहिए।
मानकीकरण (Standardization): यह पत्र समुदाय से JSS को एक मानक रिपोर्टिंग मेट्रिक के रूप में अपनाने का आह्वान करता है ताकि यह सुनिश्चित किया जा सके कि LLM-as-a-judge मूल्यांकन पुनरुत्पादित और वैज्ञानिक रूप से सुदृढ़ हैं।