Do Benchmarks Underestimate LLM Performance? Evaluating Hallucination Detection With LLM-First Human-Adjudicated Assessment
यह अध्ययन यह दर्शाता है कि LLM-जनित तर्क के मानव न्यायनिर्णयन के माध्यम से मतिभ्रम (hallucination) पहचान बेंचमार्क का पुनर्मूल्यांकन करने पर यह स्पष्ट होता है कि मूल एनोटेशन अक्सर मॉडल के प्रदर्शन को कम करके आंकते हैं, जो यह सुझाव देता है कि मॉडल-सहायता प्राप्त पुनर्मूल्यांकन अस्पष्टता-प्रवण कार्यों के लिए अधिक विश्वसनीय बेंचमार्क प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र के निबंध को ग्रेड दे रहे हैं। छात्र को एक लंबे समाचार लेख का सारांश बनाना है। आपका काम यह पता लगाना है कि क्या छात्र ने कोई ऐसे तथ्य मनगढ़ंत बनाए हैं जो मूल कहानी में नहीं थे। इसे शोधकर्ता "हैलुसिनेशन डिटेक्शन" (hallucination detection) कहते हैं।
वर्षों से, वैज्ञानिक इन AI मॉडलों को ग्रेड देने के लिए मानव विशेषज्ञों द्वारा बनाए गए एक "गोल्ड स्टैंडर्ड" उत्तर कुंजी (बेंचमार्क) का उपयोग करते आए हैं। उन्होंने माना कि वह उत्तर कुंजी एकदम सटीक है। लेकिन यह नया शोध पत्र एक सरल, साहसी प्रश्न पूछता है: क्या होगा अगर वह उत्तर कुंजी ही गलत हो?
यहाँ उनके द्वारा की गई खोज की कहानी है, जिसे कुछ रोजमर्रा के उपमाओं के माध्यम से बताया गया है।
सेटअप: "तीन न्यायाधीश" बनाम "AI जासूस"
शोधकर्ताओं ने दो प्रसिद्ध टेस्ट सेट्स (QAGS-C और SummEval) को लिया जहाँ मानव विशेषज्ञों ने पहले ही सारांशों को "सत्य" (True) या "भ्रामक" (Hallucinated) के रूप में ग्रेड दिया था।
फिर, वे दो सुपर-स्मार्ट AI जासूसों (GPT-5 Mini और Gemini 2.5 Flash) को लेकर आए। इन जासूसों ने केवल "सही/गलत" ग्रेड नहीं दिया; बल्कि वे फॉरेंसिक जांचकर्ताओं की तरह काम करते थे। उन्होंने विशिष्ट वाक्यों की ओर उंगली उठाई और कहा, "यह हिस्सा मनगढ़ंत है," और यहाँ तक कि उन्होंने यह भी लिखा कि उन्हें क्यों लगा कि ऐसा है।
संघर्ष: जब उत्तर कुंजी और जासूसों के बीच असहमति हुई
शोधकर्ताओं ने मूल मानव ग्रेडों को AI जासूसों के निष्कर्षों के साथ आमने-सामने रखा। उन्होंने एक आश्चर्यजनक अंतर पाया।
- उपमा: कल्पना कीजिए कि एक रेफरी (मानव लेबल) कहता है कि एक सॉकर खिलाड़ी ने फाउल नहीं किया। लेकिन दो इंस्टेंट-रिप्ले कैमरे (AI मॉडल) स्पष्ट रूप से दिखाते हैं कि खिलाड़ी ने किसी को गिराया है।
- वास्तविकता: लगभग 9% मामलों में, AI जासूस एक-दूसरे से सहमत थे कि एक भ्रम (hallucination) हुआ था, लेकिन मूल मानव उत्तर कुंजी ने कहा कि सब कुछ ठीक था।
परीक्षण: मानव निर्णायक (Human Adjudicators)
स्कोर का फैसला करने के लिए, शोधकर्ताओं ने दो नए मानव न्यायाधीशों (adjudicators) को बुलाया। ये न्यायाधीश मूल उत्तरों से अनजान थे। उन्हें मूल लेख, सारांश, मूल "गलत" ग्रेड, और AI जासूसों के विस्तृत नोट्स और हाइलाइट किए गए साक्ष्य दिए गए।
फैसला:
जब मानव न्यायाधीशों ने AI के साक्ष्यों को देखा, तो उन्होंने अक्सर अपना मन बदल लिया।
- रूपक: यह एक अपराध के पुनर्गठन (crime reenactment) को देखने वाले जूरी की तरह है। मूल गवाह (डेटासेट लेबल) ने कहा, "मैंने कुछ नहीं देखा।" लेकिन फिर जासूस (AI) ने एक छिपे हुए सुराग की बढ़ी हुई फोटो दिखाई और विस्तार से समझाया कि वह कहाँ है। जूरी (नए मानव न्यायाधीश) फोटो देखती है, सिर हिलाती है, और कहती है, "ठीक है, आप सही हैं। यहाँ वास्तव में एक अपराध हुआ था।"
वास्तव में, जब AI मॉडलों ने एक विशिष्ट कारण प्रदान किया और सटीक झूठ की ओर इशारा किया, तो मानव न्यायाधीश मूल उत्तर कुंजी की तुलना में अधिक बार AI के पक्ष में रहे।
परिणाम: "उत्तर कुंजी" AI को कम आंक रही थी
एक बार जब शोधकर्ताओं ने इन नए, अधिक सावधानीपूर्वक निर्णयों के साथ उत्तर कुंजियों को अपडेट कर दिया, तो परिणाम नाटकीय रूप से बदल गए:
- अधिक झूठ पकड़े गए: अपडेट किए गए डेटासेट्स ने दिखाया कि मूल परीक्षणों द्वारा स्वीकार किए गए झूठ की तुलना में वास्तव में अधिक भ्रम (hallucinations) मौजूद थे। मूल मानव ग्रेडरों ने कुछ सूक्ष्म झूठ मिस कर दिए थे।
- AI बेहतर दिखता है: क्योंकि AI मॉडल वास्तव में उन छूटे हुए झूठों के बारे में सही थे, इसलिए उनके "सटीकता स्कोर" (accuracy scores) में उल्लेखनीय वृद्धि हुई।
- एक AI मॉडल का स्कोर लगभग 8.5% बढ़ गया।
- दूसरे का लगभग 4% बढ़ा।
- सहमति: जो अंतर AI और मनुष्यों के बीच था, वह बहुत कम हो गया। वे अंततः एक ही बात पर सहमत थे।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि टेक्स्ट में झूठ पकड़ने जैसे कठिन कार्यों के लिए, मानव ग्रेडिंग का एक बार का प्रयास पर्याप्त नहीं है। मनुष्य थक जाते हैं, या वे सूक्ष्म विवरणों को मिस कर देते हैं।
लेखक सुझाव देते हैं कि हमें बेंचमार्क को एक निश्चित, अपरिवर्तनीय "बाइबल" के रूप में नहीं, बल्कि एक ड्राफ्ट के रूप में देखना चाहिए। AI का उपयोग गलतियों को खोजने में मदद करने के लिए करने और फिर उन विशिष्ट मामलों की AI की मदद से मानव समीक्षा करने से, हमें बहुत अधिक निष्पक्ष और सटीक परीक्षण प्राप्त होता है।
संक्षेप में: पेपर का तर्क है कि हम AI को झूठ पकड़ने में कितना अच्छा है, इसे कम आंक रहे थे क्योंकि हमारी अपनी "उत्तर कुंजियाँ" कुछ झूठ मिस कर रही थीं। जब हम AI को अपना काम दिखाने की अनुमति देते हैं, तो मनुष्य भी सहमत होते हैं कि AI शुरू से ही सही था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।