Judging Against the Reference: Uncovering Knowledge-Driven Failures in LLM-Judges on QA Evaluation
यह शोध पत्र प्रकट करता है कि LLM-आधारित जज अक्सर QA मूल्यांकन के दौरान प्रदान किए गए संदर्भ उत्तरों का पालन करने में विफल रहते हैं जब वे संदर्भ मॉडलों के आंतरिक पैरामीट्रिक ज्ञान के साथ संघर्ष करते हैं, जिससे अविश्वसनीय स्कोरिंग होती है जो सामान्य शमन रणनीतियों के बावजूद बनी रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने छात्रों के निबंधों को ग्रेड करने के लिए एक बहुत ही बुद्धिमान, सुशिक्षित लाइब्रेरियन को काम पर रखा है। आपका नियम सरल है: "छात्र को केवल उस उत्तर कुंजी (answer key) के आधार पर ग्रेड दें जो मैं आपको देता हूँ, न कि उस पर जो आपको अपनी स्मृति से पता है।"
यह शोध पत्र इस बात की जांच करता है कि क्या होता है जब वह लाइब्रेरियन एक AI (एक लार्ज लैंग्वेज मॉडल, या LLM) हो और उत्तर कुंजी में एक "ट्रिक" (चालाकी) हो।
सेटअप: "बदली हुई" उत्तर कुंजी
शोधकर्ताओं ने एक विशेष परीक्षण बनाया। उन्होंने कई प्रश्न और उनके सही उत्तर (गोल्ड स्टैंडर्ड) लिए। फिर, उन्होंने गुप्त रूप से सही उत्तर को एक गलत उत्तर से बदल दिया जो सुनने में तर्कसंगत लगता था।
मूल परिदृश्य:
- प्रश्न: 2024 F1 चैंपियनशिप किसने जीती?
- उत्तर कुंजी (गोल्ड): मैक्स वर्स्टापेन।
- छात्र का उत्तर: मैक्स वर्स्टापेन।
- AI जज का निर्णय: ✅ सही। (बहुत आसान)।
"बदला हुआ" परिदृश्य:
- प्रश्न: 2024 F1 चैंपियनशिप किसने जीती?
- उत्तर कुंजी (गोल्ड): लैंडो नॉरिस। (नोट: वास्तव में यह गलत है, लेकिन इस परीक्षण के लिए AI को बताया गया है कि यही "गोल्ड" सत्य है)।
- छात्र का उत्तर: लैंडो नॉरिस।
- AI जज का निर्णय: ❌ गलत।
इंतजार, क्या? छात्र ने उत्तर कुंजी से पूरी तरह मेल खाया! लेकिन AI ने उसे फेल कर दिया। क्यों? क्योंकि AI की आंतरिक स्मृति (उसका "पैरामीट्रिक ज्ञान") चिल्ला रही थी, "नहीं! मैक्स वर्स्टापेन जीते! लैंडो नॉरिस नहीं जीते!" AI ने निर्देशों और उत्तर कुंजी को अनदेखा कर दिया क्योंकि उसने अपनी स्मृति पर अधिक भरोसा किया।
मुख्य खोज: "सब कुछ जानने वाला" (Know-It-All) समस्या
यह शोध पत्र इसे एक "नॉलेज-ड्रिवन फेलियर" (ज्ञान-आधारित विफलता) कहता है।
इस AI जज को एक ऐसे 'सब कुछ जानने वाले' छात्र के रूप में सोचें जो परीक्षा देने से इनकार कर देता है यदि शिक्षक की उत्तर कुंजी उस बात से अलग हो जो उसने हाई स्कूल में याद की थी। भले ही शिक्षक कहे, "इस विशिष्ट परीक्षा के लिए, उत्तर X है," छात्र जिद करता है, "नहीं, मुझे पता है कि यह Y है," और वह Y के आधार पर पेपर को ग्रेड करता है।
शोधकर्ताओं ने पाया कि:
- यह सभी के साथ होता है: यहाँ तक कि सबसे स्मार्ट, शक्तिशाली AI मॉडल (जैसे GPT-4o, GPT-5, और विशाल Llama मॉडल) भी ऐसा करते हैं।
- यह लोकप्रियता के साथ बढ़ता है: यदि कुंजी में दिया गया "गलत" उत्तर कोई प्रसिद्ध व्यक्ति या तथ्य है (जैसे "एलन मस्क" या "चंद्रमा"), तो AI द्वारा कुंजी को अनदेखा करने की संभावना अधिक होती है। तथ्य जितना प्रसिद्ध होगा, AI का आंतरिक विश्वास उतना ही मजबूत होगा, और उसे बदलना उतना ही कठिन होगा।
- बड़ा होने से बेहतर नहीं होता: AI मॉडल को बड़ा बनाने (अधिक "दिमागी शक्ति" जोड़ने) से यह समस्या ठीक नहीं हुई। वास्तव में, कभी-कभी बड़े मॉडल अधिक जिद्दी थे क्योंकि उनके पास भरोसा करने के लिए अधिक आंतरिक ज्ञान था।
"जादुई मंत्र" काम नहीं आए
शोधकर्ताओं ने इस बात को ठीक करने की कोशिश की कि AI को "जादुई मंत्र" (प्रॉम्प्ट्स) दिए जाएं। उन्होंने प्रयास किया:
- सीधे आदेश: "कृपया अपने स्वयं के ज्ञान को अनदेखा करें और केवल कुंजी को देखें!"
- सोचकर बताना (Thinking Aloud): "ग्रेड करने से पहले चरण-दर-चरण सोचें।"
- उदाहरण: AI को उदाहरण दिखाकर।
परिणाम: इनमें से कोई भी काम नहीं आया। जब दोनों के बीच टकराव हुआ, तो AI ने निर्देशों के बजाय अपनी स्मृति को प्राथमिकता दी। यह एक जिद्दी कुत्ते को यह कहने जैसा है कि, "उस गिलहरी का पीछा मत करो, गेंद को देखो!" जबकि गिलहरी वहीं मौजूद है। कुत्ते की सहज प्रवृत्ति (पैरामीट्रिक ज्ञान) आदेश पर हावी हो जाती है।
यह क्यों मायने रखता है
वास्तविक दुनिया में, हम इन AI जजों का उपयोग स्कूल के टेस्ट से लेकर चिकित्सा सलाह तक सब कुछ ग्रेड करने के लिए करते हैं। हम मानते हैं कि वे निष्पक्ष हैं और नियमों का पालन करते हैं।
यह पत्र एक महत्वपूर्ण दोष दिखाता है: यदि "नियम" (संदर्भ उत्तर) उस चीज़ से टकराते हैं जो AI "मानता" है (उसका ट्रेनिंग डेटा), तो AI नियमों को तोड़ देगा।
यदि किसी डेटासेट को नए तथ्यों के साथ अपडेट किया जाता है (जैसे, "2025 के चुनाव का विजेता व्यक्ति B है"), लेकिन AI अभी भी "व्यक्ति A" को याद रखता है, तो वह किसी भी उत्तर को गलत घोषित करेगा जिसमें "व्यक्ति B" लिखा है, भले ही नए डेटा के अनुसार "व्यक्ति B" सही उत्तर हो।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हम वर्तमान में AI जजों पर कड़ाई से उत्तर कुंजी का पालन करने के लिए भरोसा नहीं कर सकते यदि वह कुंजी AI की आंतरिक स्मृति के साथ संघर्ष करती है। यह कोड में कोई बग नहीं है; यह इस बात का मौलिक तरीका है कि ये मॉडल कैसे सोचते हैं। वे अपने स्वयं के "ज्ञान" के प्रति इतने आश्वस्त हैं कि जब तथ्य बदलते हैं, तो वे एक तटस्थ रेफरी के रूप में कार्य करने में संघर्ष करते हैं।
संक्षेप में: AI जज एक बुद्धिमान लाइब्रेरियन है जो लाइब्रेरी के कैटलॉग का उपयोग करने से इनकार करता है यदि वह इंटरनेट पर पढ़ी गई बातों से असहमत हो। जब तक हम इसे ठीक नहीं करते, हम उन्हें एक विशिष्ट, प्रदान किए गए संदर्भ के आधार पर उत्तरों को ग्रेड करने के लिए पूरी तरह से भरोसा नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।