Know2Guess: A Contamination-Aware Multi-Zone Benchmark for Knowledge-Boundary Evaluation in Large Language Models
यह शोधपत्र Know2Guess प्रस्तुत करता है, जो एक संदूषण-जागरूक (contamination-aware) मल्टी-ज़ोन बेंचमार्क है जिसे समर्थित उत्तरों और अज्ञात विषयों पर परहेज (abstentions) के बीच अंतर करने की लार्ज लैंग्वेज मॉडल्स की क्षमता का कड़ाई से मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि हालांकि वर्तमान मॉडल्स में चयनात्मक परहेज की कुछ क्षमता दिखाई देती है, फिर भी वे अंशांकन (calibration) और सौम्य-वस्तु अस्वीकृति (benign-item refusal) के मामले में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Know2Guess" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करते हुए हिंदी अनुवाद दिया गया है।
बड़ी समस्या: "अति-आत्मविश्वासी अनुमान लगाने वाला" छात्र
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र के साथ परीक्षा दे रहे हैं जिसने पुस्तकालय की लगभग हर किताब पढ़ ली है।
- अच्छी बात: जब उन्हें उत्तर पता होता है, तो वे शानदार होते हैं।
- बुरी बात: जब उन्हें उत्तर नहीं पता होता, तो वे यह नहीं कहते, "मुझे नहीं पता।" इसके बजाय, वे एक आत्मविश्वास से भरी कहानी बना लेते हैं जो सुनने में सच लगती है, लेकिन पूरी तरह से मनगढ़ंत होती है।
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, इसे हैलुसिनेशन (Hallucination) कहा जाता है। AI के वर्तमान परीक्षण आमतौर पर केवल यह जाँचते हैं: "क्या AI ने सही उत्तर दिया?" यदि AI आत्मविश्वास के साथ गलत अनुमान लगाता है, तो परीक्षण अक्सर इसे ठीक से नहीं पकड़ पाता। यह एक आत्मविश्वास भरे झूठ को एक भाग्यशाली अनुमान (lucky guess) के समान ही मानता है।
समाधान: "स्टॉप साइन्स" के साथ एक नया परीक्षण
लेखकों ने Know2Guess नामक एक नया बेंचमार्क बनाया है। इसे केवल एक परीक्षण नहीं, बल्कि AI के लिए एक ट्रैफिक लाइट सिस्टम के रूप में सोचें।
केवल यह पूछने के बजाय कि "उत्तर क्या है?", यह परीक्षण AI को दो विकल्पों में से चुनने के लिए मजबूर करता है:
- जाओ (उत्तर दें): "मुझे यह पता है, और यह रहा तथ्य।"
- रुको (मौन रहें): "मुझे यह नहीं पता, इसलिए मैं चुप रहूँगा।"
लक्ष्य यह देखना नहीं है कि AI कितने सवालों के जवाब दे सकता है। लक्ष्य यह देखना है कि क्या AI को पता है कि कब रुकना है।
परीक्षण कैसे बना है: चार "ज़ोन" (Zones)
परीक्षण को निष्पक्ष और चुनौतीपूर्ण बनाने के लिए, लेखकों ने 1,200 प्रश्नों को चार अलग-अलग "ज़ोन" (जैसे वीडियो गेम के विभिन्न स्तर) में विभाजित किया है:
- ज़ोन A (आसान चीज़ें): प्रसिद्ध तथ्य जिन्हें सब जानते हैं (जैसे, "प्रथम अमेरिकी राष्ट्रपति कौन थे?")। AI को इनका उत्तर देना चाहिए।
- ज़ोन B (कम प्रसिद्ध चीज़ें): ऐसे तथ्य जो सच हैं लेकिन कम प्रसिद्ध हैं (जैसे, "एक छोटे देश की राजधानी क्या है?")। AI को अभी भी इनका उत्तर देना चाहिए।
- ज़ोन C (चालाकी भरी चीज़ें): ये वास्तविक तथ्य हैं, लेकिन प्रश्न को भ्रमित करने वाले तरीके से पूछा गया है। AI को बिना हार माने इसे समझने के लिए पर्याप्त स्मार्ट होना चाहिए।
- ज़ोन D (जाल/ट्रैप): ये ऐसे प्रश्न हैं जो असली लगते हैं लेकिन वास्तव में नकली हैं। ये उन लोगों या घटनाओं के बारे में मनगढ़ंत तथ्य हैं जिनका अस्तित्व ही नहीं था। AI को यहाँ "मुझे नहीं पता" कहना चाहिए। यदि वह उत्तर देने की कोशिश करता है, तो वह जाल में फंस गया है।
ट्विस्ट: इस परीक्षण में एक "कंटैमिनेशन मीटर" (Contamination Meter) भी शामिल है। यह यह जाँचने जैसा है कि क्या AI ने अपने प्रशिक्षण डेटा (training data) में इन प्रश्नों को पहले देखा है। यदि AI ने उत्तर रट लिया है, तो वह नकल कर रहा है। परीक्षण इसे ट्रैक करता है ताकि हम जान सकें कि AI वास्तव में कुछ जान रहा है या केवल याद कर रहा है।
खेल के नियम
शोधकर्ताओं ने यह सुनिश्चित करने के लिए सख्त नियम बनाए कि AI निष्पक्ष खेल खेले:
- "मुझे नहीं पता" को बहाना न बनाएँ: AI सुरक्षित दिखने के लिए हर चीज़ का उत्तर देने से मना नहीं कर सकता। उसे वास्तविक प्रश्नों के उत्तर देने होंगे और केवल नकली प्रश्नों पर ही रुकना होगा।
- सख्त ग्रेडिंग: एक कंप्यूटर प्रोग्राम उत्तरों की जाँच करता है। यदि AI वास्तविक प्रश्न पर "मुझे नहीं पता" कहता है, तो उसे दंड (penalty) मिलता है। यदि वह नकली प्रश्न पर अनुमान लगाता है, तो उसे दंड मिलता है।
उन्होंने क्या पाया: परिणाम
शोधकर्ताओं ने इस नए परीक्षण का उपयोग करके कई लोकप्रिय AI मॉडल (जैसे Qwen, Llama, और FLAN) का परीक्षण किया। यहाँ क्या हुआ:
- "पुराने" मॉडल (FLAN): ये मॉडल रुकने में बहुत खराब थे। जब उन्हें उत्तर नहीं पता होता था, तो वे बस आत्मविश्वास के साथ अनुमान लगा लेते थे। वे "रुकने" वाले हिस्से में पूरी तरह विफल रहे।
- "नए" मॉडल (Qwen और Llama): ये मॉडल अधिक स्मार्ट हैं। वे नकली प्रश्नों (ज़ोन D) पर "मुझे नहीं पता" कहने में बहुत बेहतर हुए।
- विजेता: Qwen2.5-3B मॉडल समग्र रूप से सबसे अच्छा प्रदर्शन करने वाला मॉडल था। यह वास्तविक प्रश्नों के उत्तर देने में अच्छा था और नकली प्रश्नों पर रुकने में भी बहुत कुशल था।
- चुनौती (यह अभी हल नहीं हुआ है): सबसे अच्छे मॉडल में भी अभी भी समस्याएँ हैं:
- विश्वास संबंधी मुद्दे (Confidence Issues): भले ही उन्हें सही उत्तर पता हो, वे हमेशा सुनिश्चित नहीं होते कि वे सही हैं (वे ठीक से "कैलिब्रेटेड" नहीं हैं)।
- "इनकार" की समस्या (Refusal Problem): कभी-कभी, AI किसी वास्तविक प्रश्न का उत्तर देने से मना कर देता है क्योंकि वह संवेदनशील या कठिन लगता है, न कि इसलिए कि उसे उत्तर नहीं पता। यह एक ऐसे छात्र की तरह है जो गणित के सवाल को हल करने से मना कर देता है क्योंकि शिक्षक डरावना दिखता है।
- कठिन चीज़ें: मॉडल अभी भी "चालाकी भरे" प्रश्नों (ज़ोन C) के साथ संघर्ष करते हैं। वे अक्सर वास्तविक तथ्यों पर बहुत जल्दी हार मान लेते हैं।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि AI ने यह समस्या हल नहीं की है कि कब रुकना है।
हालाँकि नए मॉडल नकली प्रश्नों को पहचानने में बेहतर हो रहे हैं, फिर भी वे गलत होने पर बहुत अधिक आत्मविश्वासी होते हैं, और कभी-कभी वे उन वास्तविक प्रश्नों पर भी हार मान लेते हैं जिन्हें वे वास्तव में हल कर सकते थे।
लेखक कहते हैं कि यह नया परीक्षण महत्वपूर्ण है क्योंकि यह तीन अलग-अलग चीजों को अलग करता है जिन्हें हम आमतौर पर मिला देते हैं:
- ज्ञान (Knowledge): उत्तर जानना।
- ईमानदारी (Honesty): यह जानना कि आपको नहीं पता और चुप रहना।
- इनकार (Refusal): सुरक्षा नियमों के कारण बात करने से मना करना (जो कि न जानने से अलग है)।
इन सबको अलग रखकर, यह परीक्षण हमें यह देखने में मदद करता है कि AI वास्तव में कहाँ विफल हो रहा है, बजाय इसके कि हम उसे केवल एक एकल "पास/फेल" ग्रेड दें। यह डेवलपर्स को ऐसा AI बनाने में मदद करने के लिए एक उपकरण है जो न केवल स्मार्ट हो, बल्कि विनम्र और विश्वसनीय भी हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।