Beyond Questions: Evaluating What Large Language Models (Actually) Know
यह शोध पत्र "बियॉन्ड क्वेश्चन्स" (BeQu) को प्रस्तुत करता है, जो एक नया ओपन नॉलेज इवैल्यूएशन प्रतिमान है जो बड़े भाषा मॉडलों का मूल्यांकन पूर्व-निर्धारित प्रश्नों के बजाय ओपन-एंडेड एलिसिटेशन के माध्यम से स्वाभाविक रूप से व्यक्त किए गए उनके ज्ञान पर करता है, जो स्केल और रीजनिंग एफर्ट जैसे विभिन्न कारकों पर मॉडल की क्षमताओं के बारे में महत्वपूर्ण अंतर्दृष्टि प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि एक छात्र वास्तव में किसी प्रसिद्ध ऐतिहासिक व्यक्ति, जैसे कि मार्टिन लूथर किंग जूनियर, के बारे में क्या जानता है।
पुराना तरीका ( "क्विज़ शो" दृष्टिकोण)
वर्षों से, शोधकर्ताओं ने AI मॉडल का परीक्षण एक सख्त क्विज़ शो होस्ट की तरह किया है। वे विशिष्ट, संकीमित प्रश्न पूछते हैं: "उनकी जन्म तिथि क्या थी?" या "उनकी पत्नी कौन थीं?"
- समस्या: यह एक शेफ को केवल ग्रिल्ड चीज़ सैंडविच बनाने के लिए पूछकर आंकने जैसा है। यदि शेफ एक मास्टर पेस्ट्री शेफ है लेकिन सैंडविच बनाने में खराब है, तो क्विज़ कहेगा कि वह एक बुरा रसोइया है। यह परीक्षण केवल उस चीज़ को मापता है जिसे क्विज़ डिज़ाइनर ने पूछने के लिए सोचा था। यदि डिज़ाइनर ने कभी नहीं पूछा कि शेफ का पसंदीदा रंग क्या है, तो उस तथ्य के बारे में AI का ज्ञान अदृश्य ही रहेगा। इसे उपलब्धता पूर्वाग्रह (availability bias) कहा जाता है।
नया तरीका ("शो एंड टेल" दृष्टिकोण)
यह पेपर ओपन नॉलेज इवैल्यूएशन (Open Knowledge Evaluation) नामक एक नई विधि पेश करता है। एक क्विज़ के बजाय, कल्पना करें कि आप AI से पूछते हैं: "मार्टिन लूथर किंग जूनियर के बारे में आप जो कुछ भी जानते हैं, मुझे सब बताएं।"
- लक्ष्य: हम केवल यह नहीं देखते कि AI किसी विशिष्ट प्रश्न का सही उत्तर देता है या नहीं। हम उस पूरी कहानी को देखते हैं जो वह सुनाता है। हम जाँचते हैं:
- परिशुद्धता (Precision): क्या इसने मनगढ़ंत तथ्य बनाए (hallucinations)?
- स्मरण शक्ति (Recall): क्या इसे वह सब याद रहा जो यह जानता है, या इसने महत्वपूर्ण विवरण छोड़ दिए?
टूल: BeQu (प्रश्नों से परे)
इसे टेस्ट करने के लिए, लेखकों ने BeQu नामक एक विशाल प्लेग्राउंड बनाया।
- उन्होंने विकिपीडिया से 10,000 यादृच्छिक चीजें (लोग, स्थान, घटनाएँ) चुनीं।
- उन्होंने प्रत्येक के लिए एक "संदर्भ पुस्तकालय" (Reference Library) बनाया, जिसमें विकिपीडिया और वेब से तथ्य एकत्र किए गए।
- उन्होंने 20 अलग-अलग AI मॉडलों से इन 10,000 चीजों के बारे में "सब कुछ बताने" के लिए कहा।
- फिर, उन्होंने संदर्भ पुस्तकालय के साथ तुलना करने के लिए एक सुपर-स्मार्ट AI जज का उपयोग किया ताकि यह देखा जा सके कि क्या सच था, क्या गलत था और क्या छूट गया था।
उन्होंने क्या पाया (परिणाम)
बड़े मॉडल अभी भी जीतते हैं (लेकिन ओपन वाले बराबरी कर रहे हैं):
AI मॉडलों को छात्रों के रूप में सोचें। "कमर्शियल" छात्र (सशुल्क, बड़े मॉडल जैसे क्लॉड ओपस) अभी भी उच्चतम ग्रेड प्राप्त कर रहे हैं। हालाँकि, कुछ "ओपन-सोर्स" छात्र (मुफ्त मॉडल) उल्लेखनीय रूप से करीब स्कोर कर रहे हैं, जो साबित करते हैं कि वे बहुत प्रतिस्पर्धी हैं।कठिन से सोचना ज्यादा मदद नहीं करता:
आप सोच सकते हैं, "यदि मैं AI को उत्तर देने से पहले 'कठिन से सोचने' या 'अधिक तर्क करने' के लिए कहता हूँ, तो वह अधिक जान पाएगा।" शोध ने पाया कि इस विशिष्ट कार्य के लिए यह काफी हद तक एक मिथक है। चाहे AI ने जवाब देने में 1 सेकंड बिताया हो या 10 सेकंड, तथ्यों की मात्रा में बहुत बदलाव नहीं आया। ज्ञान पहले से ही वहीं था; बस उसे बोलने की आवश्यकता थी।"सख्त शिक्षक" बनाम "रचनात्मक लेखक":
शोधकर्ताओं ने AI को एक सख्त प्रारूप (जैसे विशिष्ट कॉलम के साथ स्प्रेडशीट) में उत्तर देने के लिए मजबूर करके देखा।
- परिणाम: AI बहुत सटीक (उच्च परिशुद्धता) हो गया लेकिन बहुत कम तथ्य साझा करने लगा (कम स्मरण शक्ति)। यह एक ऐसे छात्र की तरह था जो केवल वही उत्तर देता है जो शिक्षक पूछता है, और कोई अतिरिक्त संदर्भ जोड़ने से इनकार करता है।
- इसके विपरीत, मुक्त और खुला होने पर, AI ने अधिक तथ्य साझा किए, भले ही उसने कभी-कभी एक छोटी सी गलती की हो।
अधिक माँगने से अधिक मिलता है (जब तक कि वह न मिले):
जब शोधकर्ताओं ने AI से "5 तथ्य" बनाम "100 तथ्य" सूचीबद्ध करने के लिए कहा, तो बड़े अनुरोध वाले AI ने अधिक ज्ञान साझा किया। हालाँकि, यदि उन्होंने AI को सैकड़ों तथ्य सूचीबद्ध करने के लिए बहुत अधिक मजबूर किया, तो वह कोटा पूरा करने के लिए मनगढ़ंत बातें बनाने लगा (hallucinating)।"नकली व्यक्ति" का परीक्षण:
उन्होंने उन चीजों के बारे में AI से पूछा जो अस्तित्व में नहीं हैं (जैसे कि "इंटरनेशनल एयरपोर्ट ऑफ एंडोरा")। सर्वश्रेष्ठ मॉडलों ने सीधे कहा, "मुझे इसके बारे में कुछ नहीं पता।" कमजोर मॉडलों ने नकली विवरण बनाना शुरू कर दिया, जो दर्शाता है कि वे जानने के बजाय अनुमान लगा रहे थे।
मुख्य निष्कर्ष
यह पेपर तर्क देता है कि हमें AI के साथ एक बहुविकल्पीय परीक्षा मशीन की तरह व्यवहार करना बंद करने की आवश्यकता है। यह समझने के लिए कि एक AI वास्तव में क्या जानता है, हमें उसे स्वतंत्र रूप से बोलने देना चाहिए और यह देखना चाहिए कि वह वास्तविक दुनिया का कितना वर्णन कर सकता है, वह कितनी सटीकता से वर्णन करता है, और वह क्या छोड़ने का विकल्प चुनता है। नया "BeQu" बेंचमार्क इस "शो एंड टेल" क्षमता को मापने का एक उपकरण है, जो यह प्रकट करता है कि हालांकि AI स्मार्ट हो रहा है, फिर भी इसमें अभी भी बहुत सारा छिपा हुआ ज्ञान है जिसे वह हमेशा साझा करने का विकल्प नहीं चुनता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।