LiveBrowseComp: Are Search Agents Searching, or Just Verifying What They Already Know?
यह शोध पत्र प्रकट करता है कि वर्तमान LLM-आधारित खोज एजेंट अक्सर वास्तविक वेब खोज के बजाय आंतरिक ज्ञान पर निर्भर रहते हैं, जो हालिया, गैर-प्रमुख तथ्यों का उपयोग करने वाले एक गतिशील बेंचमार्क, LiveBrowseComp को पेश करने के लिए प्रेरित करता है, ताकि वास्तविक साक्ष्य-संचालित खोज क्षमताओं का प्रभावी ढंग से मूल्यांकन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य प्रश्न: क्या वे खोज रहे हैं या बस अपना होमवर्क चेक कर रहे हैं?
कल्पना कीजिए कि आपने एक बहुत ही बुद्धिमान जासूस (एक AI एजेंट) को एक विशिष्ट, अज्ञात तथ्य खोजने के लिए काम पर रखा है। आपने उन्हें एक लाइब्रेरी कार्ड (इंटरनेट एक्सेस) दिया और कहा, "जाकर उत्तर ढूंढो।"
यह शोध पत्र एक संदिग्ध प्रश्न पूछता है: क्या यह जासूस वास्तव में नई जानकारी खोजने के लिए लाइब्रेरी की खोज कर रहा है, या वह केवल उस किताब को खोल रहा है जिसे उसने पहले ही रट लिया है, अपने दिमाग में उत्तर ढूंढ रहा है, और फिर लाइब्रेरी कार्ड का उपयोग केवल यह कहने के लिए कर रहा है कि "देखो? मैंने कहा था न कि मैं सही हूँ"?
लेखक इस व्यवहार को इंट्रिंसिक नॉलेज डिपेंडेंस (IKD - आंतरिक ज्ञान निर्भरता) कहते हैं। यह एक ऐसे छात्र की तरह है जिसने पहले ही एक प्रैक्टिस टेस्ट के उत्तर रट लिए हैं। जब वे वास्तविक टेस्ट देते हैं, तो उन्हें पढ़ाई करने की ज़रूरत नहीं होती; वे बस जो उन्हें याद है उसे लिख देते हैं और "ओपन बुक" नियम का उपयोग यह सुनिश्चित करने के लिए करते हैं कि उनकी याददाश्त सही है।
वर्तमान परीक्षणों के साथ समस्या ( "स्टैटिक" बेंचमार्क)
वर्तमान में, हम इन AI जासूसों का परीक्षण "स्टैटिक बेंचमार्क" (जैसे BrowseComp) का उपयोग करके करते हैं। इन्हें पुराने, धूल भरे सामान्य ज्ञान क्विज़ की तरह समझें।
- समस्या: क्योंकि ये क्विज़ काफी समय से मौजूद हैं, AI मॉडल संभवतः अपने प्रशिक्षण (training) के दौरान इनके प्रश्नों को पहले ही "पढ़" चुके होंगे।
- परिणाम: AI उच्च स्कोर प्राप्त करता है, लेकिन यह इसलिए नहीं है कि वह खोजने में अच्छा है। बल्कि इसलिए है क्योंकि वह याद रखने में अच्छा है। वह अपने दिमाग से उत्तर का अनुमान लगाता है और इंटरनेट का उपयोग केवल अपने विश्वास को पुख्ता करने के लिए करता है।
तीन "झूठ पकड़ने वाले" परीक्षण (Lie Detector Tests)
अपने संदेह को साबित करने के लिए, शोधकर्ताओं ने मौजूदा AI मॉडलों पर तीन सरल प्रयोग चलाए:
- "नो-टूल्स" टेस्ट (बिना उपकरणों वाला परीक्षण): उन्होंने इंटरनेट छीन लिया।
- परिणाम: AI अभी भी लगभग 44% उत्तर सही दे पा रहे थे। इससे यह साबित हुआ कि वे अपनी आंतरिक स्मृति (memory) पर भरोसा कर रहे थे, न कि सर्च टूल पर।
- "ब्रोकन लाइब्रेरी" टेस्ट (टूटी हुई लाइब्रेरी वाला परीक्षण): उन्होंने AI को इंटरनेट का उपयोग करने दिया, लेकिन उन्होंने गुप्त रूप से उन सभी पन्नों को हटा दिया जिनमें सही उत्तर मौजूद था। AI को केवल अप्रासंगिक कचरा (irrelevant junk) ही दिखाई दे सकता था।
- परिणाम: AI का स्कोर गिर गया। कचरे को अनदेखा करने और अपनी स्मृति पर टिके रहने के बजाय, वे भ्रमित हो गए और गलत उत्तर देने लगे। इसने दिखाया कि वे सत्य की खोज करने के लिए सर्च का उपयोग नहीं कर रहे थे; वे केवल उस चीज़ की पुष्टि कर रहे थे जो उन्होंने पहले ही अनुमान लगा ली थी।
- "ट्रेस ऑफ क्लूज़" टेस्ट (सुरागों का रास्ता): उन्होंने AI के सर्च इतिहास को देखा।
- परिणाम: उन्होंने पाया कि AI द्वारा पूछे गए सर्च प्रश्नों में से 50% से अधिक उसके अपने अनुमानों पर आधारित थे, न कि उन चीजों पर जो उसने वास्तव में वेब पर पाई थीं। वह अपनी ही पूंछ का पीछा कर रहा था।
समाधान: "LiveBrowseComp" का परिचय
इसे ठीक करने के लिए, शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे LiveBrowseComp कहा जाता है।
उपमा (Analogy):
यदि पुराने परीक्षण पिछले साल के Jeopardy! एपिसोड की तरह थे (जिसे AI ने टीवी पर पहले ही देख लिया होगा), तो नया परीक्षण अभी चल रहे लाइव न्यूज़ ब्रॉडकास्ट की तरह है।
- ताजगी (Freshness): प्रश्न पिछले 90 दिनों में प्रकाशित तथ्यों पर आधारित हैं। AI इन्हें याद नहीं कर सकता था क्योंकि जब AI "पैदा" (ट्रेन) हुआ था, तब ये अस्तित्व में ही नहीं थे।
- अस्पष्टता (Obscurity): तथ्य प्रसिद्ध सुर्खियां (जैसे "सुपर बाउल किसने जीता?") नहीं हैं। वे "लॉन्ग-टेल" तथ्य हैं, जैसे "तीन सप्ताह पहले पेरू के एक छोटे से शहर में भूकंप का सटीक परिमाण क्या था?" या "कल रिलीज़ हुए एक विशिष्ट नीश (niche) वीडियो गेम का नाम क्या है?"
- लक्ष्य: AI को वास्तव में जानकारी की खोज (hunt) करने के लिए मजबूर करना, न कि केवल अपनी स्मृति से पुष्टि करने के लिए।
जब उन्होंने नया परीक्षण चलाया तो क्या हुआ?
परिणाम चौंकाने वाले थे:
- स्मृति विफल रही: जब AI ने इंटरनेट का उपयोग किए बिना (Closed-Book) इन नए प्रश्नों का उत्तर देने की कोशिश की, तो उनका स्कोर गिरकर 2% से भी कम हो गया। वे इन ताज़ा तथ्यों के बारे में लगभग कुछ भी नहीं जानते थे।
- सर्च स्कोर गिरा: इंटरनेट का उपयोग करने की अनुमति मिलने पर भी, पुराने परीक्षणों की तुलना में AI का स्कोर 25–40 अंक गिर गया।
- रैंकिंग बदल गई: जो AI मॉडल पुराने परीक्षणों के "विजेता" थे (अपनी अच्छी याददाश्त के कारण), वे नए परीक्षण में अचानक औसत या खराब हो गए। जो मॉडल वास्तव में खोजने में अच्छे थे, वे शीर्ष पर आ गए।
मानव तुलना
शोधकर्ताओं ने इन प्रश्नों को हल करने के लिए वास्तविक मनुष्यों से भी पूछा।
- निष्कर्ष: मनुष्यों ने "पुराने" और "नए" दोनों प्रकार के प्रश्नों को हल करने में लगभग समान समय लिया।
- अर्थ: नए प्रश्न "कठिन" या "अधिक स्मार्ट" नहीं हैं। वे बस नए हैं। AI का संघर्ष करना केवल इसलिए था क्योंकि वह अपनी मेमोरी के शॉर्टकट पर भरोसा नहीं कर सका।
निचोड़ (Bottom Line)
यह शोध पत्र निष्कर्ष निकालता है कि वर्तमान AI मूल्यांकन दोषपूर्ण हैं क्योंकि वे खोजने के बजाय याद रखने को पुरस्कृत करते हैं।
- पुराना तरीका: "क्या आप उत्तर का अनुमान लगा सकते हैं और फिर उसे प्रमाणित करने के लिए एक वेबसाइट ढूंढ सकते हैं?" (AI को 'A' ग्रेड मिलता है)।
- नया तरीका (LiveBrowseComp): "क्या आप एक ऐसा उत्तर ढूंढ सकते हैं जो आपने पहले कभी नहीं देखा है?" (AI को 'F' ग्रेड मिलता है)।
लेखक तर्क देते हैं कि यदि हमें वास्तव में यह परखना है कि क्या कोई AI एक अच्छा "सर्च एजेंट" है, तो हमें इसे उन चीजों पर टेस्ट करना चाहिए जो वह पहले से नहीं जानता, जिससे उसे केवल सत्यापन करने के बजाय खोज करने का कठिन कार्य करना पड़े।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।