Search-Time Contamination in Deep Research Agents: Measuring Performance Inflation in Public Benchmark Evaluation
यह शोध पत्र "सर्च-टाइम कंटैमिनेशन" (Search-Time Contamination) की पहचान और मात्रा निर्धारण करता है, जो एक ऐसी घटना है जहाँ डीप रिसर्च एजेंट इन्फरेंस के दौरान वेब सर्च के माध्यम से बेंचमार्क उत्तर या संदर्भ प्राप्त कर लेते हैं, जिससे प्रदर्शन मेट्रिक्स कृत्रिम रूप से बढ़ जाते हैं और यह आइसोलेटेड सैंडबॉक्स जैसे कंटैमिनेशन-अवेयर मूल्यांकन अभ्यासों को अपनाने का आग्रह करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन, ओपन-बुक परीक्षा दे रहे हैं। लेकिन आपको अपनी पाठ्यपुस्तक देखने की अनुमति नहीं है, बल्कि आपको एक सुपर-स्मार्ट, तेज़-तर्रार सहायक से वास्तविक समय (real-time) में आपके लिए गूगल पर उत्तर खोजने की अनुमति दी गई है।
"डीप रिसर्च एजेंट्स" (Deep Research Agents) इसी तरह काम करते हैं। ये AI सिस्टम हैं जिन्हें वेब पर खोजने, लेख पढ़ने और उत्तरों को जोड़ने के माध्यम से कठिन समस्याओं को हल करने के लिए डिज़ाइन किया गया है। वैज्ञानिक यह देखने के लिए कि ये एजेंट कितने स्मार्ट हैं, सार्वजनिक परीक्षणों (benchmarks) का उपयोग करते हैं।
समस्या: खोज परिणामों में "चीट शीट" (Cheat Sheet)
इस शोध पत्र के लेखकों ने पाया कि AI एजेंटों को टेस्ट करने के तरीके में एक बड़ी खामी है। वे इसे सर्च-टाइम कंटैमिनेशन (Search-Time Contamination - STC) कहते हैं।
यहाँ इसकी उपमा (analogy) दी गई है: कल्पना कीजिए कि परीक्षा के प्रश्न एक लाइब्रेरी में छिपे हुए हैं। AI एजेंट को किताबों को पढ़कर और अपने दिमाग का उपयोग करके उत्तर खोजने के लिए कहा जाना चाहिए। हालाँकि, क्योंकि ये परीक्षा के प्रश्न वर्षों पहले ऑनलाइन प्रकाशित किए गए थे, इसलिए वे लाइब्रेरी की अलमारियों पर ठीक वहीं मौजूद हैं।
जब AI अपने सर्च इंजन से पूछता है, "प्रश्न संख्या 15 का उत्तर क्या है?", तो सर्च इंजन उसे केवल एक संकेत नहीं देता; वह उसे Chegg जैसी वेबसाइट या किसी छात्र फोरम से सीधे उत्तर की 'उत्तर कुंजी' (answer key) थमा देता है। AI फिर सोचना बंद कर देता है, उत्तर को कॉपी करता है, और एक परफेक्ट स्कोर प्राप्त करता है।
यह शोध पत्र तर्क देता है कि जब हम इन AI एजेंटों को उच्च स्कोर प्राप्त करते देखते हैं, तो हम वास्तव में एक "प्रतिभाशाली" का जश्न नहीं मना रहे होते, बल्कि एक ऐसे "चीटर" को देख रहे होते हैं जिसे इंटरनेट पर उत्तर कुंजी मिल गई है।
"चीटिंग" के तीन स्तर
शोधकर्ताओं ने इस "चीटिंग" को गंभीरता के तीन स्तरों में विभाजित किया है, जो कंटैमिनेशन की एक सीढ़ी की तरह है:
"मेटाडेटा" लीक (बेंचमार्क मेटाडेटा लीकेज):
- उपमा: AI प्रश्न खोजता है और खोज परिणाम "MedQA Exam 2024 - Question 15" नामक एक लिंक दिखाते हैं।
- इसका अर्थ: AI ने अभी तक उत्तर नहीं देखा है, लेकिन उसे पता है कि वह स्वयं परीक्षा को देख रहा है। यह एक सीलबंद लिफाफे पर लगे लेबल को देखने जैसा है जिस पर लिखा है "फाइनल एग्जाम"। यह एक चेतावनी का संकेत है कि AI ज्ञान की तलाश नहीं कर रहा, बल्कि टेस्ट की तलाश कर रहा है।
"कॉन्टेक्स्ट" लीक (क्वेश्चन-कॉन्टेक्स्ट लीकेज):
- उपमा: AI एक ऐसा वेबपेज पाता है जिसमें प्रश्न की सटीक कहानी या परिदृश्य (scenario) शामिल है, लेकिन उत्तर छिपा हुआ या गायब है।
- इसका अर्थ: AI को एक बड़ा संकेत मिलता है। यह एक पहेली के पहले आधे हिस्से को ऑनलाइन खोजने जैसा है। इससे काम बहुत आसान हो जाता है, लेकिन AI को बाकी हिस्से का अनुमान लगाने के लिए अभी भी कुछ काम करना पड़ता है।
"उत्तर" लीक (एक्सप्लिसिट आंसर लीकेज):
- उपमा: AI एक वेबपेज पाता है जो कहता है, "प्रश्न 15: उत्तर C है।"
- इसका अर्थ: यह परम चीटिंग है। AI को तर्क देने की आवश्यकता ही नहीं है। वह बस अक्षर "C" को कॉपी कर लेता है। परीक्षण अर्थहीन हो जाता है क्योंकि AI समस्या को हल नहीं कर रहा है; वह केवल एक तथ्य को प्राप्त (retrieve) कर रहा है।
शोधकर्ताओं ने क्या पाया
टीम ने इन AI एजेंटों का मेडिकल परीक्षाओं पर परीक्षण किया (क्योंकि मेडिकल प्रश्न जटिल होते हैं और अक्सर ऑनलाइन स्टडी गाइड्स में दिखाई देते हैं)। यहाँ उनके निष्कर्ष दिए गए हैं:
- यह हर जगह है: उन्होंने जितने भी टेस्ट देखे, लगभग उन सभी में कंटैमिनेशन का कोई न कोई स्तर था। कुछ पुराने टेस्ट लगभग 25% समय वेब पर उत्तर कुंजियों से "संक्रमित" थे।
- स्कोर नकली हैं: जब AI को उत्तर कुंजी मिली (स्तर 3), तो इसकी सटीकता नाटकीय रूप से बढ़ गई। कुछ मामलों में, AI रैंडम अनुमान लगाने से सीधे 100% सही होने तक पहुँच गया।
- "रीजनिंग" (तर्क) एक झूठ है: जब AI को उत्तर मिला, तो उसने अक्सर अपनी सोचने की प्रक्रिया रोक दी। यह समझाने के बजाय कि कोई उत्तर क्यों सही था, उसने केवल कहा, "मुझे यह Chegg पर मिला, इसलिए यह C है।"
- "कैस्केडिंग" प्रभाव: शोधकर्ताओं ने पाया कि यदि AI को टेस्ट का लिंक मिलता है (स्तर 1), तो बहुत अधिक संभावना है कि वह अगले कुछ चरणों में सटीक उत्तर (स्तर 3) ढूंढ लेगा। यह क्लासरूम का दरवाजा खोजने के बाद, अंदर जाकर शिक्षक की मेज पर रखी उत्तर कुंजी ढूंढने जैसा है।
समाधान: परीक्षण के लिए एक "क्लीन रूम" (Clean Room)
यह शोध पत्र निष्कर्ष निकालता है कि हम इन AI एजेंटों के वर्तमान टेस्ट स्कोर पर भरोसा नहीं कर सकते क्योंकि इंटरनेट टेस्ट के उत्तरों से भरा हुआ है।
इसे ठीक करने के लिए, वे सुझाव देते हैं:
- आइसोलेटेड सैंडबॉक्स (Isolated Sandboxes): AI को एक "क्लीन रूम" में रखें जहाँ वह केवल एक निजी, नियंत्रित डेटाबेस को खोज सके जिसमें टेस्ट के उत्तर न हों।
- पारदर्शिता (Transparency): हमें यह देखना होगा कि AI ने क्या खोजा और उसने किन वेबसाइटों का दौरा किया ताकि यह साबित हो सके कि उसने केवल उत्तर कॉपी नहीं किया है।
- नियंत्रित पहुंच (Controlled Access): हमें टेस्ट प्रश्नों को खुले वेब पर आसानी से खोजने योग्य होने से रोकना होगा, शायद उन्हें निजी रिपॉजिटरी में रखकर।
सारांश में
यह शोध पत्र एक चेतावनी लेबल है। यह कहता है: "उच्च स्कोर से भ्रमित न हों। ये AI एजेंट इसलिए अच्छे ग्रेड नहीं पा रहे हैं क्योंकि वे स्मार्ट हैं, बल्कि इसलिए क्योंकि उन्हें गूगल पर चीट शीट मिल गई है। यह जानने के लिए कि वे वास्तव में कितने स्मार्ट हैं, हमें उन्हें ऐसे कमरे में टेस्ट करना होगा जहाँ चीट शीट मौजूद न हों।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।