Hunt Instead of Wait: Evaluating Deep Data Research on Large Language Models
यह शोध पत्र डीप डेटा रिसर्च (DDR) और इसके संगत बेंचमार्क, DDR-Bench को प्रस्तुत करता है, जो कच्चे डेटा से स्वायत्त रूप से अंतर्दृष्टि निकालने में एजेंटिक लार्ज लैंग्वेज मॉडल्स की खोजी बुद्धिमत्ता का मूल्यांकन करता है, और यह प्रकट करता है कि जबकि फ्रंटियर मॉडल्स उभरती हुई एजेंसी प्रदर्शित करते हैं, प्रभावी लॉन्ग-होरिजन अन्वेषण के लिए केवल स्केलिंग या स्कैफोल्डिंग से परे आंतरिक रणनीतियों की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Hunt Instead of Wait: Evaluating Deep Data Research on LLMs" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
मुख्य विचार: "ऑर्डर लेने वाले" से "जासूस" तक का सफर
कल्पना कीजिए कि आपके पास लाखों किताबों, रसीदों और मेडिकल चार्ट्स से भरी एक विशाल, अस्त-व्यस्त लाइब्रेरी है।
- पुराना AI (ऑर्डर लेने वाला): यदि आप पुराने AI से पूछें, "शेल्फ 4 पर कितने नीले रंग की किताबें हैं?", तो वह उत्तर ढूँढ लेगा और आपको बता देगा। वह आपके द्वारा विशिष्ट निर्देश दिए जाने का इंतज़ार करता है। इसे एग्जीक्यूशनल इंटेलिजेंस (Executional Intelligence) कहा जाता है।
- नया AI (जासूस): यह पेपर एक कठिन सवाल पूछता है: "उस लाइब्रेरी में जाओ और मुझे बताओ कि तुम्हें वहाँ क्या दिलचस्प कहानियाँ मिल सकती हैं।" यहाँ AI को खुद तय करना होगा कि क्या खोजना है, कहाँ खोजना है, और कब यह मान लेना है कि उसने पर्याप्त जानकारी जुटा ली है। उसे अपने आप सुरागों का पीछा करना होगा। इसे इन्वेस्टिगेटरी इंटेलिजेंस (Investigatory Intelligence) कहा जाता है।
लेखकों का तर्क है कि जबकि AI निर्देश मानने में बेहतर हो रहा है, लेकिन वह एक सच्चा, स्वतंत्र जासूस बनने के लिए अभी भी संघर्ष कर रहा है।
समस्या: हमारे पास "शिकार करने" (Hunting) के लिए कोई टेस्ट नहीं था
अब तक, हम मुख्य रूप तौर पर AI का परीक्षण विशिष्ट प्रश्न देकर करते थे (जैसे कि मल्टीपल-चॉइस क्विज़)। लेकिन वास्तविक दुनिया का डेटा विश्लेषण कोई क्विज़ नहीं है; यह एक खोज (exploration) है।
- अंतराल (The Gap): मौजूदा टेस्ट यह जाँच नहीं करते थे कि क्या एक AI कच्चे डेटा (raw data) को देख सकता है, किसी ऐसे पैटर्न को पहचान सकता है जिसे खोजने के लिए उसे बताया नहीं गया था, और उसके बारे में एक रिपोर्ट लिख सकता है।
- जोखिम: यदि हम केवल उन प्रश्नों पर AI का परीक्षण करते हैं जो हम पूछते हैं, तो हमें लग सकता है कि वह वास्तव में जितना स्मार्ट है उससे कहीं अधिक स्मार्ट है। हो सकता है कि वह केवल उत्तरों को याद कर रहा हो, न कि सोचने का तरीका सीख रहा हो।
समाधान: DDR-Bench ("डीप डेटा रिसर्च" टेस्ट)
इसे ठीक करने के लिए, शोधकर्ताओं ने DDR-Bench नामक एक नया टेस्ट बनाया। इसे एक "मिस्ट्री बॉक्स" चुनौती की तरह समझें।
- सेटअप: उन्होंने AI मॉडल्स को तीन विशाल, वास्तविक दुनिया के डेटाबेस तक पहुँच दी:
- MIMIC: एक विशाल अस्पताल डेटाबेस जिसमें मरीजों के रिकॉर्ड हैं (जैसे एक जासूस मरीज के पूरे मेडिकल इतिहास को देख रहा हो)।
- GLOBEM: फिटनेस ट्रैकर्स पहनने वाले लोगों और मानसिक स्वास्थ्य सर्वेक्षणों का एक संग्रह (जैसे एक मनोवैज्ञानिक किसी व्यक्ति की दैनिक आदतों का विश्लेषण कर रहा हो)।
- 10-K: सार्वजनिक कंपनियों की वित्तीय रिपोर्ट (जैसे एक अकाउंटेंट कंपनी के बही-खातों में सच्चाई खोजने के लिए खुदाई कर रहा हो)।
- नियम: AI को एक सरल स्टार्ट प्रॉम्प्ट दिया गया: "इस मरीज/उपयोगकर्ता/कंपनी का विश्लेषण करना शुरू करें।"
- कोई प्रश्न नहीं: AI को यह नहीं बताया गया था कि उसे क्या खोजना है।
- कोई सीमा नहीं: AI जितनी चाहे उतनी पूछताछ (interactions) कर सकता था।
- लक्ष्य: AI को डेटा की खोज करनी थी, छिपे हुए निष्कर्ष निकालने थे और एक रिपोर्ट लिखनी थी।
- ग्रेडिंग (मूल्यांकन): आप उस जासूस को कैसे ग्रेड करेंगे जिसने वे चीजें ढूँढ निकालीं जिनकी आपने उम्मीद भी नहीं की थी?
- शोधकर्ताओं ने एक "फैक्ट चेकलिस्ट" बनाई। उन्होंने कच्चे डेटा को लिया और सैकड़ों विशिष्ट, सत्यापन योग्य तथ्य लिखे जिन्हें खोजा जा सकता था (जैसे, "क्या मरीज को स्ट्रोक आया था?" या "क्या कंपनी का मुनाफा बढ़ा?")।
- AI की रिपोर्ट लिखने के बाद, उन्होंने जाँच की: "क्या AI की रिपोर्ट में इन तथ्यों को साबित करने के लिए पर्याप्त सबूत थे?"
- इससे ग्रेडिंग वस्तुनिष्ठ और निष्पक्ष बनी, जिससे मानवीय पूर्वाग्रह से बचा जा सके।
उन्हें क्या मिला: "शिकार करना" (Hunt) कठिन है
शोधकर्ताओं ने दुनिया के कई सबसे स्मार्ट AI मॉडल्स (जैसे Claude, GPT, Gemini और ओपन-सोर्स मॉडल्स) का परीक्षण किया। यहाँ उनकी खोजें दी गई हैं:
1. "रुको और देखो" (Wait and See) रणनीति जीतती है
सबसे अच्छा प्रदर्शन करने वाले AI ने जल्दबाजी नहीं की। उसने गहराई में जाने से पहले व्यापक रूप से अन्वेषण (exploring) करने में समय बिताया।
- उपमा: कल्पना कीजिए कि एक जासूस किसी अपराध स्थल पर किसी विशिष्ट सुराग को उठाने से पहले हर चीज़ को देखते हुए घूम रहा है। सबसे अच्छे AI मॉडल्स ने स्वाभाविक रूप से इस "योजना बनाओ-फिर कार्य करो" (plan-then-act) रणनीति का पालन किया। उन्होंने पर्याप्त सबूत जुटाने से पहले अंतिम निष्कर्ष निकालने में देरी की।
2. अधिक दिमागी शक्ति ≠ बेहतर शिकार
आश्चर्यजनक रूप से, AI को "बड़ा" बनाने (अधिक पैरामीटर्स जोड़ने) से वह स्वचालित रूप से बेहतर जासूस नहीं बन गया।
- उपमा: एक जासूस को बड़ा दिमाग देने से कोई फायदा नहीं होता यदि उसे आवर्धक लेंस (magnifying glass) का उपयोग करना नहीं आता। पेपर ने पाया कि प्रशिक्षण (training), आकार (size) से अधिक महत्वपूर्ण है। वे मॉडल्स जो विशेष रूप से "एजेंट्स" (सोचने और कार्य करने के लिए) के रूप में प्रशिक्षित किए गए थे, वे उन विशाल मॉडल्स की तुलना में बहुत बेहतर प्रदर्शन करते थे जो केवल चैट करने के लिए प्रशिक्षित थे।
3. "रुकने" (Stop) का बटन पेचीदा है
एक जासूस होने का एक मुख्य हिस्सा यह जानना है कि कब देखना बंद करना है।
- निष्कर्ष: कई कमजोर मॉडल्स या तो बहुत जल्दी रुक गए (बड़ी तस्वीर देखने में विफल रहे) या वे अंतहीन लूप में फंसकर चलते रहे। सबसे अच्छे मॉडल्स को पता था कि एक अच्छी रिपोर्ट लिखने के लिए उनके पास पर्याप्त जानकारी कब हो गई है।
4. "मेमोरी" का जाल
शोधकर्ताओं ने परीक्षण किया कि क्या AI को उसके द्वारा खोजी गई चीजों का सारांश रखने के लिए एक "नोटबुक" (मेमोरी) देने से मदद मिलती है।
- निष्कर्ष: इसने अक्सर चीजों को और खराब कर दिया! AI अपने ही सारांशों से भ्रमित हो गया और बहुत जल्दी अन्वेषण करना बंद कर दिया। कभी-कभी, AI के लिए अपने कार्यों के कच्चे इतिहास (raw history) को देखना, अपने स्वयं के सारांशित नोट देखने की तुलना में बेहतर होता है।
5. मतिभ्रम (Hallucinations - बातें बनाना) दुर्लभ थे
एक बड़ी चिंता यह है कि क्या AI अपने प्रशिक्षण डेटा से प्राप्त तथ्यों के आधार पर कुछ मनगढ़ंत बातें बना सकता है।
- निष्कर्ष: पेपर में पाया गया कि AI ने शायद ही कभी ऐसे तथ्य बनाए जो डेटाबेस में नहीं थे। यदि वह गलत हुआ, तो यह आमतौर पर इसलिए था क्योंकि उसने पर्याप्त गहराई से नहीं देखा, न कि इसलिए कि वह झूठ बोल रहा था।
निचोड़ (The Bottom Line)
यह पेपर AI को टेस्ट करने का एक नया तरीका पेश करता है: उससे प्रश्न न पूछें; उसे अन्वेषण करने दें।
परिणाम बताते हैं कि जबकि AI निर्देश मानने में अच्छा हो रहा है, वह अभी भी एक सच्चा अन्वेषक बनने की प्रक्रिया में है। सबसे सफल मॉडल्स केवल सबसे बड़े मॉडल्स नहीं हैं; वे वे हैं जिन्होंने अन्वेषण की रणनीति सीखी है: व्यापक रूप से देखना, गहराई तक जाना और यह जानना कि कब रुकना है।
संक्षेप में: हम प्रश्न पूछने वाले AI बनाने से, प्रश्न पूछने वाले AI बनाने की ओर बढ़ रहे हैं। लेकिन अभी, केवल कुछ ही मॉडल्स वास्तव में इस काम के लिए तैयार हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।