Can Deep Research Agents Retrieve and Organize? Evaluating the Synthesis Gap with Expert Taxonomies
यह शोध पत्र TaxoBench प्रस्तुत करता है, जो यह दर्शाता है कि वर्तमान डीप रिसर्च एजेंट्स (Deep Research Agents) आवश्यक शोध पत्रों को खोजने और उन्हें सुसंगत वर्गीकरणों (taxonomies) में व्यवस्थित करने, दोनों ही मामलों में मानव विशेषज्ञों से काफी पीछे हैं, जो रिट्रीवल सटीकता और पदानुक्रमित संरचना संश्लेषण (hierarchical structure synthesis) में स्पष्ट बाधाओं को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय के लिए परम मार्गदर्शिका लिखने की कोशिश कर रहे हैं। आपको केवल किताबें ढूँढने की ही ज़रूरत नहीं है; आपको यह भी समझना होगा कि उन किताबों को अलमारियों पर इस तरह कैसे व्यवस्थित किया जाए कि पाठक वास्तव में उस क्षेत्र की कहानी को समझ सके। यही एक "सर्वेक्षण" (survey) का काम है, जो एक प्रकार का शैक्षणिक शोध पत्र है जो किसी विशिष्ट विषय के बारे में हम जो कुछ भी जानते हैं, उसका सारांश प्रस्तुत करता है। वर्षों से, वैज्ञानिक आशा करते रहे हैं कि आर्टिफिशियल इंटेलिजेंस (AI) इस भारी काम को स्वचालित रूप से कर सकता है। उन्होंने "डीप रिसर्च एजेंट्स" की कल्पना की थी—सुपर-स्मार्ट AI बॉट्स जो इंटरनेट को खंगाल सकें, हर महत्वपूर्ण शोध पत्र को खोज सकें, और फिर उन्हें ज्ञान के एक सटीक, तार्किक मानचित्र में व्यवस्थित कर सकें।
लेकिन यहाँ एक पेंच है: किताब ढूँढना आसान है; उसे व्यवस्थित करना कठिन है। यह समझने के लिए कि क्या ये AI बॉट्स वास्तव में इस काम के लिए तैयार हैं, हमें दो विशिष्ट कौशलों का परीक्षण करने की आवश्यकता है। पहला, रिट्रीवल (Retrieval/पुनर्प्राप्ति): क्या AI ठीक वही किताबें खोज सकता है जिन्हें एक मानव विशेषज्ञ चुनता? यदि AI सबसे महत्वपूर्ण शोध पत्रों को छोड़ देता है, तो मार्गदर्शिका बेकार है। दूसरा, ऑर्गनाइजेशन (Organization/संगठन): एक बार जब AI के पास किताबें आ जाती हैं, तो क्या वह एक "टैक्सोनॉमी" (taxonomy) बना सकता है? टैक्सोनॉमी को एक विचारों के पारिवारिक वृक्ष (family tree) के रूप में समझें। यह केवल एक सूची नहीं है; यह एक पदानुक्रम (hierarchy) है जिसमें शीर्ष पर एक मुख्य विषय होता है, जो बड़े श्रेणियों में विभाजित होता है, फिर छोटी उप-श्रेणियों में, और अंततः व्यक्तिगत शोध पत्रों तक जाता है। एक अच्छी टैक्सोनॉमी यह समझने में मदद करती है कि विचार आपस में कैसे जुड़ते हैं। यदि AI शोध पत्रों को केवल एक अव्यवस्थित ढेर में डाल देता है या एक भ्रमित करने वाली, सपाट सूची बना देता है, तो उसने वास्तव में काम नहीं किया है।
यह शोध पत्र, जिसका शीर्षक "Can Deep Research Agents Retrieve and Organize?" है, दुनिया के सात सबसे उन्नत AI शोध एजेंटों का परीक्षण करता है। शोधकर्ताओं ने एक विशेष चुनौती बनाई जिसे Taxo-Bench कहा गया, जो मानव विशेषज्ञों द्वारा लिखे गए 72 वास्तविक, उच्च-गुणवत्ता वाले सर्वेक्षणों का उपयोग करती है, जो "गोल्ड स्टैंडर्ड" के रूप में कार्य करते हैं। उन्होंने AI एजेंटों से या तो शून्य से शोध पत्र खोजने के लिए कहा, या दूसरे परीक्षण में, शोध पत्रों की एक पूर्व-चयनित सूची को एक वृक्ष संरचना (tree structure) में व्यवस्थित करने के लिए कहा। परिणाम AI की दुनिया के लिए एक वास्तविकता की जाँच (reality check) थे।
अध्ययन में पाया गया कि हालांकि ये AI एजेंट बात करने और लिखने में बेहतर हो रहे हैं, लेकिन वे अभी भी शोध की बुनियादी बातों के लिए संघर्ष कर रहे हैं। जब उन्हें विशेषज्ञों द्वारा उपयोग किए जाने वाले आवश्यक शोध पत्र खोजने के लिए कहा गया, तो सबसे अच्छे AI एजेंट ने केवल 20.92% ही उन्हें खोज पाया। इसका मतलब है कि उसने सबसे महत्वपूर्ण किताबों में से लगभग 80% को छोड़ दिया। अन्य एजेंटों का प्रदर्शन और भी खराब रहा, जिनमें से कुछ ने 5% से भी कम प्रमुख शोध पत्र खोज पाए। यह एक टूर गाइड से शहर के शीर्ष 10 स्थलों को दिखाने के लिए कहने जैसा है, और वह केवल दो या तीन की ओर इशारा कर पाता है, जबकि बाकी को छोड़ देता है।
दूसरा परीक्षण और भी अधिक खुलासा करने वाला था। यहाँ तक कि जब शोधकर्ताओं ने AI एजेंटों को शोध पत्रों की सटीक सूची दे दी (ताकि उन्हें उन्हें खोजने की चिंता न करनी पड़े), तब भी एजेंट मानव विशेषज्ञ की तरह उन्हें व्यवस्थित करने में विफल रहे। मानव विशेषज्ञों ने गहरे, बहु-स्तरीय वृक्ष बनाए जिनका औसत स्तर 4.86 था (जैसे एक पेड़ जिसमें एक तना, बड़ी शाखाएं, छोटी शाखाएं और टहनियां होती हैं)। हालाँकि, AI एजेंटों ने उथले, सपाट ढांचे बनाए जिनका औसत स्तर केवल लगभग 3 था। वे संगठन के मध्य स्तरों को बनाने में चूक गए।
जब शोधकर्ताओं ने AI को विशिष्ट निर्देश देकर गहरे पेड़ बनाने के लिए मजबूर किया, तो AI स्मार्ट नहीं हुआ; बल्कि वह अव्यवस्थित हो गया। इसने अपने वृक्ष को छोटी, एकल-पेपर शाखाओं में तोड़ना शुरू कर दिया, जिससे एक संरचित पेड़ के बजाय अलग-थलग टहनियों का एक "जंगल" बन गया। इसे "ओवर-सेगमेंटेशन" (over-segmentation) कहा जाता है। AI चीजों को एक साथ समूहबद्ध करने से इतना डर गया कि उसने लगभग हर शोध पत्र को अपनी छोटी, अकेली श्रेणी में डाल दिया।
यह शोध पत्र निष्कर्ष निकालता है कि आज के AI और मानव विशेषज्ञों के बीच एक बड़ा "सिंथेसिस गैप" (synthesis gap/संश्लेषण अंतराल) है। AI वर्तमान में एक ऐसे "फ्लोर" (floor) पर अटका हुआ है जहाँ उसके संगठनात्मक कौशल यादृच्छिक संयोग (random chance) से थोड़े ही बेहतर हैं। भले ही AI मॉडल अधिक शक्तिशाली हो रहे हैं, उन्होंने अभी तक इस अंतर को नहीं भरा है। शोधकर्ता सुझाव देते हैं कि इससे पहले कि हम AI पर हमारे वैज्ञानिक मार्गदर्शिका लिखने के लिए भरोसा कर सकें, हमें दो अलग-अलग समस्याओं को हल करने की आवश्यकता है: उन्हें सही साक्ष्य खोजना सिखाना, और उन्हें उस साक्ष्य को थामे रखने के लिए एक गहरा, तार्किक ढांचा बनाना सिखाना। तब तक, मानव विशेषज्ञ ही एकमात्र हैं जो वास्तव में ज्ञान के क्षेत्र का मानचित्रण कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।