Delegation Intelligence in Deep Search: A Controllable Framework for Disentangled Capability Diagnosis
यह शोध पत्र "डेलिगेशन इंटेलिजेंस" (Delegation Intelligence) को एक विसंयोजित (disentangled) ढांचे के रूप में प्रस्तुत करता है जो सूचना संश्लेषण (information synthesis) को खोज निर्णय लेने (search decision-making) से अलग करके गहरे खोज एजेंटों (deep search agents) के मूल्यांकन के लिए है, जिसे एक नियंत्रणीय संश्लेषण पाइपलाइन और डेलिगसर्चबेंच (DelegSearchBench) बेंचमार्क द्वारा समर्थित किया गया है ताकि वर्तमान एंड-टू-एंड सटीकता मेट्रिक्स की सीमाओं को उजागर किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत बड़ी, पेचीदा पहेली को सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास सभी टुकड़े सामने नहीं हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक कंप्यूटर प्रोग्राम के साथ बिल्कुल ऐसा ही होता है, जिसे "लार्ज लैंग्वेज मॉडल" (Large Language Model) कहा जाता है, जब वह किसी प्रश्न का उत्तर देने की कोशिश करता है। लंबे समय तक, हमने इन मॉडलों के साथ ऐसे व्यवहार किया है जैसे वे बहुत बुद्धिमान छात्र हों जिन्हें बस अपनी पाठ्यपुस्तकों को याद करने की आवश्यकता है। यदि उत्तर उनकी स्मृति में है, तो वे परीक्षा में उत्कृष्ट प्रदर्शन करते हैं। लेकिन वास्तविक जीवन कोई बंद-किताब वाली परीक्षा नहीं है। कभी-कभी, उत्तर पाठ्यपुस्तक में होता ही नहीं है; वह किसी पुस्तकालय, समाचार संग्रह, या ऐसी वेबसाइट में छिपा होता है जो हर दिन बदलती रहती है। यहीं से "डीप सर्च" (Deep Search) की भूमिका शुरू होती है। यह एक AI की वह क्षमता है जिससे उसे एहसास होता है, "हे, मुझे यह नहीं पता," और फिर वह बाहर जाकर सही जानकारी ढूँढता है और उन टुकड़ों को एक साथ जोड़ता है।
हालाँकि, हम वर्तमान में इन AI जासूसों का परीक्षण करने के तरीके में एक बड़ी समस्या है। आमतौर पर, हम केवल अंतिम उत्तर देखते हैं: "क्या उन्होंने इसे सही पाया?" यदि उत्तर सही है, तो हम उन्हें एक गोल्ड स्टार देते हैं। यदि यह गलत है, तो हम उन्हें लाल 'X' देते हैं। लेकिन यह एक छात्र को गणित की परीक्षा में केवल इस आधार पर ग्रेड देने जैसा है कि क्या उसने सही उत्तर प्राप्त किया, बिना यह जांचे कि क्या उसने वास्तव में गणित किया या सिर्फ अनुमान लगाया। शायद उसे सही उत्तर इसलिए मिला क्योंकि उसे पिछले किसी पाठ से याद था, या शायद वह संयोग से सही उत्तर तक पहुँच गया। हमें नहीं पता कि वह वहाँ कैसे पहुँचा। क्या उसे पता था कि कब अनुमान लगाना बंद करना है और कब खोजना शुरू करना है? क्या उसे पता था कि किस स्रोत पर भरोसा करना चाहिए? या क्या वह सिर्फ भाग्यशाली था? यह शोध पत्र तर्क देता है कि हमें केवल अंतिम स्कोर देखना बंद करना चाहिए और जासूसी के काम को खुद देखना शुरू करना चाहिए।
इस शोध के पीछे के शोधकर्ताओं ने, जो टेनसेंट (Tencent) और रेंसमिन यूनिवर्सिटी ऑफ चाइना की एक टीम है, एक विशेष "प्रशिक्षण मैदान" बनाने का निर्णय लिया ताकि वे AI एजेंटों को उनकी डेलीगेशन इंटेलिजेंस (Delegation Intelligence) पर परख सकें। इसे आप इस तरह समझ सकते हैं: यह AI की वह क्षमता है जिससे उसे पता चलता है कि कब अकेले समस्या को हल करने की कोशिश करना बंद करना है और कब काम को सर्च इंजन को सौंप देना है। उन्होंने महसूस किया कि "डीप सर्च" में अच्छा होना केवल एक सुपरपावर नहीं है; यह वास्तव में दो अलग-अलग कौशल हैं जो मिलकर काम करते हैं।
पहला कौशल है सर्च डिसीजन-मेकिंग (Search Decision-Making)। यह अहसास का क्षण है। यह AI का वह क्षण है जब वह कहता है, "मैं अटक गया हूँ। मुझे और जानकारी चाहिए," या इसके विपरीत, "मेरे पास पर्याप्त जानकारी है, खोजने की आवश्यकता नहीं है।" यह उस जासूस के बीच का अंतर है जो दीवार से सिर टकराते रहता है और उस जासूस के बीच जो जानता है कि लैब से मदद कब मांगनी है। दूसरा कौशल है इन्फॉर्मेशन सिंथेसिस एंड वेरिफिकेशन (Information Synthesis & Verification)। एक बार जब AI बाहर जाता है और बहुत सारे दस्तावेज़ ढूँढ लेता है, तो क्या वह बता सकता है कि कौन से सच हैं और कौन से झूठ? क्या वह एक समाचार लेख में झूठ को पकड़ सकता है? क्या वह एक रहस्य को सुलझाने के लिए तीन अलग-अलग वेबसाइटों से सुरागों को जोड़ सकता है? यह "समझने की क्षमता" (reading comprehension) वाला हिस्सा है, लेकिन एक मोड़ के साथ: AI को शोर, झूठ और भ्रमित करने वाली जानकारी से निपटना होगा।
इन कौशलों का ठीक से परीक्षण करने के लिए, टीम केवल इंटरनेट से यादृच्छिक (random) प्रश्न नहीं ले सकती थी। वह बहुत अव्यवस्थित होता। इसके बजाय, उन्होंने एक कंट्रोलेबल सिंथेसिस पाइपलाइन (Controllable Synthesis Pipeline) बनाई। कल्पना कीजिए कि वे एक जासूसी फिल्म के निर्देशक हैं। अभिनेताओं को स्वतंत्र रूप से अभिनय करने देने के बजाय, वे पटकथा को उल्टा लिखते हैं। वे "सत्य" (एक वास्तविक, उच्च गुणवत्ता वाला दस्तावेज़) से शुरू करते हैं, फिर वे एक ऐसा प्रश्न लिखते हैं जिसके उत्तर के लिए उस दस्तावेज़ की आवश्यकता होती है। फिर, वे "डिस्ट्रैक्टर्स" (distractors) बनाते हैं—नकली या भ्रामक दस्तावेज़ जो असली वाले के बहुत समान दिखते हैं लेकिन उनमें एक छोटा, महत्वपूर्ण दोष होता है, जैसे गलत तारीख या नकली लेखक। वे "शोर" (noise) भी बनाते हैं—ऐसे दस्तावेज़ जो पूरी तरह से अप्रासंगिक हैं लेकिन AI को भ्रमित कर सकते हैं। इस तरह, वे जानते हैं कि AI को वास्तव में क्या खोजना चाहिए और उन्होंने कौन से जाल बिछाए हैं।
उन्होंने इस पाइपलाइन का उपयोग करके डेलीसर्चबेंच (DelegSearchBench) नामक एक नया परीक्षण बनाया, जिसमें 429 पेचीदा प्रश्न हैं। इसके बाद उन्होंने यह देखने के लिए कि AI कैसा प्रदर्शन करता है, दो अलग-अलग तरीकों से अपने परीक्षण चलाए।
सबसे पहले, उन्होंने AI को सभी दस्तावेज़ (असली वाले, नकली वाले और शोर वाले) दिए लेकिन सर्च टूल को बंद कर दिया। इसने दूसरे कौशल का परीक्षण किया: सिंथेसिस एंड वेरिफिकेशन। वे देखना चाहते थे कि क्या AI बिना बाहर जाकर खोजने की आवश्यकता के ढेर सारे झूठों के बीच सच को खोज सकता है। उन्होंने पाया कि यह चौंकाने वाला था: भले ही AI के सामने सभी उत्तर मौजूद थे, फिर भी वह अक्सर विफल हो गया। यह एक ऐसे छात्र की तरह था जिसके डेस्क पर उसकी पाठ्यपुस्तक खुली हुई थी, फिर भी वह सही पृष्ठ नहीं ढूँढ सका। AI इस बात से भ्रमित हो गया कि जानकारी कहाँ रखी गई थी। यदि सही उत्तर दस्तावेज़ों की एक लंबी सूची के बीच में था, तो AI अक्सर उसे चूक गया (इसे "लॉस्ट इन द मिडल" की समस्या के रूप में जाना जाता है)। साथ ही, AI बहुत सुसंगत नहीं था; यदि आप उससे एक ही प्रश्न तीन बार पूछते, तो वह इसे एक बार सही और अन्य दो बार गलत कर सकता था, जो यह दर्शाता है कि वह तर्क करने के बजाय अनुमान लगा रहा था।
दूसरे, उन्होंने AI को केवल कुछ दस्तावेज़ दिए (महत्वपूर्ण दस्तावेज़ों को छोड़ दिया) और सर्च टूल चालू कर दिया। इसने पहले कौशल का परीक्षण किया: सर्च डिसीजन-मेकिंग। वे देखना चाहते थे कि क्या AI को यह एहसास होगा कि उसके पास जानकारी की कमी है और वह खोजने का निर्णय लेगा। यहाँ के परिणाम मिले-जुले थे। कुछ मॉडल बहुत आत्मविश्वासी थे; उन्होंने प्रश्न का उत्तर देने की कोशिश की, भले ही उनके पास तथ्य नहीं थे, जिससे "समय से पूर्व उत्तर देना" (premature answering) हुआ। अन्य बहुत उत्सुक थे; उन्होंने आक्रामक रूप से खोज की लेकिन उन्हें क्या पूछना है यह नहीं पता था, या वे नई जानकारी को अपने पास पहले से मौजूद जानकारी के साथ जोड़ नहीं सके।
इस अध्ययन का सबसे बड़ा निष्कर्ष यह है कि केवल सही उत्तर प्राप्त करना पर्याप्त नहीं है। एक वास्तव में स्मार्ट AI एजेंट को यह पता होना चाहिए कि उस उत्तर को कैसे प्राप्त किया जाए। उसे यह स्वीकार करने के लिए पर्याप्त विनम्र होना चाहिए कि वह कुछ नहीं जानता, सही प्रश्न पूछने के लिए पर्याप्त बुद्धिमान होना चाहिए, और जब उसे कोई झूठ मिले तो उसे पहचानने के लिए पर्याप्त तेज होना चाहिए। लेखक सुझाव देते हैं कि केवल इसलिए कि एक मॉडल सही उत्तर दे सकता है, इसका मतलब यह नहीं है कि वह एक अच्छा "डीप सर्च" एजेंट है। वह केवल भाग्यशाली हो सकता है, या वह जांच के बजाय स्मृति पर निर्भर हो सकता है।
संक्षेप में, यह शोध पत्र दिखाता है कि वर्तमान AI मॉडल अभी भी अच्छे जासूस बनने के तरीके सीख रहे हैं। वे तब पहेलियाँ सुलझाने में माहिर होते हैं जब उनके सामने सभी टुकड़े रख दिए जाते हैं, लेकिन जब उन्हें खुद टुकड़े खोजने पड़ते हैं, खासकर यदि टुकड़ों का डिब्बा नकली टुकड़ों से भरा हो, तो वे संघर्ष करते हैं। कौशलों को अलग-अलग तोड़कर और उनका अलग-अलग परीक्षण करके, शोधकर्ता एक ऐसे AI के निर्माण में मदद करने की आशा करते हैं जो न केवल सही उत्तर का अनुमान लगाए, बल्कि यह भी जानता हो कि उसे ठीक से कैसे ढूँढा जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।