From Inertia to Objectivity: Improving Deep Research Agents with Noise Isolation
यह शोध पत्र "इनर्शिया बायस" (inertia bias) की पहचान और मात्रा निर्धारण करता है, जो एक ऐसी घटना है जहाँ LLM-आधारित अनुसंधान एजेंट अपने स्वयं के पूर्व कार्यों का मूल्यांकन करते समय कम निष्पक्ष हो जाते हैं, और इस पूर्वाग्रह को कम करने के लिए शोर अलगाव तंत्र (noise isolation mechanisms) के साथ NIS-Agent फ्रेमवर्क का प्रस्ताव करता है, जो डीप रिसर्च बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन प्राप्त करने के साथ-साथ टोकन लागत को महत्वपूर्ण रूप से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल युग में, हमने ऐसी कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) का निर्माण किया है जो एक शोधकर्ता की तरह कार्य कर सकती है। ये प्रोग्राम, जिन्हें अक्सर 'एजेंट' कहा जाता है, इंटरनेट ब्राउज़ कर सकते हैं, हजारों लेख पढ़ सकते हैं, और जटिल प्रश्नों के उत्तरों को जोड़ सकते हैं जिन्हें हल करने में एक मनुष्य को घंटों लग सकते हैं। वे एक बड़े प्रश्न को छोटे चरणों में तोड़कर, जानकारी खोजकर और जो उन्हें मिलता है उसके आधार पर यह तय करके कि आगे क्या करना है, काम करते हैं। यह प्रक्रिया कंप्यूटर द्वारा लगातार अपने काम की जांच करने पर निर्भर करती है, जैसे कि "क्या मुझे वह मिला जो मैं खोज रहा था?" और "क्या मुझे जारी रखना चाहिए या रुक जाना चाहिए?" इन प्रणालियों के वास्तव में उपयोगी होने के लिए, उन्हें यह स्वीकार करने में सक्षम होना चाहिए कि वे गलत हैं और अपनी दिशा बदलने में सक्षम होना चाहिए। यदि कोई खोज किसी मृत अंत (डेड एंड) की ओर ले जाती है, तो एजेंट में उस पथ को छोड़ने और एक नया पथ आज़माने की वस्तुनिष्ठता होनी चाहिए।
हालाँकि, शोधकर्ताओं ने इन बुद्धिमान प्रणालियों के सोचने के तरीके में एक छिपे हुए दोष की खोज की है। जब एक एजेंट कोई खोज क्वेरी (सर्च क्वेरी) या योजना बनाता है, तो वह उस विचार से अजीब तरह से जुड़ जाता है। भले ही उसे मिलने वाले परिणाम स्पष्ट रूप से अप्रासंगिक या गलत हों, एजेंट अपने मूल चुनाव को छोड़ने में संघर्ष करता है। यह ऐसा है जैसे कि सिस्टम अपने पिछले कार्यों का निष्पक्षता से मूल्यांकन करने के लिए अपने स्वयं के पिछले कार्यों में बहुत अधिक निवेशित हो जाता है। यह घटना, जिसे शोधकर्ता 'इनर्टिया बायस' (जड़ता का पूर्वाग्रह) कहते हैं, एजेंट को अनुत्पादक पथों का पीछा करने में समय बर्बाद करने और उस साक्ष्य को अनदेखा करने के लिए मजबूर करती है जो उसके प्रारंभिक योजना के विपरीत है। समस्या यह नहीं है कि कंप्यूटर के पास जानकारी की कमी है; समस्या यह है कि कंप्यूटर कुछ क्षण पहले किए गए अपने निर्णयों के बारे में निष्पक्ष रहने की अपनी क्षमता खो देता है।
जेज़ियांग विश्वविद्यालय और अलीबाबा ग्रुप के शोधकर्ताओं की एक टीम ने इस समस्या को मापने और इसे ठीक करने का तरीका खोजने का लक्ष्य रखा। उन्होंने यह देखने के लिए एक विशिष्ट परीक्षण बनाना शुरू किया कि यह पूर्वाग्रह निर्णय लेने को कितना प्रभावित करता है। उन्होंने एक परिदृश्य तैयार किया जहाँ एक कंप्यूटर एजेंट को यह तय करना था कि खोज परिणामों के आधार पर खोज जारी रखनी है या रुकना है। परीक्षण के एक संस्करण में, एजेंट ने परिणामों को इस तरह देखा जैसे कि वे उसकी अपनी हालिया खोज का परिणाम हों। दूसरे संस्करण में, वही सटीक परिणाम एक बाहरी स्रोत से प्राप्त तटस्थ जानकारी के रूप में प्रस्तुत किए गए थे। अंतर चौंकाने वाला था। जब एजेंट का मानना था कि परिणाम उसके अपने कार्य से आए हैं, तो वह खराब जानकारी को खारिज करने में बहुत कम सक्षम था। वह अपने मूल प्रश्न से तब भी चिपका रहा जब साक्ष्य संकेत दे रहे थे कि वह गलत था। जब परिणाम बाहरी तथ्यों के रूप में प्रस्तुत किए गए, तो वही कंप्यूटर मृत अंतों को पहचानने और मार्ग बदलने में बहुत बेहतर था। इस प्रयोग ने सिद्ध कर दिया कि पिछले कार्य का "स्वामित्व" होने मात्र से सिस्टम कम वस्तुनिष्ठ हो जाता है।
शोधकर्ताओं ने पाया कि यह पूर्वाग्रह दो विशिष्ट प्रकार का 'शोर' (नॉइज़) पैदा करता है जो गहन शोध की गुणवत्ता को खराब कर देता है। पहला तब होता है जब 'वर्कर' (श्रमिक) के स्तर पर, जो सिस्टम का वह हिस्सा है जो वास्तव में वेब पर खोज करता है। इनर्टिया बायस के कारण, वर्कर उन लिंक्स पर क्लिक करना जारी रखता है जो थोड़े बहुत प्रासंगिक दिखते हैं लेकिन वास्तव में बेकार होते हैं, केवल इसलिए क्योंकि उसने उस सर्च टर्म को बनाया था जिसने उन्हें खोजा था। यह समय बर्बाद करता है और सिस्टम की मेमोरी को कचरे से भर देता है। दूसरा प्रकार का शोर 'मैनेजर' (प्रबंधक) के स्तर पर होता है, जो समग्र रणनीति की योजना बनाता है। यदि मैनेजर शुरुआत में एक छोटी सी गलती करता है, तो वह बाद के साक्ष्यों को अनदेखा करने लगता है जो उसकी गलती का खंडन करते हैं। पूरी तस्वीर का पुनर्मूल्यांकन करने के बजाय, वह चुनिंदा रूप से उस जानकारी को चुनता है जो उसकी मूल, त्रुटिपूर्ण योजना का समर्थन करती है, जिससे गलत अंतिम उत्तर मिलते हैं।
इसे हल करने के लिए, टीम ने NIS-Agent नामक एक नया सिस्टम बनाया। मूल विचार सरल लेकिन प्रभावी है: निर्णय लेने की प्रक्रिया को उन कार्यों के इतिहास से अलग करना जो निर्णय को धुंधला कर सकते हैं। उन्होंने इसे प्राप्त करने के लिए दो विशिष्ट उपकरण पेश किए। पहले, वर्कर के लिए, उन्होंने एक फिल्टर बनाया जो खोज क्वेरी के संदर्भ के बिना खोज परिणामों को देखता है। यह सिस्टम को किसी वेबपेज की प्रासंगिकता को उसके पिछले गलत निर्णय से जोड़ने के बजाय, केवल उसकी सामग्री के आधार पर परखने की अनुमति देता है। यदि पेज उपयोगी नहीं है, तो सिस्टम उसे तुरंत त्याग सकता है और एक नई खोज कर सकता है। दूसरे, मैनेजर के लिए, उन्होंने एक सत्यापन चरण बनाया जो अंतिम तर्क को छोटे, अलग-अलग टुकड़ों में तोड़ देता है। प्रत्येक टुकड़े की स्वतंत्र रूप से जाँच की जाती है कि क्या तर्क सही है, बिना इस दबाव के कि पूरी बातचीत का इतिहास निर्णय को प्रभावित करे।
इस नए दृष्टिकोण के परिणाम महत्वपूर्ण थे। कठिन अनुसंधान बेंचमार्क पर परीक्षण किए जाने पर, नया सिस्टम मौजूदा तरीकों की तुलना में बेहतर प्रदर्शन करता है और बहुत कम कंप्यूटर संसाधनों का उपयोग करता है। वास्तव में, इसने डेटा की मात्रा को लगभग एक-तिहाई तक कम कर दिया, क्योंकि इसने अप्रासंगिक पेजों पर समय बर्बाद करना बंद कर दिया। शोधकर्ताओं ने एक छोटे, ओपन-सोर्स मॉडल को भी स्वाभाविक रूप से इस पूर्वाग्रह के प्रति प्रतिरोधी होने के लिए प्रशिक्षित किया। यह छोटा मॉडल, उनके नए ढांचे का उपयोग करते हुए, गहन अनुसंधान कार्यों पर बहुत बड़े और महंगे व्यावसायिक मॉडलों के समान प्रदर्शन करता है।
यह अध्ययन पुष्टि करता है कि वस्तुनिष्ठ होने की क्षमता केवल अधिक डेटा या अधिक स्मार्ट मस्तिष्क के बारे में नहीं है; यह इस बारे में है कि सिस्टम अपने इतिहास को कैसे देखता है। अपने निर्णयों को अलग-थलग करके देखकर, शोधकर्ताओं ने दिखाया कि कृत्रिम बुद्धिमत्ता को अपनी जिद को दूर करने के लिए सिखाया जा सकता है। इसका मतलब यह नहीं है कि समस्या पूरी तरह से हल हो गई है, क्योंकि सिस्टम अभी भी गलतियाँ कर सकता है, लेकिन यह एक स्पष्ट मार्ग प्रदान करता है। यह कार्य सुझाव देता है कि AI को जटिल अनुसंधान में एक विश्वसनीय साथी बनने के लिए, इसे ऐसे तंत्रों के साथ डिज़ाइन किया जाना चाहिए जो इसे अपने पूर्वाग्रहों को भूलने और तथ्यों को उनके अपने गुणों के आधार पर परखने की अनुमति दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।