DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments
यह शोध पत्र DRNOISE को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि डीप रिसर्च एजेंट ओपन-वेब वातावरण में विश्वसनीय दिखने वाले भ्रामक दस्तावेज़ों का सामना करने पर सटीकता में महत्वपूर्ण गिरावट का शिकार होते हैं, जिसका मुख्य कारण "वेरिफिकेशन इनर्शिया" (सत्यापन जड़ता) नामक एक विफलता मोड है जहाँ एजेंट पुष्टिकारक साक्ष्यों के साथ सक्रिय रूप से सामंजस्य बिठाने के बजाय सीधे गलत दावों के प्रति समयपूर्व समर्पण कर देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने वाले जासूस हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष प्रोग्राम होते हैं जिन्हें "डीप रिसर्च एजेंट" कहा जाता है। इन्हें सुपर-पावर्ड इंटर्न की तरह समझें जो हजारों दस्तावेजों को पढ़ सकते हैं, इंटरनेट पर खोज कर सकते हैं और जटिल सवालों के जवाब देने के लिए सुरागों को जोड़ सकते हैं। उनका काम केवल एक ऐसा वाक्य ढूंढना नहीं है जिसमें उत्तर लिखा हो; बल्कि उनका काम बिखरे हुए रिकॉर्ड्स की तह तक जाना, तथ्यों का मिलान करना और एक ठोस मामला बनाने के लिए सबूत जुटाना है, इससे पहले कि वे आपको एक निष्कर्ष दे सकें।
लेकिन यहाँ एक पेचीदा बात है: इंटरनेट एक शोर-शराबे वाली जगह है। यह मददगार तथ्यों से भरा है, लेकिन इसमें पुराने हो चुके रिपोर्ट, भ्रमित करने वाले सारांश और कभी-कभी ऐसे दस्तावेज भी शामिल हैं जो बहुत पेशेवर दिखते हैं लेकिन पूरी तरह से गलत होते हैं। मुख्य सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: जब ये एआई जासूस एक ऐसा दस्तावेज पाते हैं जो बिल्कुल सही उत्तर जैसा दिखता है, तो क्या वे तुरंत उस पर भरोसा करेंगे? या वे उसे नीचे मौजूद बिखरे हुए और कठिन-से-पठनीय साक्ष्यों के साथ दोबारा जांचेंगे? यदि वे चमकदार, आसानी से पढ़े जाने वाले झूठ पर बहुत जल्दी भरोसा कर लेते हैं, तो वे आपको एक आत्मविश्वास से भरा लेकिन पूरी तरह से गलत उत्तर दे सकते हैं। यह "भ्रामक साक्ष्य" (misleading evidence) का खतरा है, और यह वित्त या कानून जैसे वास्तविक दुनिया के कामों में एआई को विश्वसनीय बनाने के लिए एक बड़ी बाधा है।
यहाँ एक नया अध्ययन आता है जिसे DRNOISE कहा जाता है, जो एक जाल की तरह काम करता है ताकि यह देखा जा सके कि ये एआई जासूस वास्तव में कितने स्मार्ट हैं। शोधकर्ताओं ने 100 अलग-अलग पहेलियों वाला एक खेल बनाया। "क्लीन" (साफ) संस्करण में, एआई को सुरागों की दो अलग-अलग कड़ियों को जोड़कर सही उत्तर ढूंढना होता है। यह एक समुद्री डाकू की डायरी के नक्शे को जहाज के कप्तान के लॉगबुक के साथ मिलाने जैसा है; दोनों दस्तावेजों में सीधे तौर पर यह नहीं लिखा होता कि "खजाना यहाँ है", लेकिन जब आप उन्हें एक साथ रखते हैं, तो उत्तर स्पष्ट हो जाता है। एआई को डॉट्स को जोड़ने की कड़ी मेहनत करनी पड़ती है।
फिर, शोधकर्ताओं ने "नॉइजी" (शोर वाला) संस्करण पेश किया। उन्होंने बिल्कुल वही पहेली और वही सुराग लिए, लेकिन उसमें एक अतिरिक्त दस्तावेज डाल दिया। यह नया दस्तावेज एक "नकली सारांश" था—यह एक सामान्य व्यावसायिक रिपोर्ट की तरह दिखता था, लेकिन इसमें बड़े साहस के साथ एक पूरी तरह से गलत उत्तर दिया गया था। यह डिजिटल रूप से एक साइनपोस्ट की तरह था जो गलत दिशा में इशारा कर रहा था, जिस पर बड़े, गहरे अक्षरों में लिखा था, "खजाना यहाँ है!"
परिणाम चौंकाने वाले थे। जब एआई एजेंटों का सामना "क्लीन" पहेलियों से हुआ, तो सबसे स्मार्ट एजेंट लगभग सब कुछ सही कर पाए (कुछ का स्कोर 96% से अधिक था)। लेकिन जैसे ही एक फर्जी, भ्रामक दस्तावेज जोड़ा गया, उनका प्रदर्शन धराशायी हो गया। सबसे अच्छे एजेंटों की सटीकता में 88 प्रतिशत अंक तक की गिरावट देखी गई। कुछ सबसे स्मार्ट मॉडल, जो पहले लगभग सटीक थे, अचानक लगभग हर सवाल का गलत उत्तर देने लगे, जिनका स्कोर 1% सटीकता जितना कम हो गया।
शोधकर्ताओं ने एआई की "सोचने की प्रक्रिया" की गहराई से जांच की ताकि यह देखा जा सके कि ऐसा क्यों हुआ। उन्होंने पाया कि एआई इसलिए विफल नहीं हुआ क्योंकि वह सच को खोजने में असमर्थ था। वास्तव में, एआई अक्सर असली सुरागों और फर्जी दस्तावेज को एक साथ ढूंढ लेता था। समस्या यह थी कि एआई बहुत जल्दी रुक गया। उसने सीधे उत्तर वाले फर्जी दस्तावेज को देखा, सोचा, "ओह, यह बहुत आसान और विश्वसनीय लग रहा है," और उसने खोजना बंद करने का निर्णय लिया। यह "वेरिफिकेशन इनर्शिया" (सत्यापन की जड़ता) के कारण हुआ। यह एक ऐसे जासूस की तरह था जो एक संदिग्ध को अपराधी के रूप में देखता है जो दोषी लग रहा है, और उसे तुरंत गिरफ्तार कर लेता है, जबकि उसने अभी तक उसके अलबी (अन्यत्र होने का प्रमाण) या उंगलियों के निशान की जांच नहीं की है।
अध्ययन में यह भी परीक्षण किया गया कि क्या एआई को केवल यह कहकर ठीक किया जा सकता है कि, "हे, सावधान रहो और अपना काम दोबारा जांचो।" हालांकि इससे थोड़ी मदद मिली, लेकिन इसने समस्या को ठीक नहीं किया। एआई अभी भी चमकदार, सीधे झूठ पर वास्तविक, कठिन-से-पठनीय सच के ऊपर भरोसा करने की प्रवृत्ति रखता था। यहाँ तक कि जब शोधकर्ताओं ने फर्जी दस्तावेज को कम आधिकारिक बनाया (जैसे कि एक औपचारिक रिपोर्ट के बजाय एक रैंडम फोरम पोस्ट), तब भी एआई ज्यादातर समय उसी के झांसे में आ गया।
सबसे खुलासा करने वाला परीक्षण तब हुआ जब शोधकर्ताओं ने एआई को बिना खोज किए एक साथ सभी सुराग दिए। जब एआई ने पूरी तस्वीर देखी—असली सुराग और फर्जी झूठ को अगल-बगल रखा—तो वह आमतौर पर सही उत्तर ढूंढ सका। इससे यह साबित हुआ कि एआई के पास पहेली सुलझाने की क्षमता थी; बस उसमें एक बार रास्ता मिलने के बाद और अधिक खोजने का अनुशासन नहीं था।
संक्षेप में, यह पेपर सुझाव देता है कि यहाँ तक कि सबसे स्मार्ट एआई रिसर्च एजेंटों में भी एक अंध बिंदु (blind spot) होता है। वे जानकारी खोजने में बेहतरीन हैं, लेकिन सत्यापन करने के मामले में वे आश्चर्यजनक रूप से आलसी हैं। यदि कोई दस्तावेज एक सीधा उत्तर जैसा दिखता है, तो वे सोचना बंद कर देते हैं और बस उसे कॉपी कर लेते हैं, भले ही उसके ठीक बगल में मौजूद सबूत उसे गलत साबित करते हों। लेखक निष्कर्ष निकालते हैं कि एआई को वास्तव में विश्वसनीय बनाने के लिए, हमें उन्हें न केवल उत्तर ढूंढना, बल्कि आसान, गलत उत्तरों के प्रलोभन से बचना भी सिखाना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।