Is Deep Research Reliable? Misleading Knowledge Induces False Conclusions
यह शोध पत्र MisKnow-Agent को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो यह प्रदर्शित करता है कि डीप रिसर्च एजेंट भ्रामक दस्तावेजों से गलत निष्कर्ष अपनाने के प्रति अत्यधिक संवेदनशील होते हैं, जिसमें इंजेक्शन के बाद गलत-निष्कर्ष अपनाने की दर बढ़कर 54.7% हो जाती है, जो यह दर्शाता है कि वर्तमान सत्यापन और रक्षा तंत्र लंबी अवधि की जांच के दौरान ऐसे त्रुटियों को पूरी तरह से रोकने के लिए अपर्याप्त हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक है जो आपके सवालों के जवाब देने के लिए सेकंडों में लाखों किताबें, वेबसाइटें और समाचार लेख पढ़ सकता है। यह सिर्फ अंदाज़ा लगाने वाला कोई चैटबॉट नहीं है; यह एक "डीप रिसर्च" एजेंट है जो एक मिशन की योजना बनाता है, सुरागों की तलाश करता है, सबूतों को पढ़ता है, और एक अंतिम रिपोर्ट लिखता है। इसे एक ऐसे जासूस के रूप में सोचें जो केवल एक गवाह से पूछताछ नहीं करता, बल्कि पूरे शहर का इंटरव्यू लेता है, उनकी कहानियों का मिलान करता है, और फिर एक केस फाइल लिखता है। उम्मीद यह है कि इतनी सारी जानकारी इकट्ठा करके, रोबोट हमेशा सच का पता लगा लेगा। लेकिन यहाँ एक पेंच है: क्या होगा अगर उनमें से कुछ गवाह झूठ बोल रहे हों? क्या होगा अगर उन "तथ्यों" में से कुछ जिन्हें रोबोट पाता है, वास्तव में चतुराई से लिखे गए झूठ हैं जो बिल्कुल सच जैसे दिखते हैं? यह "भ्रामक ज्ञान" (misleading knowledge) की दुनिया है, और यह उन सभी के लिए एक बड़ी चिंता है जो गंभीर शोध के लिए एआई (AI) पर भरोसा करते हैं। यदि रोबोट एक वास्तविक तथ्य और एक ऐसे नकली तथ्य के बीच अंतर नहीं कर पाता है जो बहुत विश्वसनीय लगता है, तो वह एक आत्मविश्वास से भरी गलत रिपोर्ट लिख सकता है।
शोधकर्ताओं की एक टीम ने यह परीक्षण करने का निर्णय लिया कि ये एआई जासूस फर्जी खबरों को पकड़ने में कितने अच्छे हैं। उन्होंने एक विशेष परीक्षण स्थल बनाया जिसे MisKnow-Agent कहा गया। कल्पना कीजिए कि उन्होंने 5,933 फर्जी दस्तावेजों का एक विशाल पुस्तकालय बनाया। ये केवल रैंडम बड़बड़ाहट नहीं थे; इन्हें सावधानीपूर्वक इस तरह तैयार किया गया था कि वे वास्तविक वैज्ञानिक शोध पत्रों, समाचार लेखों, ब्लॉग पोस्ट या सोशल मीडिया अपडेट की तरह दिखें। प्रत्येक दस्तावेज़ एक विशिष्ट, पूरी तरह से मनगढ़ंत निष्कर्ष का समर्थन करता था (जैसे कि "एक नया सॉफ्टवेयर अपडेट उस समस्या को ठीक करता है जो अस्तित्व में ही नहीं है") लेकिन इसे अविश्वसनीय रूप से आधिकारिक लगने के लिए लिखा गया था। फिर उन्होंने इन फर्जी दस्तावेजों को विभिन्न एआई अनुसंधान एजेंटों के पास भेजा, उन्हें वास्तविक खोज परिणामों के साथ मिला दिया, ताकि यह देखा जा सके कि क्या रोबोट को मूर्ख बनाया जा सकता है।
परिणाम थोड़े डरावने थे। जब शोधकर्ताओं ने एआई के खोज परिणामों में इनमें से केवल एक फर्जी दस्तावेज़ डाला, तो गलत निष्कर्ष को अपनाने की दर (जब कोई फर्जी मौजूद नहीं था तब 0% थी) उछलकर 54.7% हो गई। इसका मतलब है कि आधे से अधिक मामलों में, एआई ने अपनी अंतिम रिपोर्ट लिखी और कहा, "हाँ, यह फर्जी चीज़ सच है!" अध्ययन में पाया गया कि एआई इस बात से आसानी से धोखा खा गया कि जानकारी को कैसे प्रस्तुत किया गया था। यदि फर्जी दस्तावेज़ एक औपचारिक अकादमिक पेपर की तरह दिखता था, तो एआई के उसे मानने की संभावना सबसे अधिक थी ( 61.0% की अडॉप्शन दर के साथ)। यदि यह एक सामान्य सोशल मीडिया पोस्ट की तरह दिखता था, तो एआई के इसके झांसे में आने की संभावना कम थी (37.5%)। दिलचस्प बात यह है कि इससे ज्यादा फर्क नहीं पड़ा कि फर्जी दस्तावेज़ एआई द्वारा देखा गया पहला परिणाम था या दसवां; एक बार जब एआई ने इसे देख लिया, तो इसके मानने की संभावना उतनी ही थी।
शोधकर्ताओं ने विभिन्न "रक्षा" रणनीतियों का भी परीक्षण किया, जैसे कि एआई को रिपोर्ट लिखने से पहले अपने तथ्यों की दोबारा जांच करने के लिए कहना। इन रक्षात्मक उपायों ने गलतियों की संख्या को कम करने में मदद की, लेकिन उन्होंने उन्हें पूरी तरह से नहीं रोका। अतिरिक्त जांच के बावजूद, एआई ने कई मामलों में गलत निष्कर्ष अपनाए। अध्ययन बताता है कि केवल एक दस्तावेज़ ढूँढ लेना ही पर्याप्त नहीं है; एआई को शोध करते समय और अंतिम रिपोर्ट लिखते समय लगातार सत्य की पुष्टि करने की आवश्यकता है। पेपर यह निष्कर्ष निकालता है कि हालांकि ये एआई एजेंट शक्तिशाली हैं, लेकिन वे वर्तमान में उस जानकारी के सामने काफी भोले हैं जो विश्वसनीय दिखती है लेकिन वास्तव में एक झूठ है, और हमें उन्हें धोखा खाने से बचाने के लिए बेहतर तरीकों की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।