Why Your Deep Research Agent Fails? On Hallucination Evaluation in Full Research Trajectory
यह शोध पत्र PING वर्गीकरण (Taxonomy) और DeepHalluBench बेंचमार्क को पेश करके डीप रिसर्च एजेंट्स में परिणाम-आधारित मूल्यांकन की सीमाओं को संबोधित करता है ताकि पूरे अनुसंधान प्रक्षेपवक्र (trajectory) में मतिभ्रम (hallucinations) का प्रक्रिया-जागरूक, सूक्ष्म-स्तरीय ऑडिट सक्षम किया जा सके, जिससे व्यवस्थित विश्वसनीयता अंतराल प्रकट होते हैं और वास्तुशिल्प सुधारों के लिए व्यावहारिक अंतर्दृष्टि प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत ही कठिन सवाल का जवाब खोजने के लिए एक सुपर-स्मार्ट रिसर्च असिस्टेंट को काम पर रखा है। आप उनसे पूछते हैं, "वह एकमात्र व्यक्ति कौन है जिसने उस फिल्म के लिए अभिनय में ऑस्कर जीता है जिसे उन्होंने खुद निर्देशित किया था?" वह इंटरनेट पर जाता है, लेख पढ़ता है, और एक अंतिम रिपोर्ट लेकर वापस आता है।
उनके काम की जाँच करने का पुराना तरीका:
पहले, यदि आप यह जानना चाहते थे कि आपका असिस्टेंट अच्छा है या नहीं, तो आप केवल अंतिम रिपोर्ट देखते थे। यदि नाम सही था, तो उन्हें एक गोल्ड स्टार मिलता था। यदि नाम गलत था, तो उन्हें एक लाल 'X' मिलता था।
समस्या:
यह शोध पत्र तर्क देता है कि केवल अंतिम उत्तर देखकर यह तय करना वैसा ही है जैसे किसी शेफ को केवल सूप के स्वाद से आंकना, बिना यह देखे कि उन्होंने उसे कैसे पकाया। शायद सूप का स्वाद खराब था क्योंकि वे नमक डालना भूल गए (एक छोटी गलती), या शायद उन्होंने फ्रिज के पीछे से एक सड़ा हुआ टमाटर इस्तेमाल किया (एक बड़ी झूठ), या शायद उन्होंने पूरी तरह से गलत व्यंजन बनाना शुरू कर दिया क्योंकि उन्होंने आपके आदेश को गलत समझा।
लेखक कहते हैं कि वर्तमान "डीप रिसर्च एजेंट्स" (AI शोधकर्ता) अपनी प्रक्रिया के दौरान गलतियाँ कर रहे हैं, लेकिन क्योंकि हम केवल अंतिम उत्तर की जाँच करते हैं, हम यह नहीं देख पाते कि वे कहाँ या क्यों विफल हुए। गलतियाँ बीच में छिप जाती हैं।
नया दृष्टिकोण: "प्रोसेस डिटेक्टिव" (प्रक्रिया का जासूस)
लेखकों ने एक नया सिस्टम बनाया है जिसे DeepHalluBench कहा जाता है। इसे एक पारदर्शी रसोई की तरह समझें जहाँ हम असिस्टेंट को कदम-दर-कदम खाना बनाते हुए देख सकते हैं। वे केवल सूप की जाँच नहीं करते; वे हर सामग्री, हर कटाई और हर मिलावट की जाँच करते हैं।
उन्होंने गलतियों को वर्गीकृत करने के लिए एक नया नियम पुस्तिका बनाई है जिसे PING Taxonomy कहा जाता है। यहाँ PING का अर्थ सरल उपमाओं का उपयोग करके समझाया गया है:
P - Propagation (डोमिनो प्रभाव - "एक के बाद एक"):
कल्पना कीजिए कि असिस्टेंट एक पहले चरण में एक छोटी सी गलती करता है, जैसे यह सोचना कि "सेब नीले होते हैं।" दूसरे चरण में, वे उस गलत विचार का उपयोग "नीले सेबों" को खोजने के लिए करते हैं। तीसरे चरण में, वे "नीले सेबों" के बारे में एक रिपोर्ट लिखते हैं। पूरी घटनाओं की श्रृंखला उस पहले झूठ पर आधारित है। यह Propagation है। शोध से पता चला कि एक बार जब AI झूठ बोलना शुरू कर देता है, तो वह अक्सर उस झूठ पर निर्माण करना जारी रखता है, जिससे अंतिम रिपोर्ट पूरी तरह से गलत हो जाती है, भले ही बाद के चरण गलत जानकारी के आधार पर "सही ढंग से" किए गए हों।I - Intent (गलत समझा गया आदेश):
आपने एक "वीगन" रेसिपी मांगी, लेकिन असिस्टेंट ने उस शब्द को अनदेखा कर दिया और आपको स्टेक की रेसिपी दे दी। या आपने "2023" की रिपोर्ट मांगी, और उन्होंने "2010" की रिपोर्ट दे दी। असिस्टेंट ने शोध तो किया, लेकिन उन्होंने आपके विशिष्ट नियमों को नहीं सुना। यह Intent वाला भ्रम (hallucination) है।N - Noise-induced (विचलित लाइब्रेरियन - "शोर के कारण"):
कल्पना कीजिए कि आपका असिस्टेंट लाइब्रेरी जाता है और उसे 100 किताबें मिलती हैं। 99 किताबें बिल्लियों के बारे में हैं, लेकिन 1 किताब उस विशिष्ट कुत्ते के बारे में है जिसके बारे में आपने पूछा था। असिस्टेंट उन सभी 99 बिल्ली वाली किताबों को पढ़ता है और उस एक कुत्ते वाली किताब को अनदेखा कर देता है क्योंकि वह ढेर में दबी हुई है। उन्होंने झूठ नहीं बोला, लेकिन उन्होंने सबसे महत्वपूर्ण सुराग को मिस कर दिया। यह Noise-induced भ्रम है।G - Grounding (नकली तथ्य):
असिस्टेंट एक वास्तविक लेख देखता है लेकिन फिर कहता है, "यह लेख कहता है कि चंद्रमा पनीर से बना है।" लेख वास्तव में पनीर के बारे में कुछ भी नहीं कहता। असिस्टेंट मनगढ़ंत बातें बना रहा है या गलत स्रोत का दोष दे रहा है। यह Grounding भ्रम है।
उन्होंने क्या पाया (परिणाम)
लेखकों ने 100 बहुत कठिन सवालों पर छह प्रसिद्ध AI रिसर्च असिस्टेंट्स (जैसे OpenAI, Google आदि से) का उपयोग करके अपने नए "प्रोसेस डिटेक्टिव" सिस्टम के साथ परीक्षण किया।
- हर कोई संघर्ष कर रहा है: सबसे अच्छे AI असिस्टेंट भी अपने शोध के बीच में गलतियाँ कर रहे थे। कोई भी परफेक्ट नहीं था।
- "डोमिनो" सबसे बड़ी समस्या है: सबसे खतरनाक मुद्दा केवल एक झूठ बोलना नहीं था; बल्कि यह था कि AI शुरुआत में एक छोटी सी गलती करता था, और फिर बाकी का शोध उस गलती पर बनाया जाता था, जिससे पूरी विफलता होती थी।
- वे जो पहली चीज़ देखते हैं उसी पर अटक जाते हैं: AI अक्सर अपने खोज परिणामों के पहले कुछ हिस्सों पर बहुत अधिक ध्यान केंद्रित करता है (जैसे कि एक व्यक्ति जो एक किताब के पहले कुछ पन्ने पढ़ता है और मान लेता है कि वह पूरी कहानी जानता है)। यदि उत्तर पेज 50 पर है, तो AI अक्सर उसे मिस कर देता है।
- वे "बोरिंग" उत्तरों को पसंद करते हैं: यदि AI को पाँच लेख मिलते हैं जो एक ही बात कहते हैं, तो वह उन्हें बहुत पसंद करता है। यदि उसे एक अनूठा लेख मिलता है जो कुछ अलग कहता है, तो वह अक्सर उसे अनदेखा कर देता है।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि केवल AI को "स्मार्टर" बनाना या उसे अधिक इंटरनेट एक्सेस देना पर्याप्त नहीं है। समस्या यह है कि AI खोज करते समय कैसे "सोचता" है।
इसे ठीक करने के लिए, हमें ऐसा AI बनाने की आवश्यकता है जो:
- अपनी गलतियों को जल्दी पकड़ सके (इससे पहले कि वे डोमिनो प्रभाव में बदल जाएं)।
- आपके द्वारा दिए गए विशिष्ट नियमों को बेहतर ढंग से सुन सके।
- जो पहली चीज़ देखने पर न अटके, बल्कि सबसे अच्छे उत्तर की तलाश जारी रखे।
संक्षेप में, हम अब केवल अंतिम रिपोर्ट को ग्रेड नहीं कर सकते। हमें यह समझने के लिए पूरी फिल्म देखनी होगी कि AI क्यों विफल हुआ।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।