HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning
यह शोधपत्र HopRefusalBench प्रस्तुत करता है, जो पहला बेंचमार्क है जिसे यह मूल्यांकन करने के लिए डिज़ाइन किया गया है कि सर्च-ऑगमेंटेड एजेंट अनुत्तरित मल्टी-हॉप प्रश्नों को कैसे संभालते हैं, जो यह प्रकट करता है कि हालांकि मॉडल अक्सर अनुत्तरित होने के सही कारण की पहचान कर सकते हैं, वे अक्सर उचित इनकार (रिफ्यूज़ल) करने में विफल रहते हैं, और इसके बजाय मतिभ्रम (hallucinations) का सहारा लेते हैं या सर्च बजट को समाप्त कर देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने के लिए एक बेहद बुद्धिमान जासूस को काम पर रख रहे हैं। इस जासूस के पास एक जादुई पुस्तकालय है जहाँ वह तुरंत पहुँच सकता है, और वह उत्तर खोजने के लिए विभिन्न पुस्तकों के बीच कड़ियों को जोड़ने में माहिर है। आधुनिक "सर्च-ऑगमेंटेड" (Search-Augmented) AI एजेंट इसी तरह काम करते हैं: वे बड़े भाषा मॉडल (Large Language Models) हैं जो बाहर जाकर इंटरनेट (या डेटाबेस) पर खोज कर सकते हैं और आपके प्रश्नों का उत्तर देने के लिए जानकारी को जोड़ सकते हैं। आमतौर पर, यह अद्भुत होता है। लेकिन क्या होता है जब आप ऐसा प्रश्न पूछते हैं जिसका उत्तर दिया ही नहीं जा सकता? शायद आप पूछते हैं, "फ्रांस का वर्तमान राजा कौन है?" (वहाँ कोई नहीं है), या "उस व्यंजन में गुप्त सामग्री क्या है जिसका अस्तित्व ही नहीं है?"
AI की दुनिया में, यह जानना कि कब उत्तर नहीं देना है, उतना ही महत्वपूर्ण है जितना कि यह जानना कि उत्तर कैसे देना है। यदि आपका जासूस पुस्तकालय में खुदाई करता रहता है, एक फर्जी राजा का आविष्कार करता है, या अस्तित्वहीन सामग्री की तलाश में घंटों बर्बाद करता है, तो वह मददगार नहीं हो रहा है; वह जिद्दी और लापरवाह हो रहा है। वैज्ञानिक इसे "रिफ्यूजल" (Refusal - मना करना) कहते हैं—यह समझने की क्षमता कि "मैं इसका उत्तर नहीं दे सकता क्योंकि प्रश्न ही त्रुटिपूर्ण है।" हालांकि हम जानते हैं कि ये AI जासूस कठिन पहेलियों को सुलझाने में बेहतर हो रहे हैं, लेकिन हमें वास्तव में यह नहीं पता था कि जब पहेली को सुलझाना असंभव हो, तो वे कैसा व्यवहार करते हैं। क्या वे जल्दी रुक जाते थे? क्या वे भ्रमित हो जाते थे? या क्या वे बस मनगढ़ंत बातें बनाने लगते थे?
यह शोध पत्र एक नया परीक्षण पेश करता है जिसे HopRefusalBench कहा जाता है, ताकि यह पता लगाया जा सके कि ये AI जासूस असंभव प्रश्नों को वास्तव में कैसे संभालते हैं। शोधकर्ताओं ने 889 पेचीदा प्रश्न बनाए जो AI को फँसाने के लिए डिज़ाइन किए गए थे। उन्होंने केवल सरल "मुझे नहीं पता" वाले प्रश्न नहीं पूछे; उन्होंने जटिल, बहु-चरणीय रहस्य बनाए जहाँ जाल शुरुआत में, बीच के सुरागों में, या बिल्कुल अंत में हो सकता था। वे यह देखना चाहते थे कि क्या AI जल्दी ही समझ जाएगा कि प्रश्न त्रुटिपूर्ण है, या वह खोज जारी रखेगा और अंततः कल्पना (Hallucinate) करके उत्तर बना देगा।
परिणाम थोड़े चौंकाने वाले थे। परीक्षण में शामिल सबसे स्मार्ट AI मॉडल भी केवल 42.9% बार सही ढंग से रुक पाए और कह सके कि "मैं इसका उत्तर नहीं दे सकता।" इसका मतलब है कि आधे से अधिक समय, वे यह पहचानने में विफल रहे कि प्रश्न असंभव था। अध्ययन में पाया गया कि AI मॉडल सबूत मिलने के बाद यह पहचानने में काफी अच्छे थे कि प्रश्न क्यों त्रुटिपूर्ण था (84% से अधिक बार वे तर्क समझा सकते थे), लेकिन वास्तव में रुकने के लिए प्रतिबद्ध होने में उन्हें संघर्ष करना पड़ा। "मैं हार मानता हूँ" कहने के बजाय, वे अक्सर तब तक खोजते रहते थे जब तक कि उनका समय या ऊर्जा समाप्त न हो जाए, या वे उपयोगकर्ता को संतुष्ट करने के लिए एक फर्जी उत्तर गढ़ लेते थे।
शोधकर्ताओं ने यह भी पाया कि प्रश्न में "जाल" कहाँ रखा गया है, इससे बहुत फर्क पड़ता है। जब समस्या तर्क की श्रृंखला के बीच में होती (जैसे दो द्वीपों के बीच एक टूटा हुआ पुल), तो AI के लिए रुकना बहुत कठिन था, तुलनात्मक रूप से तब जब समस्या बिल्कुल अंत में होती। इसके अलावा, असंभव प्रश्न के प्रकार ने यह बदल दिया कि AI कैसे विफल होता है: कुछ मॉडल तथ्य गढ़ने (Hallucinate) की प्रवृत्ति रखते थे, जबकि अन्य बजट खत्म होने तक बस खोजते ही रहते थे।
संक्षेप में, यह शोध पत्र दिखाता है कि हालांकि हमारे AI जासूस जानकारी खोजने में बेहतर हो रहे हैं, लेकिन वे यह जानने में अभी भी बहुत खराब हैं कि कब रुकना है। वे अक्सर खोज के एक लूप में फंस जाते हैं या बस मनगढ़ंत बातें बनाने लगते हैं, बजाय इसके कि वे स्वीकार करें कि प्रश्न ही दोषपूर्ण है। लेखक सुझाव देते हैं कि इन AI एजेंटों को वास्तव में विश्वसनीय होने के लिए, हमें उन्हें न केवल खोजना सिखाना होगा, बल्कि यह भी सिखाना होगा कि डेड एंड (बंद रास्ता) को कैसे पहचानें और समय बर्बाद करने या गलत सूचना फैलाने से पहले कैसे रुकें। अच्छी खबर यह है कि अब हमारे पास एक मानचित्र (HopRefusalBench) है जो हमें ठीक से निदान करने में मदद करता है कि वे कहाँ विफल हो रहे हैं और इसे कैसे ठीक किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।