Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems
यह शोधपत्र मल्टीमॉडल सिस्टम में प्रभावी अपवर्जन (abstention) का मूल्यांकन करने के लिए MM-AQA बेंचमार्क प्रस्तुत करता है, जो यह प्रकट करता है कि वर्तमान विजन-लैंग्वेज और मल्टी-एजेंट मॉडल शायद ही कभी अनुत्तरित प्रश्नों से अपवर्जन करते हैं और इस क्षमता में सुधार के लिए बेहतर प्रॉम्प्टिंग या एजेंट जटिलता बढ़ाने के बजाय अपवर्जन-जागरूक प्रशिक्षण की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Knowing When Not to Answer" पेपर का सरल भाषा और कुछ रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।
मुख्य विचार: "मौन" रहने की महाशक्ति
कल्पना कीजिए कि आपने अपराधों को सुलझाने के लिए एक बेहद बुद्धिमान, सुपर-फास्ट जासूस (एक AI) को काम पर रखा है। यह जासूस उन मामलों को सुलझाने में अद्भुत है जहाँ सभी सुराग मेज पर रखे होते हैं। लेकिन समस्या यह है: यह जासूस बहुत अधिक आत्मविश्वासी है।
यदि आप जासूस को एक ऐसा अपराध स्थल दिखाते हैं जहाँ एक उंगली का निशान गायब है और संदिग्ध की डायरी का एक फटा हुआ पन्ना है, तो जासूस यह नहीं कहेगा, "मैं इसे हल नहीं कर सकता।" इसके बजाय, वह एक कहानी बना लेगा, उंगली के निशान का अनुमान लगाएगा, और फटे हुए पन्ने के लिए एक कारण गढ़ लेगा। वह आपकी खुशी के लिए इतना उत्सुक है कि वह सच बोलने के बजाय आपसे झूठ बोलना पसंद करेगा।
यह पेपर AI को वह काम सिखाने के बारे में है जो इंसान स्वाभाविक रूप से करते हैं लेकिन AI संघर्ष करता है: यह जानना कि कब चुप रहना है।
AI की दुनिया में, इसे Abstention (परहेज/अब्रैक्शन) कहा जाता है। यह एक सवाल को देखने, यह महसूस करने की क्षमता है कि सबूत गायब या भ्रमित करने वाले हैं, और अनुमान लगाने के बजाय यह कहना है, "मुझे नहीं पता।"
समस्या: "हाँ में हाँ मिलाने वाला" AI
लेखक बताते हैं कि वर्तमान AI मॉडल (जिन्हें विजन-लैंग्वेज मॉडल्स कहा जाता है) अति-उत्साही इंटर्न की तरह हैं।
- इंटर्न की मानसिकता: "मेरे बॉस ने एक सवाल पूछा है! मुझे जवाब देना ही होगा! भले ही मैं पक्का न होऊँ, मैं अंदाज़ा लगा लूँगा!"
- खतरा: वास्तविक जीवन में, जैसे कि मेडिकल डायग्नोसिस या कानूनी समीक्षा में, एक गलत अनुमान विनाशकारी हो सकता है। यदि एक AI धुंधले एक्स-रे को देखकर अनुमान लगाता है कि "यह टूटी हुई हड्डी है" जबकि वह वास्तव में केवल एक छाया है, तो मरीज को चोट लग सकती है।
पेपर का तर्क है कि हमें AI का परीक्षण केवल उन सवालों पर करना बंद करना चाहिए जहाँ उत्तर स्पष्ट होता है। हमें उनका परीक्षण उन सवालों पर करने की आवश्यकता है जहाँ उत्तर "मुझे नहीं पता" होना चाहिए।
समाधान: एक "ट्रिक" परीक्षा बनाना (MM-AQA)
यह परीक्षण करने के लिए कि क्या AI विनम्र होना सीख सकता है, शोधकर्ताओं ने एक नई परीक्षा बनाई जिसे MM-AQA कहा जाता है।
इसे एक जादुई करतब के शो की तरह समझें।
- सेटअप: उन्होंने सामान्य, हल किए जाने योग्य प्रश्न लिए (जैसे "इस फोटो में कार का रंग क्या है?")।
- ट्रिक: उन्होंने गुप्त रूप से सवालों में छेड़छाड़ की ताकि उन्हें हल करना असंभव हो जाए।
- विजुअल छेड़छाड़ (Visual Sabotage): उन्होंने कार की फोटो ली और कार को एक बड़े काले बॉक्स से ढक दिया, या उसे इतना धुंधला कर दिया कि वह रंगों का मिश्रण दिखने लगा।
- टेक्स्ट छेड़छाड़ (Text Sabotage): उन्होंने सवाल को बदलकर ऐसा बना दिया जो तस्वीर में मौजूद ही नहीं है (जैसे, "कार का लाइसेंस प्लेट क्या है?" जबकि प्लेट छिपी हुई है)।
- विरोधाभास (Contradiction): उन्होंने एक नोट जोड़ दिया कि "कार लाल है" जबकि तस्वीर स्पष्ट रूप से एक नीली कार दिखा रही है।
उन्होंने ऐसे 2,079 "ट्रिक" सवाल बनाए। लक्ष्य क्या था? यह देखना कि क्या AI इस ट्रिक को पकड़ पाता है और कहता है, "मैं इसका उत्तर नहीं दे सकता," या क्या वह गलत उत्तर का आत्मविश्वास से अनुमान लगाता है।
प्रयोग: अकेला जासूस बनाम टीम (The Squad)
शोधकर्ताओं ने तीन प्रकार के AI सिस्टम का परीक्षण किया:
अकेला जासूस (Single AI): एक ही AI मॉडल सब कुछ हल करने की कोशिश करता है।
- परिणाम: यह बुरी तरह विफल रहा। जब सुराग गायब थे, तब भी यह अनुमान लगाता रहा। यह उस जासूस की तरह था जो यह मानने से इनकार करता है कि केस ठंडा पड़ चुका है।
द स्क्वाड (Multi-Agent System): उन्होंने तीन AI की एक टीम बनाई:
- द रीज़नर (The Reasoner): केस को सुलझाने की कोशिश करता है।
- द वेरीफायर (The Verifier): एक सख्त सुपरवाइजर की तरह काम करता है। यह रीज़नर के काम की जाँच करता है और पूछता है, "क्या तुम पक्का हो? क्या वास्तव में हमारे पास पर्याप्त सबूत हैं?"
- द मैनेजर (The Manager): यह तय करता है कि बातचीत कब रोकनी है।
- परिणाम: टीम "मुझे नहीं पता" कहने में बहुत बेहतर थी। वेरीफायर अक्सर रीज़नर को अनुमान लगाने से रोकता था।
- एक कमी: टीम इतनी सतर्क थी कि कभी-कभी वे उन सवालों के जवाब देने से भी मना कर देते थे जिन्हें वे हल कर सकते थे। यह उन जासूसों की टीम की तरह है जो गलती करने से इतने डरते हैं कि वे कभी कोई केस सुलझा ही नहीं पाते।
"अत्यधिक दबाव" का परीक्षण: शोधकर्ताओं ने AI से कहा, "यदि आपने गलत अनुमान लगाया, तो आपको नौकरी से निकाल दिया जाएगा!"
- परिणाम: AI ने अधिक बार "मुझे नहीं पता" कहना शुरू कर दिया। इससे यह साबित हुआ कि AI के पास यह जानने की क्षमता थी कि उसे क्या नहीं पता, लेकिन वह आमतौर पर जवाब देने के लिए इतना उत्सुक था कि अपनी इस क्षमता का उपयोग नहीं कर पा रहा था।
मुख्य निष्कर्ष (कहानी की सीख)
- AI अति-आत्मविश्वासी है: वर्तमान AI मॉडल अज्ञानता स्वीकार करने में बहुत खराब हैं। वे चुप रहने के बजाय चीजें बनाने (hallucinate) को प्राथमिकता देते हैं।
- अधिक एजेंटों से मदद मिलती है, लेकिन इसकी एक कीमत है: AI की एक टीम का उपयोग करने से उन्हें यह पहचानने में मदद मिलती है कि वे क्या नहीं जानते, लेकिन इससे वे बहुत अधिक सतर्क हो जाते हैं, जिससे एक ट्रेड-ऑफ होता: वे झूठ बोलने में तो बेहतर हो जाते हैं, लेकिन आसान समस्याओं को सुलझाने में कमजोर हो जाते हैं।
- यह "ज़्यादा सोचने" के बारे में नहीं है: AI को लंबे समय तक सोचने या अधिक जटिल तर्क (reasoning) का उपयोग करने के लिए कहने से समस्या हल नहीं हुई। मुद्दा यह नहीं है कि वे पर्याप्त स्मार्ट नहीं हैं; बल्कि यह है कि वे गलत तरीके से कैलिब्रेटेड (miscalibrated) हैं। वे अपनी अनिश्चितता पर भरोसा नहीं करते।
- समाधान केवल प्रॉम्प्ट नहीं है: आप केवल AI को यह कहकर कि "कृपया विनम्र रहें" काम नहीं चला सकते। पेपर सुझाव देता है कि हमें इन मॉडल्स को बुनियादी स्तर से फिर से प्रशिक्षित (retrain) करने की आवश्यकता है ताकि वे "मुझे नहीं पता" को एक सही उत्तर के समान ही महत्व दें।
निचोड़
कल्पना कीजिए कि एक GPS है, जो जब आप उससे ऐसी जगह का रास्ता पूछते हैं जो अस्तित्व में ही नहीं है, तो वह आपको झील में नहीं ले जाता। इसके बजाय, वह कहता है, "मुझे वह जगह नहीं मिल रही है, चलिए नक्शा फिर से देखते हैं।"
यह पेपर एक चेतावनी है: हमें ऐसा AI बनाना चाहिए जो अपनी सीमाओं को जानता हो। जब तक हम उन्हें "मुझे नहीं पता" कहने में उतना ही आत्मविश्वास नहीं सिखाते जितना वे "उत्तर 42 है" कहने में दिखाते हैं, हम पूरी तरह से चिकित्सा या कानून जैसे महत्वपूर्ण कामों के लिए उन पर भरोसा नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।