Clarify, Abstain or Answer? Strategising in Conversation with Belief-Augmented Generation
यह शोध पत्र बिलीफ-ऑगमेंटेड जनरेशन (BAG) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो कई सैम्पल की गई प्रतिक्रियाओं से प्राप्त एलएलएम (LLM) की अपनी बिलीफ स्टेट (belief state) का लाभ उठाता है ताकि अस्पष्ट बातचीत में उत्तर देने, स्पष्टीकरण माँगने या परहेज करने का स्वायत्त रूप से निर्णय लिया जा सके, जिससे मानक प्रॉम्प्टिंग की तुलना में सटीकता और स्ट्रैटेजी फेथफुलनेस (strategy faithfulness) में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Clarify, Abstain or Answer? Strategising in Conversation with Belief-Augmented Generation" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ स्पष्टीकरण दिया गया है।
मुख्य समस्या: "अति-आत्मविश्वासी" AI
कल्पना कीजिए कि आप एक बड़े लैंग्वेज मॉडल (LLM) से एक पेचीदा सवाल पूछते हैं, जैसे: " 'Gimme Shelter' में महिला भाग किसने गाया था?"
यदि आप एक मानक AI से पूछते हैं, तो वह आमतौर पर बस एक उत्तर चुन लेगा और पूरे आत्मविश्वास के साथ कहेगा, भले ही वह केवल अनुमान लगा रहा हो। वह कह सकता है, "यह मेरी क्लेटन (Merry Clayton) थी," बिना यह समझे कि यदि आपका मतलब लाइव टूर वाले संस्करण से था, तो उत्तर वास्तव में "लिसा फिशर" (Lisa Fischer) है। AI को यह पता नहीं चलता कि वह अनिश्चित है; वह बस एक सर्वज्ञ (know-it-all) की तरह व्यवहार करता है।
शोधकर्ताओं ने पाया कि ये मॉडल शायद ही कभी कहते हैं, "मुझे नहीं पता कि आपका मतलब किससे है," या "मुझे उत्तर नहीं पता।" वे बस अंदाज़ा लगाते हैं।
समाधान: "बलीफ-ऑगमेंटेड जनरेशन" (BAG)
लेखक एक नई विधि प्रस्तावित करते हैं जिसे बलीफ-ऑगमेंटेड जनरेशन (BAG) कहा जाता है। इसे बोलने से पहले AI को एक "सोचने का कमरा" देने के रूप में समझें।
केवल एक उत्तर उत्पन्न करने के बजाय, AI को पहले उसी प्रश्न के लिए 10 अलग-अलग संभावित उत्तर उत्पन्न करने के लिए कहा जाता है। फिर वह इस 10 उत्तरों की सूची को देखता है (जिसे शोध पत्र में उसका "बलीफ स्टेट" कहा गया है) और खुद से पूछता है: "ये 10 उत्तर मुझे यह बताने में क्या मदद करते हैं कि मैं कितना आश्वस्त हूँ?"
उस सूची के आधार पर, AI तीन रणनीतियों में से एक चुनता है:
- सीधे उत्तर देना (Answer Directly): यदि सभी 10 उत्तर मूल रूप से एक ही हैं (जैसे, सभी 10 कहते हैं "मेरी क्लेटन"), तो AI जानता है कि वह आश्वस्त है। वह सीधा उत्तर देता है।
- उपमा: यह एक जूरी की तरह है जहाँ 10 जूरी सदस्य एक ही फैसले पर सहमत होते हैं। फोरमैन बस परिणाम की घोषणा कर देता है।
- स्पष्टीकरण मांगना (Clarify): यदि 10 उत्तर दो अलग-अलग समूहों में विभाजित हैं (जैसे, 5 कहते हैं "मेरी क्लेटन" और 5 कहते हैं "लिसा फिशर"), तो AI को एहसास होता है कि प्रश्न अस्पष्ट है। अनुमान लगाने के बजाय, वह स्पष्टीकरण के लिए उपयोगकर्ता से पूछता है।
- उपमा: यह एक वेटर की तरह है जो एक मेज से "स्पेशल" ऑर्डर सुनता है लेकिन मेनू पर दो अलग-अलग स्पेशल देखता है। अनुमान लगाने के बजाय, वेटर पूछता है, "क्या आपका मतलब स्टेक से है या मछली से?"
- परहेज करना या न कहना (Abstain - "मुझे नहीं पता" कहना): यदि 10 उत्तर इधर-उधर बिखरे हुए हैं और एक-दूसरे का खंडन करते हैं (जैसे, एक कहता है "मेरी क्लेटन," दूसरा कहता है "द बीटल्स," तीसरा कहता है "एक रोबोट"), तो AI को एहसास होता है कि उसे तथ्यों का ज्ञान नहीं है। वह विनम्रता से उत्तर देने से मना कर देता है।
- उपमा: यह एक जासूस की तरह है जिसे 10 अलग-अलग संदिग्ध मिलते हैं लेकिन किसी को भी अपराध से जोड़ने वाला कोई सबूत नहीं मिलता। जासूस स्वीकार करता है, "मैं इसे अभी हल नहीं कर सकता," बजाय इसके कि किसी को भी बिना सबूत के गिरफ्तार कर ले।
उन्होंने इसका परीक्षण कैसे किया
शोधकर्ताओं ने इसका परीक्षण "अस्पष्ट प्रश्नों" (वे प्रश्न जिनके कई अर्थ हो सकते हैं) के एक डेटासेट पर किया। उन्होंने तुलना की:
- मानक AI: सीधे उत्तर देता है।
- प्रॉम्प्ट-ओनली AI: इसे "सावधान रहने" के लिए कहा गया है लेकिन यह अपने स्वयं के अनुमानों की सूची नहीं देखता है।
- BAG AI: अपने स्वयं के 10 अनुमानों की सूची देखता है और उनके माध्यम से तर्क करता है।
परिणाम
- बेहतर सटीकता: BAG विधि ने छह अलग-अलग AI मॉडलों में उत्तरों की सटीकता में सुधार किया।
- समझदार विकल्प: BAG AI यह जानने में बहुत बेहतर था कि कब प्रश्न पूछना है और कब यह स्वीकार करना है कि उसे नहीं पता। मानक AI लगभग कभी भी मदद नहीं मांगता या अज्ञानता स्वीकार नहीं करता।
- विश्वसनीयता (Faithfulness): BAG AI के विकल्प उसके आंतरिक "आत्मविश्वास" (उसके 10 अनुमानों की विविधता) से कहीं बेहतर तरीके से मेल खाते थे। यदि वह भ्रमित था, तो उसने भ्रमित होने का व्यवहार किया; यदि वह निश्चित था, तो उसने निश्चित होने का व्यवहार किया।
कमी (The Catch)
हालाँकि यह प्रणाली अच्छी तरह से काम करती है, फिर भी AI के लिए इन दोनों के बीच सटीक अंतर बताना कठिन है:
- वास्तविक अस्पष्टता (Real Ambiguity): "मुझे नहीं पता कि आपका मतलब फिल्म से है या किताब से।" (जिसके लिए स्पष्टीकरण की आवश्यकता है)।
- भ्रम/गलत जानकारी (Hallucination): "मैं तथ्य बना रहा हूँ क्योंकि मुझे पता नहीं है।" (जिसके लिए परहेज करने की आवश्यकता है)।
कभी-कभी AI सोचता है कि एक प्रश्न अस्पष्ट है जबकि वह वास्तव में केवल चीजें बना रहा होता है, या इसके विपरीत। लेकिन कुल मिलाकर, AI को बोलने से पहले अपने "काम को देखने" का मौका देने से वह एक बहुत अधिक ईमानदार और मददगार बातचीत करने वाला साथी बन जाता है।
सारांश
यह शोध पत्र AI मॉडलों को कम अति-आत्मविश्वासी बनाने का एक तरीका पेश करता है। पहले कई उत्तर उत्पन्न करने और फिर उनके अंतरों का विश्लेषण करने के लिए मजबूर करके, मॉडल सीखते हैं कि जब वे भ्रमित हों तो स्पष्टीकरण (Clarify) कैसे मांगें, जब वे अनभिज्ञ हों तो परहेज (Abstain) कैसे करें, और केवल तभी उत्तर (Answer) दें जब वे आश्वस्त हों। यह उन्हें पेचीदा, वास्तविक दुनिया के प्रश्नों को संभालने में बेहतर बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।