Knowing but Not Showing: LLMs Recognize Ambiguity but Rarely Ask Clarifying Questions
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) में एक महत्वपूर्ण अंतराल को प्रकट करता है जहाँ, क्वेरी की अस्पष्टता को स्पष्ट रूप से पहचानने की उनकी क्षमता के बावजूद, वे स्पष्टीकरण के लिए प्रश्न पूछने के बजाय सीधे उत्तर देने की ओर अत्यधिक झुकाव रखते हैं, और यह प्रवृत्ति तब और अधिक बढ़ जाती है जब रिट्रीव्ड कॉन्टेक्स्ट (प्राप्त संदर्भ) उपलब्ध होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, उत्सुक सहायक से बात कर रहे हैं जिसने पुस्तकालय की लगभग हर किताब पढ़ ली है। आप उससे एक सवाल पूछते हैं, लेकिन आपका सवाल थोड़ा अस्पष्ट है। उदाहरण के लिए, आप पूछते हैं, "एनी (Annie) ने क्या निभाया था?"
एक वास्तव में मददगार मानव सहायक रुककर कहेगा, "क्या आपका मतलब 1982 की फिल्म वाली छोटी लड़की से है, 1999 वाले संस्करण से, या 2014 के रीमेक से? इसमें तीन अलग-अलग अभिनेत्रियाँ हैं!" वह भ्रम को पहचान लेता है और स्पष्टीकरण मांगने से पहले अनुमान लगाने के बजाय सवाल पूछता है।
यह शोध इस बात की जांच करता है कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स के पीछे के AI दिमाग हैं—वही करते हैं। शोधकर्ताओं ने एक चौंकाने वाला अंतर पाया: AI अक्सर "जानता" है कि सवाल भ्रमित करने वाला है, लेकिन वह शायद ही कभी यह "दिखाता" है कि वह जानता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "सब कुछ जानने वाला" बनाम "सब कुछ करने वाला"
शोधकर्ताओं ने AI का परीक्षण दो अलग-अलग तरीकों से किया:
- क्विज़ मोड (Quiz Mode): उन्होंने AI से पूछा, "क्या यह सवाल भ्रमित करने वाला है?" इस मोड में, AI काफी अच्छा था। वह एक अस्पष्ट सवाल को देखकर कह सकता था, "हाँ, यह संदिग्ध है। इसका अर्थ X या Y हो सकता है।" यह एक ऐसे छात्र की तरह था जो हाथ उठाकर कहता, "मैं इस पहेली में छिपी चाल को समझ गया हूँ।"
- जॉब मोड (Job Mode): फिर उन्होंने AI को सीधे सवाल का जवाब देने के लिए कहा। अचानक, AI ने भ्रमित होने का नाटक करना बंद कर दिया। सवाल पूछने के बजाय कि "आपका मतलब किससे है?", उसने तुरंत एक उत्तर का अनुमान लगा लिया। यह उसी छात्र की तरह था, जो अब एक परीक्षा में है, जो पहेली को नजरअंदाज कर देता है और बस वही उत्तर लिख देता है जो उसके दिमाग में सबसे पहले आया।
रूपक (Metaphor): एक जासूस की कल्पना करें जो पूरी तरह से पहचान सकता है कि अपराध स्थल पर दो अलग-अलग संभावित संदिग्ध हैं (क्विज़ मोड)। लेकिन जब उसे मामला सुलझाने के लिए कहा जाता है (जॉब मोड), तो वह बिना कोई फॉलो-अप सवाल पूछे तुरंत पहले व्यक्ति को गिरफ्तार कर लेता है। वह जानता है कि वहाँ एक समस्या है, लेकिन वह उस ज्ञान पर कार्य नहीं करता।
2. "जादुई किताब" का प्रभाव (The "Magic Book" Effect)
शोधकर्ताओं ने AI को एक "चीट शीट" (Wikipedia से प्रासंगिक तथ्यों वाला संदर्भ) भी दी।
- चीट शीट के बिना: AI थोड़ा अधिक सतर्क था, हालांकि वह अभी भी ज्यादातर अनुमान ही लगा रहा था।
- चीट शीट के साथ: AI और भी कम स्पष्टीकरण माँगने लगा।
रूपक: चीट शीट को एक मानचित्र (map) के रूप में सोचें। जब AI मानचित्र देखता है, तो उसे इतना विश्वास हो जाता है कि उसके पास वह सारी जानकारी है जिसकी उसे आवश्यकता है, कि वह यह पूछना बंद कर देता है कि "हम वास्तव में कहाँ जा रहे हैं?" वह मान लेता है कि मानचित्र भ्रम को हल कर देता है, भले ही मानचित्र वास्तव में यह नहीं बताता कि आपको कहानी का कौन सा विशिष्ट संस्करण चाहिए। तथ्यों की उपस्थिति ने AI को अति-आत्मविश्वासी बना दिया और उसे अधिक विवरण माँगने से रोक दिया।
3. "विनम्र लेकिन गलत" की आदत
अध्ययन ने इस बात पर गौर किया कि AI कितनी बार कहता है, "मुझे नहीं पता," या "क्या आप स्पष्ट कर सकते हैं?"
- परिणाम: लगभग कभी नहीं।
- व्यवहार: यहाँ तक कि जब सवाल स्पष्ट रूप से अस्पष्ट था (जैसे किसी ऐसे समय काल के बारे में पूछना जो निर्दिष्ट नहीं था), तब भी AI लगभग हमेशा (95%+ बार) सीधे उत्तर दे देता था। उसने चुप रहने या प्रश्न पूछने के जोखिम के बजाय एक "सर्वश्रेष्ठ अनुमान" लगाने को प्राथमिकता दी।
रूपक: यह एक वेटर की तरह है जिससे पूछा जाता है, "यहाँ क्या अच्छा है?" जबकि मेनू में दिन के आधार पर तीन अलग-अलग "स्पेशल" उपलब्ध हैं। यह पूछने के बजाय कि "आज कौन सा दिन है?" या "आप कौन सा स्पेशल ढूंढ रहे हैं?", वेटर बस एक चीज़ चुन लेता है और उसे परोस देता है, इस उम्मीद में कि आपको वह पसंद आएगा। वे उत्तर देकर "मददगार" होने की कोशिश कर रहे हैं, लेकिन वास्तव में वे अनहेल्पफुल (unhelpful) हो रहे हैं क्योंकि वे आपके इरादे का केवल अनुमान लगा रहे हैं।
ऐसा क्यों होता है?
शोध का सुझाव है कि यह इसलिए होता है क्योंकि इन AI को प्रशिक्षित करने के तरीके के कारण। उन्हें उन उत्तरों के लिए पुरस्कृत किया जाता है जिन्हें मनुष्य "उपयोगी" और "मददगार" पाते हैं।
- प्रशिक्षण का जाल (The Training Trap): यदि आप एक रोबोट को हमेशा उत्तर देने के लिए प्रशिक्षित करते हैं, तो वह सीख जाता है कि उत्तर देना ही पुरस्कार पाने का रास्ता है। प्रश्न पूछना या "मुझे नहीं पता" कहना कार्य करने में विफलता माना जाता है।
- परिणाम: AI अपनी उलझन को छिपाना सीख जाता है। वह अपने आंतरिक ज्ञान ("यह अस्पष्ट है") को छिपा कर रखता है क्योंकि अपनी उलझन दिखाने से उसे अपने प्रशिक्षकों से "अच्छा काम किया" का स्टिकर नहीं मिलता।
मुख्य निष्कर्ष (The Bottom Line)
शोध का निष्कर्ष है कि वर्तमान AI मॉडल्स में "जानना लेकिन न दिखाना" (Knowing but Not Showing) की समस्या है। वे पहचान सकते हैं कि उपयोगकर्ता अस्पष्ट हो रहा है, लेकिन उनका डिफ़ॉल्ट व्यवहार उस पहचान को अनदेखा करना और बस अनुमान लगाना है। इसे ठीक करने के लिए, शोधकर्ताओं का सुझाव है कि हमें इन मॉडल्स को प्रशिक्षित करने के तरीके को बदलने की आवश्यकता है: हमें उन्हें सही उत्तर देने के लिए उतना ही पुरस्कृत करने की आवश्यकता है जितना कि उन्हें यह कहने के लिए कि, "मुझे यकीन नहीं है, क्या आप स्पष्ट कर सकते हैं?"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।