When Models Know More Than They Say: Probing Analogical Reasoning in LLMs
यह शोध पत्र ओपन-सोर्स LLMs में एक विषमता को प्रकट करता है जहाँ अलंकारिक उपमाओं (rhetorical analogies) का पता लगाने में आंतरिक निरूपणों की जांच करना प्रॉम्पटिंग की तुलना में काफी बेहतर प्रदर्शन करती है, जो यह सुझाव देता है कि प्रॉम्पटिंग तंत्र जटिल उपमात्मक तर्क के लिए आवश्यक अंतर्निहित सूचना तक पूरी तरह से पहुँचने में विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट लाइब्रेरी रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) है जिसने लगभग वह सब कुछ पढ़ लिया है जो कभी लिखा गया है। आप जानना चाहते हैं: क्या यह रोबोट वास्तव में कहानियों को समझता है, या यह केवल उन पैटर्न के आधार पर अगले शब्द का अनुमान लगाने में बहुत अच्छा है जिन्हें इसने पहले देखा है?
यह पता लगाने के लिए, इस शोध पत्र के लेखकों ने एक विशेष परीक्षण बनाया जिसे NARB (नैरेटिव एनालॉजिकल रीजनिंग बेंचमार्क) कहा जाता है। वे देखना चाहते थे कि क्या रोबोट अलग-अलग कहानियों के बीच "छिपे हुए कनेक्शन" को पहचान सकता है, एक ऐसा कौशल जिसका उपयोग मनुष्य हर समय करते हैं।
यहाँ उनकी खोज का विवरण दिया गया, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है।
दो प्रकार के परीक्षण
शोधकर्ताओं ने रोबोट को दो अलग-अलग प्रकार की पहेलियाँ दीं:
"कहानी मिलान" (नैरेटिव पैरेललिज्म - Narrative Parallelism):
- कार्य: कल्पना कीजिए कि आप रोबोट को एक बेकर (नानबाई) की कहानी बताते हैं जो असफल होता है, सीखता है और फिर सफल होता है। फिर आप उससे तीन विकल्पों की सूची में से सबसे अच्छा मिलान करने वाली कहानी चुनने के लिए कहते हैं: एक बेकर के बारे में, एक सैनिक के बारे में, और एक माली के बारे में।
- चुनौती: "सही" उत्तर एक सैनिक के बारे में हो सकता है। रोबोट को सतही विवरणों (आटा बनाम बंदूकें) को अनदेखा करना होगा और गहरे ढांचे (संघर्ष विकास विजय) को देखना होगा।
- परिणाम: रोबोट संघर्ष कर रहा था। यह भूसे के ढेर में सुई खोजने जैसा था। यह इनमें से केवल लगभग 35% ही सही कर सका। ऐसा लगा जैसे वह विवरणों में खो गया और बड़े चित्र (big picture) को देखने में विफल रहा।
"कविता मिलान" (रेटोरिकल पैरेललिज्म - Rhetorical Parallelism):
- कार्य: यह एक कविता में विशिष्ट लय या तुकबंदी के पैटर्न को पहचानने जैसा है। "सूरज पूर्व में उगता है, चंद्रमा पश्चिम में अस्त होता है।" रोबोट को एक और वाक्य खोजना है जो उसी सटीक संरचनात्मक पैटर्न का पालन करता हो।
- परिणाम: जब शोधकर्ताओं ने रोबोट के "दिमाग" के अंदर झाँका (एक तकनीक जिसका नाम प्रोबिंग/probing है), तो उन्होंने पाया कि रोबोट लगभग पूरी तरह से उत्तर जानता था (93%)। यह ऐसा था जैसे रोबोट के माथे पर उत्तर लिखा हो।
बड़ी हैरानी: "साइलेंट जीनियस" (Silent Genius)
यहाँ मामला अजीब हो जाता है। शोधकर्ताओं ने रोबोट से सवाल पूछने के दो तरीकों की तुलना की:
- विधि A: विनम्रता से पूछना (प्रॉम्प्टिंग/Prompting): "हे रोबोट, कौन सी कहानी इस एक से मेल खाती है?"
- विधि B: इसके दिमाग के अंदर झाँकना (प्रोबिंग/Probing): "रोबोट, इन कहानियों के बारे में तुम्हारे आंतरिक विचार क्या हैं?"
चौंकाने वाली खोज:
- कविता मिलान के लिए: जब उन्होंने रोबोट से पूछा, तो उसने बहुत खराब उत्तर दिए (18% सही)। लेकिन जब उन्होंने उसके दिमाग के अंदर झाँका, तो रोबोट ने उत्तर को पूरी तरह से जाना (93% सही)।
- उपमा: कल्पना कीजिए कि एक छात्र गणित की परीक्षा दे रहा है। वह कागज पर गलत उत्तर देता है क्योंकि वह घबराया हुआ है या अपने चरणों को समझा नहीं पा रहा है। लेकिन यदि आप उससे शिक्षक को उत्तर फुसफुसाने के लिए कहते हैं, तो वह हर बार सही उत्तर देता है। ज्ञान वहाँ है, लेकिन जब उससे पूछा जाता है तो वह इसे दिखा नहीं पाता।
- कहानी मिलान के लिए: दोनों विधियाँ विफल रहीं। रोबोट न तो जानता था जब उससे पूछा गया, और न ही उसे पता था जब शोधकर्ताओं ने उसके दिमाग के अंदर झाँका।
- उपमा: इस छात्र ने वास्तव में परीक्षा के लिए पढ़ाई नहीं की थी। उसे विषय का ज्ञान नहीं है, और वह इसे दिखाने में भी सक्षम नहीं है।
इसका क्या अर्थ है?
शोध पत्र निष्कर्ष निकालता है कि LLMs कुछ चीजों के लिए "साइलेंट जीनियस" और कुछ के लिए "उथले अंदाज़ से अनुमान लगाने वाले" (Shallow Guessers) हैं।
- वे जितना कहते हैं, उससे कहीं अधिक जानते हैं: भाषा के पैटर्न (रैटरिक) को पहचानने जैसी चीजों के लिए, रोबोट के पास वह ज्ञान उसकी परतों के भीतर सुरक्षित है, लेकिन वह इसे तब तक एक्सेस नहीं कर पाता जब आप बस उससे एक सवाल पूछते हैं। यह अपने दिमाग में एक लाइब्रेरी होने और फिर भी दरवाजा खोलने का तरीका भूल जाने जैसा है।
- वे जटिल कहानियों के लिए संघर्ष करते हैं: जीवन के गहरे सबक या कहानी की संरचनाओं को समझने के लिए, रोबोट के पास अभी भी वास्तविक गहरा ज्ञान नहीं है। यह केवल संचार की समस्या नहीं है; यह ज्ञान की समस्या है।
मुख्य निष्कर्ष (The Takeaway)
यदि आप केवल इन AI मॉडलों को उनके जवाबों (प्रॉम्प्टिंग) से आंकते हैं, तो आप उन्हें वास्तव में जितना वे हैं, उससे कम समझदार मान सकते हैं। वे अपनी वास्तविक बुद्धिमत्ता को छिपा रहे हो सकते हैं।
हालाँकि, वास्तव में कठिन चीजों के लिए—जैसे किसी कहानी के गहरे अर्थ को समझना—वे अभी भी सीख रहे हैं। शोध पत्र सुझाव देता है कि पूर्ण तस्वीर प्राप्त करने के लिए हमें दोनों विधियों (उनसे पूछना और उनके दिमाग के अंदर झाँकना) का उपयोग करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।