Implicit Probabilistic Reasoning Does Not Reflect Explicit Answers in Large Language Models
यह शोध पत्र यह प्रकट करता है कि जहाँ लार्ज लैंग्वेज मॉडल्स बहुविकल्पीय प्रश्नों के माध्यम से स्पष्ट संभाव्यता तर्क (explicit probabilistic reasoning) में दक्षता प्रदर्शित करते हैं, वहीं टेक्स्ट जनरेशन के दौरान उनका अंतर्निहित संभाव्यता तर्क (implicit probabilistic reasoning) विभिन्न प्रासंगिक कारकों के प्रति संवेदनशीलता के कारण अक्सर वास्तविक सत्य (ground truth) से काफी विचलित हो जाता है, जो पारंपरिक मूल्यांकन विधियों में एक महत्वपूर्ण सीमा को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नौकरी के लिए एक बुद्धिमान, विद्वान छात्र का साक्षात्कार ले रहे हैं। आप उससे एक कठिन गणित का प्रश्न पूछते हैं: "यदि मैं दो पासे फेंकता हूँ, तो क्या संभावना है कि अंकों का योग 7 होगा?"
छात्र आत्मविश्वास से अपना हाथ उठाता है और कहता है, "6 में से 1!" वह सही है। वह गणित को पूरी तरह से समझा सकता है। आप सोचते हैं, "शानदार, इस व्यक्ति को प्रायिकता (probability) समझ आती है!"
लेकिन फिर, आप उसे एक खेल खेलने के लिए कहते हैं। आप कहते हैं, "ठीक है, मान लीजिए हमने अभी दो पासे फेंके हैं। मैं परिणाम लिख रहा हूँ। आपको क्या लगता है कि मैंने क्या लिखा है?"
बिना सोचे-समझे, छात्र हर बार "7" लिख देता है। वह सही है। लेकिन फिर भी, वह "2" या "12" भी बहुत अधिक बार लिख देता है, भले ही वे परिणाम बहुत दुर्लभ हों। ऐसा लगता है जैसे वह उस गणित को भूल गया है जिसे उसने अभी सिद्ध किया था।
यह बिल्कुल वही है जो शोध पत्र "Implicit Probabilistic Reasoning Does Not Reflect Explicit Answers in Large Language Models" के बारे में पता चलता है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके अध्ययन का विवरण दिया गया है:
1. परीक्षण के दो तरीके (द "क्विज़" बनाम द "स्टोरी")
शोधकर्ताओं ने पाया कि AI मॉडल (LLMs) में प्रायिकता को लेकर एक दोहरी शख्सियत होती है।
- स्पष्ट तर्क (The Quiz - क्विज़): यह AI को परखने का मानक तरीका है। आप उसे एक बहुविकल्पीय प्रश्न देते हैं (ऊपर दिए गए पासे के उदाहरण की तरह)। AI एक परीक्षा देने वाले छात्र की तरह व्यवहार करता है। वह सही उत्तर चुनता है, अक्सर 99% आत्मविश्वास के साथ। वह नियमों को जानता है।
- अंतर्निहित तर्क (The Story - स्टोरी): यह नया परीक्षण है जिसे शोधकर्ताओं ने बनाया है। सवाल पूछने के बजाय, वे AI को एक कहानी जारी रखने के लिए कहते हैं। वे AI को एक परिदृश्य देते हैं (जैसे, "दो पासे फेंके गए...") और उसे अगला शब्द अनुमान लगाने के लिए कहते हैं।
- रूपक (Metaphor): कल्पना कीजिए कि AI एक शेफ है। "क्विज़" में, शेफ सही ढंग से पहचान लेता है कि केक के लिए 2 अंडों की आवश्यकता है। लेकिन "स्टोरी" में, जब वास्तव में केक बना रहा होता है, तो शेफ ध्यान भटकने के कारण अचानक 10 अंडे डाल देता है।
बड़ी खोज: AI "क्विज़" में बहुत अच्छा है, लेकिन "स्टोरी" में बहुत खराब है। जब AI वास्तव में टेक्स्ट जेनरेट कर रहा होता है (जो कि वास्तविक जीवन में उसका अधिकांश समय होता है), तो वह अक्सर उस गणित को अनदेखा कर देता है जिसे वह जानता होने का दावा करता है।
2. "मेडिकल डायग्नोसिस" का जाल
शोध पत्र एक चिकित्सा उदाहरण का उपयोग यह दिखाने के लिए करता है कि यह क्यों खतरनाक है।
- परिदृश्य: आप AI को बताते हैं कि एक विशिष्ट अस्पताल विंग में "बर्नआउट" (Burnout) आम है (16%), जबकि "एंग्जायटी" (Anxiety) थोड़ा कम सामान्य है (13%)। आप उसे यह भी बताते हैं कि मरीज, सैम, उसी विंग में काम करता है।
- क्विज़: आप पूछते हैं, "सैम के लिए सबसे संभावित स्थिति क्या है?" AI संख्याओं की गणना सही ढंग से करता है और कहता है, "बर्नआउट।"
- स्टोरी: आप एक वाक्य शुरू करते हैं: "डेटा के आधार पर, सैम संभवतः इस स्थिति से पीड़ित है..." और AI को वाक्य पूरा करने देते हैं।
- परिणाम: AI वाक्य को "एंग्जायटी" के साथ पूरा करता है।
क्यों? भले ही AI को गणित पता था, लेकिन जब अगला शब्द लिखने का समय आया, तो उसका ध्यान भटक गया। वह "एंग्जायटी" शब्द की ओर खिंचा चला गया क्योंकि वह उसके ट्रेनिंग डेटा में "परिचित" या "प्रमुख" था, जिससे उसने आपके द्वारा दिए गए विशिष्ट आंकड़ों को अनदेखा कर दिया। यह एक ऐसे डॉक्टर की तरह है जो सांख्यिकी जानता है, लेकिन फिर भी गलत बीमारी का अनुमान लगा लेता है क्योंकि उसने फिल्मों में उस बीमारी का नाम अधिक बार सुना है।
3. "गैम्बलर्स फैलेसी" (Gambler's Fallacy) की गड़बड़ी
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या AI अप्रासंगिक जानकारी को अनदेखा कर सकता है।
- सेटअप: आप AI को बताते हैं, "हम एक निष्पक्ष पासा फेंक रहे हैं। यह एक नई शुरुआत है।"
- ट्विस्ट: आप एक वाक्य जोड़ते हैं: "पिछली बार 6 आया था।" (भले ही एक नया रोल स्वतंत्र होता है और पिछले रोल की परवाह नहीं करता)।
- परिणाम: AI यह सोचने लगता है कि अगली बार 6 आने की संभावना कम है, या अधिक है। वह पिछले रोल के "भूत" से भ्रमित हो जाता है।
रूपक: कल्पना कीजिए कि एक सिक्का उछालने वाला व्यक्ति है जिसने अभी "Heads" प्राप्त किया। यदि आप उससे पूछते हैं, "अगली बार Heads आने की क्या संभावना है?" तो वह कहता है 50%। लेकिन यदि आप फुसफुसाते हैं, "पिछला वाला Heads था," तो वह अचानक "Tails" पर दांव लगाने लगता है, यह सोचकर कि ब्रह्मांड अब बदलाव के लिए "देय" (due) है। AI भी ऐसा ही करता है; वह प्रॉम्प्ट के "शोर" (noise) को अनदेखा नहीं कर पाता।
4. "प्रथम विकल्प" का पूर्वाग्रह (First Option Bias)
अंत में, शोधकर्ताओं ने पाया कि AI की पहली चीज़ को पसंद करने की एक अजीब आदत है।
- सेटअप: आप AI को विकल्पों की एक सूची देते हैं: A, B, C, D। आप उन्हें बताते हैं कि वे सभी समान रूप से संभावित हैं।
- क्विज़: AI सही उत्तर चुनता है।
- स्टोरी: परिणाम उत्पन्न करने के लिए पूछे जाने पर, AI "A" को बहुत अधिक बार चुनता है, भले ही आप क्रम बदलकर "C, B, A, D" कर दें और वह अभी भी पहले विकल्प को ही चुनता रहे।
यह उस छात्र की तरह है जो, टेस्ट में अनुमान लगाते समय, वास्तविक गणित की परवाह किए बिना हमेशा जो पहला अक्षर देखता है, उसे ही गोला (circle) कर देता है।
हमें इसकी चिंता क्यों करनी चाहिए?
हम आमतौर पर सोचते हैं कि AI स्मार्ट है क्योंकि वह टेस्ट (MCQs) में उच्च अंक प्राप्त करता है। लेकिन वास्तविक दुनिया में, हम AI का उपयोग टेस्ट देने के लिए नहीं करते; हम इसका उपयोग कहानियां लिखने, मरीजों का निदान करने और निर्णय लेने के लिए करते हैं।
यदि कोई AI कहता है, "मैं जानता हूँ कि संभावना 1 में से 6 है," लेकिन फिर एक ऐसी कहानी लिखता है जहाँ संभावना 1 में से 2 है, तो हम मुसीबत में हैं। इसका मतलब है कि AI अपनी खुद की वास्तविकता "हैलुसिनेट" (hallucinate) कर रहा है, उन तथ्यों को अनदेखा कर रहा है जिन्हें उसने अभी प्रोसेस किया था।
मुख्य बात:
सिर्फ इसलिए कि एक AI आपको सही उत्तर बता सकता है, इसका मतलब यह नहीं है कि वह उस पर अमल करने के लिए प्रायिकता को पर्याप्त रूप से समझता है। शोध पत्र का तर्क है कि हमें केवल AI से यह पूछना बंद कर देना चाहिए कि "उत्तर क्या है?" और यह देखना शुरू करना चाहिए कि "वह कहानी कैसे लिखता है?" क्योंकि असली सोच (या सोच की कमी) वहीं होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।