Thinking Fast, Thinking Wrong: Intuitiveness Modulates LLM Counterfactual Reasoning in Policy Evaluation
यह शोध पत्र यह प्रदर्शित करता है कि जहाँ चेन-ऑफ-थॉट प्रॉम्प्टिंग सहज नीति मूल्यांकनों (intuitive policy evaluations) पर लार्ज लैंग्वेज मॉडल्स के प्रदर्शन को बढ़ाती है, वहीं सहजता-विरोधी मामलों (counter-intuitive cases) में उनकी प्रतितथ्यात्मक तर्क क्षमता (counterfactual reasoning) सहज पूर्वग्रहों (intuitive priors) को पूरी तरह से ओवरराइड करने में असमर्थता के कारण काफी बाधित रहती है, जो ज्ञान पुनर्प्राप्ति (knowledge retrieval) और तार्किक तर्क (logical reasoning) के बीच एक महत्वपूर्ण अलगाव को प्रकट करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: AI में "तेज़ सोच" बनाम "धीमी सोच"
कल्पना कीजिए कि आप एक पहेली सुलझाने की कोशिश कर रहे हैं। कभी-कभी उत्तर बहुत स्पष्ट होता है, जैसे "यदि आप कांच का गिलास गिराते हैं, तो वह टूट जाता है।" अन्य बार, उत्तर पेचीदा होता है और आपकी सहज बुद्धि (gut feeling) के विरुद्ध होता है, जैसे "यदि आप लोगों पर बच्चों को लेने में देरी करने के लिए जुर्माना लगाते हैं, तो वे वास्तव में और भी अधिक लेट होने लगते हैं।"
यह शोध पत्र यह परीक्षण करता है कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो आज के स्मार्ट AI चैटबॉट्स हैं—इन पहेलियों को सुलझाने में कितने कुशल हैं, विशेष रूप से उन पेचीदा पहेलियों में जो सामान्य ज्ञान के विपरीत होती हैं। शोधकर्ताओं ने वास्तविक आर्थिक अध्ययनों पर आधारित एक विशेष "परीक्षण" का उपयोग किया ताकि यह देखा जा सके कि क्या AI स्पष्ट रूप से सोच सकता है जब उसकी "सहज बुद्धि" गलत हो।
परीक्षण: 40 वास्तविक दुनिया के परिदृश्यों का एक मेनू
शोधकर्ताओं ने वास्तविक अर्थशास्त्र और सामाजिक विज्ञान अनुसंधान से लिए गए 40 वास्तविक जीवन की नीतिगत कहानियों का एक मेनू तैयार किया। उन्होंने इन कहानियों को तीन श्रेणियों में विभाजित किया कि एक सामान्य व्यक्ति के लिए उत्तर कितना "स्पष्ट" महसूस होता है:
- स्पष्ट (Obvious): उत्तर वही है जो आप अनुमान लगाएंगे (जैसे, "यदि आप स्वास्थ्य सेवा सस्ती करते हैं, तो अधिक लोग इसका उपयोग करते हैं")।
- अस्पष्ट (Ambiguous): यह अनिश्चित है; आप दोनों तरफ से तर्क दे सकते हैं।
- विपरीत-सहज (Counter-Intuitive): उत्तर आपके अनुमान के विपरीत है (जैसे, "डेकेयर से देरी से पिकअप करने के लिए जुर्माना लगाने से माता-पिता और भी अधिक लेट होने लगते हैं क्योंकि वे जुर्माने को देरी के लिए चुकाई जाने वाली कीमत के रूप में देखते हैं, न कि एक नैतिक दायित्व के रूप में")।
उन्होंने चार अलग-अलग शीर्ष-स्तरीय AI मॉडल्स को इन 40 कहानियों को हल करने के लिए पाँच अलग-अलग तरीकों (जैसे सीधे पूछना, विशेषज्ञ होने का नाटक करना, या AI को "कदम-दर-कदम सोचने" के लिए कहना) का उपयोग करने के लिए कहा। कुल मिलाकर, उन्होंने 8,000 प्रयोग चलाए।
तीन बड़े आश्चर्य
परिणामों ने तीन प्रमुख निष्कर्षों का खुलासा किया जो AI की तर्क क्षमता के बारे में हमारी सोच को चुनौती देते हैं:
1. "चेन-ऑफ-थॉट" विरोधाभास (The "Chain-of-Thought" Paradox)
आप सोच सकते हैं कि AI को "कदम-दर-कदम सोचने" (जिसे चेन-ऑफ-थॉट तकनीक कहा जाता है) के लिए कहने से उसे हर कठिन समस्या को हल करने में मदद मिलेगी।
- वास्तविकता: यह स्पष्ट (Obvious) समस्याओं पर बहुत अच्छा काम करता है। यह किसी ऐसे व्यक्ति को कैलकुलेटर देने जैसा है जिसे पहले से ही उत्तर पता है; यह बस उत्तर की पुष्टि करता है।
- पेंच: विपरीत-सहज (Counter-Intuitive) समस्याओं पर, "कदम-दर-कदम" मदद काफी कम हो जाती है।
- उपमा: कल्पना कीजिए कि एक व्यक्ति भूलभुलैया (maze) में चलने की कोशिश कर रहा है। एक सीधे रास्ते पर (स्पष्ट), उसे "देखो तुम कहाँ जा रहे हो" कहना उसे तेज़ी से चलने में मदद करता है। लेकिन एक पेचीदा रास्ते पर जहाँ दीवारें हिल रही हों (विपरीत-सहज), उसे "देखो तुम कहाँ जा रहे हो" कहना ज्यादा मदद नहीं करता क्योंकि वह अपने पहले के अनुमान के आधार पर गलत दिशा में चलता रहता है। AI अपनी "सोच" की शुरुआत गलत विचार से करता है, और भले ही वह धीरे-धीरे सोचने की कोशिश करे, वह उस पहले गलत अनुमान को पूरी तरह से छोड़ नहीं पाता।
2. "दिमाग" से ज़्यादा "मामला" मायने रखता है
आप सोच सकते हैं कि एक नया, बड़ा AI मॉडल पुराने मॉडल की तुलना में बहुत अधिक स्मार्ट होगा।
- वास्तविकता: जिस विशिष्ट कहानी को बताया जा रहा था, वह उपयोग किए गए AI मॉडल की तुलना में कहीं अधिक महत्वपूर्ण थी। कुछ कहानियाँ इतनी कठिन थीं कि कोई भी मॉडल उन्हें सही ढंग से हल नहीं कर सका।
- उपमा: कल्पना कीजिए कि छात्रों का एक समूह परीक्षा दे रहा है। छात्र प्रतिभाशाली है या औसत, इससे कम फर्क पड़ता है; फर्क इस बात से पड़ता है कि वह कौन सा प्रश्न हल कर रहा है। कुछ प्रश्न इतने पेचीदा होते हैं कि सबसे बुद्धिमान छात्र भी उन्हें गलत कर देता है। इस अध्ययन में, विशिष्ट नीतिगत कहानी की कठिनाई ने गलतियों के लगभग 67% हिस्से की व्याख्या की, जबकि AI मॉडल के चुनाव ने बहुत कम प्रभाव डाला।
3. उत्तर जानना इसका मतलब यह नहीं कि आप उसका उपयोग कर सकते हैं
शोधकर्ताओं ने यह भी जांचा कि क्या AI को सही उत्तर इसलिए मिला क्योंकि उसने उस विषय के बारे में पहले "पढ़ा" था (जैसे कि यदि किसी प्रसिद्ध अध्ययन का बहुत अधिक उल्लेख किया गया हो)।
- वास्तविकता: अध्ययन कितना प्रसिद्ध था और AI ने उसे सही ढंग से हल किया या नहीं, इसके बीच कोई संबंध नहीं था।
- उपमा: कल्पना कीजिए कि एक छात्र ने पूरी पाठ्यपुस्तक रट ली है। यदि आप उससे एक सरल प्रश्न पूछते हैं, तो वह सही उत्तर देता है। लेकिन यदि आप उससे एक पेचीदा प्रश्न पूछते हैं जिसमें ज्ञान को नए तरीके से लागू करने की आवश्यकता होती है, तो वह विफल हो सकता है, भले ही उसने उत्तर पहले पढ़ा हो। AI "तथ्यों को जानता है" (उसके पास डेटा है), लेकिन जब तथ्य उसकी सहज बुद्धि के विपरीत होते हैं, तो वह उस ज्ञान का सही उपयोग करने में विफल रहता है। यह एक मानचित्र होने के बावजूद उसे देखने से इनकार करने जैसा है क्योंकि आपके पैर दूसरी दिशा में जाना चाहते हैं।
निष्कर्ष: "धीमी बातचीत" बनाम "धीमी सोच"
यह शोध पत्र निष्कर्ष निकालता है कि हालांकि ये AI मॉडल "सोचने" में बेहतर हो रहे हैं, लेकिन वे अभी तक पूरी तरह से वहां नहीं पहुंचे हैं।
- सिस्टम 1 (तेज़ सोच): यह AI की सहज बुद्धि है। यह सबसे सामान्य उत्तर पर कूद पड़ता है।
- सिस्टम 2 (धीमी सोच): यह AI की "कदम-दर-कदम" तर्क प्रक्रिया है।
अध्ययन दिखाता है कि जब AI एक पेचीदा समस्या पर "धीमी सोच" का उपयोग करने की कोशिश करता है, तो अक्सर वह केवल "धीमी बातचीत" (Slow Talking) करता है। वह एक लंबी, तार्किक दिखने वाली व्याख्या लिखता है, लेकिन उस व्याख्या का पहला कदम ही एक गलत सहज बुद्धि पर आधारित होता है। क्योंकि उसने गलत विचार से शुरुआत की, इसलिए उसकी "धीमी सोच" का बाकी हिस्सा बस एक कमजोर नींव पर एक शानदार महल बनाने जैसा है।
मुख्य बात: AI उन चीजों की पुष्टि करने में बहुत अच्छा है जो हम पहले से ही उम्मीद करते हैं, लेकिन यह हमें यह बताने में संघर्ष करता है कि हम गलत हैं, खासकर जब सच चौंकाने वाला हो। यदि हम महत्वपूर्ण निर्णयों (जैसे सरकारी नीतियों) के लिए इन उपकरणों का उपयोग करते हैं, तो हमें बहुत सावधान रहने की आवश्यकता है, क्योंकि AI आत्मविश्वास के साथ गलत उत्तर दे सकता है क्योंकि वह उसके "अंतर्मन" को सही लग रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।