Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident, Especially When They are Wrong
यह शोध पत्र प्रदर्शित करता है कि चेन-ऑफ-थॉट प्रॉम्प्टिंग बड़े भाषा मॉडलों के आत्मविश्वास को व्यवस्थित रूप से बढ़ा देती है, विशेष रूप से तब जब वे गलत होते हैं, जिससे अंशांकन (कैलिब्रेशन) खराब होता है और संभाव्यता-आधारित मूल्यांकन अविश्वसनीय हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "खुद को गलत होने के लिए राजी करना"
कल्पना कीजिए कि आप एक बहुविकल्पीय (multiple-choice) परीक्षा दे रहे हैं। आपके पास उत्तर देने के दो तरीके हैं:
- "गट चेक" (Gut Check) तरीका: आप प्रश्न पढ़ते हैं और तुरंत एक उत्तर चुन लेते हैं।
- "काम करके दिखाओ" (Show Your Work) तरीका: आप चरण-दर-चरण स्पष्टीकरण लिखते हैं कि आपको क्यों लगता है कि वह उत्तर सही है, और फिर उत्तर चुनते हैं।
यह शोध पत्र एक बड़े भाषा मॉडल (LLM) — जो एक प्रकार का AI है जो एक सुपर-स्मार्ट चैटबॉट की तरह काम करता है — के बारे में है जब वह दूसरे तरीके का उपयोग करता है। शोधकर्ता यह जानना चाहते थे कि: क्या अपने सोचने की प्रक्रिया को समझाने से AI अपने उत्तर के प्रति अधिक आत्मविश्वासी हो जाता है?
प्रयोग: 57 विषयों का एक परीक्षण
शोधकर्ताओं ने सात अलग-अलग AI मॉडलों (Llama, Mistral और GPT के संस्करणों सहित) को MMLU नामक एक विशाल परीक्षण के माध्यम से परखा। इस परीक्षण को एक विशाल पुस्तकालय के रूप में समझें जिसमें इतिहास और गणित से लेकर कानून और जीव विज्ञान तक 57 विभिन्न विषयों के 15,000 से अधिक प्रश्न शामिल हैं।
उन्होंने AI से एक ही प्रश्न दो बार पूछे:
- राउंड 1: "सिर्फ उत्तर का अक्षर (letter) दें।" (प्रत्यक्ष)
- राउंड 2: "चरण-दर-चरण सोचें, अपने तर्क को समझाएं, और फिर उत्तर का अक्षर दें।" (चेन-ऑफ-थॉट/Chain-of-Thought)
चौंकाने वाले निष्कर्ष
परिणाम ऐसे थे जैसे किसी ऐसे छात्र को देखना जो अपनी ही कहानी में बहुत अधिक आत्मविश्वासी हो।
1. "आत्मविश्वास बढ़ाने" का प्रभाव (The "Confidence Boost" Effect)
जब AI को "चरण-दर-चरण सोचने" के लिए कहा गया, तो वह अपने उत्तरों के प्रति अधिक आत्मविश्वासी हो गया, चाहे उत्तर सही हो या गलत।
- उपमा (Analogy): कल्पना कीजिए कि एक व्यक्ति पहेली का उत्तर देने का अनुमान लगा रहा है। यदि वह केवल अनुमान लगाता है, तो वह कह सकता है, "मुझे लगता है कि यह X है, लेकिन मुझे यकीन नहीं है।" लेकिन यदि वह X क्यों है, इसके बारे में एक लंबी, विस्तृत कहानी लिखने में पांच मिनट बिताता है, तो वह अपनी ही कहानी पर विश्वास करने लगता है। वह कहता है, "मैं 99% आश्वस्त हूँ कि यह X है!" भले ही X वास्तव में गलत हो।
2. "गलत लेकिन मुखर" की समस्या (The "Wrong but Loud" Problem)
यहाँ पेचीदा बात यह है: AI का आत्मविश्वास तब अधिक बढ़ गया जब वह गलत था, बजाय इसके कि जब वह सही था।
- उपमा: यदि AI गणित के सवाल को सही हल करता है, तो वह 80% आश्वस्त महसूस कर सकता है। लेकिन यदि AI गणित के सवाल को गलत हल करता है, तो एक लंबी, तार्किक दिखने वाली व्याख्या लिखने की प्रक्रिया उसे 95% आश्वस्त महसूस कराती है। यह एक वकील की तरह है जो एक ऐसे मामले के लिए बहुत प्रभावशाली तर्क पेश कर रहा है जिसे वह जानता है कि वह हारने वाला है; वे जितना अधिक बोलते हैं, उतना ही वे अपने ही झूठ पर विश्वास करने लगते हैं।
3. "कैलिब्रेशन" का गिरना (The "Calibration" Crash)
AI की दुनिया में, "कैलिब्रेशन" का अर्थ है: "जब आप कहते हैं कि आप 90% आश्वस्त हैं, तो क्या आप वास्तव में 90% बार सही होते हैं?"
अध्ययन में पाया गया कि AI को तर्क करने (Chain-of-Thought) के लिए कहने से वास्तव में उसकी कैलिब्रेशन टूट गई। वह उच्च-आत्मविश्वास वाले उत्तर देने लगा जो अक्सर गलत होते थे।
- उपमा: एक मौसम विज्ञानी की कल्पना करें। "तर्क" वाले चरण के बिना, वे कहते हैं, "बारिश हो सकती है, 50% संभावना है।" तर्क वाले चरण के साथ, वे कहना शुरू करते हैं, "मैंने हवा की गति, आर्द्रता और बादलों के पैटर्न की गणना की है, इसलिए मैं 9м% आश्वस्त हूँ कि बारिश होगी!" लेकिन, बारिश नहीं होती है। वे अधिक निश्चित हो गए, लेकिन कम सटीक हो गए।
ऐसा क्यों होता है?
शोध पत्र सुझाव देता है कि ऐसा इसलिए होता है क्योंकि इन AI को कैसे बनाया गया है। वे "ऑटोरेग्रेसिव" (autoregressive) हैं, जिसका अर्थ है कि वे अपने से पहले आए शब्दों के आधार पर अगले शब्द की भविष्यवाणी करते हैं।
- फीडबैक लूप (Feedback Loop): एक बार जब AI एक विशिष्ट उत्तर का समर्थन करने वाला तर्क लिखना शुरू कर देता है, तो वह टेक्स्ट संदर्भ (context) का हिस्सा बन जाता है। यह ऐसा है जैसे AI अपने ही निबंध को पढ़ रहा है और खुद की बातों से प्रभावित हो रहा है। वह उत्तर का समर्थन करने के लिए जितना अधिक लिखता है, वह उत्तर मॉडल के लिए उतना ही "तार्किक" होता जाता है, भले ही तर्क त्रुटिपूर्ण हो।
- "समझाने से विश्वास करने" की घटना (The "Explain to Believe" Phenomenon): शोध पत्र में उल्लेख है कि मनुष्य भी ऐसा ही करते हैं। जब हम अपने उत्तर की व्याख्या करते हैं, तो हम अक्सर अपने उत्तर के प्रति अधिक आत्मविश्वासी महसूस करते हैं। AI इस मानवीय गुण की नकल कर रहा है, लेकिन बिना उस मानवीय क्षमता के कि यह पहचाना जा सके कि व्याख्या निरर्थक है।
निष्कर्ष (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि जब हम AI का उपयोग बहुविकल्पीय प्रश्नों के उत्तर देने के लिए करते हैं, तो हमें AI के "आत्मविश्वास स्कोर" (confidence score) पर बहुत सावधान रहना चाहिए यदि उसे "चरण-दर-चरण सोचने" के लिए कहा गया है।
- यदि AI कहता है, "मैं 99% आश्वस्त हूँ," और उसे पहले तर्क देने के लिए कहा गया था, तो वह वास्तव में गलत हो सकता है।
- तर्क की प्रक्रिया ने केवल AI को सही उत्तर खोजने में मदद नहीं की; इसने AI को गलत उत्तर के प्रति खतरनाक निश्चितता के साथ खुद को समझाने में भी मदद की।
संक्षेप में: AI को "अपना काम दिखाने" (show its work) के लिए कहना उसे एक बेहतर वक्ता बनाता है, लेकिन यह उसे अनिवार्य रूप से अधिक ईमानदार या अपने ज्ञान का अधिक सटीक निर्णायक नहीं बनाता है। वास्तव में, यह उसे एक अधिक आत्मविश्वासी झूठा बना सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।