Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens
यह शोध पत्र यह प्रस्तावित करता है कि चेन-ऑफ-थॉट (CoT) तर्क वास्तविक बुद्धिमत्ता का संकेत नहीं है, बल्कि सीखे गए इंडक्टिव बायस (inductive biases) का एक भंगुर प्रतिबिंब है जो केवल तभी सफल होता है जब परीक्षण प्रश्न प्रशिक्षण डेटा वितरण के अनुरूप होते हैं, और वितरण बदलाव (distribution shifts) का सामना करने पर विफल हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
AI का "जादुई खेल": क्या यह सोच रहा है, या सिर्फ एक बहुत अच्छा नकलची है?
कल्पना कीजिए कि आप एक विश्व प्रसिद्ध जादूगर से मिलते हैं। वह एक ऐसा करतब दिखाता है जिसमें वह सटीक भविष्यवाणी करता है कि आप कौन सा कार्ड चुनेंगे, और अपने "तर्क" को चरण-दर-चरण समझाता है: "पहले, मैंने देखा कि आपका हाथ बाईं ओर मुड़ा, फिर मैंने देखा कि आपकी आँखें लाल सूट की ओर झुकीं, इसलिए आपने निश्चित रूप से हार्ट का इक्का (Ace of Hearts) चुना होगा।"
यह सुनने में बहुत शानदार लगता है। ऐसा लगता है जैसे वह वास्तव में आपका मन पढ़ रहा है। लेकिन क्या होगा अगर मैं आपसे कहूँ कि उस जादूगर ने वास्तव में वही कार्ड वाला करतब पहले भी 10,000 बार देखा है? वह आपका मन नहीं पढ़ रहा है; वह बस एक ऐसी स्क्रिप्ट दोहरा रहा है जो अतीत में काम आई थी।
यह शोध पत्र तर्क देता है कि AI में "चेन-ऑफ-थॉट" (CoT) तर्क बिल्कुल उसी जादूगर की तरह है।
अवधारणा: "चेन-ऑफ-थॉट" (Chain-of-Thought) क्या है?
जब हम AI (जैसे ChatGPT) का उपयोग करते हैं, तो हम अक्सर उससे "चरण-दर-चरण सोचने" (think step-by-step) के लिए कहते हैं। इसे चेन-ऑफ-थॉट कहा जाता है। सीधे उत्तर पर कूदने के बजाय, AI अपनी "तर्क प्रक्रिया" को लिखकर बताता है। लंबे समय तक, मनुष्यों ने इन चरणों को देखा और सोचा, "वाह, AI वास्तव में तर्क कर रहा है! यह तर्क का पालन कर रहा है!"
इस शोध पत्र के शोधकर्ताओं ने एक संदेहास्पद प्रश्न पूछा: क्या AI वास्तव में तर्क का पालन कर रहा है, या यह केवल तर्क का एक "मृगतृष्णा" (mirage) दिखा रहा है?
खोज: "डेटा डिस्ट्रीब्यूशन" का लेंस
यह जानने के लिए, शोधकर्ताओं ने DataAlchemy नामक एक डिजिटल प्रयोगशाला बनाई। इसे लेगो (LEGO) ब्रिक्स से बने एक खेल के मैदान की तरह समझें। जटिल मानवीय भाषा के बजाय, उन्होंने सरल "परमाणुओं" (अक्षरों) और "रूपांतरणों" (जैसे "हर अक्षर को 3 से बदलें" जैसे नियम) का उपयोग किया।
उन्होंने इन सरल नियमों पर AI मॉडल को प्रशिक्षित किया और फिर यह देखने के लिए उन्हें "परीक्षण" दिए कि क्या वे वास्तव में तर्क कर सकते हैं। यहाँ उन्होंने तीन अलग-अलग "तनाव परीक्षणों" (stress tests) का उपयोग करके क्या पाया, इसका विवरण दिया गया है:
1. "नई रेसिपी" परीक्षण (कार्य सामान्यीकरण - Task Generalization)
कल्पना कीजिए कि आप एक शेफ को पीनट बटर सैंडविच और हैम सैंडविच बनाना सिखाते हैं। यदि आप अचानक उनसे पीनट बटर और हैम सैंडविच बनाने के लिए कहते हैं (एक नया संयोजन), तो एक असली शेफ बस उन चरणों को जोड़ देगा।
- AI की विफलता: AI अक्सर भ्रमित हो जाता है। वह या तो "पीनट बटर" की स्क्रिप्ट या "हैम" की स्क्रिप्ट का पालन करने की कोशिश कर सकता है, लेकिन वह उन्हें एक नई, तार्किक प्रक्रिया में नहीं जोड़ पाता। वह "सैंडविच की अवधारणा" नहीं सीख रहा है; वह बस विशिष्ट रेसिपी याद कर रहा है।
2. "विशाल सैंडविच" परीक्षण (लंबाई सामान्यीकरण - Length Generalization)
कल्पना कीजिए कि आप एक बच्चे को 5 तक गिनती करना सिखाते हैं। यदि आप अचानक उसे 50 तक गिनती करने के लिए कहते हैं, तो एक बच्चा जो गणित समझता है, वह बस गिनती जारी रखेगा।
- AI की विफलता: AI अक्सर एक "दीवार" से टकरा जाता है। यदि इसे 3 चरणों में तर्क करने के लिए प्रशिक्षित किया गया था, और आप इसे ऐसा प्रश्न देते हैं जिसके लिए 10 चरणों की आवश्यकता है, तो यह अक्सर उत्तर को 3 चरणों में "ठूंसने" की कोशिश करेगा या बस बड़बड़ाने लगेगा। इसने गिनती की अवधारणा नहीं सीखी है; इसने बस एक छोटी अनुक्रम की पैटर्न को सीखा है।
3. "अव्यवस्थित निर्देश" परीक्षण (फॉर्मेट सामान्यीकरण - Format Generalization)
कल्पना कीजिए कि आप किसी को निर्देश देते हैं: "1. बाईं ओर मुड़ें। 2. सीधा चलें।" यदि आप इसे थोड़ा बदल देते हैं: "पहले, कृपया बाईं ओर मुड़ें, और फिर, आपको सीधा चलना चाहिए," तो मनुष्य को फर्क नहीं पड़ता—तर्क वही है।
- AI की विफलता: AI अविश्वसनीय रूप से नाजुक है। यदि आप एक अतिरिक्त शब्द जोड़ते हैं या प्रश्न पूछने का तरीका बदलते हैं, तो "तर्क" अक्सर बिखर जाता है। यह एक उच्च-प्रदर्शन वाली रेस कार की तरह है जो ट्रैक पर एक छोटे से कंकड़ के कारण भी खराब हो जाती है।
निष्कर्ष: एक "भंगुर मृगतृष्णा" (A Brittle Mirage)
शोधकर्ताओं ने निष्कर्ष निकाला कि CoT तर्क एक मृगतृष्णा है।
जब AI से ऐसे प्रश्न पूछे जाते हैं जो बिल्कुल वैसे ही दिखते हैं जैसे उसने स्कूल में पढ़ाई की थी (जिसे वे "इन-डिस्ट्रीब्यूशन" कहते हैं), तो वह एक जीनियस की तरह दिखता है। लेकिन जैसे ही आप उसके "कम्फर्ट ज़ोन" से थोड़ा बाहर जाते हैं (जिसे वे "आउट-ऑफ-डिस्ट्रीब्यूशन" कहते हैं), तर्क गायब हो जाता है।
AI समस्या के बारे में "सोच" नहीं रहा है; वह पैटर्न का इंटरपोलेशन (Interpolating patterns) कर रहा है। वह वर्तमान समस्या को देख रहा है और कह रहा है, "यह 90% वैसा ही दिखता है जैसा मैंने अपने ट्रेनिंग डेटा में देखा था, इसलिए मैं उस चीज़ के चरणों को दोहराऊंगा।"
यह आपके लिए क्यों मायने रखता है?
यह भविष्य के लिए एक चेतावनी है। जैसे-जैसे हम महत्वपूर्ण चीजों के लिए AI का उपयोग करना शुरू करेंगे—जैसे चिकित्सा सलाह, कानूनी सहायता, या इंजीनियरिंग—हम देख सकते हैं कि AI एक बहुत लंबा, बहुत आत्मविश्वासी और बहुत "तार्किक दिखने वाला" स्पष्टीकरण प्रदान कर रहा है।
शोध पत्र हमें चेतावनी देता है: एक सुसंगत स्पष्टीकरण को सही स्पष्टीकरण समझने की गलती न करें। सिर्फ इसलिए कि AI यह समझा सकता है कि वह उत्तर तक कैसे पहुँचा, इसका मतलब यह नहीं है कि उसने वास्तव में इसके पीछे के तर्क को समझा है। यह सिर्फ एक बहुत ही प्रतिभाशाली जादूगर हो सकता है जो एक ऐसा करतब दिखा रहा है जिसे उसने हजारों बार पहले देखा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।