Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts
यह शोध पत्र इस पारंपरिक दृष्टिकोण को चुनौती देता है कि तर्क श्रृंखलाओं (reasoning chains) का सघन और क्रमिक होना आवश्यक है, यह प्रदर्शित करते हुए कि भाषा मॉडल उन तर्क अवशेषों (reasoning traces) से भी सही उत्तर निकाल सकते हैं जो अत्यधिक अव्यवस्थित, प्राकृतिक भाषा से रहित और यहाँ तक कि गलत उत्तरों से दूषित होते हैं, जो एक अंतर्निहित विरल (sparse) और क्रम-असंवेदनशील सूचनात्मक आधार को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जो एक कठिन गणित की परीक्षा दे रहा है। अंतिम उत्तर लिखने से पहले, वह छात्र रफ पेपर पर एक लंबा, चरण-दर-चरण "विचार प्रक्रिया" (thought process) लिखता है। इसे "चेन ऑफ थॉट" (Chain of Thought) कहा जाता है।
लंबे समय तक, हमने यह मान लिया था कि यह छात्र कैसे काम करता है, इसके बारे में दो बातें सच हैं:
- सब कुछ महत्वपूर्ण है: उनके द्वारा लिखा गया हर एक शब्द अत्यंत महत्वपूर्ण है। यदि आप एक शब्द भी मिटा देते हैं, तो उत्तर गलत हो सकता है।
- क्रम ही सर्वोपरि है: चरणों को उसी क्रम में पढ़ा जाना चाहिए जिस क्रम में उन्हें लिखा गया था (चरण 1, फिर चरण 2, फिर चरण 3)। यदि पन्नों को इधर-उधर कर दिया जाए, तो छात्र भ्रमित हो जाता है।
यह कागज कहता है: "वास्तव में, वे दोनों धारणाएं सच नहीं हैं।"
शोधकर्ताओं ने इसका परीक्षण करने के लिए तीन अलग-अलग AI मॉडल के "रफ पेपर" को लिया और उनके साथ खेल खेला—क्रम को उलटाकर, शब्दों को हटाकर और नकली उत्तर जोड़कर। उन्होंने जो पाया, उसे सरल उपमाओं के साथ यहाँ समझाया गया है:
1. "बिखरे हुए पहेली" की उपमा (क्रम मायने नहीं रखता)
कल्पना कीजिए कि छात्र की विचार प्रक्रिया एक जिग्सॉ पहेली (jigsaw puzzle) है। हमें लगा था कि तस्वीर देखने के लिए टुकड़ों को एक विशिष्ट क्रम में जोड़ा जाना चाहिए।
शोधकर्ताओं ने पहेली के टुकड़ों (टेक्स्ट की लाइनों) को लिया, उन्हें एक ब्लेंडर में डाला, और फिर उन्हें बेतरतीब क्रम में वापस बाहर निकाल दिया।
- परिणाम: छात्र लगभग 100% समय सही उत्तर तक पहुँच गया।
- पेंच: यदि उन्होंने शब्दों के अंदर के अक्षरों को उलट-पुलट दिया (जैसे "math" को "htam" बना दिया), तो छात्र असफल हो गया। लेकिन यदि उन्होंने केवल वाक्यों या लाइनों को इधर-उधर किया, तो छात्र को इससे कोई फर्क नहीं पड़ा।
- निष्कर्ष: AI को एक रैखिक कहानी (linear story) की आवश्यकता नहीं है। उसे बस मेज पर बिखरे हुए पहेली के सभी टुकड़ों को देखने की आवश्यकता है। वह उन्हें क्रम में पढ़े बिना ही समाधान खोज सकता है।
2. "कंकाल बनाम मांस" की उपमा (स्पर्सिटी/विरलता)
हमें लगा था कि छात्र को पूरी कहानी—व्याख्या के "मांस" (flesh)—की आवश्यकता होगी। शोधकर्ताओं ने इस "मांस" (अंग्रेजी शब्द, व्याख्याएं, "इसलिए" और "क्योंकि") को हटाकर इसका परीक्षण किया।
- प्रयोग: उन्होंने वर्णमाला के हर अक्षर को हटा दिया, जिससे केवल संख्याएं, प्रतीक और अंतिम उत्तर ही बचे।
- परिणाम: छात्र वास्तव में उत्तर खोजने में और भी बेहतर हो गया! "मांस" (गद्य/prose) केवल शोर (noise) था।
- कंकाल: केवल संख्याएं और गणितीय प्रतीक ही मायने रखते थे। यदि आपने संख्याएं हटा दीं, तो छात्र शून्य पर आ गया। यदि आपने संख्याएं रखीं लेकिन शब्द हटा दिए, तो भी छात्र सफल रहा।
- निष्कर्ष: AI कहानी को अनदेखा कर रहा है और केवल गणित के कंकाल को देख रहा है।
3. "फेक न्यूज" की उपमा (मजबूती/रोबस्टनेस)
अंत में, शोधकर्ताओं ने पूछा: "क्या होगा अगर हम छात्र को धोखा दें?" उन्होंने सही उत्तर लिया और पेज पर नकली उत्तर जोड़ दिए। उन्होंने वास्तविक उत्तर की तुलना में तीन गुना अधिक बार नकली उत्तर "उत्तर 123 है" जोड़ा।
- अपेक्षा: आप सोचेंगे कि छात्र भ्रमित हो जाएगा और सबसे अधिक बार आने वाले उत्तर (नकली वाले) को चुन लेगा।
- परिणाम: छात्र ने शोर को पूरी तरह से अनदेखा कर दिया और हर बार सही उत्तर चुना।
- निष्कर्ष: AI केवल उत्तरों की गिनती नहीं कर रहा है। वह संख्याओं के तर्क और संरचना को देख रहा है। नकली उत्तर उसे मूर्ख नहीं बना सके क्योंकि वे गणितीय "कंकाल" में फिट नहीं बैठते थे।
मुख्य निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि इन AI मॉडलों को समस्याओं को हल करने के लिए वास्तव में लंबी, सटीक, क्रमिक कहानियों की आवश्यकता नहीं होती है। वे जासूसों की तरह हैं जो अपराध स्थल को देखते हैं: उन्हें इस बात से फर्क नहीं पड़ता कि सुराग एक सीधी रेखा में हैं या फर्श पर बिखरे हुए हैं, और उन्हें गवाह की लंबी, बहकी-बहकी कहानी से कोई लेना-देना नहीं है। उन्हें बस उन विशिष्ट संख्याओं और प्रतीकों को खोजने की आवश्यकता है जो मामले को सुलझाते हैं।
यह क्यों मायने रखता है?
यह शोध पत्र सुझाव देता है कि चूंकि AI को "कहानी" या "क्रम" की आवश्यकता नहीं है, इसलिए हम भविष्य में AI को बहुत तेज़ी से सोचने के योग्य बना सकते हैं। एक लंबी, धीमी कहानी चरण-दर-चरण लिखने के बजाय, हम संभावित रूप से सभी आवश्यक "सुरागों" (संख्याओं और प्रतीकों) को एक साथ उत्पन्न कर सकते हैं, जिससे कंप्यूटर पावर और समय की भारी बचत होगी।
महत्वपूर्ण नोट: यह शोध पत्र केवल यह सिद्ध करता है कि AI एक बिखरे हुए, छँटे हुए 'चेन' से उत्तर ढूँढ सकता है। यह अभी तक यह सिद्ध नहीं करता है कि हम उस तरह से 'चेन' बना (generate) भी सकते हैं, लेकिन यह उस संभावना के द्वार खोलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।