When Chain-of-Thought Helps and When It Hurts: An Empirical Investigation of the Serial-Depth Bottleneck in LLM Reasoning
यह अनुभवजन्य अध्ययन इस धारणा को चुनौती देता है कि चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग सार्वभौमिक रूप से LLM तर्क क्षमता को बढ़ाता है, बल्कि यह प्रदर्शित करता है कि इसकी प्रभावशीलता एक "सीरियल-डेप्थ बॉटलनेक" (क्रमिक-गहराई बाधा) द्वारा निर्धारित होती है, जहाँ CoT उच्च-गहराई वाले कार्यों पर प्रदर्शन को महत्वपूर्ण रूप से सुधारता है क्योंकि यह सिंगल-पास क्षमता सीमाओं को दरकिनार कर देता है, लेकिन उन उथले कार्यों के लिए बहुत कम या कोई लाभ नहीं देता जो पहले से ही उस क्षमता के भीतर समाहित हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल जिग्सॉ पहेली (jigsaw puzzle) को सुलझाने की कोशिश कर रहे हैं, लेकिन आपको एक बार में केवल मेज के एक छोटे से चौकोर हिस्से को ही देखने की अनुमति है। यदि पहेली सरल है, जैसे लाल और नीले ब्लॉकों को छाँटना, तो आप इसे आसानी से कर सकते हैं। लेकिन यदि पहेली के लिए संकेतों की एक लंबी श्रृंखला को याद रखने की आवश्यकता है—जैसे "लाल ब्लॉक यहाँ जाएगा, जिसका अर्थ है कि नीला ब्लॉक वहाँ जाएगा, जिसका अर्थ है कि हरा ब्लॉक यहाँ जाएगा"—तो आप भटक सकते हैं। यह आधुनिक आर्टिफिशियल इंटेलिजेंस (AI), विशेष रूप से एक प्रकार के 'लार्ज लैंग्वेज मॉडल्स' (LLMs) की दैनिक संघर्ष की कहानी है। ये AI मस्तिष्क अविश्वसनीय रूप से स्मार्ट हैं, लेकिन उनमें एक अजीब सीमा है: जब वे किसी समस्या को हल करने की कोशिश करते हैं, तो वे आमतौर पर अपने सोचने के चरणों को लिखे बिना, एक ही बार में अंतिम उत्तर देने की कोशिश करते हैं।
वैज्ञानिक लंबे समय से यह सोचते आए हैं कि क्या AI को "ज़ोर से सोचने" (जिसे 'चेन-ऑफ-थॉट' नामक तकनीक कहा जाता है) के लिए प्रेरित करना उन्हें कठिन पहेलियाँ सुलझाने में मदद करता है। बड़ा सवाल यह है: क्या चरणों के माध्यम से बात करने से हर समस्या के लिए मदद मिलती है, या केवल वास्तव में कठिन समस्याओं के लिए? इसे समझने के लिए, हमें दो बातें जाननी होंगी। पहला, AI मॉडल्स के पास एक "मेमोरी बैंडविड्थ" होती है, जो एक संकीले गलियारे की तरह है जिससे उन्हें जानकारी ले जानी होती है। यदि समस्या बहुत लंबी और जटिल है, तो गलियारा जाम हो जाता है, और AI बीच के चरणों को भूल जाता है। दूसरा, "चेन-ऑफ-थॉट" ऐसा है जैसे AI को एक रफ पेपर (स्क्रैच पैड) देना। पूरी पहेली को अपने दिमाग में रखने के बजाय, वह प्रत्येक चरण को लिखता है, उसे वापस पढ़ता है, और आगे बढ़ता है। यह शोध पत्र जांच करता है कि क्या यह रफ पेपर एक जादुई छड़ी है जो सब कुछ ठीक कर देती है, या केवल विशिष्ट, भारी-भरकम कार्यों के लिए एक उपकरण है।
इस अध्ययन के पीछे के शोधकर्ता ने एक लोकप्रिय विचार का परीक्षण करने का निर्णय लिया: कि AI को एक "रफ पैड" (चेन-ऑफ-थॉट) देने से उसे कठिन, बहु-चरणीय गणितीय समस्याओं को हल करने में मदद मिलनी चाहिए, लेकिन सरल, तथ्य-आधारित प्रश्नों के लिए यह वास्तव में बेकार या कष्टप्रद हो सकता है। उन्होंने AI मॉडल्स के साथ एक दौड़ में धावकों की तरह व्यवहार किया, उन्हें दौड़ने के दो अलग-अलग तरीके दिए: एक जहाँ उन्हें बिना रुके सीधे फिनिश लाइन तक स्प्रिंट करना था (बिना रफ पेपर के), और दूसरा जहाँ वे रुक सकते थे, नोट्स लिख सकते थे, और फिर दौड़ सकते थे (चेन-ऑफ-थॉट के साथ)। उन्होंने इसका परीक्षण तीन अलग-अलग आकारों के तीन AI मॉडल्स और पाँच अलग-अलग प्रकार की चुनौतियों पर किया, जो कठिन गणितीय समीकरणों से लेकर सामान्य ज्ञान क्विज़ और कोडिंग कार्यों तक विस्तृत थे।
उन्होंने परिणामों में एक दिलचस्प विभाजन पाया। कठिन, बहु-चरणीय गणितीय समस्याओं (जैसे कि GSM8K और MATH बेंचमार्क में पाई जाने वाली) के लिए, "रफ पेपर" एक जीवन रक्षक साबित हुआ। जब AI को चरण-दर-चरण सोचने के लिए मजबूर किया गया, तो इसकी सटीकता आसमान छू गई। उदाहरण के लिए, एक गणित परीक्षण पर, सबसे छोटे मॉडल की सटीकता केवल 16.8% से बढ़कर 84.3% हो गई, सिर्फ इसलिए क्योंकि उसे अपने विचार लिखने की अनुमति दी गई थी। यह एक विशाल सुधार है, जो यह सुझाव देता है कि गहरे, जटिल तर्क के लिए, AI को वास्तव में चीजों को सुलझाने के लिए उस अतिरिक्त स्थान की आवश्यकता होती है।
हालाँकि, सरल, तथ्य-आधारित प्रश्नों (जैसे MMLU और ARC बेंचमार्क) के लिए कहानी बहुत अलग थी। यहाँ, शोधकर्ता ने पाया कि AI को "ज़ोर से सोचने" के लिए मजबूर करने से कोई खास मदद नहीं मिली। AI का प्रदर्शन लगभग वैसा ही रहा चाहे उसे नोट्स लिखने की अनुमति दी गई हो या नहीं। कुछ मामलों में, सुधार इतना मामूली (5% से कम) था कि वह लगभग शून्य था। यह बताता है कि स्मृति या सरल तथ्यों पर आधारित प्रश्नों के लिए, AI को रफ पैड की आवश्यकता नहीं है; उसके पास उन्हें एक बार में हल करने के लिए पर्याप्त दिमागी शक्ति पहले से ही है। यह विचार भी परीक्षण किया गया कि क्या "ज़ोर से सोचना" सरल कार्यों पर प्रदर्शन को नुकसान पहुँचा सकता है, लेकिन डेटा ने दिखाया कि इससे कोई नुकसान नहीं हुआ; बस इससे कोई अंतर नहीं पड़ा।
कोडिंग कार्यों (HumanEval) से संबंधित एक दिलचस्प मोड़ सामने आया। यहाँ परिणाम पूरी तरह से इस बात पर निर्भर थे कि AI कितना "बड़ा" था। सबसे बड़े AI मॉडल को रफ पैड का उपयोग करने से भारी बढ़ावा मिला, उसकी सही उत्तर देने की दर में 23.2% की वृद्धि हुई। मध्यम आकार के मॉडल को थोड़ा बढ़ावा मिला। लेकिन सबसे छोटे मॉडल के लिए, ज़ोर से सोचने के लिए मजबूर करने पर प्रदर्शन वास्तव में बिगड़ गया, और यह लगभग 29% गिर गया। यह सुझाव देता है कि बहुत छोटे AI मस्तिष्क के लिए, चरणों को लिखना बहुत अधिक काम हो सकता है, जिससे वे अपने ही पैरों में उलझ जाते हैं।
शोधकर्ता ने यह भी जाँच की कि क्या AI अपने प्रशिक्षण डेटा से उत्तरों को याद करके (रिकॉल करके) केवल "याद" कर रहा था। उन्होंने गणित की समस्याओं में नंबरों को नकली नामों और प्रतीकों के साथ बदलकर इसका परीक्षण किया। इन बदलावों के बावजूद, AI को समस्याओं को सही ढंग से हल करने के लिए रफ पैड की आवश्यकता थी, जिससे यह सिद्ध हुआ कि वह वास्तव में गणित कर रहा था न कि केवल एक याद किए गए उत्तर को दोहरा रहा था।
अंत में, यह शोध पत्र हमें बताता है कि चेन-ऑफ-थॉट कोई जादुई रामबाण नहीं है। यह एक विशिष्ट उपकरण है। यह एक "बैंडविड्थ बायपास" के रूप में कार्य करता है, जिससे AI उन समस्याओं को हल कर पाता है जो उसके एकल-पास मस्तिष्क के लिए बहुत गहरी और जटिल हैं। लेकिन जो समस्याएँ पहले से ही उथली या सरल हैं, उनके लिए यह उपकरण अनावश्यक है। शोधकर्ता निष्कर्ष निकालते हैं कि हमें यह नहीं मानना चाहिए कि AI को हर एक प्रश्न के लिए "सोचने" की आवश्यकता है; कभी-कभी, इसे सीधे उत्तर देने देना बेहतर होता है, और अन्य समय में, उसे रफ पेपर देना ही सही उत्तर पाने का एकमात्र तरीका होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।