🤖 machine learning

On the Cost and Benefit of Chain of Thought: A Learning-Theoretic Perspective

यह शोध पत्र एक लर्निंग-थ्योरेटिक फ्रेमवर्क स्थापित करता है जो चेन ऑफ थॉट (CoT) रीजनिंग जोखिम को एक लाभकारी ओरैकल-ट्रैजेक्टरी घटक और एक लागतपूर्ण ट्रैजेक्टरी-मिसमैच घटक में विभाजित करता है, यह प्रदर्शित करते हुए कि CoT की प्रभावशीलता उन स्थिरता स्थितियों पर महत्वपूर्ण रूप से निर्भर करती है जो मध्यवर्ती रीजनिंग चरणों के लाभों को कम करने के लिए त्रुटि संचय (error accumulation) को बढ़ने से रोकती हैं।

मूल लेखक: Yue Zhang, Zhiyi Dong, Tommaso Cesari, Yongyi Mao

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yue Zhang, Zhiyi Dong, Tommaso Cesari, Yongyi Mao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "On the Cost and Benefit of Chain of Thought: A Learning-Theoretic Perspective" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी तस्वीर: "चरण-दर-चरण" की रणनीति (The "Step-by-Step" Strategy)

कल्पना कीजिए कि आप एक बहुत कठिन गणित की समस्या हल करने की कोशिश कर रहे हैं, जैसे दो बड़ी संख्याओं को गुणा करना।

प्रत्यक्ष दृष्टिकोण (Direct Approach): आप तुरंत उत्तर का अनुमान लगाने की कोशिश करते हैं। यदि आपने पहले कभी ठीक ऐसी ही समस्या नहीं देखी है, तो आप गलत अनुमान लगा सकते हैं।
चेन ऑफ थॉट (CoT): आपको "चरण-दर-चरण सोचने" के लिए कहा जाता है। आप बड़ी समस्या को छोटे, आसान सवालों में तोड़ देते हैं, एक-एक करके उनका उत्तर देते हैं, और अंतिम उत्तर तक पहुँचने के लिए अगले चरण को हल करने के लिए उन उत्तरों का उपयोग करते हैं।

यह पेपर एक मौलिक प्रश्न पूछता है: चरण-दर-चरण सोचना वास्तव में कब मदद करता है, और कब यह चीजों को बदतर बना देता है? लेखक एक गणितीय ढांचे का उपयोग करके यह सिद्ध करते हैं कि CoT के दो पहलू हैं: एक लाभ (Benefit) और एक लागत (Cost)।

भाग 1: लाभ (The "Translator" Effect)

उपमा: विशेष अनुवादक (The Specialized Translator)

कल्पना कीजिए कि आप एक ऐसे शेफ हैं जो केवल अंडे और टोस्ट जैसे साधारण व्यंजन बनाना जानते हैं (आपका ट्रेनिंग डेटा)। अचानक, एक ग्राहक एक जटिल, बहु-कोर्स वाले शानदार भोजन (आपका टेस्ट क्वेश्चन) का ऑर्डर देता है।

CoT के बिना: आप सीधे वह शानदार भोजन बनाने की कोशिश करते हैं। चूंकि आपने इसे पहले कभी नहीं बनाया है, इसलिए आप विफल हो जाते हैं।
CoT के साथ: आप एक अनुवादक की तरह कार्य करते हैं। आप उस शानदार भोजन को उसके बुनियादी अवयवों में तोड़ देते हैं: "पहले, अंडे को फेंटें। फिर, ब्रेड को टोस्ट करें।" इसके बाद आप अपने मौजूदा कौशल का उपयोग करके इन सरल भागों को पकाते हैं।

पेपर क्या कहता है:
लेखक इसे ओरेकल-ट्रैजेक्टरी रिस्क (Oracle-Trajectory Risk - OTR) कहते हैं। वे दिखाते हैं कि CoT एक "डोमेन एडेप्टेशन" टूल की तरह काम करता है। यह एक कठिन, अपरिचित प्रश्न को सरल प्रश्नों की एक श्रृंखला में बदल देता है जो उन प्रश्नों जैसे दिखते हैं जिन पर मॉडल को प्रशिक्षित किया गया था।

यदि "चरण-दर-चरण" निर्देश कठिन समस्या को एक "परिचित" समस्या में सफलतापूर्वक बदल देते हैं, तो मॉडल सही उत्तर दे सकता है।
निष्कर्ष: CoT तब मदद करता है जब यह मॉडल जो जानता है और जिसे उसे हल करने की आवश्यकता है, उसके बीच के अंतर को पाट देता है।

भाग 2: लागत (The "Whisper Game" Effect)

उपमा: टेलीफोन का खेल (The Game of Telephone)

अब, कल्पना कीजिए कि आप "टेलीफोन" (या "विस्पर डाउन द लेन") खेल रहे हैं। आप पहले व्यक्ति को एक संदेश फुसफुसाते हैं, जो दूसरे को फुसफुसाता है, और इसी तरह आगे बढ़ता है।

समस्या: यदि पहला व्यक्ति संदेश को थोड़ा गलत सुन लेता है, तो वह दूसरे व्यक्ति को गलत बात फुसफुसाता है। दूसरा व्यक्ति, गलत बात सुनकर, उसे और भी गलत समझ सकता है। जब तक संदेश अंत तक पहुँचता है, वह पूरी तरह से अपठनीय हो जाता है।
CoT में: यदि मॉडल चरण 1 में एक छोटी सी गलती करता है, तो वह चरण 2 उत्पन्न करने के लिए उस गलत उत्तर का उपयोग करता है। यदि चरण 2 गलत है, तो चरण 3 और भी खराब हो जाता है। त्रुटियाँ "स्नोबॉल" (बर्फ के गोले) की तरह बढ़ती हैं।

पेपर क्या कहता है:
लेखक इसे ट्रैजेक्टरी-मिसमैच रिस्क (Trajectory-Mismatch Risk - TMR) कहते हैं। यह CoT की लागत है।

भले ही मॉडल लगभग सटीक हो, यदि वह एक "गलत रास्ते" (मिसमैच्ड ट्रैजेक्टरी) पर चलता है क्योंकि शुरुआती त्रुटि बहुत छोटी थी, तो वह त्रुटि बढ़ सकती है।
"नो फ्री लंच" की चेतावनी: पेपर एक चौंकाने वाला तथ्य सिद्ध करता है: कठोर स्थिरता (strict stability) के बिना, CoT खतरनाक हो सकता है।
- यदि मॉडल, गणित के नियम, या लॉस फंक्शन (हम त्रुटि को कैसे मापते हैं) थोड़े भी "अस्थिर" (उछलने वाले या संवेदनशील) हैं, तो एक छोटी सी त्रुटि एक बड़ी विफलता में बदल सकती है।
- आपके पास एक ऐसा मॉडल हो सकता है जो 99.9% सटीक है, लेकिन यदि "चेन ऑफ थॉट" के नियम स्थिर नहीं हैं, तो अंतिम उत्तर 100% गलत हो सकता है।

भाग 3: "एम्प्लीफिकेशन फैक्टर" (The Control Knob)

उपमा: वॉल्यूम नॉब (The Volume Knob)

लेखक एक गणितीय "एम्प्लीफिकेशन फैक्टर" पेश करते हैं। इसे एक स्पीकर के वॉल्यूम नॉब की तरह समझें जो यह नियंत्रित करता है कि चरणों के माध्यम से त्रुटियां कितनी तेज़ होती हैं।

सिस्टम कितना स्थिर है, इस पर निर्भर करते हुए, "शोर" (त्रुटियां) तीन तरीकों से व्यवहार करती हैं:

बाउंडेड (शांत/सीमित): त्रुटियां छोटी रहती हैं और बढ़ती नहीं हैं। सिस्टम स्थिर है।
लीनियर (क्रमिक): त्रुटियां धीरे-धीरे बढ़ती हैं, जैसे हर मिनट बाल्टी में पानी की एक बूंद डालना।
एक्सपोनेंशियल (विस्फोटक): त्रुटियां बर्फ के गोले (snowball) की तरह बढ़ती हैं जो पहाड़ी से नीचे लुढ़क रहा है, बहुत तेज़ी से विशाल होता जाता है।

मुख्य अंतर्दृष्टि:
पेपर पहचानता है कि प्रत्येक स्थिति कब होती है।

यदि मॉडल के उत्तर और तर्क के नियम स्थिर (सुचारू और अनुमानित) हैं, तो त्रुटियां नियंत्रण में रहती हैं।
यदि वे अस्थिर हैं, तो त्रुटियां तेजी से (exponentially) बढ़ती हैं, जिससे CoT सीधे अनुमान लगाने से भी बदतर हो जाता है।

सारांश: इसका उपयोग कब करें और कब इससे बचें

पेपर इस ट्रेड-ऑफ पर एक सटीक सिद्धांत के साथ समाप्त होता है:

CoT मदद करता है जब: चरण-दर-चरण प्रक्रिया एक कठिन, नए प्रश्न को परिचित, आसान समस्याओं के सेट में सफलतापूर्वक बदल देती है (कम OTR), और तर्क प्रक्रिया इतनी स्थिर होती है कि छोटी गलतियाँ पूरे चैन को बर्बाद नहीं करतीं (कम TMR)।
CoT नुकसान पहुँचाता है जब: तर्क प्रक्रिया अस्थिर होती है। पहले चरण में एक छोटी, लगभग अदृश्य गलती भी इतनी बढ़ सकती है कि अंतिम उत्तर बेकार हो जाए।

अंतिम रूपक:
चेन ऑफ थॉट एक सीढ़ी (ladder) की तरह है।

लाभ: यह आपको उन ऊंचाइयों तक पहुँचने में मदद करता है (कठिन समस्याओं को हल करने में) जहाँ आप सीधे कूदकर नहीं पहुँच सकते थे।
लागत: यदि सीढ़ी के डंडे ढीले हैं (अस्थिर हैं), तो चढ़ना खतरनाक है। एक फिसलन आपको जमीन पर रहने की तुलना में कहीं अधिक नीचे गिरा सकती है।

पेपर उन गणितीय नियमों को प्रदान करता है जो आपको बताते हैं कि आपकी सीढ़ी चढ़ने के लिए कितनी मजबूत है।

तकनीकी सारांश: चेन ऑफ थॉट (CoT) की लागत और लाभ पर: एक लर्निंग-थ्योरेटिक परिप्रेक्ष्य

समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) में चेन ऑफ थॉट (CoT) प्रॉम्प्टिंग को समझने के लिए एक कठोर लर्निंग-थ्योरेटिक ढांचे के अभाव को संबोधित करता है। जबकि अनुभवजन्य साक्ष्य (empirical evidence) यह सुझाव देते हैं कि CoT मॉडल को मध्यवर्ती चरणों (intermediate steps) को उत्पन्न करने के लिए प्रोत्साहित करके तर्क प्रदर्शन में सुधार करता है, इसके लाभों के पीछे के सैद्धांतिक तंत्र और इसकी संभावित लागतों (जैसे त्रुटि संचय/error accumulation) को ठीक से समझा नहीं गया है। मौजूदा सैद्धांतिक कार्य मुख्य रूप से ट्रांसफार्मर आर्किटेक्चर की अभिव्यक्तता (expressivity) या 0-1 लॉस के तहत टोकन-स्तरीय सांख्यिकीय शिक्षण पर केंद्रित रहे हैं। इस कार्य का उद्देश्य एक सामान्य लर्निंग थ्योरी विकसित करना है जो CoT प्रॉम्प्टिंग का उपयोग किए जाने पर LLM लर्निंग समस्या की संरचना को स्पष्ट करती है, विशेष रूप से तर्क के लाभों और त्रुटि प्रसार (error propagation) की लागत के बीच के ट्रेड-ऑफ को मात्रात्मक रूप से निर्धारित करती है।

कार्यप्रणाली (Methodology)

लेखक CoT को एक लर्निंग समस्या के रूप में औपचारिक रूप देते हैं जिसमें एक आंसर मैप (हाइपोथेसिस फंक्शन $f$ ) और एक चेन रूल (कार्यों का एक अनुक्रम $D_K$ जो ऑटोरिग्रेसिव रूप से मध्यवर्ती प्रश्नों को उत्पन्न करता है) के बीच की अंतःक्रिया शामिल है।

CoT का औपचारिकीकरण (Formalization of CoT):
- LLM को एक फंक्शन $f: X \to X$ के रूप में मॉडल किया गया है जो एक इनपुट रिप्रेजेंटेशन को आउटपुट में मैप करता है।
- CoT को एक $K$ -स्टेप चेन रूल $D_K = (D^{(1)}_K, \dots, D^{(K)}_K)$ के माध्यम से परिभाषित किया गया है। एक इनपुट $x$ के लिए, चेन रूल मध्यवर्ती प्रश्नों $Q^{(k)}$ और उत्तरों $A^{(k)}$ का एक अनुक्रम इंडक्टिव रूप से उत्पन्न करता है। $k$ -वाँ प्रश्न मूल इनपुट और पिछले सभी प्रश्नों और उत्तरों पर निर्भर करता है।
- एक बिंदु $x$ को $(D_K, g)$ -रिकवरेबल के रूप में परिभाषित किया गया है यदि ग्राउंड-ट्रुथ आंसर मैप $g$ संतुष्ट करता है $g(x) = A^{(K)}_{D_K, g}(x)$ , जिसका अर्थ है कि ग्राउंड ट्रुथ द्वारा निर्देशित CoT प्रक्रिया सफलतापूर्वक सही उत्तर को रिकवर करती है।
रीजनिंग रिस्क डिकंपोजिशन (Reasoning Risk Decomposition):
- रीजनिंग रिस्क $R^{D_K}_{\nu, \ell}(f, g)$ को एक टेस्ट डिस्ट्रीब्यूशन $\nu$ के तहत हाइपोथेसिस $f$ द्वारा उत्पन्न अंतिम CoT उत्तर और ग्राउंड ट्रुथ $g$ के बीच अपेक्षित लॉस (expected loss) के रूप में परिभाषित किया गया है।
- यह मानते हुए कि लॉस फंक्शन $\ell$ एक क्वासिकमेट्रिक (quasimetric) है और टेस्ट डिस्ट्रीब्यूशन रिकवरेबल पॉइंट्स पर समर्थित है, लेखक रीजनिंग रिस्क का दो पदों में एक सटीक कैनोनिकल डिकंपोजिशन निकालते हैं:
  $R^{D_K}_{\nu, \ell}(f, g) \leq \underbrace{\mathbb{E}[\ell(f(Q^{(K)}_{D_K, f}(X)), f(Q^{(K)}_{D_K, g}(X)))]}_{\text{ट्रैजेक्टरी-मिसमैच रिस्क (TMR)}} + \underbrace{\mathbb{E}[\ell(f(Q^{(K)}_{D_K, g}(X)), g(Q^{(K)}_{D_K, g}(X)))]}_{\text{ओरैकल-ट्रैजेक्टरी रिस्क (OTR)}}$
स्टेबिलिटी विश्लेषण (Stability Analysis):
- शोध पत्र लॉस फंक्शन, हाइपोथीसिस आंसर मैप और चेन रूल स्टेप्स के लिए स्टेबिलिटी (कोऑर्डिनेट-वाइज लिप्सचिट्ज़ निरंतरता) परिभाषाओं को पेश करता है।
- यह एक एम्प्लीफिकेशन फैक्टर $\alpha_K(\phi, \delta)$ का उपयोग करके CoT ट्रैजेक्टरी के माध्यम से त्रुटियों के प्रसार का विश्लेषण करता है, जहाँ $\phi$ हाइपोथीसिस की स्थिरता और $\delta$ चेन रूल की स्थिरता का प्रतिनिधित्व करता है।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. कैनोनिकल रिस्क डिकंपोजिशन (Canonical Risk Decomposition)

प्राथमिक सैद्धांतिक योगदान रीजनिंग रिस्क को OTR और TMR में विभाजित करना है:

ओरैकल-ट्रैजेक्टरी रिस्क (OTR): यह CoT के लाभ को कैप्चर करता है। यह उस जोखिम को दर्शाता है जो तब होता है जब मॉडल "सही" रीजनिंग पथ का पालन करता है (ग्राउंड ट्रुथ द्वारा निर्देशित) लेकिन अंतिम उत्तर उत्पन्न करने के लिए अपने स्वयं के हाइपोथीसिस का उपयोग करता है। लेखक दिखाते हैं कि यह पद एक डोमेन अडैप्टेशन समस्या में टारगेट-डोमेन रिस्क के समान है। CoT तब फायदेमंद होता है जब टेस्ट डिस्ट्रीब्यूशन का "पुश-फॉरवर्ड" (ग्राउंड-ट्रुथ चेन रूल के माध्यम से) ट्रेनिंग डिस्ट्रीब्यूशन के साथ निकटता से संरेखित होता है।
ट्रैजेक्टरी-मिसमैच रिस्क (TMR): यह CoT की लागत को कैप्चर करता है। यह मॉडल की अपनी कमियों के कारण ग्राउंड-ट्रुथ रीजनिंग पथ से विचलित होने के परिणामस्वरूप होने वाले त्रुटि संचय को मापता है।

2. स्टेबिलिटी की आवश्यकता (नो-फ्री-लंच थ्योरम)

शोध पत्र सिद्ध करता है कि विशिष्ट स्टेबिलिटी धारणाओं के बिना, CoT की लागत अनबाउंडेड (unbounded) है।

थ्योरम 1: यदि लॉस फंक्शन, हाइपोथीसिस आंसर मैप, या चेन रूल में से कोई भी स्टेबिलिटी की कमी रखता है, तो TMR मनमाना रूप से बड़ा हो सकता है, भले ही OTR शून्य हो और हाइपोथीसिस ग्राउंड ट्रुथ के समान रूप से निकट हो। यह स्थापित करता है कि CoT के विश्वसनीय होने के लिए स्टेबिलिटी एक आवश्यक शर्त है।

3. TMR पर टाइट अपर बाउंड्स (Tight Upper Bounds on TMR)

स्टेबिलिटी की धारणा के तहत, लेखक TMR पर एक टाइट अपर बाउंड प्राप्त करते हैं।

थ्योरम 2 और 3: TMR $\frac{\lambda \phi \delta}{2} \alpha_K(\phi, \delta) d(f, g)$ द्वारा बाउंडेड है, जहाँ $d(f, g)$ हाइपोथीसिस और ग्राउंड ट्रुथ के बीच यूनिफॉर्म डिस्टेंस है, और $\alpha_K(\phi, \delta)$ एक सटीक एम्प्लीफिकेशन फैक्टर है।
एरर ग्रोथ रिजीम्स (Error Growth Regimes): एम्प्लीफिकेशन फैक्टर $\alpha_K$ $α_{K}$ , स्टेबिलिटी कांस्टेंट $\phi \delta$ $ϕ δ$ के उत्पाद के आधार पर त्रुटि वृद्धि के तीन अलग-अलग रिजीम्स की पहचान करता है:
1. बाउंडेड ग्रोथ (Bounded Growth): यदि $\phi \delta < 1$ , तो त्रुटियां नियंत्रित रहती हैं।
2. लीनियर ग्रोथ (Linear Growth): यदि $\phi \delta = 1$ , तो त्रुटियां $K$ स्टेप्स के साथ रैखिक रूप से संचित होती हैं।
3. एक्सपोनेंशियल ग्रोथ (Exponential Growth): यदि $\phi \delta > 1$ , तो त्रुटियां तेजी से (स्नोबॉलिंग) बढ़ती हैं।
शोध पत्र एक "मिक्स्ड रिजीम" को भी संबोधित करता है जहाँ $\phi < 1 < \delta$ , यह दिखाते हुए कि एक स्थिर हाइपोथीसिस भी घातीय त्रुटि वृद्धि (exponential error growth) से ग्रस्त हो सकती है यदि चेन रूल स्वयं अस्थिर है।

4. बाउंड्स की टाइटनेस (Tightness of Bounds)

लेखक इन अपर बाउंड्स को टाइट (थ्योरम 3) सिद्ध करते हैं, यह निर्माण करके कि वर्स्ट-केस परिदृश्य (worst-case scenarios) कहाँ प्राप्त होते हैं, जिससे पुष्टि होती है कि व्युत्पन्न एम्प्लीफिकेशन फैक्टर्स CoT प्रदर्शन की सैद्धांतिक सीमाओं का सटीक वर्णन करते हैं।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह यह निर्धारित करने के लिए एक सटीक सिद्धांत प्रदान करता है कि CoT कब मदद करता है, कब नुकसान पहुँचाता है, और क्या इन अवस्थाओं के बीच संक्रमण को नियंत्रित करता है।

अनुभवजन्य घटनाओं की व्याख्या (Explaining Empirical Phenomena): सैद्धांतिक ढांचा देखी गई घटनाओं जैसे "स्नोबॉल एरर्स" (घातीय त्रुटि वृद्धि) और प्रॉम्प्ट डिजाइन के प्रति CoT की संवेदनशीलता (जो चेन रूल की स्थिरता को प्रभावित करती है) को औपचारिक रूप से समझाता है।
डोमेन अडैप्टेशन कनेक्शन: OTR को डोमेन अडैप्टेशन से जोड़कर, शोध पत्र इस बात का सैद्धांतिक औचित्य प्रदान करता है कि क्यों CoT मॉडल्स को आउट-ऑफ-डिस्ट्रीब्यूशन समस्याओं में सामान्यीकरण (generalize) करने में सक्षम बना सकता है: यह जटिल टेस्ट इनपुट्स को सब-क्वेश्चन्स के एक डिस्ट्रीब्यूशन में बदल देता है जो ट्रेनिंग डिस्ट्रीब्यूशन के साथ बेहतर ढंग से संरेखित हो सकते हैं।
वर्तमान मॉडल्स की सीमाएं: यह कार्य रेखांकित करता है कि CoT की प्रभावशीलता गारंटीकृत नहीं है; यह पूरी तरह से रीजनिंग प्रक्रिया की स्थिरता पर निर्भर है। बिना स्टेबिलिटी के, रीजनिंग की लागत (TMR), लाभ (Benefit) को दबा सकती है, जिससे CoT हानिकारक हो जाता है।

लेखक स्पष्ट रूप से कहते हैं कि यह कार्य CoT के लिए एक लर्निंग थ्योरी की दिशा में एक कदम है, जो कॉस्ट-बेनिफिट डिकंपोजिशन और स्टेबिलिटी घटनाओं पर ध्यान केंद्रित करता है। वे सीमाओं को स्वीकार करते हैं, जैसे कि डिटर्मिनिस्टिक डिकोडिंग की धारणा और फिक्स्ड नंबर ऑफ रीजनिंग स्टेप्स, यह नोट करते हुए कि स्टोकेस्टिसिटी (stochasticity) और वेरिएबल-लेंथ CoT भविष्य के शोध के विषय हैं।