🤖 machine learning

Transformers Provably Learn to Internalize Chain-of-Thought

यह शोध पत्र पहला सैद्धांतिक प्रमाण प्रदान करता है कि एक नवीन Log-ICoT पाठ्यक्रम के साथ प्रशिक्षित एक मल्टी-लेयर ट्रांसफार्मर, बहुपद नमूना दक्षता (polynomial sample efficiency) और लघुगणकीय प्रशिक्षण चरणों (logarithmic training stages) के साथ $k$ -पैरिटी को सिद्ध रूप से सीख सकता है, जिससे वह स्पष्ट चेन-ऑफ-थॉट (Chain-of-Thought) तर्क की नमूना दक्षता प्राप्त करते हुए आंतरिककृत मध्यवर्ती चरणों के माध्यम से इसके इन्फरेंस ओवरहेड को समाप्त कर देता है।

मूल लेखक: Yixiao Huang, Hanlin Zhu, Zixuan Wang, Jiantao Jiao, Stuart Russell, Somayeh Sojoudi, Song Mei

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yixiao Huang, Hanlin Zhu, Zixuan Wang, Jiantao Jiao, Stuart Russell, Somayeh Sojoudi, Song Mei

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ पेपर "Transformers Provably Learn to Internalize Chain-of-Thought" का सरल भाषा और उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: ज़ोर से सोचना धीमा है

कल्पना कीजिए कि आप एक बहुत ही कठिन गणितीय पहेली को हल करने की कोशिश कर रहे हैं।

पुराना तरीका (Explicit Chain-of-Thought): आप उत्तर पाने के लिए कागज़ पर हर एक कदम (step) लिख देते हैं। इससे आपको सही उत्तर मिलता है (यह बहुत सटीक है), लेकिन इसमें बहुत समय लगता है क्योंकि अंतिम परिणाम बताने से पहले आपको हर कदम लिखना पड़ता है। AI के संदर्भ में, यह "एक्सप्लिसिट रीजनिंग" (explicit reasoning) है, और यह कंप्यूटर को चलाने में धीमा और महंगा बनाता है।
लक्ष्य: हम चाहते हैं कि AI अपने "दिमाग के अंदर" (इसके हिडन स्टेट्स में) सोच सके ताकि यह बिना कदम लिखे तुरंत उत्तर दे सके। इसे इम्प्लिसिट चेन-ऑफ-थॉट (Implicit Chain-of-Thought या ICoT) कहा जाता है।

चुनौती: AI को "मन में सोचने" के लिए कैसे सिखाएं

शोधकर्ताओं ने प्रशिक्षण डेटा (training data) से "सोचने के कदमों" को धीरे-धीरे हटाकर AI को यह सिखाने की कोशिश की।

मानक विधि (Standard Method): कल्पना कीजिए कि आप एक छात्र को पहेली सुलझाना सिखा रहे हैं। आप पहले उन्हें पूरा समाधान दिखाते हैं। फिर, आप एक कदम छिपा देते हैं। फिर, आप दो कदम छिपाते हैं। फिर तीन। आप ऐसा एक-एक करके तब तक करते रहते हैं जब तक कि उन्हें पूरी चीज़ अपने दिमाग में हल न करनी पड़े।
समस्या: यदि पहेली में 1,000 कदम हैं, तो इस विधि में 1,000 ट्रेनिंग सत्र लगेंगे। यह बहुत धीमा और अक्षम (inefficient) है।

समाधान: Log-ICoT (एक "ज्यामितिक" शॉर्टकट)

इस पेपर के लेखकों ने AI को प्रशिक्षित करने का एक स्मार्ट तरीका प्रस्तावित किया है, जिसे वे Log-ICoT कहते हैं।

कदमों को एक-एक करके छिपाने के बजाय, वे उन्हें ज्यामितीय समूहों (geometric chunks) में छिपाते हैं (हर बार छिपाए गए कदमों की संख्या को दोगुना करना)।

उपमा: कल्पना कीजिए कि आप एक छात्र को 16-सीढ़ियों वाली सीढ़ी चढ़ना सिखा रहे हैं।
- मानक विधि: आप सीढ़ी 1 को ढकते हैं, फिर सीढ़ी 2 को, फिर सीढ़ी 3 को... पूरे 16 तक। (16 ट्रेनिंग सत्र)।
- Log-ICoT विधि:
  - सत्र 1: सभी 16 कदम दिखाएं।
  - सत्र 2: नीचे की 8 सीढ़ियों को ढक दें। (छात्र को निचला आधा हिस्सा अपने दिमाग में समझना होगा)।
  - सत्र 3: नीचे की 12 सीढ़ियों को ढक दें।
  - सत्र 4: नीचे की 14 सीढ़ियों को ढक दें।
  - सत्र 5: नीचे की 15 सीढ़ियों को ढक दें।
- परिणाम: आपको केवल 5 सत्रों की आवश्यकता थी (क्योंकि $2^5 = 32$ , जो 16 को कवर करता है) बजाय 16 के। यह पेपर गणितीय रूप से सिद्ध करता है कि यह "ज्यामितीय" दृष्टिकोण बहुत तेज़ और उतना ही प्रभावी है।

प्रयोग: "पैरिटी" (Parity) गेम

यह सिद्ध करने के लिए कि यह काम करता है, शोधकर्ताओं ने k-Parity नामक एक क्लासिक लॉजिक गेम का उपयोग किया।

खेल: आपको संख्याओं (1 और -1) की एक सूची दी जाती है। आपको उनके एक गुप्त समूह को खोजना है और उन्हें आपस में गुणा करना है। यदि परिणाम 1 है, तो उत्तर "हाँ" है; यदि -1 है, तो उत्तर "नहीं" है।
यह कठिन क्यों है: बिना मदद के, कंप्यूटर के लिए इसे जल्दी सीखना अविश्वसनीय रूप से कठिन है। यह एक ऐसी घास के ढेर में सुई खोजने जैसा है जिसका आकार लगातार बदल रहा है।
ट्री स्ट्रक्चर (Tree Structure): शोधकर्ताओं ने महसूस किया कि यह समस्या एक 'फैमिली ट्री' की तरह दिखती है। बड़ी समस्या को हल करने के लिए, आप पहले दो छोटी समस्याओं को हल करते हैं, फिर उनके उत्तरों को मिलाते हैं ताकि अगले स्तर को हल किया जा सके, और इसी तरह आगे बढ़ते हैं।

AI ने कैसे सीखा (एक "गेटेड" आर्किटेक्चर)

पेपर में इस AI (ट्रांसफॉर्मर) को बनाने का एक विशिष्ट तरीका पेश किया गया है ताकि यह सीखना संभव हो सके। उन्होंने तीन मुख्य तरकीबों का उपयोग किया:

"गेटेड" दरवाजे (The Gated Doors): कल्पना कीजिए कि AI के पास कई परतों वाले कमरे हैं। आमतौर पर, जानकारी स्वतंत्र रूप से बहती है, लेकिन कभी-कभी जानकारी धुंधली या भ्रमित हो सकती है (इसे "रिप्रेजेंटेशन कोलैप्स" कहा जाता है)। लेखकों ने कमरों के बीच के दरवाजों में "गेट्स" लगाए हैं। ये गेट पहले से सेट हैं ताकि वे विशिष्ट समय पर केवल विशिष्ट जानकारी को ही गुजरने दें। यह एक सुरक्षा गार्ड की तरह है जो केवल पहेली के "निचले आधे हिस्से" को पहले कमरे में जाने देता है, और "ऊपरी आधे हिस्से" को दूसरे कमरे में, जिससे कमरे भ्रमित न हों।
"कॉज़ल" मास्क (The Causal Mask): यह एक नियम है जो कहता है, "आप केवल अतीत की जानकारी देख सकते हैं, भविष्य की नहीं।" उनके विशिष्ट सेटअप में, उन्होंने इस नियम को थोड़ा बदला ताकि AI केवल पहेली के उन विशिष्ट "चिल्ड्रन नोड्स" (children nodes) को देखे जिन्हें उसे अभी हल करने की आवश्यकता है, और बाकी सब को अनदेखा कर दे।
इंटीजर राउंडिंग (Integer Rounding): प्रत्येक प्रशिक्षण चरण के बाद, उन्होंने AI के आंतरिक नंबरों को पूर्णांक (whole integers) होने के लिए मजबूर किया (दशमलव को हटाकर पूर्णांक बनाना)। यह एक "फ्रीज" बटन की तरह काम करता है। एक बार जब AI की एक परत पहेली के एक हिस्से को सीख लेती है, तो राउंडिंग उस ज्ञान को लॉक कर देती है ताकि जब AI अगला, अधिक कठिन हिस्सा सीख रहा हो, तो वह खराब न हो जाए।

परिणाम

यह पेपर गणितीय रूप से सिद्ध करता है कि:

गति: उनके नए Log-ICoT तरीके का उपयोग करके, AI जटिल पहेली को चरणों की संख्या के मुकाबले बहुत धीमी गति से बढ़ते हुए (लॉगारिदमिक रूप से) सीखता है।
दक्षता (Efficiency): AI उतना ही अच्छा सीखता है जितना कि यदि उसे कागज़ पर सभी चरण दिखाए गए होते (Explicit CoT), लेकिन यह इसे अपने "दिमाग में" (हिडन स्टेट्स में) करना सीख जाता है।
इन्फरेंस (Inference): प्रशिक्षित होने के बाद, AI लंबे विचारों की सूची उत्पन्न किए बिना, एक सिंगल फॉरवर्ड पास में तुरंत पहेली हल कर सकता है।

सारांश

यह पेपर दिखाता है कि हमें "स्मार्ट लेकिन धीमा" (विचारों को लिखना) और "तेज़ लेकिन मूर्ख" (अनुमान लगाना) के बीच में से किसी एक को चुनने की ज़रूरत नहीं है। AI को एक विशिष्ट, संरचित तरीके से प्रशिक्षित करके (चरणों को एक-एक करके छिपाने के बजाय बड़े टुकड़ों में छिपाकर) और एक विशेष "गेटेड" आर्किटेक्चर का उपयोग करके, हम AI को जटिल तर्क को आत्मसात (internalize) करने के लिए सिखा सकते हैं। यह तर्क को अपनी परतों के भीतर गहराई से सीखता है, जिससे यह लंबे विचारों की श्रृंखला उत्पन्न करने की भारी लागत के बिना कठिन समस्याओं को तेज़ी से हल कर पाता है।

तकनीकी सारांश: ट्रांसफॉर्मर्स प्रमाणित रूप से चेन-ऑफ-थॉट को आंतरिक रूप (Internalize) करना सीखते हैं

समस्या विवरण (Problem Statement)

चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग जटिल कार्यों जैसे कि $k$ -parity लर्निंग के लिए ट्रांसफॉर्मर्स की सैंपल एफिशिएंसी (sample efficiency) को महत्वपूर्ण रूप से बढ़ा देती है, जिससे इनपुट लंबाई में जटिलता घातांकीय (exponential) से बहुपद (polynomial) में बदल जाती है। हालांकि, स्पष्ट CoT जनरेशन के कारण मध्यवर्ती रीजनिंग टोकन के क्रमिक उत्पादन के चलते पर्याप्त इन्फरेंस लेटेंसी (inference latency) और कम्प्यूटेशनल ओवरहेड होता है। इम्पलिसिट चेन-ऑफ-थॉट (ICoT) एक अनुभवजन्य (empirical) समाधान के रूप में उभरा है, जिसमें मॉडल को फाइन-ट्यूनिंग के दौरान मध्यवर्ती टोकन को धीरे-धीरे हटाकर अपने हिडन स्टेट्स (hidden states) के भीतर रीजनिंग स्टेप्स को आंतरिक बनाने के लिए प्रशिक्षित किया जाता है। इसके बावजूद, ICoT के सैद्धांतिक आधार अस्पष्ट हैं: विशेष रूप से, क्या मॉडल स्पष्ट CoT की सैंपल एफिशिएंसी प्राप्त करते हुए इन्फरेंस लागत को समाप्त कर सकता है, और मल्टी-लेयर आर्किटेक्चर इस आंतरिककरण (internalization) को कैसे सुगम बनाते हैं।

कार्यप्रणाली (Methodology)

टास्क सेटिंग (Task Setting)

लेखक $k$ -parity लर्निंग समस्या का विश्लेषण करते हैं, जो मध्यवर्ती पर्यवेक्षण (intermediate supervision) के लिए एक मानक टेस्टबेड है। एक गुप्त इंडेक्स सेट $S \subset [n]$ और इनपुट बिट्स $b \in \{\pm 1\}^n$ दिए जाने पर, लक्ष्य पैरिटी $y = \prod_{j \in S} b_j$ की भविष्यवाणी करना है। मध्यवर्ती पर्यवेक्षण के बिना, यह कार्य सीमित-परिशुद्धता (finite-precision) वाले ग्रेडिएंट-आधारित तरीकों के लिए बहुपद नमूनों (polynomial samples) के साथ प्रमाणित रूप से कठिन है। इस कार्य को दो-पैरिटी गणनाओं के एक पदानुक्रमित बाइनरी ट्री (hierarchical binary tree) में विभाजित किया गया है जिसकी गहराई $L = \log_2 k$ है।

मॉडल आर्किटेक्चर (Model Architecture)

यह अध्ययन एक सरलीकृत $L$ -लेयर ट्रांसफॉर्मर का उपयोग करता है जिसमें सैद्धांतिक सुलभता सुनिश्चित करने के लिए विशिष्ट डिज़ाइन विकल्प दिए गए हैं:

अटेंशन (Attention): एक पुन: पैरामीटराइज्ड की-क्वेरी मैट्रिक्स $W^{KQ}$ के साथ सिंगल-हेड अटेंशन, जहाँ केवल ऊपरी $T \times T$ ब्लॉक ही ट्रेन करने योग्य है।
कॉज़ल मास्क (Causal Mask): एक अनुकूलित लेवल-रिस्ट्रिक्टेड कॉज़ल मास्क यह सुनिश्चित करता है कि स्तर $\ell$ पर मध्यवर्ती अवस्थाएं केवल पैरिटी ट्री के निचले स्तरों के टोकन पर निर्भर करती हैं।
लिंक फंक्शन (Link Function): एक स्मूथ, सिमेट्रिक फंक्शन $\phi$ (जैसे, $-\cos(\pi t)$ ) जो $\phi(0)=-1, \phi(\pm 1)=1$ को संतुष्ट करता है, और इन बिंदुओं पर लुप्त डेरिवेटिव्स (vanishing derivatives) रखता है, जो लोकल टेलर एक्सपेंशन (local Taylor expansions) को सक्षम बनाता है।
गेटेड कनेक्शन (Gated Connections): स्टैंडर्ड रेसिडुअल कनेक्शन के बजाय, मॉडल गेटेड कनेक्शन का उपयोग करता है जहाँ गेट वेक्टर्स $g^{(\ell)}$ को पैरिटी ट्री संरचना द्वारा निर्धारित किया जाता है। यह ग्रेडिएंट सिग्नल्स को विशिष्ट ट्री लेवल्स तक आइसोलेट करता है, जिससे रिप्रेजेंटेशन कोलैप्स (representation collapse) को रोका जा सके जहाँ इनपुट स्टेट्स यूनिफॉर्म वैल्यूज में अभिसरित (converge) हो जाते हैं।
क्वांटाइजेशन (Quantization): एरर प्रोपेगेशन को नियंत्रित करने और पहले से प्रशिक्षित लेयर्स को "फ्रीज" करने के लिए प्रत्येक ग्रेडिएंट अपडेट के बाद अटेंशन वेट्स को निकटतम पूर्णांक (nearest integer) तक क्वांटाइज किया जाता है।

ट्रेनिंग करिकुलम: Log-ICoT (Training Curriculum: Log-ICoT)

पेपर Log-ICoT पेश करता है, जो एक ऐसा करिकुलम है जो मध्यवर्ती CoT स्टेप्स को पैरिटी ट्री के लेवल्स के साथ संरेखित ज्यामितीय चंक्स (geometric chunks) में हटा देता है, न कि एक समय में एक टोकन की तरह (जैसा कि स्टैंडर्ड ICoT में होता है)।

स्टेज 1: फुल CoT सुपरविजन (सभी मध्यवर्ती नोड्स दृश्यमान हैं)।
स्टेज $t$ ( $2 \le t \le L$ ): पहले $k(1 - 2^{-(t-1)})$ मध्यवर्ती टोकन को पैडिंग (शून्य) से बदल दिया जाता है, जबकि उच्च-स्तरीय नोड्स दृश्यमान रहते हैं।
स्टेज $L$ : सभी मध्यवर्ती टोकन को पैड किया जाता है; मॉडल को केवल इनपुट बिट्स और आंतरिककृत हिडन स्टेट्स का उपयोग करके अंतिम आउटपुट की भविष्यवाणी करनी होती है।
यह प्रशिक्षण चरणों की संख्या को $k$ के रैखिक (linear) के बजाय $\log_2 k$ तक कम कर देता है।

मुख्य योगदान (Key Contributions)

ICoT का पहला सैद्धांतिक विश्लेषण: पेपर यह प्रमाणित करने वाला पहला कठोर प्रमाण प्रदान करता है कि ICoT, स्पष्ट CoT की सैंपल एफिशिएंसी को बनाए रखता है। यह दर्शाता है कि एक $L$ -लेयर ट्रांसफॉर्मर जिसे Log-ICoT करिकुलम के तहत प्रशिक्षित किया गया है, वह $\text{poly}(n)$ नमूनों और $\log_2 k$ प्रशिक्षण चरणों के साथ $k$ -parity को हल करता है।
Log-ICoT करिकुलम: लेखक एक ऐसा करिकुलम प्रस्तावित करते हैं जो ज्यामितीय वृद्धियों (geometric increments) में रीजनिंग टोकन को हटाता है। यह पैरिटी ट्री की रिकर्सिव संरचना से मेल खाता है, जिससे प्रशिक्षण चरण $O(k)$ से घटकर $O(\log k)$ हो जाते हैं, जबकि इन्फरेंस दक्षता (सिंगल फॉरवर्ड पास) बनी रहती है।
मल्टी-लेयर कन्वर्जेंस गारंटी: थ्योरम 1 सिद्ध करता है कि एक मल्टी-लेयर ट्रांसफॉर्मर पैरिटी को कुशलतापूर्वक सीख सकता है, जो पूर्ववर्ती वन-लेयर गारंटियों का विस्तार करता है। इसका प्रमाण निम्नलिखित पर आधारित है:
- गेटेड कनेक्शन: रिप्रेजेंटेशन कोलैप्स को रोकने और ग्रेडिएंट सिग्नल्स को विशिष्ट ट्री लेवल्स तक आइसोलेट करने के लिए।
- इंटीजर क्वांटाइजेशन: पहले से प्रशिक्षित लेयर्स के वेट्स को लॉक करने के लिए, जिससे पिछले लेयर्स को फिक्स्ड मानकर स्टेज-वाइज विश्लेषण संभव हो सके।
- कस्टमाइज्ड कॉज़ल मास्क: यह सुनिश्चित करने के लिए कि ग्रेडिएंट सिग्नल्स केवल सही चाइल्ड नोड्स पर निर्भर हों।
एरर प्रोपेगेशन कंट्रोल: विश्लेषण दिखाता है कि हिडन स्टेट्स में एप्रोक्सिमेशन एरर तेजी से घटते हैं, जिससे यह सुनिश्चित होता है कि अंतिम प्रेडिक्शन एरर नगण्य ( $\exp(-\Omega(n^{\epsilon/16}))$ ) बना रहे, भले ही ट्रेनिंग स्टेज क्रमिक (sequential) हों।

परिणाम (Results)

सैद्धांतिक (Theoretical): मुख्य प्रमेय स्थापित करता है कि प्रति-स्टेज बैच साइज $B = \Omega(n^{2+\epsilon})$ के साथ, प्रशिक्षित मॉडल उच्च संभावना के साथ टेस्ट सेट पर लगभग पूर्ण सटीकता प्राप्त करता है। इसकी सैंपल कॉम्प्लेक्सिटी $n$ में बहुपद (polynomial) है, जो स्पष्ट CoT से मेल खाती है, जबकि इन्फरेंस के लिए केवल एक सिंगल फॉरवर्ड पास की आवश्यकता होती है (बनाम ऑटोरिग्रेसिव CoT के लिए $O(k)$ क्रमिक स्टेप्स)।
अनुभवजन्य (Empirical): $n=30$ $n = 30$ और $k=16$ $k = 16$ ( $L=4$ $L = 4$ ) के साथ 4-लेयर ट्रांसफॉर्मर पर प्रयोग सिद्धांत की पुष्टि करते हैं।
- वैलिडेशन लॉस (Validation Loss): प्रत्येक स्टेज ट्रांजिशन पर लॉस तेजी से गिरता है, जिसमें मॉडल द्वारा नए लेवल को आंतरिक बनाने के दौरान क्षणिक स्पाइक्स (transient spikes) देखे जाते हैं, और अंततः सभी CoT टोकन पैड होने के बाद भी 100% सटीकता तक पहुँच जाता है।
- अटेंशन मैप्स (Attention Maps): विज़ुअलाइज़ेशन दिखाता है कि अंतिम स्टेज में, प्रत्येक लेयर का अटेंशन ठीक दो की-पोजीशन (क्वेरीड पैरिटी नोड के बच्चे) पर केंद्रित होता है, जो सॉफ्टमैक्स कंसंट्रेशन (softmax concentration) की सैद्धांतिक भविष्यवाणी की पुष्टि करता है।

महत्व और दावे (Significance and Claims)

पेपर यह दावा करता है कि यह इम्पलिसिट चेन-ऑफ-थॉट के लिए एक कठोर सैद्धांतिक आधार प्रदान करता है, जो स्पष्ट रीजनिंग की अभिव्यक्तता (expressivity) और आंतरिक रूप से विकसित रीजनिंग की सीखने की क्षमता (learnability) के बीच के अंतर को पाटता है। यह सिद्ध करके कि मल्टी-लेयर ट्रांसफॉर्मर्स सैंपल एफिशिएंसी से समझौता किए बिना जटिल रीजनिंग प्रक्रियाओं को आंतरिक बना सकते हैं, यह कार्य स्पष्ट CoT से जुड़ी उच्च इन्फरेंस लागतों को संबोधित करता है।

लेखक इस बात पर जोर देते हैं कि उनका विश्लेषण विशिष्ट आर्किटेक्चरल सरलीकरणों (निर्धारित गेट्स, फिक्स्ड वैल्यू मैट्रिसेस, इंटीजर क्वांटाइजेशन) पर निर्भर करता है ताकि मल्टी-लेयर ट्रेनिंग डायनेमिक्स को सुलभ बनाया जा सके। वे स्वीकार करते हैं कि पैरिटी टास्क की स्पष्ट पदानुक्रमित संरचना के बिना व्यावहारिक लार्ज लैंग्वेज मॉडल्स (LLMs) पर Log-ICoT लागू करना एक चुनौती है, जिसके लिए करिकुलम स्टेजिंग के लिए ह्यूरिस्टिक्स (heuristics) की आवश्यकता होगी। यह कार्य खुद को डीप आर्किटेक्चर में सेल्फ-डिस्टिलेशन और रीजनिंग इंटरनलाइजेशन के मैकेनिक्स को समझने की दिशा में एक कदम के रूप में प्रस्तुत करता है।