Training Continuous Chain of Thought Models: A Tale of Two Regimes
यह शोध पत्र C-MTP को प्रस्तुत करता है, जो निरंतर चेन-ऑफ-थॉट (Chain-of-Thought) मॉडलों को प्रशिक्षित करने के लिए एक तेज़ प्रत्यक्ष पर्यवेक्षण विधि है, जो पूर्ववर्ती प्रत्यक्ष दृष्टिकोणों से बेहतर प्रदर्शन करता है और लघु तर्क श्रृंखलाओं (reasoning traces) पर धीमी अप्रत्यक्ष विधियों के बराबर प्रदर्शन करता है, जबकि यह भी प्रकट करता है कि वर्तमान निरंतर CoT तकनीकें लंबी तर्क श्रृंखलाओं वाले जटिल कार्यों पर लागू होने पर काफी संघर्ष करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को एक कठिन पहेली सुलझाना सिखाने की कोशिश कर रहे हैं। अतीत में, रोबोट बस उत्तर बोल देता था, जिससे वह अक्सर गलत हो जाता था क्योंकि वह पूरी तरह से सोच-विचार नहीं करता था। फिर वैज्ञानिकों ने एक जादुई तरकीब खोजी: यदि वे रोबोट को पहले "ज़ोर से सोचने" (think out loud) के लिए कहें, यानी अपने तर्क के हर छोटे कदम को लिखकर बताने के लिए कहें, तो रोबोट समस्याओं को हल करने में बहुत बेहतर हो जाता है। इसे "चेन-ऑफ-थॉट" (Chain-of-Thought) कहा जाता है। यह एक छात्र द्वारा गणित के टेस्ट में अपना काम दिखाने जैसा है; वे जितने अधिक चरण लिखते हैं, सही उत्तर पाने की उनकी संभावना उतनी ही अधिक होती है।
हालाँकि, इसमें एक पेंच है। हर एक कदम को विस्तार से लिखने में बहुत समय और कंप्यूटर शक्ति लगती है। यह एक धावक को हर एक कदम उठाने के बाद डायरी लिखने के लिए कहने जैसा है। इससे उनकी गति बहुत धीमी हो जाती है। इसलिए, शोधकर्ताओं ने पूछा: "क्या हम रोबोट को एक गुप्त, संकुचित भाषा में सोचने के लिए कह सकते हैं? क्या वह लंबे वाक्यों के बजाय छोटे, सघन नोट्स का उपयोग करके अपने दिमाग में यह सारी सोच पूरी कर सकता है?" यह विचार "कंटीन्यूअस चेन-ऑफ-थॉट" (Continuous Chain-of-Thought) कहलाता है। लक्ष्य बुद्धिमानी को बनाए रखना है लेकिन धीमी, शब्द प्रधान बातचीत को हटा देना है। लेकिन यहाँ बड़ा सवाल यह है: क्या हम वास्तव में रोबोट को बिना अपनी बुद्धिमत्ता खोए इस गुप्त भाषा में सोचना सिखा सकते हैं?
यह शोध पत्र, जिसका शीर्षक "ट्रेनिंग कंटीन्यूअस चेन ऑफ थॉट मॉडल्स: ए टेल ऑफ टू रेजीम्स" (Training Continuous Chain of Thought Models: A Tale of Two Regimes) है, इसी प्रश्न में गहराई तक जाता है। लेखक, वरुण येराम, ही हे, और यूनसोल चोई, जासूसों की तरह दो अलग-अलग तरीकों से रोबोट को यह गुप्त भाषा सिखाने का परीक्षण करते हैं। वे इन दो विधियों को "डायरेक्ट सुपरविज़न" (Direct Supervision) और "इनडायरेक्ट सुपरविज़न" (Indirect Supervision) कहते हैं।
इनडायरेक्ट सुपरविज़न को एक ऐसे शिक्षक की तरह समझें जो एक छात्र को व्हाइटबोर्ड पर चरण-दर-चरण समस्या हल करते हुए देखता है। शिक्षक एक विशेष प्रक्रिया का उपयोग करता है जहाँ रोबोट एक-एक करके मध्यवर्ती विचारों (latents) की "ऑटोरेग्रेसिव भविष्यवाणी" (autoregressively predicts) करता है। इस धीमी, क्रमिक भविष्यवाणी को निर्देशित करने के लिए, शिक्षक मॉडल (जिसने पहले ही पूर्ण पाठ का उपयोग करके समस्या हल कर ली है) अपने आंतरिक "मस्तिष्क अवस्थाओं" (activations) को छात्र रोबोट के साथ साझा करता है। रोबोट इन आंतरिक अवस्थाओं की नकल करना सीखता है ताकि वह अपने विचारों का क्रम, एक के बाद एक, डोमिनोज़ की एक रेखा के गिरने की तरह, उत्पन्न कर सके। यह सटीक है लेकिन धीमा है।
डायरेक्ट सुपरविज़न, जिसे लेखक एक नई विधि C-MTP के रूप में पेश करते हैं, एक ऐसे शिक्षक की तरह है जो छात्र को इंडेक्स कार्डों का एक ढेर थमा देता है। प्रत्येक कार्ड सोचने की प्रक्रिया के एक हिस्से का प्रतिनिधित्व करता है। शिक्षक कहता है, "यहाँ इस पूरे सोचने के हिस्से के लिए उत्तर है; बस उन शब्दों की भविष्यवाणी करना सीखो जो इस कार्ड पर आएंगे।" यह रोबलेट को एक ही समय में कई चरणों को सीखने की अनुमति देता है, जैसे एक समय में एक अक्षर के बजाय एक पूरी किताब का पृष्ठ पढ़ना। यह बहुत तेज़ और अधिक कुशल है।
शोधकर्ताओं ने तीन अलग-अलग कठिनाई स्तरों पर इन दोनों विधियों का परीक्षण किया, जैसे कि एक पहाड़ पर तीन कैंपों की तरह चढ़ाई करना।
कैंप 1: आसान, संरचित मार्ग।
सरल गणित की समस्याओं पर जहाँ सोच छोटी और व्यवस्थित होती है (जैसे "18 गुणा 12 बराबर 216"), नया डायरेक्ट सुपरविज़न (C-Meld C-MTP) तरीका एक सुपरस्टार था। यह प्रशिक्षित होने में तेज़ था, इसे सीखने के लिए कम उदाहरणों की आवश्यकता थी, और इसने पुराने, धीमे इनडायरेक्ट तरीके की तुलना में उन समस्याओं को हल करने में वास्तव में बेहतर प्रदर्शन किया जिन्हें इसने पहले कभी नहीं देखा था। यह एक ऐसे स्प्रिंटर की तरह था जो मैराथन धावक जितनी ही तेज़ दौड़ सकता था लेकिन बहुत कम प्रशिक्षण के साथ।
कैंप 2: विस्तृत, बातूनी मार्ग।
जब समस्याएँ थोड़ी जटिल हो गईं और सोचने के लिए लंबी, विस्तृत व्याख्याओं की आवश्यकता हुई (जैसे हर चरण के लिए पूर्ण वाक्य लिखना), तो पासा पलट गया। इनडायरेक्ट सुपरविज़न विधि ने बढ़त बना ली। क्यों? क्योंकि इसे लंबे, अव्यवस्थित विचारों को कुछ छोटे नोट्स में संकुचित करने के लिए डिज़ाइन किया गया था। डायरेक्ट विधि यहाँ संघर्ष करती है क्योंकि यह लंबी व्याख्या के हर एक शब्द की भविष्यवाणी करने की कोशिश करती है, और यदि यह एक छोटी सी गलती भी करती है, तो पूरी 'चेन ऑफ थॉट' बिखर जाती है। यह एक लंबी कहानी को हर शब्द का अनुमान लगाकर कॉपी करने जैसा है; एक भी टाइपो पूरे पैराग्राफ को खराब कर देता है।
कैंप 3: वास्तविक, अराजक शिखर।
अंत में, शोधकर्ताओं ने सबसे कठिन, वास्तविक समस्याओं पर दोनों विधियों का परीक्षण किया—जटिल गणितीय पहेलियाँ जिनमें सैकड़ों शब्दों का तर्क शामिल था, ठीक वैसे ही जैसे एक इंसान लिखता है। यहीं पर कहानी दुखद मोड़ लेती है। दोनों विधियाँ—तेज़ डायरेक्ट विधि और सावधानीपूर्वक इनडायरेक्ट विधि—दोनों ही विफल रहीं। उनका प्रदर्शन मानक पद्धति (जहाँ रोबोट को अपने सभी विचार लिखने दिया जाता है) की तुलना में लगभग 65% गिर गया।
लेखकों ने पाया कि इन वास्तविक, लंबी कार्यों पर, दोनों विधियाँ जटिलता को नहीं संभाल सकीं। डायरेक्ट विधि ने छोटी गणितीय गलतियाँ कीं जो बढ़ती गईं, और इनडायरेक्ट विधि लंबे, अव्यवस्थित विचारों को सटीक रूप से संकुचित नहीं कर सकी। यह स्पष्ट है कि "कंटीन्यूअस चेन-ऑफ-थॉट" की वर्तमान "गुप्त भाषा" अभी वास्तविक दुनिया के लिए तैयार नहीं है। शोध पत्र सुझाव देता है कि जिन आसान बेंचमार्क का हम रोबोटों के परीक्षण के लिए उपयोग करते हैं, वे हमें धोखा दे सकते हैं, जिससे वे वास्तविक, अस्त-व्यस्त समस्याओं के सामने खुद को वास्तव में जितना स्मार्ट है, उससे अधिक स्मार्ट दिखाते हैं।
अंत में, यह पत्र किसी एक विजेता की घोषणा नहीं करता है। इसके बजाय, यह हमें बताता है कि जबकि नई डायरेक्ट विधि सरल, संरचित कार्यों के लिए एक शानदार, तेज़ उपकरण है, हमें अभी भी एक लंबा रास्ता तय करना है इससे पहले कि रोबोट जटिल, वास्तविक दुनिया की समस्याओं के लिए गुप्त कोड में सोच सकें। एक ऐसे रोबोट का सपना जो सब कुछ लिखे बिना तेज़ और स्मार्ट तरीके से सोच सके, अभी भी एक प्रगति पर कार्य है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।