🤖 AI

Revisiting Chain-of-Thought Reasoning under Limited Supervision: Semi-supervised Chain-of-Thought Learning

यह शोध पत्र Semi-CoT को प्रस्तुत करता है, जो एक अर्ध-पर्यवेक्षित (semi-supervised) शिक्षण ढांचा है जो सिमेंटिक एंट्रॉपी फ़िल्टरिंग के माध्यम से उच्च-परिशुद्धता वाले छद्म तर्क श्रृंखलाओं (pseudo reasoning chains) को उत्पन्न करने के लिए अनलेबल प्रश्नों का लाभ उठाता है, जो विविध गणितीय बेंचमार्क में प्रदर्शन लाभ को अधिकतम करने के लिए चयन और प्रशिक्षण रणनीतियों में सुधार की आवश्यकता पर प्रकाश डालते हुए प्रभावी प्रशिक्षण संकेतों के रूप में उनकी क्षमता को प्रदर्शित करता है।

मूल लेखक: Hongyang He, Jiuming Liu, Victor Sanchez

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hongyang He, Jiuming Liu, Victor Sanchez

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन अनुभवहीन छात्र (AI) है जो गणित की समस्याओं को हल करने में बहुत अच्छा है लेकिन कभी-कभी अटक जाता है या छोटी-मोटी गलतियाँ कर देता है। आमतौर पर, जब आप उससे कोई कठिन प्रश्न पूछते हैं, तो वह ज़ोर से सोचता है, अपने चरणों को लिखता है, और फिर आपको उत्तर देता है। एक बार जब वह समाप्त कर लेता है, तो आप उसके "सोचने के नोट्स" (thinking notes) को फेंक देते हैं और केवल अंतिम उत्तर रखते हैं।

यह शोध पत्र एक सरल लेकिन शक्तिशाली प्रश्न पूछता है: क्या होगा यदि हम उन सोचने के नोट्स को फेंक न दें? क्या होगा यदि हम उन "सोचने के नोट्स" का उपयोग उन प्रश्नों को सीखने के लिए कर सकें जिन्हें उसने पहले नहीं देखा है?

यहाँ उनके विचार का विवरण दिया गया है, जिसे Semi-CoT कहा जाता है, कुछ रोज़मर्रा के उदाहरणों का उपयोग करके।

1. समस्या: बर्बाद होती सोच (Wasted Thinking)

वर्तमान में, AI मॉडल "चेन-ऑफ-थॉट" (CoT) का उपयोग एक बार के करतब की तरह करते हैं। जब आप कोई प्रश्न पूछते हैं, तो AI एक चरण-दर-चरण तर्क पथ (reasoning path) बनाता है, उसे हल करता है, और फिर उस पथ को भूल जाता है।

शोध पत्र का अंतर्दृष्टि (Insight): लेखकों ने देखा कि इंटरनेट पर लाखों गणित के प्रश्न तैर रहे हैं जिनमें न तो उत्तर हैं और न ही स्पष्टीकरण। ये "अनलेबल" (unlabeled) प्रश्न हैं।
लक्ष्य: इन प्रश्नों को अनदेखा करने के बजाय, आइए AI से उन्हें हल करने के लिए कहें, उसे अपना तर्क लिखने के लिए कहें, और फिर उन तर्क चरणों का उपयोग भविष्य के प्रश्नों के लिए "स्टडी गाइड" के रूप में करें।

2. खतरा: "आत्मविश्वासी मूर्ख" (The "Confident Fool")

यहाँ एक बड़ा जोखिम है। यदि आप AI को ऐसा प्रश्न हल करने के लिए कहते हैं जिसे वह नहीं जानता, तो वह आत्मविश्वास के साथ एक बेहतरीन दिखने वाला स्पष्टीकरण लिख सकता है जो गलत उत्तर की ओर ले जाता है। यह एक ऐसे छात्र की तरह है जो उस किताब के बारे में एक सुंदर निबंध लिखता है जिसे उसने कभी पढ़ा ही नहीं। यदि आप उस निबंध का उपयोग उसे सिखाने के लिए करते हैं, तो आप उसे केवल आत्मविश्वास के साथ गलत होने के लिए सिखा रहे हैं।

3. समाधान: "समूह सहमति" फ़िल्टर (The "Group Consensus" Filter)

इसे ठीक करने के लिए, लेखकों ने Semi-CoT नामक एक सुरक्षा जाल बनाया। यह कैसे काम करता है, इसके चरण यहाँ दिए गए हैं:

चरण 1: "कई सिरों" वाला दृष्टिकोण (The "Many Heads" Approach)।
प्रत्येक अनलेबल प्रश्न के लिए, AI इसे केवल एक बार हल नहीं करता है। यह इसे कई बार हल करता है (जैसे एक ही छात्र को एक ही समस्या को लगातार पाँच बार हल करने के लिए कहना)।
चरण 2: "मतदान" की जाँच (The "Voting" Check)।
सिस्टम उन पाँच प्रयासों के अंतिम उत्तरों को देखता है।
- परिदृश्य A: AI कहता है "5," "5," "5," "5," और "5।" सभी सहमत हैं। यह एक लो-एन्ट्रॉपी (कम भ्रम वाला) परिणाम है। सिस्टम सोचता है, "ठीक है, यह तर्क शायद विश्वसनीय है।"
- परिदृश्य B: AI कहता है "5," "12," "3," "5," और "9।" सभी भ्रमित हैं। यह हाई-एन्ट्रॉपी (उच्च भ्रम वाला) परिणाम है। सिस्टम सोचता है, "नहीं, यह बहुत अस्त-व्यस्त है। इसे फेंक दो।"
चरण 3: "स्टडी बैंक" (The "Study Bank")।
सिस्टम केवल उन तर्क चरणों को रखता है जहाँ AI सुसंगत (consistent) था (परिदृश्य A)। यह उच्च-गुणवत्ता वाले "सोचने के नोट्स" को एक विशेष स्यूडो रीजनिंग बैंक (Pseudo Reasoning Bank) में रखता है।
चरण 4: "टेस्ट टाइम" बूस्ट (The "Test Time" Boost)।
जब AI के सामने एक नया टेस्ट प्रश्न आता है, तो वह केवल अनुमान नहीं लगाता। वह अपने स्यूडो रीजनिंग बैंक में देखता है, एक समान समस्या ढूँढता है जिसे उसने पहले हल किया था, और उस पिछले "सोचने के नोट" का उपयोग नए प्रश्न को हल करने के लिए संकेत के रूप में करता है।

4. परिणाम: एक मिला-जुला अनुभव (A Mixed Bag)

लेखकों ने चार अलग-अलग गणितीय डेटासेट (जैसे AQuA, SVAMP, GSM8K, और MultiArith) पर इसका परीक्षण किया। यहाँ क्या हुआ:

अच्छी खबर: "ग्रुप कंसेंसस" फ़िल्टर ने अच्छे तर्क खोजने में अविश्वसनीय रूप से अच्छा काम किया। उनके द्वारा परीक्षण किए गए डेटासेट में, AI का "नकली" तर्क वास्तव में 91% से 100% बार सही था। यह साबित करता है कि अनलेबल प्रश्न उपयोगी अध्ययन सामग्री प्रदान कर सकते हैं।
बुरी खबर: केवल अच्छी अध्ययन सामग्री होने का मतलब यह गारंटी नहीं है कि टेस्ट स्कोर बेहतर होंगे।
- कुछ टेस्ट (SVAMP और GSM8K) पर, AI थोड़ा बेहतर हुआ (लगभग 1-2% सुधार)।
- एक टेस्ट (AQuA) पर, AI का प्रदर्शन वास्तव में बिगड़ गया। क्यों? क्योंकि जो "स्टडी गाइड" उसने चुना, वह नए प्रश्न के लिए अप्रासंगिक था। यह केक बनाने की रेसिपी पढ़ने जैसा है जब आप ब्रेड बनाने की कोशिश कर रहे हों। भले ही रेसिपी एकदम सही हो, फिर भी वह आपकी मदद नहीं करती।
- दूसरे टेस्ट (MultiArith) पर, सभी पहले से ही 100% प्राप्त कर रहे थे, इसलिए सुधार की कोई गुंजाइश नहीं थी।

5. मुख्य निष्कर्ष (The Big Takeaway)

शोध पत्र एक बहुत ही महत्वपूर्ण सबक के साथ समाप्त होता है: विश्वसनीयता (Reliability) और प्रासंगिकता (Relevance) एक समान नहीं हैं।

विश्वसनीयता (Reliability): क्या AI ने अभ्यास वाले प्रश्न को सही ढंग से हल किया? (हाँ, एन्ट्रॉपी फ़िल्टर ने यह सुनिश्चित किया)।
प्रासंगिकता (Relevance): क्या वह अभ्यास वाला प्रश्न वास्तव में नए प्रश्न के लिए उपयोगी है? (हमेशा नहीं)।

लेखकों ने पाया कि केवल रैंडम "अच्छे" उदाहरण चुनना हमेशा मददगार नहीं होता है। उन्होंने एक सरल कीवर्ड सर्च (TF-IDF) का उपयोग करके प्रासंगिक उदाहरण खोजने की कोशिश की, लेकिन यह रैंडम चुनने से बेहतर काम नहीं कर सका।

संक्षेप में: यह शोध पत्र सिद्ध करता है कि हम यह जाँचकर कि क्या AI खुद से सहमत है, अनलेबल प्रश्नों को उच्च-गुणवत्ता वाली "स्टडी गाइड" में बदल सकते हैं। हालाँकि, AI को स्मार्ट बनाने के लिए, हमें केवल अच्छे गाइड एकत्र करने से कहीं अधिक करने की आवश्यकता है; हमें विशिष्ट प्रश्न के लिए सही गाइड चुनने में बेहतर होना होगा।

तकनीकी सारांश: सेमी-सुपरवाइज्ड चेन-ऑफ-थॉट लर्निंग (Semi-CoT)

1. समस्या की परिभाषा

यह शोध पत्र चेन-ऑफ-थॉट (CoT) के वर्तमान अनुप्रयोग में एक अंतराल को संबोधित करता है। जबकि CoT ने इन्फरेंस (inference) के दौरान लार्ज लैंग्वेज मॉडल्स (LLMs) में तर्क करने की क्षमताओं को उभारने में प्रभावशीलता सिद्ध की है, मौजूदा विधियाँ आमतौर पर तर्क श्रृंखलाओं (reasoning chains) को क्षणिक प्रॉम्प्ट के रूप में मानती हैं जिन्हें अंतिम उत्तर उत्पन्न करने के बाद हटा दिया जाता है। फलस्वरूप, गणित और तर्क जैसे डोमेन में उपलब्ध विशाल अनलेबल (unlabeled) डेटा का उपयोग नहीं हो पाता है क्योंकि उच्च गुणवत्ता वाले CoT एनोटेशन को मैन्युअल रूप से तैयार करना महंगा होता है।

लेखक एक नई समस्या सेटिंग को परिभाषित करते हैं जिसे सेमी-सुपरवाइज्ड चेन-ऑफ-थॉट लर्निंग कहा जाता है। इसका लक्ष्य लेबल किए गए प्रश्नों के एक छोटे सेट और अनलेबल प्रश्नों के एक बड़े सेट का लाभ उठाकर स्यूडो रीजनिंग सुपरविजन (pseudo reasoning supervision) का निर्माण करना है। मानक सेमी-सुपरवाइज्ड लर्निंग के विपरीत, जो केवल स्यूडो-लेबल्स (अंतिम उत्तर) उत्पन्न करती है, यह सेटिंग प्रत्येक अनलेबल प्रश्न ( $x_u$ ) के लिए एक पूर्ण स्यूडो-सुपरविजन पेयर (जोड़ी) बनाने की आवश्यकता रखती है, जिसमें एक स्यूडो रीजनिंग चेन ( $\hat{r}_u$ ) और एक स्यूडो उत्तर ( $\hat{y}_u$ ) शामिल है:
$x_u \rightarrow (\hat{r}_u, \hat{y}_u)$

मुख्य चुनौती इन जनरेट किए गए श्रृंखलाओं (chains) की विश्वसनीयता सुनिश्चित करना है। एक मॉडल एक अमान्य व्युत्पत्ति (derivation) के माध्यम से सही उत्तर दे सकता है, या एक विश्वसनीय दिखने वाली श्रृंखला के माध्यम से गलत उत्तर दे सकता है। इसलिए, एक तंत्र की आवश्यकता है जो सुपरविजन या प्रदर्शन (demonstrations) के रूप में उपयोग किए जाने से पहले अविश्वसनीय स्यूडो-CoTs को फ़िल्टर कर सके।

2. कार्यप्रणाली: Semi-CoT फ्रेमवर्क

लेखक Semi-CoT प्रस्तावित करते हैं, जो एक न्यूनतम फ्रेमवर्क है और मॉडल के पैरामीटर्स को फाइन-ट्यून किए बिना कार्य करता है। यह एक प्रॉम्प्ट-लेवल सेमी-सुपरवाइज्ड विधि के रूप में कार्य करता है जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या अनलेबल प्रश्न विश्वसनीय तर्क संकेत (reasoning signals) प्रदान कर सकते हैं। इस प्रक्रिया में तीन मुख्य चरण शामिल हैं:

A. स्यूडो-CoT जनरेशन

प्रत्येक अनलेबल प्रश्न के लिए, LLM एक मानक ट्रिगर (जैसे, "Let's think step by step") का उपयोग करके $K$ विशिष्ट तर्क पथों (CoT आउटपुट) को सैंपल करता है। प्रत्येक आउटपुट एक तर्क ट्रेस (reasoning trace) और एक अंतिम उत्तर देता है।

B. सिमेंटिक एंट्रॉपी विश्वसनीयता गेट (Semantic Entropy Reliability Gate)

अविश्वसनीय जनरेशन को फ़िल्टर करने के लिए, फ्रेमवर्क सिमेंटिक एंट्रॉपी को एक चयन सिग्नल के रूप में उपयोग करता है।

नॉर्मलाइजेशन (Normalization): निकाले गए उत्तरों को नॉर्मलाइज किया जाता है (उदाहरण के लिए, संख्यात्मक उत्तरों के लिए फॉर्मेटिंग सिम्बल्स को हटाना)।
क्लस्टरिंग (Clustering): उत्तरों को सिमेंटिक क्लस्टर्स में समूहीकृत किया जाता है।
एंट्रॉपी गणना: इन क्लस्टर्स के वितरण के आधार पर नॉर्मलाइज्ड सिमेंटिक एंट्रॉपी $H_{sem}(x_u)$ $H_{se m} (x_{u})$ की गणना की जाती है।
- कम एंट्रॉपी $K$ सैंपल किए गए पथों के बीच उच्च सहमति (agreement) को दर्शाती है।
- उच्च एंट्रॉपी असहमति और अनिश्चितता को दर्शाती है।
चयन: एक स्यूडो-CoT तभी स्वीकार किया जाता है यदि $H_{sem}(x_u) \leq \delta$ हो, जहाँ $\delta$ एक पूर्व-निर्धारित थ्रेशोल्ड है। स्वीकृत स्यूडो-उत्तर बहुमत वोट (majority vote) होता है, और स्यूडो-रीजनिंग चेन को उन पथों में से चुना जाता है जो उस बहुमत उत्तर की ओर ले जाते हैं।

C. स्यूडो रीजनिंग बैंक और इन्फरेंस

स्वीकृत स्यूडो-CoTs को एक स्यूडो रीजनिंग बैंक $\mathcal{B}$ में संग्रहीत किया जाता है, जिसमें प्रत्येक को एक विश्वसनीयता भार (reliability weight) ( $w_u = 1 - H_{sem}(x_u)$ ) दिया जाता है। एक टेस्ट प्रश्न पर इन्फरेंस के दौरान:

सिस्टम $\mathcal{B}$ से $M$ प्रदर्शन (demonstrations) रिट्रीव करता है।
दो रिट्रीवल रणनीतियों का परीक्षण किया जाता है: रैंडम सिलेक्शन और TF-IDF रिट्रीवल (लेक्सिकल समानता के आधार पर)।
रिट्रीव किए गए प्रदर्शनों को टेस्ट प्रश्न के साथ एक प्रॉम्प्ट के रूप में जोड़ा जाता है, और LLM अंतिम तर्क और उत्तर उत्पन्न करता है।

3. प्रमुख योगदान

यह शोध पत्र निम्नलिखित विशिष्ट योगदान देता है:

समस्या का निरूपण: यह सेमी-सुपरवाइज्ड चेन-ऑफ-थॉट लर्निंग को परिभाषित करता है, जो CoT को विशुद्ध रूप से इन्फरेंस-टाइम तकनीक से बदलकर सेमी-सुपरवाइज्ड लर्निंग सिग्नल के स्रोत के रूप में देखता है।
फ्रेमवर्क प्रस्ताव: यह Semi-CoT पेश करता है, जो एक पाइपलाइन है जो कई स्यूडो-CoTs जनरेट करती है, उन्हें सिमेंटिक एंट्रॉपी का उपयोग करके फ़िल्टर करती है, और उच्च-विश्वास वाले परिणामों को रीजनिंग प्रदर्शन (demonstrations) के रूप में उपयोग करती है।
अनुभवजन्य साक्ष्य (Empirical Evidence): यह पायलट साक्ष्य प्रदान करता है कि एंट्रॉपी-आधारित चयन कई अंकगणितीय तर्क डेटासेट्स पर उच्च-सटीक (high-precision) स्यूडो-CoTs प्रदान करता है।
सीमा की पहचान: यह पहचानता है कि स्यूडो-CoT विश्वसनीयता (एंट्रॉपी द्वारा सुनिश्चित) और डेमोंस्ट्रेशन प्रासंगिकता (रिट्रीवल द्वारा सुनिश्चित) दो अलग-अलग चुनौतियाँ हैं। यदि प्रदर्शन (demonstrations) टेस्ट प्रश्न के लिए अप्रासंगिक हैं, तो केवल उच्च सटीकता (precision) प्रदर्शन में सुधार की गारंटी नहीं देती है।

4. प्रयोगात्मक परिणाम

लेखकों ने चार अंकगणितीय तर्क बेंचमार्क पर पायलट प्रयोग किए: AQuA, SVAMP, GSM8K, और MultiArith।

स्यूडो-CoT विश्वसनीयता

सिमेंटिक एंट्रॉपी गेट ने उच्च-गुणवत्ता वाले स्यूडो-CoTs का सफलतापूर्वक चयन किया। स्यूडो-उत्तर सटीकता (हिडन गोल्ड लेबल्स के विरुद्ध चयनित स्यूडो-उत्तरों की शुद्धता) थी:

MultiArith: 100%
AQuA: 97.14%
SVAMP: 96.30%
GSM8K: 91.36%

कार्य प्रदर्शन (Task Performance)

अंतिम कार्य सटीकता पर प्रभाव मामूली था और डेटासेट के अनुसार भिन्न था:

SVAMP: Zero-shot CoT की तुलना में +2% सुधार।
GSM8K: Zero-shot CoT की तुलना में +1% सुधार।
AQuA: उच्च स्यूडो-उत्तर सटीकता के बावजूद, मामूली नेगेटिव ट्रांसफर (Zero-shot CoT की तुलना में प्रदर्शन में कमी) दिखाया।
MultiArith: सभी विधियों ने 100% सटीकता प्राप्त की, जो पायलट सेटिंग में एक 'सीलिंग इफेक्ट' (ceiling effect) को दर्शाता है।

रिट्रीवल रणनीति

प्रदर्शन चयन के लिए रैंडम सिलेक्शन बनाम TF-IDF रिट्रीवल की तुलना करने पर पायलट सबसेट्स में कोई महत्वपूर्ण अंतर नहीं दिखा। यह सुझाव देता है कि सरल लेक्सिकल समानता, टेस्ट प्रश्न के प्रति स्यूडो-CoTs की प्रासंगिकता सुनिश्चित करने के लिए पर्याप्त नहीं है।

5. महत्व और दावे

यह शोध पत्र एक निश्चित समाधान के बजाय एक नई समस्या सेटिंग स्थापित करने वाले तकनीकी रिपोर्ट के रूप में खुद को प्रस्तुत करता है। इसका महत्व निम्नलिखित में निहित है:

वैचारिक बदलाव: यह CoT को एक प्रकार के 'सेल्फ-ट्रेनिंग' के रूप में पुनर्गठित करता है जहाँ मॉडल-जनरेटेड रीजनिंग, स्यूडो-सुपरविजन के रूप में कार्य कर सकती है, जो इन्फरेंस-टाइम प्रॉम्प्टिंग और सेमी-सुपरवाइज्ड लर्निंग के बीच के अंतर को पाटती है।
सिग्नल्स का सत्यापन: यह प्रदर्शित करता है कि सिमेंटिक एंट्रॉपी अनलेबल डेटा से विश्वसनीय तर्क श्रृंखलाओं को फ़िल्टर करने के लिए एक व्यवहार्य, मॉडल-एग्नोस्टिक सिग्नल है, जो बिना मानव एनोटेशन के उच्च सटीकता प्राप्त करती है।
रूढ़िवादी निष्कर्ष: लेखक विनम्रतापूर्वक निष्कर्ष निकालते हैं कि हालांकि अनलेबल प्रश्न विश्वसनीय स्यूडो-रीजनिंग सिग्नल प्रदान कर सकते हैं, लेकिन विश्वसनीय चयन (reliable selection) निरंतर प्रदर्शन सुधार के लिए पर्याप्त नहीं है। वर्तमान कार्यान्वयन यह उजागर करता है कि डेमोंस्ट्रेशन प्रासंगिकता (demonstration relevance) एक महत्वपूर्ण, अनसुलझा कारक है। भविष्य के कार्यों को Semi-CoT की क्षमता को पूरी तरह से साकार करने के लिए मजबूत रिट्रीवल मैकेनिज्म, रीजनिंग-पैटर्न मैचिंग, या पैरामेट्रिक स्टूडेंट ट्रेनिंग को संबोधित करना होगा।

यह शोध पत्र स्पष्ट रूप से यह दावा करने से बचता है कि वर्तमान प्रॉम्प्ट-लेवल कार्यान्वयन एक स्टेट-ऑफ-द-आर्ट समाधान है, यह नोट करते हुए कि देखे गए लाभ छोटे हैं और यदि प्रासंगिकता का प्रबंधन नहीं किया गया तो नेगेटिव ट्रांसफर का जोखिम बना रहता है।