तकनीकी सारांश: प्रोब टाइम पर चेन-ऑफ-थॉट (CoT) कैसे काम करता है?

समस्या विवरण

जबकि चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग को तर्क संबंधी कार्यों (reasoning tasks) पर भाषा मॉडल की सटीकता में सुधार के लिए व्यापक रूप से मान्यता प्राप्त है, एक तर्क (rationale) के उन विशिष्ट भाषाई गुणों के बारे में जो इस सुधार को संचालित करते हैं, समझ बहुत सीमित है। पूर्व शोध मुख्य रूप से जेनरेशन-टाइम व्यवहार (generation-time behavior) पर केंद्रित रहा है, जिसमें यह जांचा जाता है कि CoT मॉडल की आंतरिक गणना को कैसे प्रभावित करता है या सेल्फ-कंसिस्टेंसी जैसे वेरिएंट्स रीजनिंग की गुणवत्ता को कैसे प्रभावित करते हैं। हालांकि, प्रोब-टाइम व्यवहार (probe-time behavior)—वह प्रक्रिया जिसके द्वारा एक मॉडल एक निश्चित, इंजेक्ट किए गए तर्क को पढ़ता है और प्रश्न का उत्तर देने के लिए उसका उपयोग करता है—पर कम ध्यान दिया गया है।

यह शोध इस प्रश्न को संबोधित करता है: संदर्भ (context) में दिए गए एक निश्चित तर्क को देखते हुए, उस टेक्स्ट के कौन से विशिष्ट गुण मॉडल के उत्तर को बदलते हैं? लेखक इस प्रचलित धारणा को चुनौती देते हैं कि CoT का लाभ मुख्य रूप से मॉडल द्वारा एक वैश्विक, वाक्य-स्तरीय तार्किक व्युत्पत्ति (logical derivation) के पुनर्निर्माण से आता है। इसके बजाय, वे परिकल्पना करते हैं कि लाभ टेक्स्ट के आश्चर्यजनक रूप से स्थानीय गुणों (local properties) पर निर्भर हो सकते हैं।

कार्यप्रणाली (Methodology)

लेखक तर्क टेक्स्ट की संरचना के प्रभावों को अलग करने के लिए एक नियंत्रित जेनेरेटर-प्रोब फ्रेमवर्क (generator–probe framework) का उपयोग करते हैं:

1. जेनेरेटर (Generator): एक शक्तिशाली मॉडल दिए गए प्रश्न के लिए एक पूर्ण CoT तर्क उत्पन्न करता है।
2. इंजेक्शन और परटर्बेशन (Injection & Perturbation): उत्पन्न तर्क को प्रोब मॉडल के संदर्भ में इंजेक्ट किया जाता है। महत्वपूर्ण रूप से, स्पष्ट उत्तर-घोषणा वाले वाक्यों (answer-declaration sentences) को स्वचालित रूप से हटा दिया जाता है ताकि 'ट्रिवियल आंसर लीकेज' को रोका जा सके।
3. N-gram परटर्बेशन प्रोटोकॉल: मुख्य प्रयोगात्मक हेरफेर में तर्क टोकन अनुक्रम को आकार $n$ के निरंतर विंडोज़ (contiguous windows) में विभाजित करना और इन विंडोज़ के भीतर टोकन के आंतरिक क्रम को सुरक्षित रखते हुए इन विंडोज़ को यादृच्छिक रूप से शफल (shuffle) करना शामिल है।
   • $n=1$ (वर्ड शफल): यह सभी कंपोजिशनल स्ट्रक्चर को नष्ट कर देता है, जिससे केवल एक वैश्विक 'बैग ऑफ वर्ड्स' बचता है।
   • $n=2, 3, \dots$: यह बढ़ते हुए बड़े स्थानीय सह-उपस्थिति (co-occurrence) स्ट्रक्चर को सुरक्षित रखता है।
   • सेंटेंस शफल (Sentence Shuffle - SS): पूर्ण वाक्यों को उनके अक्षत (intact) रहते हुए यादृच्छिक रूप से पुनर्व्यवस्थित करता है।
4. **गैप-रिकवरी सांख्यिकी ($GR(n)$):** लेखक यह मात्रा निर्धारित करने के लिए एक मीट्रिक परिभाषित करते हैं कि विंडो आकार$n$पर वर्ड-बैग बेसलाइन ($WS$) और पूर्ण CoT के बीच के प्रदर्शन अंतराल को कितना रिकवर किया जा सकता है:
   $$GR(n) = \frac{Acc(n) - Acc(WS)}{Acc(CoT) - Acc(WS)}$$
   एक महत्वपूर्ण विंडो आकार $n^*$ को उस सबसे छोटे $n$ के रूप में परिभाषित किया गया है जहाँ $GR(n) > 0.5$ है।

यह अध्ययन कई डेटासेट्स (MMLU-Pro, LogiQA, MedQA, GSM8K, MATH500) और विभिन्न मॉडल कॉन्फ़िगरेशन (Qwen2.5, Qwen3.5, GPT-4o-mini) को कवर करता है, जो विभिन्न पैरामीटर स्केल्स (0.8B से 35B) पर फैले हुए हैं।

मुख्य योगदान

1. प्रोब-टाइम परिप्रेक्ष्य: यह पेपर एक निश्चित तर्क के प्रति परटर्बेशन के डाउनस्ट्रीम उत्तर भविष्यवाणी को प्रभावित करने के तरीके का अध्ययन करने के लिए एक व्यवस्थित फ्रेमवर्क पेश करता है, जो जेनरेशन-टाइम विश्लेषण से अलग है।
2. दो लाभ स्रोतों की पहचान: लेखक प्रोब-टाइम पर CoT प्रदर्शन को चलाने वाले दो पूरक तंत्रों की पहचान करते हैं:
   • लेक्सिकल एक्टिवेशन (Lexical Activation): डोमेन-प्रासंगिक टोकन की मात्र उपस्थिति ही 'नो-रेशनल' बेसलाइन की तुलना में महत्वपूर्ण बढ़त प्रदान करती है, भले ही सारा स्ट्रक्चर नष्ट कर दिया गया हो।
   • लोकल को-अकरेंस एक्टिवेशन (Local Co-occurrence Activation - LCA): शेष लाभ का अधिकांश हिस्सा (वर्ड बैग और पूर्ण CoT के बीच का अंतर) केवल बहुत छोटे स्थानीय टोकन विंडोज़ ($n^* \approx 2\text{--}3$) को सुरक्षित रखकर प्राप्त कर लिया जाता है।
3. विकल्पों को खारिज करना: लक्षित नियंत्रण प्रयोगों के माध्यम से, यह पेपर प्रदर्शित करता है कि देखे गए लाभ मुख्य रूप से निम्नलिखित द्वारा संचालित नहीं हैं:
   • स्पष्ट उत्तर घोषणाओं या उत्तर मानों की नकल करना।
   • पूर्णतः व्याकरणिक, सुसंगत वाक्यों की उपस्थिति।
   • जेनेरिक टोपिकल प्रासंगिकता (Wikipedia रिट्रीवल के माध्यम से परीक्षित)।
   • शफलिंग के प्रति मॉडल की सामान्य मजबूती (प्रश्न-स्टेम शफलिंग के माध्यम से परीक्षित)।

मुख्य परिणाम

• वाक्य क्रम गौण है: वाक्यों के क्रम को शफल करना (Sentence Shuffle) पूर्ण CoT की तुलना में नगण्य सटीकता गिरावट (जैसे, MMLU-Pro पर 83.1% बनाम 83.9%) दिखाता है, जो यह सुझाव देता है कि वाक्य-स्तरीय तार्किक व्यवस्था प्रोब-टाइम लाभ का प्राथमिक चालक नहीं है।
• लेक्सिकल एक्टिवेशन मजबूत है: एक ग्लोबली वर्ड-शफल्ड तर्क (Word Shuffle) इनपुट-ओनली बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करता है (जैसे, 66.5% बनाम 50.9%), जो पुष्टि करता है कि डोमेन शब्दावली अकेले प्रासंगिक ज्ञान को सक्रिय करती है।
• छोटे विंडोज़ अधिकांश लाभ को रिकवर करते हैं: एक वर्ड बैग ($n=1$) से $n=2\text{--}3$ टोकन विंडोज़ को सुरक्षित रखने की ओर संक्रमण बहुत तीव्र है। MMLU-Pro पर, $n=2$ विंडोज़ को सुरक्षित रखने से वर्ड बैग और पूर्ण CoT के बीच के शेष गैप का लगभग 57.5% रिकवर हो जाता है। विभिन्न मॉडल परिवारों और डेटासेट्स में क्रिटिकल विंडो साइज $n^*$ लगातार छोटा (2–3) बना रहता है।
• सामान्यीकरण (Generalization): यह गुणात्मक पैटर्न निम्नलिखित में बना रहता है:
  • मॉडल परिवार: Qwen2.5, Qwen3.5, और GPT-4o-mini।
  • पैरामीटर स्केल: 0.8B से 35B पैरामीटर्स तक।
  • कार्य प्रकार: मल्टीपल-चॉइस (MMLU, LogiQA) और ओपन-एंडेड जनरेशन (GSM8K, MATH500) दोनों।
• CoT के लिए विशिष्टता: लो-$n$ रिकवरी प्रभाव CoT-शैली के तर्क टेक्स्ट के लिए विशिष्ट है। टॉपिक-मैच्ड विकिपीडिया पैसेज इंजेक्ट करने या प्रश्न स्टेम को शफल करने के लिए प्रदर्शन को रिकवर करने हेतु बहुत बड़े विंडोज़ की आवश्यकता होती है, जो इंगित करता है कि यह भाषा प्रसंस्करण का कोई जेनेरिक गुण नहीं है।

महत्व और दावे

यह पेपर लोकल को-अकरेंस एक्टिवेशन (LCA) अकाउंट का समर्थन करने का दावा करता है। लेखक तर्क देते हैं कि देखे गए प्रदर्शन लाभ मुख्य रूप से लेक्सिकल एक्टिवेशन (प्रासंगिक टोकन की उपस्थिति) और शॉर्ट-रेंज टोकन को-अकरेंस (स्थानीय सांख्यिकीय जुड़ाव) से उत्पन्न होते हैं, न कि मॉडल द्वारा एक वफादार, वाक्य-स्तरीय तार्किक व्युत्त्ति करने या एक वैश्विक तर्क श्रृंखला के पुनर्निर्माण से।

इस निष्कर्ष का महत्व इस अंतर्ज्ञान को चुनौती देने में है कि CoT इसलिए काम करता है क्योंकि यह मॉडल को "स्टेप-बाय-स्टेप" तार्किक रूप से सुसंगत तरीके से सोचने के लिए मजबूर करता है। इसके बजाय, परिणाम बताते हैं कि प्रोब-टाइम पर, मॉडल तर्क टेक्स्ट के भीतर स्थानीय सांख्यिकीय संकेतों (local statistical cues) का उपयोग करके सही उत्तर को सक्रिय कर सकता है, भले ही टेक्स्ट खंडित हो और उसमें वैश्विक तार्किक सुसंगतता का अभाव हो। यह CoT की उपयोगिता को स्पष्ट तर्क निष्पादन (explicit reasoning execution) के तंत्र से बदलकर स्थानीय प्रासंगिक सक्रियण (local contextual activation) के रूप में पुनर्गठित करता है।