यहाँ शोध पत्र "Boule or Baguette? A Study on Task Topology, Length Generalization, and the Benefit of Reasoning Traces" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) में हालिया प्रगति ने यह प्रदर्शित किया है कि रीजनिंग ट्रेसेस (Reasoning Traces - RTs) (जैसे, चेन-ऑफ-थॉट) उत्पन्न करने से जटिल तर्क संबंधी कार्यों पर प्रदर्शन में काफी सुधार होता है। हालाँकि, वे स्थितियाँ जिनमें RTs फायदेमंद होने के बजाय हानिकारक होते हैं, अभी भी स्पष्ट रूप से समझ में नहीं आई हैं। विशेष रूप से, निम्नलिखित विषयों पर स्पष्टता का अभाव है:

• RTs टास्क टोपोलॉजी (Task Topology) (एक समस्या की संरचनात्मक जटिलता) के साथ कैसे अंतःक्रिया करते हैं।
• लेंथ जनरलाइजेशन (Length Generalization) (उन समस्याओं को हल करने की क्षमता जिनमें प्रशिक्षण के दौरान देखे गए तर्क श्रृंखलाओं से लंबी श्रृंखलाओं की आवश्यकता होती है) की सीमाएँ क्या हैं।
• क्या RTs सार्वभौमिक रूप से डायरेक्ट प्रेडिक्शन (Direct Prediction - DP) मॉडल्स (जो मध्यवर्ती चरणों के बिना सीधे उत्तर देते हैं) से बेहतर प्रदर्शन करते हैं या क्या उनकी प्रभावकारिता विशिष्ट कार्य विशेषताओं पर निर्भर करती है।

लेखक यह परिकल्पना करते हैं कि RT और DP मॉडल्स के बीच का प्रदर्शन अंतर यादृच्छिक (random) नहीं है, बल्कि कार्य की गहराई (Depth) (तर्क चरणों की संख्या) और चौड़ाई (Breadth) (अद्वितीय उदाहरणों की संख्या) द्वारा निर्धारित होता है।

2. कार्यप्रणाली (Methodology)

A. PITA डेटासेट

इन परिकल्पनाओं का कठोरता से परीक्षण करने के लिए, लेखक PITA (प्रोपोजीशनल इन्फरेंस टास्क एंड एनालिसिस) पेश करते हैं, जो प्रोपोज़ीशनल लॉजिक में 23 मिलियन से अधिक कथनों और 95 बिलियन टोकन वाला एक बड़े पैमाने का सिंथेटिक डेटासेट है।

• औपचारिकीकरण (Formalization): प्राकृतिक भाषा की अस्पष्टताओं को समाप्त करने के लिए कथनों और प्रमाणों को एक थ्योरम प्रूवर, Lean में औपचारिक रूप दिया गया है।
• कार्य: मॉडल्स को यह निर्धारित करना होगा कि एक प्रोपोज़ीशनल स्टेटमेंट सत्य (True) है या असत्य (False)।
• प्रशिक्षण प्रतिमान (Training Paradigms):
  • RT मॉडल्स: इन्हें कथन के बाद अंतिम वर्गीकरण टोकन से पहले पूर्ण प्रमाण (रीजनिंग ट्रेस) पर प्रशिक्षित किया जाता है।
  • DP मॉडल्स: इन्हें केवल कथन पर प्रशिक्षित किया जाता है, जो सीधे वर्गीकरण टोकन आउटपुट करते हैं।
• टास्क टोपोलॉजी मेट्रिक्स:
  • डेप्थ (Depth): एक कथन को हल करने के लिए आवश्यक अद्वितीय प्रमाण अवस्थाओं (steps) की संख्या।
  • ब्रैडथ (Breadth): दिए गए आकार (एटम्स की संख्या) के लिए अद्वितीय कथनों की संख्या।
• डेटासेट स्प्लिट्स: PITA को चार स्प्लिट्स में विभाजित किया गया है जिनमें अलग-अलग टोपोलॉजी हैं:
  1. FULL & IMPLY: "बोले-शेप्ड" (Boule-shaped - चौड़ा और उथला)। उच्च चौड़ाई, कम गहराई।
  2. OR & PHP: "बैगुएट-शेप्ड" (Baguette-shaped - संकरा और गहरा)। कम चौड़ाई, उच्च गहराई। (PHP में पिजनहोल प्रिंसिपल शामिल है, जिसके लिए घातीय रूप से लंबे प्रमाणों की आवश्यकता होती है)।

B. ट्रांजिटिव इन्फरेंस (TI) सैद्धांतिक मॉडल

PITA के निष्कर्षों को सामान्य बनाने के लिए, लेखक सिलोगिज्म (syllogisms) पर आधारित एक सरलीकृत ट्रांजिटिव इन्फरेंस (TI) कार्य का निर्माण करते हैं।

• संरचना: प्रतीकों को $B$ समानांतर शाखाओं में व्यवस्थित किया गया है, प्रत्येक की गहराई $D$ है।
• लक्ष्य: यह निर्धारित करना कि यदि $A \to B$ और $B \to C$ दिया गया है, तो क्या संबंध $A \to C$ मान्य है।
• सैद्धांतिक विश्लेषण: लेखक मैक्स-मार्जिन थ्योरी का उपयोग करके सिंगल-लेयर ट्रांसफॉर्मर का विश्लेषण करते हैं। वे मॉडल विड्थ ($H$), कार्य गहराई ($D$), और कार्य चौड़ाई ($B$) को जनरलाइजेशन सटीकता से जोड़ने वाले स्केलिंग लॉ (scaling laws) व्युत्पन्न करते हैं।

3. मुख्य योगदान (Key Contributions)

1. टास्क टोपोलॉजी की परिभाषा: यह पेपर "डेप्थ" और "ब्रैडथ" को तर्क संबंधी कार्यों के लिए महत्वपूर्ण मेट्रिक्स के रूप में औपचारिक रूप देता है, जो केवल टोकन लंबाई से आगे बढ़कर है।
2. "बोले बनाम बैगुएट" घटना (The "Boule vs. Baguette" Phenomenon): कार्य टोपोलॉजी के आधार पर जनरलाइजेशन प्रदर्शन में उलटफेर की खोज:
   • बोले (चौड़ा/उथला): RT मॉडल्स, DP मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करते हैं।
   • बैगुएट (संकीर्ण/गहरा): DP मॉडल्स, RT मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करते हैं (कभी-कभी >50%)।
3. सैद्धांतिक स्पष्टीकरण: लेखक एक सैद्धांतिक ढांचा प्रदान करते हैं जो बताते हैं कि यह उलटफेर क्यों होता है:
   • चौड़े कार्य (Broad Tasks): RTs एक इंडक्टिव बायस (inductive bias) प्रदान करते हैं जो विविध उदाहरणों में पूर्ण रूप से सामान्यीकरण करने की अनुमति देता है क्योंकि वे मध्यवर्ती चरणों को सूचीबद्ध करते हैं। DP मॉडल्स प्रशिक्षण वितरण में स्प्यूरियस सहसंबंधों (spurious correlations) के प्रति ओवरफिट होने की प्रवृत्ति रखते हैं।
   • गहरे कार्य (Deep Tasks): RTs लॉन्ग-कॉन्टेक्स्ट प्रोसेसिंग सीमाओं से जूझते हैं। जैसे-जैसे गहराई बढ़ती है, रीजनिंग ट्रेस एक लंबी अनुक्रम बन जाता है जहाँ प्रासंगिक सिग्नल (शुरुआत और अंत के बीच का संबंध) कई टोकनों के बीच कमजोर रूप से बिखरा हुआ होता है। इससे सांख्यिकीय अविभेद्यता (statistical indistinguishability) और समाप्ति में विफलता आती है। DP मॉडल्स इस "तनुकरण" (dilution) से बचते हैं क्योंकि वे इनपुट को सीधे आउटपुट से मैप करते हैं।
4. PITA डेटासेट का विमोचन: तार्किक तर्क और प्रमाण पीढ़ी के मूल्यांकन के लिए एक विशाल, ओपन-सोर्स बेंचमार्क।

4. मुख्य परिणाम (Key Results)

PITA पर अनुभवजन्य निष्कर्ष (Empirical Findings on PITA)

• चौड़ाई-प्रधान स्प्लिट्स (FULL, IMPLY): RT मॉडल्स ने DP मॉडल्स की तुलना में उच्च जनरलाइजेशन सटीकता प्राप्त की, विशेष रूप से जैसे-जैसे मॉडल का आकार बढ़ा। RTs ने प्रशिक्षण के दौरान देखी गई लंबी प्रमाण श्रृंखलाओं तक सफलतापूर्वक सामान्यीकरण किया।
• गहराई-प्रधान स्प्लिट्स (OR, PHP): DP मॉडल्स ने RT मॉडल्स को बहुत पीछे छोड़ दिया। PHP स्प्लिट (सबसे गहरी) पर, 7B DP मॉडल ने 7B RT मॉडल से ~50 प्रतिशत अंक बेहतर प्रदर्शन किया।
• गहरे कार्यों पर RTs की विफलता का स्वरूप: RT विफलता का प्राथमिक कारण गैर-समाप्ति (non-termination) था। मॉडल्स अंतिम वर्गीकरण टोकन उत्पन्न करने में विफल रहे, अक्सर तर्क की लंबी श्रृंखला में खो जाते थे।

TI पर सैद्धांतिक निष्कर्ष (Theoretical Findings on TI)

• स्केलिंग लॉ (Scaling Laws):
  • DP मॉडल्स: प्रशिक्षण सटीकता गहराई के साथ रैखिक रूप से स्केल करती है ($D \propto H$)। जनरलाइजेशन चौड़ाई के साथ तेजी से घटता है ($\alpha_g \propto B^{-2}$)।
  • RT मॉडल्स: प्रशिक्षण सटीकता संदर्भ तनुकरण (context dilution) के कारण गहराई के वर्गमूल के साथ स्केल करती है ($D \propto \sqrt{H}$)। हालांकि, चौड़ाई के मामले में जनरलाइजेशन पूर्ण रहता है ($\alpha_g \propto 1$) क्योंकि रीजनिंग ट्रेस प्रशिक्षण और परीक्षण उदाहरणों के बीच एक परम्यूटेशन-इनवेरिएंट मैपिंग बनाता है।
• इंडक्टिव बायस (Inductive Bias): RTs एक समाधान संरचना लागू करते हैं जो चौड़े कार्यों में प्रशिक्षण से परीक्षण में पूरी तरह से स्थानांतरित होती है, जबकि DP मॉडल्स "शॉर्टकट" सीखते हैं जो कार्य स्थान के व्यापक होने पर विफल हो जाते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

• रीजनिंग ट्रेसेस पर पुनर्विचार: यह पेपर इस धारणा को चुनौती देता कि "अधिक तर्क हमेशा बेहतर होता है।" यह प्रदर्शित करता है कि गहरे, संकीर्ण कार्यों (जैसे जटिल गणितीय प्रमाण या लॉन्ग-होरिजन प्लानिंग) के लिए, मॉडल को ट्रेस उत्पन्न करने के लिए मजबूर करना हानिकारक हो सकता है क्योंकि यह कॉन्टेक्स्ट विंडो की सीमाओं और सिग्नल तनुकरण का कारण बनता है।
• स्थापत्य मार्गदर्शन (Architectural Guidance): परिणाम सुझाव देते हैं कि गहरे कार्यों के लिए, केवल रीजनिंग ट्रेस जोड़ने के बजाय, लॉन्ग-कॉन्टेक्स्ट प्रोसेसिंग (जैसे, बेहतर अटेंशन मैकेनिज्म, रिट्रीवल) में सुधार करना अधिक महत्वपूर्ण है। इसके विपरीत, चौड़े और विविध कार्यों के लिए, RTs आवश्यक हैं।
• बेंचमार्किंग: PITA तार्किक तर्क के मूल्यांकन के लिए एक कठोर, औपचारिक परीक्षण स्थल प्रदान करता है, जो प्राकृतिक भाषा बेंचमार्क से आगे बढ़ता है जो तर्क को भाषा मॉडलिंग क्षमताओं के साथ मिला सकते हैं।
• भविष्य की दिशाएं: लेखक ऐसे मॉडल्स की आवश्यकता पर प्रकाश डालते जो कार्य की अनुमानित गहराई और चौड़ाई के आधार पर डायरेक्ट प्रेडिक्शन और रीजनिंग ट्रेस के बीच गतिशील रूप से स्विच कर सकें।

संक्षेप में, यह शोध पत्र स्थापित करता है कि रीजनिंग ट्रेसेस की प्रभावकारिता अंतर्निहित नहीं है बल्कि टोपोलॉजी-निर्भर (topology-dependent) है। रीजनिंग ट्रेस चौड़े, उथले समस्याओं के लिए एक शक्तिशाली जनरलाइजेशन टूल के रूप में कार्य करते हैं, लेकिन लंबे, बिखरे हुए संदर्भों के सांख्यिकीय कठिनाइयों के कारण वे गहरे, संकीर्ण समस्याओं के लिए एक लायबिलिटी (liability) बन जाते हैं।