तकनीकी सारांश: मल्टी-एजेंट सुदृढीकरण शिक्षण (Multi-Agent Reinforcement Learning) के माध्यम से चेन-ऑफ-थॉट का स्व-संपीड़न (Self-Compression)

1. समस्या विवरण

लार्ज रीजनिंग मॉडल्स (LRMs) ने विस्तृत चेन-ऑफ-थॉट (CoT) अनुक्रमों को नियोजित करके जटिल समस्या-समाधान में उल्लेखनीय क्षमताएं प्रदर्शित की हैं। हालांकि, ये मॉडल अक्सर "ओवर-थिंकिंग" (अत्यधिक विचार) से ग्रस्त होते हैं, जिससे गैर-आवश्यक चरणों, दोहराव वाले सत्यापन और अनावश्यक मेटा-टॉक से भरे लंबे रीजनिंग पाथ उत्पन्न होते हैं। यह अतिरेक (redundancy) महत्वपूर्ण इन्फरेंस लेटेंसी (inference latency) पैदा करता है, जो परिनियोजन दक्षता (deployment efficiency) में बाधा डालता है।

मौजूदा समाधान मुख्य रूप से आउटकम-आधारित पुरस्कारों (outcome-based rewards) के साथ एक वैश्विक लंबाई दंड (global length penalty) के साथ सुदृढीकरण शिक्षण (RL) पर निर्भर करते हैं। यह पेपर तर्क देता है कि यह दृष्टिकोण गलत क्रेडिट असाइनमेंट (misaligned credit assignment) से ग्रस्त है: कुल अनुक्रम लंबाई को अंधाधुंध रूप से दंडित करके, ये विधियां अनावश्यक चरणों और महत्वपूर्ण तार्किक चरणों के बीच अंतर करने में विफल रहती हैं। फलस्वरूप, मॉडल लंबाई की बाधाओं को पूरा करने के लिए आवश्यक रीजनिंग स्टेप्स का त्याग कर सकते हैं, जिससे एक ऐसा ट्रेड-ऑफ उत्पन्न होता है जहाँ दक्षता लाभ सटीकता की कीमत पर आते हैं। पहचाना गया मुख्य चुनौती यह है कि कैसे उच्च-मूल्य वाले तार्किक चरणों को संरक्षित करते हुए—इन्फरेंस-टाइम ओवरहेड पेश किए बिना—अनावश्यकता को समाप्त करने के लिए सूक्ष्म-स्तरीय संपीड़न (fine-grained compression) किया जाए।

2. कार्यप्रणाली: SCMA फ्रेमवर्क

लेखक सेल्फ-कंप्रेशन वाया मल्टी-एजेंट रीइन्फोर्समेंट लर्निंगिंग (SCMA) का प्रस्ताव करते हैं, एक फ्रेमवर्क जो सिंगल-एजेंट RL से मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) प्रतिमान की ओर स्थानांतरित होता है। सिस्टम एक साझा बेस लार्ज लैंग्वेज मॉडल (LLM) का उपयोग करता है जिसे प्रशिक्षण के दौरान सहयोग करने के लिए तीन विशिष्ट एजेंटों में स्थापित किया जाता है, लेकिन इन्फरेंस के दौरान केवल एक एजेंट के विशेष परिनियोजन की अनुमति देता है।

2.1. एजेंट भूमिकाएँ

फ्रेमवर्क रीजनिंग प्रक्रिया को तीन विशिष्ट एजेंटों के बीच एक सहयोगी खेल में विभाजित करता है:

1. रीजनिंग एजेंट ($\pi^{reason}_{\theta}$): प्रॉम्प्ट $x$ दिए जाने पर एक प्रारंभिक रीजनिंग पाथ $y$ उत्पन्न करने के लिए समाधान स्थान (solution space) का अन्वेषण करता है।
2. सेगमेंटेशन एजेंट ($\pi^{seg}_{\theta}$): उत्पन्न रीजनिंग पाथ को असतत तार्किक चंक्स (logical chunks) $\{s_1, ..., s_n\}$ में संरचनात्मक रूप से पार्स करता है। यह एजेंट लॉसलेस पार्सिंग सुनिश्चित करता है, जहाँ चंक्स का संघ (union) मूल पाथ को पुनर्गठित करता है।
3. स्कोरिंग एजेंट ($\pi^{score}_{\theta}$): प्रत्येक चंक की अनुमानात्मक महत्ता (inferential significance) का मूल्यांकन करता है, और एक महत्व स्कोर $w_i \in \{1, ..., 5\}$ आवंटित करता है जो अंतिम समाधान के लिए उस चंक की अनिवार्यता को मापता है।

2.2. महत्व-भारित लंबाई दंड (Importance-Weighted Length Penalty)

मानक RL के विपरीत, जो कुल लंबाई पर एक समान दंड लागू करता है, SCMA एक महत्व-भारित लंबाई दंड पेश करता है। रिवॉर्ड फंक्शन को इस प्रकार पुनर्गठित किया गया है:
$$R(y|x) = R_{acc}(y|x) - \alpha f\left(\sum_{i=1}^{n} \phi(w_i) \cdot |s_i|\right)$$
जहाँ:

• $R_{acc}$ एक आउटकम-आधारित सटीकता पुरस्कार है।
• $|s_i|$ $i$-वें सेगमेंट की लंबाई है।
• $\phi(w_i)$ एक वेटिंग फंक्शन (जैसे, $\phi(w_i) = 5 - w_i$) है जो महत्व को दंड भार के रूप में व्युत्क्रम (inversely) मैप करता है।
• तंत्र: अनावश्यक सेगमेंट (कम स्कोर, $w_i \to 0$) को उच्च दंड भार प्राप्त होता है, जो संपीड़न को लागू करता है। महत्वपूर्ण सेगमेंट (उच्च स्कोर, $w_i \to 5$) को नगण्य भार प्राप्त होता है, जिससे वे दंड से मुक्त रहते हैं।

2.3. अनुकूलन रणनीति (Optimization Strategy)

फ्रेमवर्क मल्टी-एजेंट ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (MARL-GRPO) का उपयोग करता है।

• साझा पैरामीटर: तीनों एजेंट एक ही बेस LLM से पैरामीटर्स $\theta$ साझा करते हैं, जो केवल रोल-विशिष्ट प्रॉम्प्ट्स के माध्यम से अलग होते हैं।
• साझा रिवॉर्ड: एजेंटों को एक साझा ग्लोबल रिवॉर्ड का उपयोग करके संयुक्त रूप से अनुकूलित किया जाता है जो महत्व-भारित दंड से प्राप्त होता है। यह रीजनिंग, सेगमेंटेशन और स्कोरिंग एजेंटों के सह-विकास (co-evolution) को सुनिश्चित करता है, जिससे उनके उद्देश्यों को सटीक लेकिन संक्षिप्त रीजनिंग श्रृंखला बनाने के लिए संरेखित किया जाता है।
• प्रशिक्षण बनाम इन्फरेंस: सेगमेंटेशन और स्कोरिंग एजेंट प्रशिक्षण के समय सहायक (auxiliaries) के रूप में कार्य करते हैं। परिनियोजन के दौरान, केवल रीजनिंग एजेंट सक्रिय रहता है, जिससे शून्य अतिरिक्त कम्प्यूटेशनल ओवरहेड सुनिश्चित होता है।

3. प्रमुख योगदान

1. फ्रेमवर्क प्रस्ताव (SCMA): एक अभिनव MARL फ्रेमवर्क जो कोट (CoT) संपीड़न को एक सहयोगी खेल के रूप में पुनर्गठित करता है, जो सूक्ष्म-स्तरीय संरचनात्मक मॉडलिंग और डिकपल्ड वैल्यू एस्टीमेशन को सक्षम बनाता है, जिसकी कमी सिंगल-एजेंट प्रतिमानों में होती है।
2. मैकेनिज्म डिज़ाइन: मल्टी-एजेंट GRPO ऑब्जेक्टिव द्वारा संचालित महत्व-भारित लंबाई दंड का परिचय। यह मोटे-स्तर के लंबाई दंडों को एक डायनेमिक सिग्नल से बदल देता है जो महत्वपूर्ण तर्क को संरक्षित करते हुए अनावश्यकता को हटा देता है।
3. अनुभवजन्य सत्यापन (Empirical Verification): व्यापक प्रयोग जो दर्शाते हैं कि SCMA कई मॉडल स्केल्स और बेंचमार्क पर दक्षता और सटीकता दोनों में सुधार करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने GSM8K से लेकर प्रतियोगिता गणित (MATH500, AMC23, AIME24/25) तक के डेटासेट्स पर 1.5B से 8B पैरामीटर्स वाले मॉडल्स (DeepSeek-R1-Distill-Qwen और Qwen3 सीरीज़) का उपयोग करके SCMA का मूल्यांकन किया।

• प्रदर्शन लाभ: SCMA ने वैनिला बेसलाइन्स की तुलना में सटीकता में 4.33% से 10.02% की वृद्धि के साथ-साथ रिस्पॉन्स लंबाई को 11.1% से 39.0% तक कम कर दिया।
• बेसलाइन्स के साथ तुलना:
  • स्टैंडर्ड GRPO की तुलना में, SCMA ने उच्च सटीकता और काफी छोटे रिस्पॉन्स प्राप्त किए।
  • लेंथ-पेनलाइज्ड बेसलाइन्स (LC-R1_LP, RL+LP) की तुलना में, SCMA ने "एकरेसी कोलैप्स" (सटीकता में गिरावट) से बचा जो आक्रामक रूप से अनुक्रमों को छोटा करने पर अक्सर देखा जाता है। उदाहरण के लिए, जबकि RL+LP ने 7B मॉडल पर लंबाई को 16% कम किया, इसने सटीकता को बेसलाइन से नीचे गिरा दिया; SCMA ने सटीकता को बनाए रखा या उसमें सुधार किया।
• सामान्यीकरण (Generalization): केवल GSM8K पर प्रशिक्षित होने के बावजूद, SCMA ने अनसीन (unseen) चुनौतीपूर्ण बेंचमार्क जैसे AIME24 पर मजबूत आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण प्रदर्शित किया, जिससे सटीकता और दक्षता में महत्वपूर्ण सुधार हुआ।
• एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने दिखाया कि सेगमेंटेशन और स्कोरिंग एजेंटों को फ्रीज करना (ऑफ-द-शेल्फ मॉडल्स का उपयोग करना) यह दर्शाता है कि संयुक्त पैरामीटर अनुकूलन (joint parameter optimization) महत्वपूर्ण है। पूर्ण SCMA फ्रेमवर्क उन वेरिएंट्स से बेहतर प्रदर्शन करता है जहाँ सहायक एजेंटों को सह-प्रशिक्षित नहीं किया गया था, भले ही उन वेरिएंट्स ने सहायक भूमिकाओं के लिए बड़े मॉडल्स (जैसे, 8B या GPT-4o) का उपयोग किया हो।

5. महत्व और दावे

पेपर का दावा है कि MARL फ्रेमवर्क के भीतर सहक्रियात्मक अनुकूलन (synergistic optimization) ऐसे उभरते व्यवहारों (emergent behaviors) को बढ़ावा देता है जो वैनिला RL प्रतिमानों की तुलना में अधिक शक्तिशाली LRMs प्रदान करते हैं। विशेष रूप से:

• सहक्रियात्मक सह-अनुकूलन (Synergistic Co-Optimization): फ्रेमवर्क मॉडल को "सिमेंटिक कंसंट्रेशन" (अर्थपूर्ण एकाग्रता) सीखने में सक्षम बनाता है, जो कम-विश्वास वाले, दोहराव वाले अंशों को हटा देता है और उच्च-घनत्व वाले तार्किक कर्नेल (logical kernels) पर अभिसरण करता है।
• कंटेंट-एडेप्टिव सेगमेंटेशन: सेगमेंटेशन एजेंट यूनिफॉर्म सेगमेंटेशन से फाइन-ग्रेन्ड, कंटेंट-एडेप्टिव विभाजन की ओर विकसित होता है, जो फिक्स्ड नियमों के बजाय संज्ञानात्मक भार (cognitive load) के आधार पर टेक्स्ट लंबाई को गतिशील रूप से आवंटित करता है।
• स्थिरता (Stability): डायनेमिक पेनल्टी मैकेनिज्म "ट्रेनिंग कोलैप्स" (जहाँ मॉडल लंबाई को कम करने के लिए सोचना पूरी तरह से बंद कर देता है) को रोकता है जो स्टैंडर्ड लेंथ-पेनलाइज्ड RL में देखा जाता है, जिससे संक्षिप्तता और तार्किक अखंडता के बीच एक स्थिर संतुलन सुनिश्चित होता है।

लेखक निष्कर्ष निकालते हैं कि SCMA अनावश्यक रीजनिंग के बॉटलनेक को संबोधित करता है, उच्च-मूल्य वाले रीजनिंग स्टेप्स को पहचानने और संरक्षित करने के लिए एक तंत्र प्रदान करता है, जो इन्फरेंस-टाइम ओवरहेड के बिना कुशल, उच्च-प्रदर्शन वाले रीजनिंग मॉडल्स की ओर एक मार्ग प्रदान करता है।