तकनीकी सारांश: डायनेमिक मॉडल इंटरपोलेशन के माध्यम से सिस्टम 1 और 2 का तालमेल

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) में "सिस्टम 1" (सहज, तेज़, संक्षिप्त) और "सिस्टम 2" (विचारशील, धीमा, तर्क-प्रधान) संज्ञानात्मक मोड के बीच एक कार्यात्मक द्वैतवाद (dichotomy) दिखाई देता है। जबकि सिस्टम 2 मॉडल (जैसे o1, DeepSeek-R1) विस्तृत चेन-ऑफ-थॉट (CoT) के माध्यम से जटिल कार्यों पर बेहतर सटीकता प्राप्त करते हैं, वे उच्च कम्प्यूटेशनल लागत और अत्यधिक विस्तृत आउटपुट से ग्रस्त होते हैं। इसके विपरीत, सिस्टम 1 मॉडल कुशल तो हैं लेकिन उनमें गहन तर्क क्षमता का अभाव है।

वर्तमान शोध इन मोड को एकीकृत करने या मुख्य रूप से आउटपुट नियंत्रण (output control) के माध्यम से सिस्टम 2 की दक्षता को अनुकूलित करने का प्रयास करता है। ये विधियाँ टोकन बजट को सीमित करके, अर्ली-एग्जिट मैकेनिज्म लागू करके, या CoT को संकुचित करके यह नियंत्रित करती हैं कि मॉडल क्या उत्पन्न करे। लेखक तर्क देते हैं कि यह प्रतिमान (paradigm) गलत दिशा में है: आउटपुट की लंबाई संज्ञानात्मक विन्यास (cognitive configuration) का एक लक्षण है, न कि अक्षमता का मूल कारण। इसके अलावा, एक एकल एकीकृत मॉडल को प्रशिक्षित करना जो इन दोनों मोडों के बीच निर्बाध रूप से अनुकूलित हो सके, चुनौतीपूर्ण बना हुआ है क्योंकि प्रशिक्षण डेटा की "जीरो-सम प्रकृति" (zero-sum nature) के कारण सिस्टम 2 की विस्तृत शैली, सिस्टम 1 की संक्षिप्तता के साथ संघर्ष करती है, जिससे संयुक्त अनुकूलन के दौरान आपसी हस्तक्षेप होता है।

कार्यप्रणाली: DAMI (डायनेमिक मॉडल इंटरपोलेशन)

यह शोध पत्र आउटपुट नियंत्रण से क्षमता नियंत्रण (capability control) की ओर एक प्रतिमान परिवर्तन का प्रस्ताव करता है, जो यह नियंत्रित करता है कि मॉडल कैसे सोचता है, न कि वह क्या उत्पन्न करता है। इसे डायनेमिक मॉडल इंटरपोलेशन के माध्यम से प्राप्त किया जाता है, जो बिना किसी अतिरिक्त प्रशिक्षण के मौजूदा सिस्टम 1 (Instruct) और सिस्टम 2 (Thinking) चेकपॉइंट्स का लाभ उठाता है।

1. सैद्धांतिक आधार

लेखक स्थापित करते हैं कि Instruct ($\Theta^{(I)}$) और Thinking ($\Theta^{(T)}$) मॉडलों के बीच रैखिक पैरामीटर इंटरपोलेशन (linear parameter interpolation) अनुमानित व्यवहार प्रदान करता है, जो तीन अनुभवजन्य और सैद्धांतिक निष्कर्षों पर आधारित है:

• प्रदर्शन निरंतरता (Performance Monotonicity): इंटरपोलेशन गुणांक $\lambda$ को बढ़ाने से (जहाँ $\lambda=0$ Instruct है और $\lambda=1$ Thinking है) सटीकता और दक्षता के बीच एक सुचारू, उत्तल (convex) पारेटो फ्रंटियर (Pareto frontier) प्राप्त होता है। मध्यवर्ती मॉडल अक्सर दोनों छोरों से बेहतर प्रदर्शन करते हैं, जो Thinking मॉडल की तुलना में कम टोकन के साथ Instruct से अधिक सटीकता प्राप्त करते हैं।
• प्रतिनिधित्व निरंतरता (Representation Continuity): प्रिंसिपल कंपोनेंट एनालिसिस (PCA) से पता चलता है कि इंटरपोलेटेड मॉडल प्रतिनिधित्व स्थान (representation space) में एक निरंतर प्रक्षेपवक्र (trajectory) बनाते हैं, जहाँ पहला प्रिंसिपल कंपोनेंट $\lambda$ के साथ दृढ़ता से सह-संबंधित है ($r=0.974$)।
• संरचनात्मक कनेक्टिविटी (Structural Connectivity): Instruct और Thinking मॉडल सभी ट्रांसफार्मर परतों में उच्च कोसाइन समानता (>0.99) प्रदर्शित करते हैं, जो लीनियर मोड कनेक्टिविटी (LMC) को संतुष्ट करता है। यह इंगित करता है कि दोनों मॉडल एक ही ऑप्टिमाइज़ेशन बेसिन के भीतर स्थित हैं, जिससे यह सुनिश्चित होता है कि इंटरपोलेशन पथ उच्च-हानि (high-loss) वाले क्षेत्रों से बचता है।

2. DAMI फ्रेमवर्क

मुख्य नवाचार DAMI है, जो प्रत्येक इनपुट के लिए मॉडल की संज्ञानात्मक गहराई को कॉन्फ़िगर करने हेतु एक क्वेरी-विशिष्ट रीजनिंग इंटेंसिटी (Reasoning Intensity) $\lambda(q) \in [0, 1]$ का अनुमान लगाता है:
$$\Theta^{(M)}(q) = \lambda(q)\Theta^{(T)} + (1 - \lambda(q))\Theta^{(I)}$$

$\lambda(q)$ का अनुमान लगाने के लिए दो पूरक विधियाँ प्रस्तावित हैं:

• DAMI-Pref (प्रशिक्षण-आधारित): यह इन-डोमेन प्रशिक्षण डेटा वाले परिदृश्यों के लिए डिज़ाइन किया गया है। यह $\lambda$ अनुमान को रिग्रेशन के बजाय एक वरीयता लर्निंग (preference learning) समस्या के रूप में देखता है। एक हल्का रिवॉर्ड मॉडल एक पदानुक्रमित मानदंड के आधार पर इंटरपोलेशन गुणांकों के जोड़ों को स्कोर करने के लिए प्रशिक्षित किया जाता है: पहले सटीकता को प्राथमिकता दें, फिर टाईब्रेकर के रूप में दक्षता (टोकन गणना) का उपयोग करें। यह दृष्टिकोण लेबल शोर (label noise) के प्रति मजबूत है और रिग्रेशन-आधारित तरीकों की तुलना में कम डेटा की आवश्यकता होती है।
• DAMI-Conf (प्रशिक्षण-मुक्त): यह ज़ीरो-शॉट परिनियोजन (zero-shot deployment) के लिए डिज़ाइन किया गया है। यह बेस मॉडल्स से आंतरिक कॉन्फिडेंस सिग्नल (confidence signals) का उपयोग करके $\lambda(q)$ का अनुमान लगाता है। यह दो संकेतों को जोड़ता है:
  1. होलिस्टिक एम्बिग्युटी (Holistic Ambiguity): समग्र सिस्टम अनिश्चितता को मापता है (दोनों मॉडलों में कम आत्मविश्वास का अर्थ है उच्च कठिनाई)।
  2. कॉग्निटिव डिस्क्रेपेंसी (Cognitive Discrepancy): Instruct और Thinking मॉडलों के बीच कॉन्फिडेंस में असहमति को मापता है (उच्च असहमति का अर्थ है कि क्वेरी के लिए विशिष्ट रणनीतियों की आवश्यकता है)।
     इन संकेतों को फ्यूज किया जाता है और $\lambda(q)$ निर्धारित करने के लिए एक कैलिब्रेटेड सिग्मॉइड फंक्शन के माध्यम से पास किया जाता है।

मुख्य योगदान

1. प्रतिमान परिवर्तन: यह शोध पत्र आउटपुट नियंत्रण (जेनरेशन को सीमित करना) के बजाय क्षमता नियंत्रण (पैरामीटर इंटरपोलेशन के माध्यम से संज्ञानात्मक विन्यास को मोड्यूलेट करना) की वकालत करता है।
2. DAMI फ्रेमवर्क: एक अभिनव ढांचा जो मौजूदा चेकपॉइंट्स का लाभ उठाते हुए, बिना किसी नए मॉडल को स्क्रैच से प्रशिक्षित किए, क्वेरी-अनुकूलित रीजनिंग इंटेंसिटी को सक्षम बनाता है।
3. दोहरी अनुमान रणनीतियाँ: डेटा उपलब्धता बनाम ज़ीरो-शॉट आवश्यकताओं को संबोधित करने के लिए DAMI-Pref (वरीयता-आधारित) और DAMI-Conf (कॉन्फिडेंस-आधारित) का परिचय।
4. सैद्धांतिक सत्यापन: औपचारिक प्रमाण और अनुभवजन्य साक्ष्य जो यह दर्शाते हैं कि सह-उत्पन्न (co-originated) मॉडलों के बीच रैखिक इंटरपोलेशन LMC को संतुष्ट करता है, जिससे प्रदर्शन और प्रतिनिधित्व में वैध, निरंतर और निरंतर (monotonic) संक्रमण सुनिश्चित होता है।

प्रयोगात्मक परिणाम

लेखकों ने दो मॉडल परिवारों (Qwen3-4B और DeepSeek-R1/Qwen2.5-7B) का उपयोग करके पांच गणितीय तर्क बेंचमार्क (GSM8K, MATH-500, AMC, AIME 2024/25) पर DAMI का मूल्यांकन किया।

• प्रदर्शन बनाम दक्षता: DAMI लगातार स्टैटिक मर्जिंग, अर्ली-एग्जिट (DEER), और रूटिंग बेसलाइन्स की तुलना में बेहतर पारेटो फ्रंटियर स्थापित करता है।
  • Qwen3-4B पर, DAMI-Pref ने 91.6% सटीकता प्राप्त की (Thinking मॉडल की तुलना में +3.4% पूर्ण लाभ) जबकि टोकन खपत में 29% की कमी आई।
  • DAMI-Conf ने 90.7% सटीकता (+2.5% Thinking के ऊपर) बनाए रखते हुए टोकन खपत को 40% तक कम कर दिया।
• अनुकूली व्यवहार (Adaptive Behavior): "थिंकिंग रेशियो" (गहन तर्क को ट्रिगर करने वाली क्वेरी का प्रतिशत) कठिनाई के अनुसार अनुकूलित होता है। सरल कार्यों (GSM8K) के लिए, DAMI केवल ~25-41% क्वेरी के लिए डीप थिंकिंग को सक्रिय करता है, जबकि जटिल कार्यों (AIME) के लिए, यह बढ़कर 79-95% हो जाता है।
• मल्टीमॉडल सामान्यीकरण: फ्रेमवर्क का परीक्षण Qwen3-VL-8B का उपयोग करके मल्टीमॉडल कार्यों (वीडियो और इमेज-टेक्स्ट रीजनिंग) पर किया गया। DAMI-Conf ने बेसलाइन से बेहतर प्रदर्शन किया, वीडियो समझ में 2.5% का पूर्ण सुधार और इमेज-टेक्स्ट रीजनिंग में 1.6% का सुधार प्राप्त किया।
• केस स्टडी: एक ज्यामिति समस्या में, Thinking मॉडल ने अनावश्यक सत्यापन के साथ 2,846 टोकन उत्पन्न किए। DAMI ने समस्या को सीधे फॉर्म्युलेट करने और गणना करने के माध्यम से 351 टोकन में सही समाधान उत्पन्न किया, जो दर्शाता है कि क्षमता नियंत्रण स्वाभाविक रूप से कुशल तर्क उत्पन्न करता है, न कि केवल ट्रंकेटेड आउटपुट।

महत्व और दावे

यह शोध पत्र दावा करता है कि तेज़ और धीमे विचार के बीच का द्वैतवाद प्रशिक्षण के समय हल किया जाने वाला बाइनरी विकल्प नहीं होना चाहिए। यह स्थापित करते हुए कि रीजनिंग की गहराई एक सुचारू स्पेक्ट्रम (smooth spectrum) पर मौजूद है जिसे पैरामीटर स्पेस में सरल रैखिक ऑपरेशंस के माध्यम से एक्सेस किया जा सकता है, DAMI एक लचीला संज्ञानात्मक आर्किटेक्चर प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण एकीकृत सिस्टम 1/2 मॉडल को प्रशिक्षित करने की कठिनाई से बचता है और आउटपुट-प्रतिबंधित विधियों (जो तर्क श्रृंखलाओं को काटने का जोखिम उठाती हैं) से जुड़ी प्रदर्शन गिरावट से भी बचता है। इसके बजाय, DAMI मॉडल की संज्ञानात्मक गहराई को गतिशील रूप से कॉन्फ़िगर करके एक "स्वीट स्पॉट" प्राप्त करता है, जो प्रभावी रूप से सिस्टम 1 की दक्षता को सिस्टम 2 की तर्क गहराई के साथ जोड़ता है। यह कार्य सुझाव देता है कि रीजनिंग रिसोर्स एलोकेशन को एक सुव्यवस्थित भविष्यवाणी समस्या (well-posed prediction problem) के रूप में माना जा सकता है, जहाँ इष्टतम $\lambda(q)$ का अनुमान लगाना सीधे मॉडल के व्यवहार को निर्धारित करता है।