तकनीकी सारांश: फ्रंटियर मॉडल्स की बढ़ती चुनौतियाँ

समस्या विवरण (Problem Statement)

वर्तमान फ्रंटियर मॉडल मूल्यांकन स्वतंत्र लीडरबोर्ड पर निर्भर करता है जो विशिष्ट अक्षों (जैसे, कोडिंग के लिए SWE-bench, रीजनिंग के लिए GPQA Diamond) पर मॉडल्स को रैंक करते हैं, लेकिन यह इस बात को उजागर करने में विफल रहता है कि क्षमताओं के बीच परस्पर क्रिया (interaction) कैसे होती है। समुदाय आमतौर पर यह पूछता है कि क्या कोई मॉडल कोडिंग में अच्छा है या रीजनिंग में अच्छा है, लेकिन शायद ही कभी यह जांच करता है कि क्या एक क्षमता में सुधार दूसरी क्षमता को सुदृढ़ करता है या उसे कमजोर करता है। फ्रंटियर पर, जहाँ विभिन्न लैब्स द्वारा तेजी से मॉडल्स जारी किए जा रहे हैं, यह परस्पर क्रिया—क्षमताओं के बीच का जुड़ाव (coupling)—अलग-अलग स्कोर की तुलना में अधिक सूचनात्मक संकेत प्रदान करता है। यह शोध पत्र इस बात का निदान करने की आवश्यकता को संबोधित करता है कि क्षमताएं सहयोग करती हैं या ट्रेड-ऑफ (trade-off) करती हैं, यह जुड़ाव प्रयोगशालाओं और समय के साथ कैसे बदलता है, और यह कैसे पहचानें कि बेंचमार्क अक्ष कब संतृप्त (saturate) हो रहे हैं और उन्हें रोटेशन (rotation) की आवश्यकता है।

कार्यप्रणाली (Methodology)

लेखक सार्वजनिक मॉडल कार्ड और सत्यापित लीडरबोर्ड से प्राप्त युग्मित (paired) बेंचमार्क स्कोर पर आधारित एक नैदानिक ढांचा प्रस्तावित करते हैं। यह कार्यप्रणाली दो अक्षों के बीच के संबंध से प्राप्त तीन मुख्य मात्राओं पर निर्भर करती है: SWE-bench Verified (स्वायत्त कोडिंग) और GPQA Diamond (स्नातक स्तर की वैज्ञानिक रीजनिंग)।

1. जनसंख्या जुड़ाव (Population Coupling - $r$): मॉडल्स के एक पैनल पर गणना किया गया पियर्सन सहसंबंध गुणांक (Pearson correlation coefficient)। एक सकारात्मक $r$ क्षमताओं के बीच सहकारी सुदृढ़ीकरण (cooperative reinforcement) को दर्शाता है, जबकि एक नकारात्मक $r$ एक विरोधी ट्रेड-ऑफ (antagonistic trade-off) को दर्शाता है।
2. $h$-फील्ड (लैब-सापेक्ष अवशेष/Lab-Relative Residual): किसी दिए गए मॉडल $i$ के लिए, $h$-फील्ड जनसंख्या प्रतिगमन रेखा ($\hat{B}_2 = \beta_1 B_1 + \beta_0$) से प्राप्त हस्ताक्षरित अवशेष (signed residual) है।
   • $h_i = B_{2,i} - (\beta_1 B_{1,i} + \beta_0)$
   • एक सकारात्मक $h$ को कोडिंग-रीजनिंग ट्रेंड के सापेक्ष 'रीजनिंग-समृद्ध' प्रदर्शन को दर्शाता है; एक नकारात्मक $h$ को 'कोडिंग-समृद्ध' प्रदर्शन को दर्शाता है।
   • प्रति लैब औसत $h$ ($\bar{h}_{lab}$) जनसंख्या प्रवृत्ति से एक लैब के विशिष्ट विचलन को सारांशित करता है।
3. चरण वर्गीकरण (Phase Classification): मॉडल्स को प्रतिगमन रेखा के सापेक्ष उनके $h$-फील्ड मान के आधार पर तीन श्रेणियों में वर्गीकृत किया गया है:
   • सहकारी (Cooperative): $|h| \le 10$ प्रतिशत अंक (pp)।
   • कोडिंग-विशेषज्ञ विचलन (Coding-specialist excursion): $h < -10$ pp।
   • रीजनिंग-विशेषज्ञ (Reasoning-specialist): $h > +10$ pp।
4. संतृप्ति अनुपात (Saturation Ratio - $\sigma$): शीर्ष मॉडल्स के बीच एक पुराने बेंचमार्क अक्ष के प्रसार (max-min) और एक नए उम्मीदवार अक्ष के बीच के अनुपात के रूप में परिभाषित किया गया है। एक $\sigma < 0.2$ का अनुपात यह संकेत देता है कि पुराने अक्ष ने अपनी विभेदक शक्ति खो दी है, जो एक नए अक्ष की ओर रोटेशन की आवश्यकता को दर्शाता है।

डेटासेट में 10 लैब्स (जिसमें Anthropic, OpenAI, Google, DeepSeek आदि शामिल हैं) के 34 फ्रंटियर मॉडल्स शामिल हैं, जो जून 2024 से मार्च 2026 तक फैले हुए हैं। विश्लेषण एक कोर सत्यापित उपसमुच्चय ($n=23$) और एक विस्तारित सेट ($n=34$) का उपयोग करता है, जो सामान्यीकरण का परीक्षण करने के लिए 'लीव-वन-लैब-आउट' क्रॉस-वैलिडेशन का उपयोग करता है।

मुख्य परिणाम (Key Results)

1. फ्रंटियर पर सहकारी जुड़ाव (Cooperative Coupling at the Frontier)

34 मॉडल्स के पूर्ण पैनल में, SWE-bench और GPQA Diamond मजबूत सकारात्मक जुड़ाव ($r = +0.72, p < 10^{-6}$) प्रदर्शित करते हैं। यह सहकारी संरचना सभी परीक्षण किए गए उपसमुच्चयों में बनी रहती है और आर्किटेक्चर एवं ट्रेनिंग पाइपलाइन की विषमता के बावजूद सुदृढ़ है। यह सिग्नल केवल तभी मापने योग्य होता है जब दोनों बेंचमार्क में पर्याप्त डायनेमिक रेंज (SWE स्कोर $\ge 40$) हो, जो 2025 की रिलीज़ में उपलब्ध हुई।

2. प्रति-लैब निदान और प्रक्षेपवक्र (Per-Lab Diagnostics and Trajectories)

जबकि क्षमताएं वैश्विक स्तर पर सहयोग करती हैं, सहयोग का पैटर्न प्रयोगशालाओं के अनुसार काफी भिन्न होता है, जिसे $h$-फील्ड और कपलिंग स्लोप द्वारा मापा जाता है:

• Google: एक सुसंगत रीजनिंग-समृद्ध जोर ($\bar{h} \approx +5.5$) और उच्च कपलिंग स्लोप (1.15) बनाए रखता है, जो कोडिंग लाभों को रीजनिंग में कुशल रूपांतरण का संकेत देता है।
• DeepSeek: एक नाटकीय उलटफेर प्रदर्शित करता है, जो चार रिलीज़ के दौरान रीजनिंग-समृद्ध ($h = +11.2$) से कोडिंग-प्रथम ($h = -4.7$) की ओर मुड़ गया, जो कि 15.9-pp का बदलाव है।
• Anthropic: कोडिंग विचलन (जैसे, Sonnet 4.6, $h = -13.1$) और रीजनिंग-समृद्ध अवस्था में वापसी (जैसे, Opus 4.6, $h = +3.5$) के बीच उतार-चढ़ाव दिखाता है।
• कपलिंग दक्षता (Coupling Efficiency): प्रति-लैब कपलिंग स्लोप में 5 गुना का अंतर है (Google 1.15 बनाम DeepSeek 0.23), जो यह मात्रात्मक रूप से बताता है कि विभिन्न "रेसिपी" कोडिंग सुधारों को रीजनिंग लाभों में कितनी कुशलता से परिवर्तित करती हैं।

3. क्षमता कैस्केड और संतृप्ति (Capability Cascades and Saturation)

यह शोध पत्र पहचानता है कि सहयोग स्थिर नहीं है बल्कि चरणों के माध्यम से कैस्केड (cascade) करता है जहाँ पुराने अक्ष आपस में जुड़ जाते हैं और नए उभरते हैं:

• असममित संतृप्ति (Asymmetric Saturation): शीर्ष 5 कोडिंग मॉडल्स के बीच, SWE-bench स्कोर लगभग समान (1.3 pp प्रसार) हैं, जबकि GPQA स्कोर महत्वपूर्ण भिन्नता (9.1 pp) बनाए रखते हैं। यह संपीड़न संकेत देता है कि SWE संतृप्त हो रहा है।
• अक्ष रोटेशन (Axis Rotation): जैसे-जैसे SWE संतृप्त होता है, HLE (Humanity's Last Exam) और IFEval नए स्वतंत्र अक्षों के रूप में सक्रिय होते हैं। कपलिंग मैट्रिक्स दिखाता है कि SWE और GPQA सहयोग करते हैं ($r \approx +0.85$), GPQA और HLE सहयोग करते हैं ($r \approx +0.72$), लेकिन SWE और HLE अलग-थलग (decoupled) हैं ($r \approx -0.25$)।
• $N_{c2}$ संक्रमण (Transition): छह ओपन-वेट आर्किटेक्चर पुष्टि करते हैं कि 30–72B पैरामीटर्स पर एक दूसरा क्षमता संक्रमण होता है जहाँ सहयोग गिर जाता है (लगभग 59% की गिरावट), जिसके बाद यह आंशिक रूप से पुनः प्राप्त होता है, जो इस पैमाने पर हिडन स्टेट्स (hidden states) द्वारा सहयोगात्मक रूप से कितनी अंतःक्रियाओं का प्रतिनिधित्व किया जा सकता है, इसकी सीमा का सुझाव देता है।

4. भविष्य कहनेवाला सत्यापन (Predictive Validation)

इस ढांचे को मार्च 2026 के डेटा कटऑफ (अप्रैल 2026) के बाद जारी किए गए पांच मॉडल्स के विरुद्ध सत्यापित किया गया था। इन आउट-ऑफ-सैंपल मॉडल्स ने नैदानिक पुष्टि की, जिसमें रिफिटिंग के बाद जनसंख्या सहसंबंध $+0.72$ से बढ़कर $+0.75$ हो गया। $h$-फील्ड ने सफलतापूर्वक DeepSeek के बदलाव और Anthropic की रिकवरी का पूर्वानुमान लगाया।

महत्व और योगदान (Significance and Contributions)

यह शोध पत्र दावा करता है कि यह "कौन आगे है" से आगे बढ़कर "यह किस प्रकार की प्रगति है" को मापने वाला पहला बड़े पैमाने का, क्रॉस-लैब फ्रंटियर कपलिंग माप प्रदान करता है। इसके प्राथमिक योगदान हैं:

1. एक नैदानिक ढांचा (A Diagnostic Framework): एक तीन-स्तरीय प्लेबुक (Locate, Diagnose, Rotate) जो अभ्यासकर्ताओं को मॉडल रिलीज़ को वर्गीकृत करने, क्षमता पुनर्वितरण (via $h$-field shifts $>10$ pp) की पहचान करने और यह पता लगाने की अनुमति देती है कि बेंचमार्क कब अपनी विभेदक शक्ति खो रहे हैं (via $\sigma < 0.2$)।
2. लैब रणनीतियों का मात्रात्मककरण (Quantification of Lab Strategies): $h$-फील्ड और कपलिंग स्लोप एक लैब के विशिष्ट जोर (रीजनिंग-समृद्ध बनाम कोडिंग-समृद्ध) और उनकी ट्रेनिंग रेसिपी की दक्षता के लिए एक एकल-संख्या सारांश प्रदान करते हैं।
3. असत्य सिद्ध होने योग्य भविष्यवाणियाँ (Falsifiable Predictions): शोध पत्र अगले 12 महीनों के लिए सात टाइमस्टैम्प्ड भविष्यवाणियाँ पेश करता है, जिसमें दिसंबर 2026 तक SWE-bench का संतृप्ति, IFEval का सक्रिय होना, और SWE तथा HLE के बीच बढ़ते अलगाव (decoupling) शामिल हैं।
4. परिचालन उपयोगिता (Operational Utility): इस ढांचे के लिए केवल दो सार्वजनिक बेंचमार्क स्कोर की आवश्यकता होती है, जिससे यह मालिकाना प्रशिक्षण डेटा या मॉडल के आंतरिक विवरणों तक पहुँच के बिना भी सुलभ हो जाता है।

लेखक इस बात पर जोर देते हैं कि $h$-फील्ड वर्णनात्मक है, कारण संबंधी (causal) नहीं; यह पहचानता है कि रिलीज़ अनुक्रम में क्या बदला है, लेकिन यह स्पष्ट नहीं करता कि क्यों (जैसे, विशिष्ट डेटा क्यूरेशन या आर्किटेक्चर परिवर्तन)। हालाँकि, इन बदलावों को दृश्यमान बनाकर, यह ढांचा लैब्स को क्षमता ट्रेड-ऑफ की निगरानी करने और मूल्यांकन मेट्रिक्स में अगले आवश्यक रोटेशन का अनुमान लगाने में सक्षम बनाता है।