💬 NLP

The Complexity Ceiling Benchmark: A Multi-Domain Evaluation of Sequential Reasoning Under Depth Scaling

कॉम्प्लेक्सिटी सीलिंग बेंचमार्क (CCB) यह मूल्यांकन करता है कि तीन डोमेन में बढ़ते कार्य की गहराई के साथ भाषा मॉडल की तर्क क्षमता कैसे घटती है, जिससे यह पता चलता है कि जहाँ कुछ मॉडल 50 चरणों तक स्थानिक और प्रतीकात्मक कार्यों में उच्च सटीकता बनाए रखते हैं, वहीं वे रिलेशनल इन्फरेंस (संबंधात्मक अनुमान) में तेजी से विफल हो जाते हैं, जिसमें एक विशिष्ट मीट्रिक (k*) पैरामीटर संख्या की तुलना में लॉन्ग-होराइजन प्रदर्शन का बेहतर पूर्वानुमान लगाता है।

मूल लेखक: Shubh Chapra, Dhruv Kumar, Murari Mandal, Yash Sinha

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shubh Chapra, Dhruv Kumar, Murari Mandal, Yash Sinha

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े भुलक्कड़ सहायक से एक लंबे, बहु-चरणीय पहेली को हल करने के लिए कह रहे हैं। आप शायद पूछ सकते हैं, "क्या आप यह कर सकते हैं?" और वे कहते हैं "हाँ।" लेकिन अगर पहेली में 50 चरण हैं, तो वे बीच में कहीं रास्ता भटक सकते हैं।

यह शोध पत्र एक नया परीक्षण पेश करता है जिसे कॉम्प्लेक्सिटी सीलिंग बेंचमार्क (CCB) कहा जाता है। केवल यह पूछने के बजाय कि "क्या उन्होंने सही उत्तर दिया?", यह परीक्षण पूछता है: "वे कितने कदम चल सकते हैं इससे पहले कि वे अपना रास्ता भटकने लगें?"

शोधकर्ताओं ने इसे सरल उपमाओं का उपयोग करके इस प्रकार विभाजित किया है:

1. पहेलियों के तीन प्रकार

शोधकर्ताओं ने केवल एक कठिन पहेली नहीं बनाई; उन्होंने यह देखने के लिए तीन अलग-अलग प्रकार के "लॉन्ग-होराइजन" (दीर्घकालिक) कार्य बनाए कि विभिन्न प्रकार की सोच कैसे टिक पाती है।

मूविंग रूम (स्थानिक ट्रैकिंग - Spatial Tracking): एक 3x3 ग्रिड के फर्नीचर की कल्पना करें। हर कदम पर, आपको कमरे को घुमाना होता है या दो कुर्सियों को आपस में बदलना होता है। मॉडल को याद रखना होगा कि 50 चालों के बाद फर्नीचर का हर टुकड़ा कहाँ है।
- परिणाम: सबसे स्मार्ट मॉडल उत्कृष्ट मूवर्स की तरह थे। वे फर्नीचर का ट्रैक लगभग पूरी तरह से रख सके, यहाँ तक कि 50 चालों के बाद भी। वे शायद ही कभी कोई कुर्सी खोते थे।
मैजिक लेजर (प्रतीकात्मक ट्रैकिंग - Symbolic Tracking): एक नोटबुक की कल्पना करें जिसमें 7 वेरिएबल्स (A से G तक) संख्याएँ रखते हैं। हर कदम पर, आपको गणित करना होता है और नंबर बदलने होते हैं, लेकिन आप एक ही समय में दो जगहों पर एक ही नंबर नहीं लिख सकते।
- परिणाम: शीर्ष मॉडल (Claude) एक सुपर-अकाउंटेंट की तरह था। उसने अपने लेजर को लंबे समय तक साफ रखा। लेकिन अन्य मॉडल जल्दी ही नंबरों को मिलाना शुरू कर देते हैं, जैसे कोई छात्र जो 10वें स्टेप के बाद भूल जाता है कि कौन सा वेरिएबल क्या है।
गॉसिप चेन (संबंधपरक तर्क - Relational Logic): एक पार्टी में 10 लोगों की कल्पना करें। हर कदम पर, दो लोग दोस्त या दुश्मन बनते हैं। नियम यह है: यदि A, B का दोस्त है, और B, C का दोस्त है, तो A स्वचालित रूप से C का दोस्त है। मॉडल को हर नए दोस्ती के बाद संबंधों के पूरे जाल को अपडेट करना होता है।
- परिणाम: यहीं पर सब कुछ टूट गया। चाहे मॉडल कितना भी स्मार्ट क्यों न हो, वे सभी लगभग 4 या 5 चरणों के बाद ढह गए। यह एक भीड़ में फैलती अफवाह को याद रखने की कोशिश करने जैसा है; जब तक यह 5वें व्यक्ति तक पहुँचती है, कहानी पूरी तरह से विकृत हो जाती है, और मॉडल इसे ठीक नहीं कर पाता।

2. "ज्यामितीय क्षय" (लीकी बकेट - The Leaky Bucket)

शोधकर्ताओं ने एक पैटर्न पाया: जैसे-जैसे चरणों की संख्या लंबी होती जाती है, सही उत्तर पाने की संभावना एक गिरती हुई गेंद की तरह कम होती जाती है।

यदि किसी मॉडल के पास एक कदम सही करने की 99% संभावना है, तो 50वें कदम तक, यह संभावना लगभग शून्य तक गिर सकती है।
शोधकर्ता इसे "कॉम्प्लेक्सिटी सीलिंग" (जटिलता की सीमा) कहते हैं। यह वह बिंदु है जहाँ मॉडल कोई गलती किए बिना आगे नहीं बढ़ सकता।

3. "लकी गेस" (भाग्यशाली अनुमान) का जाल

एक दिलचस्प खोज यह है कि सही उत्तर मिलने का मतलब यह नहीं है कि मॉडल ने सही ढंग से सोचा।

शोधकर्ताओं ने "सोच की प्रक्रिया" (ट्रेस) का अध्ययन किया।
उन्होंने पाया कि 14.5% बार, एक मॉडल ने सही अंतिम उत्तर दिया, लेकिन बीच में उसका तर्क पूरी तरह से गलत था।
उपमा: एक छात्र की गणित की परीक्षा की कल्पना करें। वह पहले 10 सवालों के लिए गलत स्टेप्स लिखता है, लेकिन भाग्यवश, वह अंतिम उत्तर का सही अनुमान लगा लेता है। यदि आप केवल अंतिम उत्तर देखते हैं, तो आप सोचते हैं कि वह जीनियस है। यदि आप स्टेप्स देखते हैं, तो आप देखते हैं कि वह केवल अनुमान लगा रहा था। शोध पत्र ने पाया कि सबसे कठिन पस्परियों (गॉसिप चेन) पर, अधिकांश "सही" उत्तर वास्तव में केवल भाग्यशाली अनुमान थे।

4. "बड़ा" होने का मतलब हमेशा "बेहतर" नहीं होता

आमतौर पर, हम सोचते हैं कि एक बड़ा AI (अधिक "ब्रेन पावर" या पैरामीटर्स के साथ) लंबे कार्यों के लिए बेहतर होगा।

निष्कर्ष: जरूरी नहीं। एक विशाल मॉडल (LLaMA-3.3 जिसमें 70 बिलियन पैरामीटर्स हैं) सबसे कठिन पहेली पर छोटे मॉडलों की तरह ही गति से विफल हुआ।
मेट्रिक: शोधकर्ताओं ने एक नया स्कोर बनाया जिसे $k^*$ कहा जाता है। यह सटीक रूप से मापता है कि मॉडल कब भ्रमित होना शुरू होता है।
- "गॉसिप चेन" पहेली पर, सबसे अच्छा मॉडल भी 4.3 स्टेप के बाद भ्रमित होना शुरू हो गया।
- यह सुझाव देता है कि समस्या यह नहीं है कि मॉडल "बहुत छोटे" हैं; बल्कि यह है कि सूचना को प्रोसेस करने का उनका तरीका (एक के बाद एक शब्द पढ़ना) जटिल, परस्पर जुड़े संबंधों को प्रबंधित करने के मामले में एक कठिन दीवार से टकरा जाता है।

5. क्या हम बस उन्हें और अधिक प्रयास करने के लिए कह सकते हैं?

शोधकर्ताओं ने "गॉसिप चेन" की विफलता को ठीक करने के लिए मॉडलों को अधिक विस्तृत (verbose) होने के लिए मजबूर किया (जैसे, "हर स्टेप के बाद दोस्तों की पूरी सूची दोहराएं")।

परिणाम: यह काम नहीं आया। मॉडल केवल गलत जानकारी को दोहराने में जगह बर्बाद करने लगे। यह एक खोए हुए ड्राइवर को "सावधानी से गाड़ी चलाते रहें" कहने जैसा है जब वह पहले से ही गलत दिशा में जा रहा हो; वह बस गलत दिशा में अधिक सावधानी से गाड़ी चलाता रहेगा।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र हमें बताता है कि वर्तमान AI मॉडलों की एक कठोर सीमा (hard limit) है कि वे सामंजस्य खोने से पहले कितने चरणों को एक साथ जोड़ सकते हैं।

वे सरल, रैखिक कार्यों (जैसे फर्नीचर हिलाना) में बेहतरीन हैं।
वे सख्त नियमों वाले कार्यों (जैसे गणितीय लेजर) में ठीक-ठाक हैं।
वे उन कार्यों में बहुत खराब हैं जहाँ एक छोटी सी गलती पूरे चित्र को बिगाड़ देती है (जैसे जटिल सामाजिक संबंध)।

शोध पत्र निष्कर्ष निकालता है कि हमें केवल यह देखना बंद करना चाहिए कि "क्या उन्होंने सही उत्तर दिया?" और यह देखना शुरू करना चाहिए कि "वे अनुमान लगाने से पहले कितने कदम सही कर पाए?" क्योंकि लंबे, जटिल कार्यों के लिए, उत्तर अक्सर "बहुत कम" होता है।

तकनीकी सारांश: द कॉम्प्लेक्सिटी सीलिंग बेंचमार्क (CCB)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के वर्तमान बेंचमार्क आमतौर पर निश्चित-कठिनाई वाले कार्यों पर समग्र सटीकता (aggregate accuracy) की रिपोर्ट करते हैं। यह दृष्टिकोण लॉन्ग-होरिज़न रीजनिंग (long-horizon reasoning) के विशिष्ट विफलता मोड (failure modes) को छिपा देता है, जैसे कि ज्ञान की कमी, प्रॉम्प्ट को गलत समझना, कॉन्टेक्स्ट विंडो का समाप्त होना, या क्रमिक चरणों में निरंतर सामंजस्य (coherence) का संचयी नुकसान। जबकि समग्र मेट्रिक्स यह संकेत देते हैं कि एक मॉडल विफल हुआ है, वे यह स्पष्ट नहीं करते कि ऐसा क्यों हुआ या चरणों की संख्या ( $N$ ) बढ़ने के साथ प्रदर्शन कैसे घटता है। यह सूक्ष्मता (granularity) की कमी LLMs को एजेंट के रूप में तैनात करने की क्षमता को सीमित करती है, जहाँ कई चरणों में निरंतर सामंजस्य बनाए रखना महत्वपूर्ण है।

कार्यप्रणाली

लेखक कॉम्प्लेक्सिटी सीलिंग बेंचमार्क (CCB) पेश करते हैं, जो एक नियंत्रित मूल्यांकन ढांचा है जो अर्थपूर्ण सामग्री (semantic content) को स्थिर रखते हुए रीजनिंग की गहराई को प्राथमिक प्रयोगात्मक चर (variable) के रूप में उपयोग करता है।

बेंचमार्क डिज़ाइन

CCB तीन संरचनात्मक रूप से भिन्न डोमेन में मॉडल्स का मूल्यांकन करता है, जिसमें आवश्यक चरणों की संख्या $N$ को 5 से 50 तक बढ़ाया जाता है:

D1 (ग्राउंडेड स्पेशियल स्टेट-ट्रैकिंग): "एलियन ग्रिड" कार्य जिनमें एक $3\times3$ ग्रिड शामिल है जो टकराव संबंधी बाधाओं (collision constraints) के तहत विविक्त रूपांतरणों (discrete transformations - rotate, swap, shift) के अधीन होता है। त्रुटियाँ नियत रूप से (deterministically) संचित होती हैं।
D2 (एब्स्ट्रैक्ट सिम्बोलिक पॉइंटर मैनिपुलेशन): ऐसे कार्य जिनमें सात वेरिएबल्स को बनाए रखना आवश्यक है जो चक्रीय शिफ्ट और मॉड्यूलर अंकगणित के तहत अलग-अलग अंकों को धारण करते हैं, जो असाइनमेंट-यूनिकनेस (assignment-uniqueness) बाधा के अधीन हैं।
D3 (ट्रांजिटिव रिलेशनल इन्फरेंस): "सोशल लॉजिक" कार्य जिनमें दस एजेंटों का एक राजनयिक ग्राफ (diplomatic graph) शामिल है जहाँ नए गठबंधन/प्रतिद्वंद्विता किनारे (edges) जोड़े जाते हैं, जिसके लिए प्रत्येक चरण पर ट्रांसिटिव क्लोजर ( $O(n^2)$ संबंध) की पुनर्गणना आवश्यक होती है।

मूल्यांकन पाइपलाइन

मॉडल्स: पाँच फ्रंटियर और ओपन-वेट मॉडल्स (Claude 3.7, Gemini 2.0 Flash, DeepSeek, GPT-4o-mini, LLaMA-3.3-70B) का 6,000 परीक्षणों ( $n=40$ प्रति सेल) पर मूल्यांकन किया गया।
पार्सिंग: एक सख्त, रेगेक्स-आधारित पार्सर आउटपुट को विविक्त परिणामों में वर्गीकृत करता है: सही (Correct), रीजनिंग (कैनोनिकल ट्रेस से विचलित), बाधा उल्लंघन (Constraint violation), फॉर्मेट विफलता, ट्रंकेशन (Truncation), या API एरर। यह 'LLM-as-a-judge' पर निर्भरता से बचता है।
ट्रेस-लेवल मेट्रिक (TFBC): लेखक ट्रेस फर्स्ट ब्रांच करेक्ट (TFBC) को परिभाषित करते हैं ताकि उन मामलों की पहचान की जा सके जहाँ अंतिम उत्तर तो ग्राउंड ट्रुथ से मेल खाता है लेकिन मध्यवर्ती रीजनिंग किसी चरण $k^*$ पर कैनोनिकल ट्रेस से विचलित हो गई थी। यह "ट्रेस-फेथफुल" (trace-faithful) शुद्धता को "लकी-गेस" (lucky-guess) शुद्धता से अलग करता है।

द ज्योमेट्रिक डिके मॉडल (The Geometric Decay Model)

पेपर प्रति-चरण प्रतिधारण (per-step retention) को एक ज्योमेट्रिक डिके फंक्शन के माध्यम से मॉडल करता है:
$P(\text{correct} | N) = p_d^N$
जहाँ $p_d$ वह प्रायिकता है कि यदि $S_k$ को बनाए रखा गया था, तो स्टेट ट्रांजिशन $S_k \to S_{k+1}$ को सही ढंग से कंप्यूट किया जाएगा। प्रत्येक (मॉडल, डोमेन) जोड़ी के लिए मैक्सिमम लाइक्लीहुड एस्टीमेशन (MLE) के माध्यम से $p_d$ का अनुमान लगाया जाता है। सफलता थ्रेशोल्ड $s$ के लिए प्रभावी टास्क होराइजन $H_s$ को $H_s \approx \ln(s) / \ln(p_d)$ के रूप में निकाला जाता है।

नोट: लेखक स्वीकार करते हैं कि धारणा 1 (स्वतंत्र प्रति-चरण विफलताएं) एक आशावादी सीमा (optimistic bound) है, क्योंकि ऑटोरिग्रेसिव त्रुटियां सकारात्मक रूप से सह-संबंधित होती हैं (एक त्रुटि $k^*$ पर सभी आगामी चरणों को दूषित कर देती है)। अतः, $p_d^N$ निरंतर सटीकता के लिए एक आशावादी एनवेलप (envelope) के रूप में कार्य करता है।

मुख्य परिणाम

1. डोमेन-विशिष्ट सीमाएँ (Domain-Specific Ceilings)

बेंचमार्क डोमेन के बीच एक गहरा अंतर प्रकट करता है:

D1 और D2 (स्पेशियल और सिम्बोलिक): मजबूत फ्रंटियर मॉडल्स (Claude, Gemini, DeepSeek) उच्च रिटेंशन प्रोबेबिलिटी ( $p_d \in [0.92, 0.99]$ ) बनाए रखते हैं। उदाहरण के लिए, Claude D2 पर $p_d=0.987$ प्राप्त करता है, जिससे $N=50$ पर ~55% सटीकता बनी रहती है। नॉन-फ्रंटियर मॉडल्स (GPT-4o-mini, LLaMA) बहुत पहले ही ढह जाते हैं ( $N \approx 15$ )।
D3 (ट्रांजिटिव लॉजिक): हर मॉडल, क्षमता स्तर की परवाह किए बिना, $N=5$ के बाद ढह जाता है। सबसे अच्छा मॉडल (Claude) भी केवल $H_{0.5} \approx 4.7$ चरणों ( $p_d=0.863$ ) की 50%-सफलता होराइजन रखता है। यह सुझाव देता है कि D3 एक गुणात्मक रूप से अलग, कठिन क्षेत्र है जो संभवतः रिकर्सिव स्टेट अपडेट और ग्लोबल कंसिस्टेंसी को संभालने में आर्किटेक्चरल सीमाओं के कारण है।

2. ट्रेस-लेवल डायवर्जेंस ( $k^*$ )

वह औसत चरण जिस पर रीजनिंग पहली बार विचलित होती है ( $k^*$ ), पैरामीटर काउंट की तुलना में डोमेन-विशिष्ट सटीकता का अधिक विश्वसनीय भविष्यवक्ता है।

D2 पर, Claude ग्लोबल कंसिस्टेंसी पर विफल होने से पहले $\sim17$ चरणों तक सामंजस्य बनाए रखता है, जबकि LLaMA पहले सिम्बोलिक ट्रांजिशन पर विफल हो जाता है ( $k^* \approx 3.9$ )।
D3 पर, सभी मॉडल्स के लिए $k^*$ समान रूप से कम ($2.88 - 4.30$) है, जो इस बात की पुष्टि करता है कि विफलता स्ट्रक्चरल है न कि क्षमता-आधारित।

3. "लकी गेस" घटना (The "Lucky Guess" Phenomenon)

पूरे बेंचमार्क में, 14.5% सही उत्तर TFBC हैं (विचलित रीजनिंग, सही अंतिम उत्तर)।

D2 पर, सही उत्तर ज्यादातर ट्रेस-फेथफुल हैं (Claude के लिए केवल 8% TFBC)।
D3 पर, सही उत्तर लकी गेस द्वारा हावी हैं (टॉप मॉडल्स के लिए 56–62% TFBC)।
यह इंगित करता है कि एग्रीगेट सटीकता रीजनिंग की गुणवत्ता को काफी बढ़ा-चढ़ाकर दिखाती है, विशेष रूप से कठिन डोमेन में।

4. प्रॉम्प्ट हस्तक्षेप (Prompt Interventions)

वर्बोसिटी (Verbosity): वर्बोस स्टेट-ट्रैकिंग (विश्वासों को फिर से बताना) को मजबूर करने से D3 के प्रदर्शन में सुधार नहीं हुआ (McNemar $p=1.000$ )।
प्रॉम्प्ट स्ट्रक्चर: हालांकि विशिष्ट पोजीशनल फॉर्मेटिंग (VAR B) से मामूली वृद्धि (N=15 पर 20% सटीकता) मिली, लेकिन इसने मौलिक रूप से सीलिंग को नहीं बदला और न ही लंबे होराइजन तक स्केल किया।

महत्व और दावे

पेपर का दावा है कि यह एक मॉडल के लॉन्ग-होरिज़न रीजनिंग प्रोफाइल को प्रत्येक टास्क फैमिली के लिए दो व्याख्या योग्य संख्याओं में कम कर देता है: $p_d$ (प्रति-चरण प्रतिधारण) और $k^*$ (औसत सामंजस्य गहराई)।

विफलता क्षेत्रों का निदान (Diagnosis of Failure Regimes): CCB तीन अलग-अलग विफलता मोड की पहचान करता है:
- D1: प्रति-चरण प्रतिधारण बाधा (न कि फॉर्मेटिंग)।
- D2: बाधा प्रबंधन बाधा (अवैध पुन: असाइनमेंट)।
- D3: स्ट्रक्चरल कैस्केड कोलैप्स (ट्रांजिटिव क्लोजर के लिए उन तंत्रों की आवश्यकता होती है जो मानक ऑटोरिग्रेसिव अटेंशन में अनुपस्थित हैं)।
वर्तमान आर्किटेक्चर की सीमाएं: विभिन्न आकार के मॉडल्स के बीच D3 पर एक समान पतन यह सुझाव देता है कि यह एक क्षमता सीमा के बजाय एक आर्किटेक्चरल बाधा है। लेखक तर्क देते हैं कि मानक अटेंशन मैकेनिज्म सीक्वेंस पदानुक्रम (hierarchy) को सपाट कर देते हैं, जिससे ट्रांसिटिव क्लोजर के लिए आवश्यक रिकर्सिव स्टैक मैनेजमेंट को संभालने में विफलता होती है।
तैनाती के निहितार्थ (Deployment Implications): मेट्रिक $p_d$ अभ्यासकर्ताओं को यह अनुमान लगाने की अनुमति देता है कि एक मॉडल की अपेक्षित सटीकता एक चुने हुए थ्रेशोल्ड से नीचे कब गिर जाएगी, बिना गहराई-स्तरीकृत मूल्यांकन को दोबारा चलाए।
भविवी दिशाएं: पेपर स्पष्ट रूप से कहता है कि प्रोसेस-सुपरवाइज्ड मॉडल्स, रिकर्सिव स्कैफोल्ड्स, और ग्राफ़ स्टेट के साथ टूल-ऑगमेंटेड सिस्टम्स का मूल्यांकन करना यह निर्धारित करने के लिए आवश्यक अगला कदम है कि क्या D3 सीलिंग को बदला जा सकता है।

लेखक निष्कर्ष निकालते हैं कि CCB अगली पीढ़ी के मेमोरी-ऑगमेंटेड सिस्टम्स के लिए एक सिद्धांतपूर्ण डायग्नोस्टिक प्रदान करता है, जो उन मॉडल्स के बीच अंतर करता है जो फॉर्मेटिंग, स्टेट ड्रिफ्ट, या ट्रांसिटिव रीजनिंग को संभालने की मौलिक आर्किटेक्चरल अक्षमता के कारण विफल होते हैं।