💬 NLP

CurveShift: Is Agent Progress Scalar? Separating Level from Shape

यह शोध पत्र तर्क देता है कि जबकि कठिन कार्यों की ओर एआई (AI) प्रगति में अधिकांश स्पष्ट बदलाव 'सीलिंग इफेक्ट्स' (ceiling effects) और बढ़ती समग्र क्षमता के कृत्रिम परिणाम हैं, सितंबर 2024 के बाद जारी किए गए मॉडलों में सबसे कठिन प्रतिस्पर्धी प्रोग्रामिंग समस्याओं को हल करने में एक विशिष्ट, वास्तविक सुधार उभरा है, जो लाइवकोडबेंच (LiveCodeBench) बेंचमार्क का उपयोग करके स्कैफोल्ड कन्फाउंड्स (scaffold confounds) को नियंत्रित करते हुए अलग किया गया एक निष्कर्ष है।

मूल लेखक: Hanwen Xing, Pengyun Wang, BingXu Meng, Kumail Alhamoud, Xiang Li, Jicheng Wang, Xin Yu, Xinyang Han, Xiaomin Li, Philip Torr, Yuexing Hao

प्रकाशित 2026-08-04

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hanwen Xing, Pengyun Wang, BingXu Meng, Kumail Alhamoud, Xiang Li, Jicheng Wang, Xin Yu, Xinyang Han, Xiaomin Li, Philip Torr, Yuexing Hao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक वीडियो गेम लीडरबोर्ड देख रहे हैं जहाँ खिलाड़ी बढ़ती कठिनाई वाले पहेलियों को हल करने की कोशिश कर रहे हैं। वर्षों से, कहानी सरल रही है: "खिलाड़ी बेहतर हो रहे हैं।" हम इसे एक एकल संख्या से मापते हैं, जैसे कि औसत स्कोर या एक "टाइम टू बीट" मीट्रिक। यह ऐसा ही है जैसे यह कहना कि एक धावक तेज़ है क्योंकि उसका औसत रेस टाइम कम हो गया है। लेकिन क्या होगा अगर वह हर चीज़ में तेज़ नहीं हुआ? क्या होगा अगर वह केवल बहुत कठिन, पहाड़ी रास्तों पर तेज़ हुआ है, जबकि सपाट सड़कों पर उसकी गति बिल्कुल वैसी ही रही है? या इससे भी बुरा, क्या होगा अगर "तेज़" समय केवल इस तथ्य के कारण एक भ्रम था कि वे पहले से ही आसान रास्तों पर इतने अच्छे थे कि वे वहां बहुत अधिक बेहतर नहीं हो सकते थे, जिससे कठिन रास्ते उनकी तुलना में बेहतर दिखने लगे?

यह वही पहेली है जिसे वैज्ञानिक आर्टिफिशियल इंटेलिजेंस (AI) के साथ हल करने की कोशिश कर रहे हैं। हमारे पास ये विशाल AI मॉडल हैं जो हर दिन स्मार्ट होने के लिए कहे जाते हैं। शोधकर्ता अक्सर इस प्रगति को एक एकल "स्केलर" संख्या के साथ सारांशित करते हैं—एक साधारण स्कोर जो समय के साथ ऊपर जाता है। लेकिन एक एकल संख्या बहुत से रहस्य छिपा सकती है। यह हमें यह नहीं बता सकता कि क्या AI समान रूप से स्मार्ट हो रहा है, या यह कि वह केवल आसान चीजों में थोड़ा बेहतर हो रहा है जबकि अचानक सबसे कठिन, सबसे जटिल समस्याओं में महारत हासिल कर रहा है। यह पेपर एक महत्वपूर्ण प्रश्न पूछता है: क्या AI की प्रगति केवल एक सामान्य "लेवल अप" है, या जब कार्य वास्तव में बहुत कठिन हो जाते हैं, तो क्या वहां कोई विशेष, अजीब बदलाव हो रहा है?

इस पेपर के लेखक, शीर्ष विश्वविद्यालयों के शोधकर्ताओं की एक टीम, ने "कर्वशिफ्ट" (CurveShift) नामक एक चतुर ट्रिक का उपयोग करके इसकी जांच करने का निर्णय लिया। वे "लेवल" (कि AI सामान्य रूप से कितना स्मार्ट है) को "शेप" (कि कार्य कठिन होने पर इसका प्रदर्शन कैसे बदलता है) से अलग करना चाहते थे। इसे एक वीडियो गेम चरित्र की तरह सोचें। यदि आप चरित्र को अधिक स्वास्थ्य और शक्ति (एक "लेवल शिफ्ट") देते हैं, तो वे आसान और कठिन दोनों दुश्मनों को बेहतर तरीके से हराएंगे। लेकिन यदि आप उन्हें एक विशेष "हार्ड-मोड स्किल" देते है जो केवल बॉस (bosses) पर काम करती है (एक "शेप चेंज"), तो वे बॉस को कुचल देंगे जबकि कमजोर गोब्लिन्स के खिलाफ शायद ही कुछ सुधार करेंगे। बड़ा सवाल यह है: क्या हमारे AI मॉडल केवल सामान्य रूप से मजबूत हो रहे हैं, या उन्होंने एक गुप्त बॉस-किलिंग स्किल अनलॉक कर ली है?

शोधकर्ताओं ने पिछले AI परीक्षणों के बहुत सारे डेटा को देखकर शुरुआत की। उन्होंने पाया कि लोकप्रिय कहानी—कि AI अचानक कठिन कार्यों के लिए बहुत बेहतर हो रहा है—शायद ज्यादातर एक भ्रम हो सकती है। जब उन्होंने एक मानक गणितीय मॉडल (जिसे राश मॉडल कहा जाता है) का उपयोग किया जो यह मानता है कि AI समय के साथ सामान्य रूप से स्मार्ट होता जा रहा है, तो उस मॉडल ने "कठिन कार्यों पर सुधार" की भविष्यवाणी भी पूरी तरह से सही ढंग से की। ऐसा इसलिए है क्योंकि जब आप आसान कार्यों में पहले से ही 99% परफेक्ट हैं, तो आप वहां बहुत अधिक बेहतर नहीं हो सकते। इसलिए, कठिन कार्यों पर दिखने वाला आपका कोई भी छोटा सा सुधार तुलना में बहुत बड़ा दिखता है, भले ही वह केवल सामान्य सुधार का परिणाम हो। यह एक "सीलिंग इफेक्ट" (छत प्रभाव) जैसा है: आप छत को और ज़ोर से नहीं टकरा सकते, इसलिए प्रगति केवल फर्श पर ही देखी जा सकती है। पेपर का तर्क है कि अधिकांश "कठिन कार्यों की ओर माइग्रेशन" केवल एक सांख्यिकीय आर्टिफैक्ट है, न कि कोई जादुई नई क्षमता।

हालाँकि, कहानी यहाँ समाप्त नहीं होती है। उस "सामान्य सुधार" के भ्रम को हटाने के बाद, शोधकर्ताओं को एक छोटा, लेकिन वास्तविक, बचा हुआ प्रभाव मिला। उन्होंने LiveCodeBench नामक एक विशिष्ट प्रकार के परीक्षण पर ध्यान केंद्रित किया, जो एक प्रतिस्पर्धी प्रोग्रामिंग प्रतियोगिता की तरह है जहाँ मनुष्य समस्याएँ लिखते हैं और AI उन्हें हल करने की कोशिश करता है। महत्वपूर्ण रूप से, यह परीक्षण किसी भी "स्कैफोल्डिंग" या अतिरिक्त उपकरणों का उपयोग नहीं करता है; यह केवल कच्चा AI है जो कोड लिखने की कोशिश कर रहा है। यह महत्वपूर्ण है क्योंकि अन्य परीक्षणों में, नए AI मॉडलों को अक्सर नए, बेहतर उपकरणों के साथ जोड़ा जाता है, जिससे यह बताना असंभव हो जाता है कि AI स्मार्ट हुआ या उपकरण बेहतर हो गए। LiveCodeBench AI की कच्ची मानसिक शक्ति को अलग करता है।

उन्होंने जो पाया वह आश्चर्यजनक था। यहाँ तक कि यह ध्यान में रखने के बाद भी कि नए मॉडल आम तौर पर स्मार्ट होते हैं, सितंबर 2024 के बाद जारी किए गए मॉडल आसान और मध्यम समस्याओं के प्रदर्शन की तुलना में सबसे कठिन समस्याओं को बेहतर ढंग से हल कर रहे थे। यह कोई बहुत बड़ी छलांग नहीं थी, लेकिन एक वास्तविक छलांग थी। लेखक इस "हार्ड-आइटम गेन" को उनके सबसे रूढ़िवादी अनुमानों के तहत लगभग +0.40 लॉजिट्स (संभावना का एक विशिष्ट माप की इकाई) के रूप में अनुमानित करते हैं। इसका मतलब है कि सबसे कठिन समस्याओं की समाधान दर लगभग 18% से बढ़कर 25% हो गई।

लेकिन यहाँ एक पेच है: यह प्रभाव बहुत विशिष्ट है। यह केवल तभी स्पष्ट रूप से दिखाई देता है जब AI बिना किसी "हार्नेस" या उपकरणों की टीम की मदद के अकेले काम कर रहा हो। उन परीक्षणों में जहाँ AI एजेंट उपकरणों (जैसे वेब ब्राउज़ करना या चरण-दर-चरण कोड चलाना) का उपयोग करते हैं, शोधकर्ता यह नहीं बता सके कि सुधार AI से था या उपकरणों से, क्योंकि नए AI मॉडल हमेशा नए उपकरणों के साथ आते हैं। "हार्ड-आइटम" उछाल सबसे मजबूत "रीजनिंग" (तर्क करने वाले) मॉडलों द्वारा संचालित था (वे जो चरण-दर-चरण सोचने के लिए डिज़ाइन किए गए हैं) और ऐसा लगता है कि यह उन कार्यों में सबसे अधिक मदद करता है जिनमें गहन सोच के छोटे दौर की आवश्यकता होती है, न कि लंबी, स्वायत्त मिशनों की।

तो, निष्कर्ष क्या है? पेपर सुझाव देता है कि AI अचानक एक "सुपर-इंटेलिजेंस" बनने का नैरेटिव, जो किसी भी कठिन कार्य को संभाल सकता है, काफी हद तक एक सांख्यिकीय मृगतृष्णा है जो इस बात से पैदा होती है कि हम प्रगति को कैसे मापते हैं। AI वास्तव में सामान्य रूप से स्मार्ट हो रहा है, और यही अधिकांश हाइप की व्याख्या करता है। लेकिन, एक नई चीज़ की एक छोटी, वास्तविक चमक है: सबसे कठिन, सबसे जटिल तर्क पहेलियों को हल करने की एक विशिष्ट क्षमता जो केवल "सामान्य रूप से स्मार्ट" होने से परे है। यह सब कुछ हल करने वाला जादुई हथियार नहीं है, बल्कि यह इन मॉडलों द्वारा सबसे कठिन चुनौतियों को संभालने के तरीके में एक वास्तविक, मापने योग्य बदलाव है, बशर्ते उन्हें अतिरिक्त मदद के बिना काम करने की अनुमति दी जाए। लेखक सावधानी बरतते हुए कहते हैं कि यह कोडिंग पहेलियों के लिए एक विशिष्ट निष्कर्ष है और इसका मतलब यह नहीं है कि AI अभी किसी पूरी कंपनी को चलाने या जटिल, दीर्घकालिक परियोजना को प्रबंधित करने के लिए तैयार है। यह गहन सोच के "हार्ड मोड" में एक छोटा, वास्तविक कदम है, जो सामान्य सुधार के पहाड़ के नीचे छिपा हुआ है।

तकनीकी सारांश: CurveShift: क्या एजेंट प्रगति एक स्केलर है?

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) और एजेंट्स में प्रगति को अक्सर एक एकल स्केलर मीट्रिक का उपयोग करके संक्षेपित किया जाता है, जैसे कि एक एग्रीगेट बेंचमार्क स्कोर, एक लेटेंट एबिलिटी एस्टीमेट, या एक टाइम-होराइजन डब्लिंग रेट। जबकि ये सारांश समग्र प्रदर्शन रुझानों को कैप्चर करते हैं, वे दो अलग-अलग घटनाओं को मिला देते हैं:

लेवल शिफ्ट (Level Shift): समग्र क्षमता में एक समान ऊपर की ओर बदलाव, जहाँ प्रदर्शन सभी कार्य कठिनाइयों में आनुपातिक रूप से सुधरता है।
शेप चेंज (Shape Change): कठिन कार्यों पर केंद्रित एक असंगत लाभ, जो कठिनाई-रिस्पॉन्स कर्व (जैसे, कठिन कार्यों पर "इमर्जेंट" क्षमताएं) में गुणात्मक परिवर्तन का संकेत देता है।

वर्तमान स्केलर सारांश इन दोनों के बीच अंतर नहीं कर सकते। यदि लाभ कठिन कार्यों की ओर स्थानांतरित होते हैं, तो यह स्पष्ट नहीं है कि क्या यह मॉडल की वास्तविक क्षमता प्रोफाइल में बदलाव (शेप चेंज) को दर्शाता है या केवल बढ़ते हुए स्केलर एबिलिटी द्वारा सीलिंग इफेक्ट्स (ceiling effects) पर टकराने का एक आर्टिफैक्ट (artifact) है (लेवल शिफ्ट)। इसके अलावा, एजेंटिक बेंचमार्क्स में, एक कन्फाउंडिंग वेरिएबल मौजूद है: नए मॉडल्स का मूल्यांकन आमतौर पर नए "हार्नेस" (harnesses) या स्कैफोल्ड्स (scaffolds) के साथ किया जाता है। मॉडल युग और स्कैफोल्ड युग के बीच यह कोलीनियैरिटी (collinearity) यह निर्धारित करना असंभव बना देती है कि लाभ स्वयं मॉडल के कारण है या मूल्यांकन इंफ्रास्ट्रक्चर के कारण।

कार्यप्रणाली (Methodology)

लेखक CurveShift पेश करते हैं, जो एक विश्लेषण ढांचा है जो आइटम रिस्पॉन्स थ्योरी (IRT) का उपयोग करके समग्र क्षमता वृद्धि को कठिनाई-विशिष्ट लाभों से अलग करता है।

1. डेटा स्रोत और पहचान रणनीति

अध्ययन तीन डेटासेट्स का उपयोग करता है लेकिन मुख्य प्रभाव को LiveCodeBench का उपयोग करके पहचानता है, जो एक प्रतिस्पर्धी प्रोग्रामिंग बेंचमार्क है।

METR Time-Horizon & SWE-bench: एजेंटिक बेंचमार्क्स जहाँ मॉडल युग और स्कैफोल्ड युग कोलीनियर हैं। ये "प्रतीत होने वाले" (apparent) रुझान को प्रदर्शित करने के लिए काम आते हैं लेकिन मॉडल प्रभाव को अलग नहीं कर सकते।
LiveCodeBench: एक नो-स्कैफोल्ड बेंचमार्क जहाँ मॉडल्स एजेंट लूप के बिना सीधे प्रॉब्लम स्टेटमेंट्स से कोड जनरेट करते हैं। महत्वपूर्ण रूप से, इसमें एक एक्सोजेनस डिफिकल्टी ऑर्डरिंग (मानव प्रतियोगिता की कठिनाई पर आधारित) है जो मॉडल प्रदर्शन से स्वतंत्र है। यह लेखकों को मॉडल क्षमता को स्कैफोल्ड सुधारों से अलग करने की अनुमति देता है।
डेटासेट: 66 दिनांकित मॉडल्स का एक पैनल (2019-2026 तक फैला हुआ) जिसे 1,055 समस्याओं (322 Easy, 383 Medium, 350 Hard) पर मूल्यांकित किया गया है।

2. सांख्यिकीय ढांचा (Statistical Framework)

विश्लेषण युगों (सितंबर 2024 से पहले बनाम बाद के, यानी "रीजनिंग एरा" ब्रेकपॉइंट) के बीच डिफरेंशियल आइटम फंक्शनिंग (DIF) का परीक्षण करने के लिए एक लॉन्गिट्यूडिनल IRT दृष्टिकोण का उपयोग करता है।

नल हाइपोथीसिस (Rasch Model): एक एकल बढ़ता हुआ एबिलिटी पैरामीटर ( $\theta_m$ ) सभी प्रदर्शन परिवर्तनों की व्याख्या करता है। सफलता की संभावना $logit(p) = \theta_m - b_i$ है।
अल्टरनेटिव हाइपोथीसिस (Era-DIF Model): एक पोस्ट-एरा इंडिकेटर विशेष रूप से हार्ड आइटम्स के साथ इंटरैक्ट करता है। मॉडल है:
$logit(p_{mi}) = \theta_m - b_i + \delta \cdot post_m \cdot hard_i$
यहाँ, $\delta$ पोस्ट-एरा मॉडल्स के लिए हार्ड आइटम्स पर अतिरिक्त लॉग-ऑड्स (log-odds) का प्रतिनिधित्व करता है, जो उनकी समग्र क्षमता द्वारा अनुमानित प्रदर्शन से अधिक है।

3. द कर्वशिफ्ट डिकंपोज़िशन (एंकर्ड सेंसिटिविटी एनालिसिस)

एक मानक टू-पैरामीटर लॉजिस्टिक (2PL) मॉडल इस डेटा पर विफल हो जाता है क्योंकि आइटम डिस्क्रिमिनेशन ( $\alpha$ ) और एरा इफेक्ट ( $\delta$ ) लगभग अलीज़्ड (aliased) हैं, जिससे अस्थिर अनुमान प्राप्त होते हैं। इसे हल करने के लिए, लेखक एक एंकर्ड सेंसिटिविटी डिज़ाइन का उपयोग करते हैं:

एबिलिटी को फ्रीज करना: केवल Easy और Medium आइटम्स का उपयोग करके मॉडल एबिलिटी ( $\hat{\theta}_m$ ) का अनुमान लगाएं। यह सुनिश्चित करता है कि हार्ड-आइटम रेसिडुअल्स (residuals) एबिलिटी एस्टीमेट में अवशोषित न हों।
डिस्क्रिमिनेशन को पिन करना: $\hat{\theta}_m$ $\hat{θ}_{m}$ को एक ऑफसेट के रूप में फिक्स करते हुए हार्ड आइटम्स पर मॉडल फिट करें। हार्ड-आमन डिस्क्रिमिनेशन पैरामीटर ( $\alpha_{hard}$ $α_{ha r d}$ ) को एक ग्रिड मानों $\{0.55, 0.83, 1.00\}$ ${0.55, 0.83, 1.00}$ पर पिन करने के बजाय, वे इसे पिन करते हैं:
- $\alpha_{hard} = 1.00$ : यह मानता है कि हार्ड और इजी आइटम्स के बीच समान डिस्क्रिमिनेशन है (कंजर्वेटिव हेडलाइन)।
- $\alpha_{hard} = 0.83$ : यह एक डिबायस्ड (debiased) एस्टीमेट है।
- $\alpha_{hard} = 0.55$ : यह बाइनराइजेशन से उत्पन्न डिफ्लेटेड डिस्क्रिमिनेशन आर्टिफैक्ट का प्रतिनिधित्व करता है।
$\delta$ का अनुमान लगाना: इस ग्रिड पर एरा इफेक्ट $\delta$ को रिपोर्ट करें। अनिश्चितता को क्लस्टर बूटस्ट्रैपिंग (आइटम, कॉन्टेस्ट और मॉडल फैमिली द्वारा क्लस्टरिंग) के माध्यम से मापा जाता है।

मुख्य परिणाम

1. स्केलर नल (Scalar Null) अधिकांश "माइग्रेशन" की व्याख्या करता है

METR Time-Horizon डेटा पर, कठिन कार्यों की ओर लाभों का देखा गया माइग्रेशन (जहाँ सबसे तेजी से सुधरने वाला डिफिकल्टी बैंड समय के साथ इजी से मीडियम/हार्ड की ओर शिफ्ट होता है) काफी हद तक एक साधारण राश मॉडल (Rasch model) द्वारा पुनरुत्पादित किया जाता है जिसमें एक बढ़ता हुआ एकल एबिलिटी है।

मैकेनिज्म: जैसे-जैसे समग्र क्षमता बढ़ती है, इजी आइटम्स सीलिंग (ceiling) पर पहुँच जाते हैं (स्लोप को फ्लैट कर देते हैं), जबकि इंटरमीडिएट आइटम्स लॉजिस्टिक कर्व के सबसे तीव्र भाग पर स्थित होते हैं। यह बिना किसी वास्तविक कठिनाई-रिस्पॉन्स कर्व परिवर्तन के, कठिन कार्यों की ओर एक प्रतीत होने वाला शिफ्ट बनाता है।
निष्कर्ष: "माइग्रेशन" मुख्य रूप से सीलिंग इफेक्ट्स और स्केलर ग्रोथ का एक मेजरमेंट आर्टिफैक्ट है, न कि क्षमता में कोई गुणात्मक परिवर्तन।

2. एक रेजिडुअल हार्ड-आइटम इफेक्ट अस्तित्व में रहता है

LiveCodeBench पर कर्वशिफ्ट डिकंपोज़िशन का उपयोग करके स्केलर लेवल शिफ्ट को नियंत्रित करने के बाद, एक छोटा लेकिन महत्वपूर्ण रेजिडुअल प्रभाव शेष रहता है:

परिमाण (Magnitude): कंजर्वेटिव धारणा ( $\alpha_{hard} = 1.00$ ) के तहत, पोस्ट-एरा मॉडल्स (सितंबर 2024 के बाद रिलीज़ हुए) हार्ड आइटम्स पर अपने इजी/मीडियम प्रदर्शन की तुलना में +0.40 लॉजिट्स का लाभ दिखाते हैं।
प्रभाव: यह सबसे कठिन समस्याओं पर सॉल्व रेट को लगभग 18% से बढ़ाकर 25% कर देता है।
रोबस्टनेस (Robustness): प्रभाव $\alpha_{hard} \approx 1.22$ तक के डिस्क्रिमिनेशन मानों के पूरे ग्रिड में सकारात्मक बना रहता है। यह विभिन्न मॉडल परिवारों (हालांकि यह स्ट्रॉन्ग रीज़निंग सीरीज़ द्वारा संचालित है) और विभिन्न कॉन्टेस्ट स्रोतों (Codeforces और AtCoder) में भी बना रहता है।
विशिष्टता (Specificity): प्रभाव उन कठिन कार्यों के लिए विशिष्ट है जिनमें छोटे रीजनिंग पाथ की आवश्यकता होती है (प्रतिस्पर्धी प्रोग्रामिंग), और यह उन एजेंटिक बेंचमार्क्स में एक सामान्य गुण के रूप में नहीं देखा जाता है जहाँ स्कैफोल्ड्स सिग्नल को कन्फाउंड (confound) करते हैं।

महत्व और दावे

पेपर "लेवल" को "शेप" से अलग करके एजेंट प्रोग्रेस के नैरेटिव को सुधारने का दावा करता है:

इमर्जेंट दावों का डिफ्लेशन (Deflation of Emergent Claims): कठिन कार्यों की ओर लाभों का स्पष्ट शिफ्ट काफी हद तक स्केलर एबिलिटी ग्रोथ और सीलिंग इफेक्ट्स का एक आर्टिफैक्ट है, जैसा कि पहले भी दिखाया गया है कि "इमर्जेंट एबिलिटीज" गैर-रेखीय मेट्रिक्स के आर्टिफैक्ट थे।
एक वास्तविक प्रभाव का अलगाव: इस डिफ्लेशन के बावजूद, एक वास्तविक, छोटा शेप चेंज मौजूद है। सितंबर 2024 के बाद रिलीज़ किए गए मॉडल्स कठिन समस्याओं को उन कार्यों की तुलना में अधिक बार हल करते हैं जो उनकी आसान क्षमताओं की भविष्यवाणी करते हैं, भले ही उनकी समग्र क्षमता को नियंत्रित किया जाए।
बेंचमार्क वैधता: अध्ययन यह प्रदर्शित करता है कि मानक एजेंटिक बेंचमार्क्स (METR, SWE-bench) मॉडल और स्कैफोल्ड युगों की कोलीनियैरिटी के कारण इस प्रश्न को हल नहीं कर सकते। केवल एक नो-स्कैफोल्ड बेंचमार्क (LiveCodeBench) ही मॉडल की नेटिव क्षमता को अलग कर सकता है।
दावे का दायरा: लेखक स्पष्ट रूप से अपने दावे को शॉर्ट-होरिज़न रीजनिंग टास्क (प्रतिस्पर्धी प्रोग्रामिंग) तक सीमित करते हैं। वे यह दावा नहीं करते कि यह प्रभाव लॉन्ग-होरिज़न ऑटोनॉमस एजेंट्स तक विस्तृत है जहाँ स्कैफोल्डिंग कार्य की परिभाषा का अभिन्न अंग है।

पेपर निष्कर्ष निकालता है कि हालांकि समग्र रुझान काफी हद तक स्केलर है, लेकिन एक "शेप चेंज" जो सबसे कठिन आइटम्स पर केंद्रित है, एक वास्तविक, मापने योग्य घटना है जो विशेष रूप से पोस्ट-सितंबर 2024 के युग में देखी गई है, जो मुख्य रूप से सबसे मजबूत रीजनिंग मॉडल्स द्वारा संचालित है।