💻 computer science

What Makes a Programming Problem Hard for a Language Model? An Empirical Study of Item Difficulty Across Code LLMs on Two Benchmarks

यह शोध पत्र एक अनुभवजन्य अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि कोड जनरेशन बेंचमार्क में समस्या की कठिनाई एक स्थिर, हस्तांतरणीय मीट्रिक है जो HumanEval पर स्पेसिफिकेशन फीचर्स (जैसे उदाहरण और प्रॉम्प्ट की लंबाई) और MBPP पर समाधान की जटिलता द्वारा संचालित होती है, जो मॉडल स्कोर के संतृप्त होने पर बेंचमार्किंग, ऑटोग्रेडिंग और शैक्षिक उपकरण डिजाइन में सुधार के लिए महत्वपूर्ण अंतर्दृष्टि प्रदान करती है।

मूल लेखक: TANZIM ISLAM KHAN

प्रकाशित 2026-07-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: TANZIM ISLAM KHAN

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास पहेलियों का एक विशाल, जादुई पुस्तकालय है, और आपने विभिन्न प्रकार के AI "सुलझाने वालों" (solvers) के एक पूरे चिड़ियाघर को उन्हें सुलझाने के लिए आमंत्रित किया है। कुछ सुलझाने वाले बड़े दिमाग वाले छोटे हैम्स्टर (छोटे मॉडल) हैं, और कुछ विशाल, सुपर-इंटेलिजेंट हाथी (जैसे GPT-4) हैं। आमतौर पर, जब हम जाँचते हैं कि ये AI कितने स्मार्ट हैं, तो हम उन्हें केवल एक एकल स्कोर देते हैं, जैसे स्कूल में अंतिम ग्रेड। लेकिन यह पेपर तर्क देता है कि एक एकल ग्रेड उबाऊ और भ्रामक है। यह ऐसा ही है जैसे यह कहना कि गणित का टेस्ट "कठिन" है क्योंकि आपको 'C' मिला, बिना यह पूछे कि: कौन से प्रश्न कठिन थे? क्या वे लंबे शब्द वाले सवाल थे, या वे जिनमें कोई उदाहरण नहीं दिए गए थे?

लेखक, तंजीम इस्लाम खान ने केवल अंतिम ग्रेड देखने के बजाय पहेलियों को देखना शुरू करने का निर्णय लिया। उन्होंने दो प्रसिद्ध कोडिंग पहेलियों (जिन्हें HumanEval और MBPP कहा जाता है) को लिया और उन्हें एक विशाल प्रयोग के माध्यम से चलाया। उन्होंने 31 अलग-अलग AI मॉडलों (छोटे 1-बिलियन-पैरामीटर वाले मॉडलों से लेकर विशाल GPT-4 तक) के जवाबों को पकड़ा और हर एक जवाब को वास्तव में काम करता है या नहीं, यह देखने के लिए एक सुरक्षित, अलग सैंडबॉक्स में फिर से चलाया। यह पूरे 13,400 निष्पादन (executions) हैं!

बड़ी खोज: एक पहेली को कठिन क्या बनाता है?

पेपर ने कुछ आश्चर्यजनक पाया जो "कठिनाई" के बारे में हमारी सोच को बदल देता है।

HumanEval सेट पर (वे पहेलियाँ जिनमें लंबे विवरण और बहुत सारे उदाहरण उत्तर दिए गए हैं), कठिनाई इस बात पर निर्भर नहीं थी कि समाधान कोड कितना जटिल था। यह पूरी तरह से इस पर निर्भर था कि पहेली कैसे लिखी गई थी।

जादुई सुराग: यदि पहेली में काम करने वाले उदाहरण शामिल थे (जैसे AI को यह दिखाना: "यहाँ इनपुट A है, यहाँ आउटपुट B है"), तो AI ने इसे आसानी से हल कर लिया। जितने अधिक उदाहरण, उतना ही आसान।
जाल: यदि प hanya पहेली लंबी और शब्द प्रधान थी, या यदि उसमें वे सहायक उदाहरणों की कमी थी, तो AI संघर्ष करता था, भले ही उसे हल करने के लिए आवश्यक वास्तविक कोड सरल हो।
प्रमाण: लेखकों ने एक भविष्यवाणी मशीन बनाई। जब उन्होंने इसमें केवल पहेली का टेक्स्ट (प्रॉम्ट) डाला, तो वह भविष्यवाणी कर सका कि पहेली कितनी कठिन थी, जिसका क्रॉस-वैलिडेटेड $R^2$ 0.45 था, जो पूर्ण मॉडल के प्रदर्शन से मेल खाता था। लेकिन जब उन्होंने इसे केवल समाधान कोड की जटिलता (जैसे लूप या वेरिएबल्स गिनना) के साथ डाला, तो उसे लगभग कुछ भी पता नहीं चला ( $R^2$ 0.11)।

ट्विस्ट: दूसरा पहेली संग्रह

फिर उन्होंने MBPP सेट को देखा। ये पहेलियाँ अलग हैं; ये बहुत छोटी हैं, जैसे एक-वाक्य की फुसफुसाहट, जिसमें कोई उदाहरण नहीं है।

यहाँ, नियम पलट गए! चूंकि हर पहेली एक जैसी (छोटी और अस्पष्ट) दिखती थी, इसलिए टेक्स्ट ने AI को यह नहीं बताया कि क्या करना है। इसके बजाय, कठिनाई इस बात पर निर्भर थी कि समाधान वास्तव में कितना कठिन था।
यदि कोड के लिए जटिल तर्क (logic) की आवश्यकता थी, तो AI विफल रहा। यदि कोड सरल था, तो AI सफल रहा।
सबक: एक समस्या AI के लिए कठिन होती है यदि निर्देश का वह हिस्सा सबसे अधिक परिवर्तनशील (variable) है जो निर्देशों के हिस्से में सबसे अधिक बदलाव लाता है। यदि निर्देश बहुत अधिक बदलते हैं (जैसे HumanEval में), तो निर्देश शासन करते हैं। यदि निर्देश सभी एक जैसे हैं (जैसे MBPP में), तो उत्तर की जटिलता शासन करती है।

यह पेपर क्या स्पष्ट करता है

यह पेपर इस विचार के खिलाफ स्पष्ट रूप से तर्क देता है कि "कठिन कोड हमेशा एक कठिन समस्या होता है।"

उन्होंने संदर्भ समाधानों की जटिलता को मापा (जैसे "साइक्लोमैटिक कॉम्प्लेक्सिटी" और "हल्डस्टैड वॉल्यूम" का उपयोग करके) और पाया कि HumanEval पर, ये संख्याएँ कठिनाई के बहुत कमजोर संकेतक थे। एक जटिल समाधान आवश्यक रूप से कठिन नहीं था यदि निर्देश स्पष्ट थे और उदाहरणों से भरे हुए थे।
उन्होंने इस विचार को भी खारिज कर दिया कि कठिनाई केवल इस बात का संयोग है कि आप किन AI मॉडलों का परीक्षण कर रहे हैं। उन्होंने साबित किया कि कठिनाई समस्या का एक स्थिर गुण (stable property) है। चाहे आप हैम्स्टर के आकार के AI का परीक्षण करें या हाथी के आकार के AI का, वही पहेलियाँ सबसे कठिन और सबसे आसान बनी रहती हैं। उन्होंने एक बार में एक मॉडल को हटाकर भी इसकी जाँच की, और रैंकिंग नहीं बदली (सहसंबंध $\rho \ge 0.99$ )।

हम कितने आश्वस्त हैं?

लेखक बहुत आश्वस्त हैं, लेकिन वे अपने शब्दों के प्रति सावधान हैं।

उन्होंने इसे एक सैंडबॉक्स में कोड को 13,400 बार चलाकर सीधे तौर पर मापा।
उन्होंने "कठोर" संस्करणों (जिनमें HumanEval के लिए 80 गुना अधिक और MBPP के लिए 35 गुना अधिक जाँचें हैं) के विरुद्ध परीक्षण करके स्थिरता को सिद्ध किया। इन कठिन परीक्षणों के साथ भी, कठिन बनाम आसान समस्याओं की रैंकिंग लगभग समान रही (सहसंबंध $\rho = 0.88$ )।
उन्होंने अलग-अलग सेटिंग्स (जैसे AI को अधिक रैंडम बनाने के लिए "टेम्परेचर" बदलना) के साथ परिणामों को सिम्युलेट (या यूँ कहें कि फिर से चलाया) किया और पाया कि कठिनाई रैंकिंग सुसंगत रही ( $\rho = 0.87$ )।
उन्होंने सुझाव दिया कि जैसे-जैसे AI स्मार्ट होता जाएगा और लगभग सब कुछ हल करने लगेगा (सैचुरेशन), उन विशिष्ट समस्याओं को देखना कि वे अभी भी कठिन क्यों हैं, और भी महत्वपूर्ण हो जाएगा।

भविष्य का संदर्भ

यह पेपर "भविष्य" की ओर भी एक नज़र डालता है (पेपर की टाइमलाइन के अनुसार जून 2026)। यह नोट करता है कि नवीनतम, अत्यंत शक्तिशाली AI (जैसे GPT-5.x और Claude Opus 4.8) ने मूल रूप से इन पुराने पहेलियों का उपयोग करना बंद कर दिया है क्योंकि वे अब उनके लिए बहुत आसान हैं। सीमा अब बहुत कठिन, वास्तविक दुनिया के कोडिंग कार्यों की ओर बढ़ गई है। लेकिन सबक वही रहता है: जैसे-जैसे आसान समस्याएं गायब होती हैं, जो बची हुई कठिन समस्याएं हैं, वे क्यों कठिन हैं इसे समझना बेहतर उपकरण बनाने की कुंजी बन जाता है।

संक्षेप में

यदि आप जानना चाहते हैं कि कोडिंग की समस्या AI के लिए कठिन है या नहीं, तो केवल उस कोड को न देखें जिसे इसे लिखना है। निर्देशों को देखें!

उदाहरणों के साथ समृद्ध निर्देश? AI इसमें आसानी से पार कर लेगा, चाहे कोड कितना भी जटिल क्यों न हो।
अस्पष्ट निर्देश या उदाहरणों की कमी? AI संघर्ष करेगा, भले ही कोड सरल हो।
छोटे, एक-वाक्य के निर्देश? तो कोड की जटिलता ही वह चीज़ है जो इसे कठिन बनाती है।

यह पेपर हमें बिना AI चलाए इस संघर्ष की भविष्यवाणी करने का एक नक्शा देता, केवल समस्या विवरण को पढ़कर। यह शिक्षकों के लिए बेहतर अभ्यास बनाने और इंजीनियरों के लिए बेहतर बेंचमार्क बनाने के लिए एक उपकरण है, यह सुनिश्चित करने के लिए कि हम केवल यह नहीं देख रहे हैं कि क्या एक AI उत्तर का अनुमान लगा सकता है, बल्कि यह कि क्या वह वास्तव में पहेली को समझ सकता है।

तकनीकी सारांश: एक भाषा मॉडल के लिए प्रोग्रामिंग समस्या को क्या कठिन बनाता है?

समस्या विवरण

कोड-जनरेट करने वाले लार्ज लैंग्वेज मॉडल्स (LLMs) के मूल्यांकन के वर्तमान अभ्यास HumanEval और MBPP जैसे बेंचमार्क पर pass@k जैसे समग्र मेट्रिक्स पर अत्यधिक निर्भर हैं। यह दृष्टिकोण सभी समस्याओं को एक समान मानता है, जिससे यह स्पष्ट नहीं हो पाता कि विशिष्ट समस्याएँ कठिन क्यों हैं। फलस्वरूप, यह एक मॉडल की सामान्य क्षमता और उन विशिष्ट वस्तुओं (items) के बीच अंतर करने में विफल रहता है जिन्हें वह हल करता है। यह शोध समस्या (item) को विश्लेषण की इकाई के रूप में देखने, मॉडल की क्षमता को आइटम की कठिनाई से अलग करने, और कोड जनरेशन कार्यों में कठिनाई के निर्धारकों को समझने की आवश्यकता को संबोधित करता है।

कार्यप्रणाली

यह अध्ययन आइटम रिस्पांस थ्योरी (IRT) और प्रेडिक्टिव मॉडलिंग पर आधारित एक डेटा-संचालित अनुभवजन्य दृष्टिकोण का उपयोग करता है।

डेटा स्रोत: लेखकों ने EvalPlus प्रोजेक्ट से सार्वजनिक रूप से जारी किए गए 'ग्रीडी कंप्लीशंस' (greedy completions) का उपयोग किया। अध्ययन में HumanEval (164 समस्याएँ) पर 31 विशिष्ट मॉडल (लगभग 1B से GPT-4 स्केल तक) और MBPP (378 समस्याएँ) पर 22 मॉडल शामिल हैं।
एग्जीक्यूशन हार्नेस: पूर्व-निर्धारित स्कोरों पर भरोसा करने के बजाय, लेखकों ने एक सैंडबॉक्स्ड पायथन वातावरण में 12-सेकंड के टाइमआउट के साथ सभी 13,400 कंप्लीशंस को पुनः निष्पादित (re-executed) किया। इसने बाइनरी रिस्पॉन्स मैट्रिसेस (31×164 HumanEval के लिए; 22×378 MBPP के लिए) उत्पन्न किए।
कठिनाई का परिचालन (Operationalization):
- अनुभवजन्य कठिनाई (Empirical Difficulty): इसे $1 - \text{solve rate}$ (उन मॉडलों का अंश जो किसी विशिष्ट समस्या को हल करने में विफल रहे) के रूप में परिभाषित किया गया है।
- IRT सत्यापन: मॉडल की क्षमता ( $\theta$ ) को आइटम की कठिनाई ( $b$ ) से अलग करने के लिए एक वन-पैरामीटर लॉजिस्टिक (रैश मॉडल) को फिट किया गया। लेखकों ने पुष्टि की कि कच्चा क्रॉस-मॉडल विफलता दर (raw cross-model failure rate) रैश-व्युत्पन्न कठिनाई के साथ लगभग पूरी तरह से ( $\rho \approx 1.00$ ) सहसंगत है, जो सरल मीट्रिक के उपयोग को प्रमाणित करता है।
फीचर एक्सट्रैक्शन: प्रति समस्या 36 स्टैटिक फीचर्स निकाले गए, जिन्हें श्रेणियों में विभाजित किया गया:
- प्रॉम्ट फीचर्स (Prompt Features): लंबाई, पठनीयता, वर्क उदाहरणों की संख्या, टाइप हिंट्स की उपस्थिति, आदि।
- रेफरेंस-सॉल्यूशन फीचर्स (Reference-Solution Features): कोड जटिलता मेट्रिक्स (मैकेबे साइक्लोमैटिक कॉम्प्लेक्सिटी, हैल्डस्ट वॉल्यूम, AST नोड काउंट, नेस्टिंग डेप्थ, आदि)।
- टेस्ट सुइट फीचर्स (Test Suite Features): एसेर्शन की संख्या, कैरेक्टर काउंट।
विश्लेषण: अध्ययन ने सहसंबंध विश्लेषण (बेंजामिनी-होचबर्ग सुधार के साथ स्पर्मन/पियर्सन) और प्रेडिक्टिव मॉडलिंग (रिज रिग्रेशन, रैंडम फॉरेस्ट, ग्रेडिएंट बूस्टिंग) का उपयोग किया, जिसमें 10-फोल्ड क्रॉस-वैलिडेशन किया गया। मजबूती का परीक्षण लीव-वन-मॉडल-आउट, बूटस्ट्रैप रीसैंपलिंग, विभिन्न क्षमता स्तरों के बीच ट्रांसफर, और कठोर टेस्ट सूट्स (HumanEval+/MBPP+) के विरुद्ध पुन: ग्रेडिंग और टेम्परेचर सैंपलिंग के माध्यम से किया गया।

मुख्य परिणाम

1. कठिनाई एक स्थिर, मापने योग्य गुण है

वितरण: कठिनाई व्यापक रूप से वितरित है, केंद्रित नहीं है। 31-मॉडल पैनल पर HumanEval पर, औसत सॉल्व रेट 0.29 था, जहाँ कुछ समस्याओं को 0% मॉडलों द्वारा हल किया गया और कुछ को 100% द्वारा।
स्थिरता: कठिनाई रैंकिंग अत्यधिक मजबूत है। किसी भी एकल मॉडल को हटाने से रैंकिंग में कोई बदलाव नहीं आता ( $\rho \ge 0.99$ )। यह रैंकिंग क्षमता स्तरों (कमजोर बनाम मजबूत मॉडल) के बीच भी स्थानांतरित होती है, जिसमें स्पर्मन सहसंबंध 0.78 (HumanEval) और 0.79 (MBPP) है।
रैश संरेखण (Rasch Alignment): रैश मॉडल पुष्टि करता है कि कठिनाई आइटम का एक लेटेंट (latent) गुण है, जो विशिष्ट सॉल्वर पैनल के उपयोग से स्वतंत्र है।

2. प्रेडिक्टिव सिग्नल विनिर्देश शैली (Specification Style) पर निर्भर करता है

अध्ययन दोनों बेंचमार्क के बीच कठिनाई की भविष्यवाणी करने वाले कारकों में एक महत्वपूर्ण अंतर की पहचान करता है:

HumanEval (समृद्ध प्रॉम्ट्स): कठिनाई मुख्य रूप से प्रॉम्ट फीचर्स ( $R^2 = 0.45$ $R^{2} = 0.45$ ) द्वारा अनुमानित होती है, जो पूर्ण फीचर सेट ( $R^2 = 0.46$ $R^{2} = 0.46$ ) के प्रदर्शन से मेल खाती है।
- सबसे मजबूत भविष्यवक्ता: इनपुट-आउटपुट के वर्क उदाहरणों की संख्या (कठिनाई के साथ नकारात्मक सहसंबंध) और टाइप हिंट्स की उपस्थिति समस्याओं को आसान बनाती है। लंबे प्रॉम्ट और डॉकस्ट्रिंग्स उच्च कठिनाई के साथ सहसंबंधित हैं।
- सॉल्यूशन जटिलता: रेफरेंस-सॉल्यूशन जटिलता फीचर्स अकेले बहुत कम वेरिएंस की व्याख्या करते हैं ( $R^2 = 0.11$ )।
MBPP (संक्षिप्त प्रॉम्ट्स): कठिनाई मुख्य रूप से सॉल्यूशन-कॉम्प्लेक्सिटी फीचर्स ( $R^2 = 0.13$ $R^{2} = 0.13$ ) द्वारा अनुमानित होती है।
- संदर्भ: MBPP प्रॉम्ट्स समान रूप से छोटे, एकल-वाक्य विवरण हैं जिनमें कोई वर्क उदाहरण नहीं है। फलस्वरूप, प्रॉम्ट फीचर्स में योगदान देने के लिए बहुत कम वेरिएंस है।
- सबसे मजबूत भविष्यवक्ता: AST नोड काउंट और हैल्डस्ट वॉल्यूम प्रमुख सहसंबंध हैं। प्रॉम्ट-ओनली फीचर्स नेगेटिव $R^2$ देते हैं।
संश्लेषण: क्या कोई समस्या कठिन है, यह इस बात पर निर्भर करता है कि विनिर्देश (specification) में सबसे अधिक क्या परिवर्तनशील है। यदि प्रॉम्ट बदलता है (HumanEval), तो प्रॉम्ट कठिनाई को संचालित करता है; यदि प्रॉम्ट स्थिर है (MBPP), तो एल्गोरिद्मिक जटिलता कठिनाई को संचालित करती है।

3. मजबूती और सामान्यीकरण

कठोर टेस्ट (Hardened Tests): HumanEval+ और MBPP+ (क्रमशः 80x और 35x अधिक टेस्ट) के विरुद्ध पुन: ग्रेडिंग ने समग्र पास रेट को कम कर दिया लेकिन कठिनाई रैंकिंग ( $\rho = 0.88$ और $\rho = 0.82$ ) और प्रॉम्ट-बनाम-सॉल्यूशन प्रेडिक्टिव स्प्लिट को सुरक्षित रखा।
डिकोडिंग रिजीम: टेम्परेचर-0.8 सैंपलिंग के साथ ग्रीडी डिकोडिंग को बदलने से कठिनाई रैंकिंग ( $\rho = 0.87$ ) और प्रेडिक्टिव सिग्नल वितरण सुरक्षित रहा।
2026 संदर्भ: जून 2026 के इवलप्लस लीडरबोर्ड (125 मॉडल) के विश्लेषण से पता चलता है कि HumanEval संतृप्त (saturating) हो रहा है (शीर्ष मॉडल >96%)। फ्रंटियर मॉडल्स (जैसे GPT-5.x, Claude Opus 4.8) ने बड़े पैमाने पर HumanEval को छोड़कर रिपॉजिटरी-लेवल बेंचमार्क (जैसे SWE-bench) को अपना लिया है, जहाँ प्रति-इंस्टेंस कठिनाई मॉडलिंग अत्यंत महत्वपूर्ण बनी हुई है क्योंकि एग्रीगेट स्कोर संकुचित (compress) हो रहे हैं।

मुख्य योगदान

पुनरुत्पादक निष्पादन अध्ययन: दो बेंचमार्क पर ~68,000 निष्पादन का एक सत्यापित डेटासेट, जो पब्लिक कंप्लीशंस को बाइनरी रिस्पॉन्स मैट्रिसेस और कठिनाई पैमानों में परिवर्तित करता है।
स्थिरता का प्रमाण: इस बात का अनुभवजन्य प्रमाण कि आइटम कठिनाई एक मॉडल-अज्ञेय (model-agnic) गुण है जो मॉडल हटाने, रीसैंपलिंग और क्षमता स्तर ट्रांसफर के बावजूद बना रहता है।
भवितिक विश्लेषण: यह प्रदर्शन का प्रमाण कि कठिनाई को स्टैटिक फीचर्स से अनुमानित किया जा सकता है, जिसमें एक महत्वपूर्ण क्रॉस-बेंचमार्क निष्कर्ष शामिल है: प्रॉम्ट की परिवर्तनशीलता के आधार पर प्रेडिक्टिव सिग्नल, नेचुरल-लैंग्वेज स्पेसिफिकेशन (HumanEval) से सॉल्यूशन कॉम्प्लेक्सिटी (MBPP) की ओर स्थानांतरित हो जाता है।
संदर्भिकरण: इन निष्कर्षों को 2026 के मॉडल परिदृश्य के साथ मैप करना, जो दिखाता है कि जैसे-जैसे बेंचमार्क संतृप्त होते हैं, कठिनाई-जागरूक विश्लेषण और भी अधिक महत्वपूर्ण हो जाता है।

महत्व और निहितार्थ

यह शोध तर्क देता है कि जैसे-जैसे एग्रीगेट स्कोर संकुचित होते हैं, कठिनाई-जागरूक बेंचमार्किंग आवश्यक हो जाती है।

बेंचमार्क डिजाइन के लिए: रिपोर्टों को केवल एकल एग्रीगेट स्कोर से आगे बढ़कर कठिनाई प्रोफाइल (जैसे, आसान/मध्यम/कठिन आइटम्स का वितरण) शामिल करने की ओर बढ़ना चाहिए ताकि संतृप्ति का पता लगाया जा सके और यह सुनिश्चित किया जा सके कि बेंचमार्क भेदभावपूर्ण बने रहें। स्टैटिक कठिनाई भविष्यवक्ता, मॉडल्स के बेड़े (fleets) को चलाए बिना संतुलित बेंचमार्क क्यूरेट करने के लिए एक कम लागत वाला तरीका प्रदान करते हैं।
ऑटो-ग्रेडिंग और शिक्षा के लिए: स्टैटिक कठिनाई अनुमान, LLM-सहायता प्राप्त ट्यूटरिंग के लिए कॉन्फिडेंस सिग्नल के रूप में काम कर सकते हैं। यदि किसी विनिर्देश को "कठिन" (जैसे, उदाहरणों की कमी या उच्च जटिलता) के रूप में चिह्नित किया गया है, तो एक सहायक मानव समीक्षा की ओर मुड़ सकता है या स्पष्टीकरण मांग सकता है।
शैक्षिक संरेखण: यह निष्कर्ष कि वर्क उदाहरण और टाइप हिंट्स समस्याओं को आसान बनाते हैं, संज्ञानात्मक भार सिद्धांत (cognitive load theory) में "वर्क-एग्जांपल इफेक्ट" के अनुरूप है। यह सुझाव देता है कि सहायक के लिए फायदेमंद स्कैफोल्डिंग (scaffolding) प्रोग्रामर्स के लिए भी फायदेमंद होती है, हालांकि यह एक ट्रेड-ऑफ भी पैदा करता है: वे अभ्यास जो सहायकों के लिए आसान बनाने के लिए डिज़ाइन किए गए हैं (समृद्ध उदाहरणों के साथ), छात्रों के सीखने के लिए बहुत आसान हो सकते हैं, जबकि संक्षिप्त अभ्यास दोनों को चुनौती दे सकते हैं।

अध्ययन यह निष्कर्ष निकालता है कि कठिनाई केवल एल्गोरिदम का अंतर्निहित गुण नहीं है, बल्कि यह विनिर्देश के उस आयाम द्वारा निर्धारित होती है जो सबसे अधिक परिवर्तनशील रहता है। यह अंतर्दृष्टि विभिन्न समस्या सेटों में LLM प्रदर्शन को समझने या भविष्यवाणी करने के लिए एक ढांचा प्रदान करती है।