💻 computer science

Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis

यह शोध पत्र 50 प्रोजेक्ट यूलर समस्याओं पर 26 एआई मॉडलों द्वारा किए गए 3,840 प्रयासों का विश्लेषण करता है ताकि यह प्रदर्शित किया जा सके कि मशीन प्रयास मानव कठिनाई के साथ उप-रैखिक (sub-linearly) रूप से स्केल करता है (जो बदतर स्केलिंग की भविष्यवाणियों का खंडन करता है) जबकि सफलता की संभावना एक घातांकीय क्षय मॉडल (exponential decay model) का अनुसरण करती है, जो अंततः अत्याधुनिक प्रदर्शन क्षितिज के लिए 75-दिवसीय दोहरीकरण समय का अनुमान लगाता है।

मूल लेखक: David Holmes, Johannes Schmitt

प्रकाशित 2026-06-23

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: David Holmes, Johannes Schmitt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: समय और जटिलता के विरुद्ध एक दौड़

कल्पना कीजिए कि Project Euler गणित की समस्याओं के लिए एक विशाल, सार्वजनिक जिम है। लोग (और अब, AI) इन पहेलियों को हल करने के लिए साइन अप करते हैं। यह जिम सबसे तेज़ इंसानों के लिए एक स्टॉपवॉच चालू रखता है, जो ठीक से रिकॉर्ड करता है कि सही उत्तर खोजने में उन्हें कितना समय लगा।

इस शोध पत्र के लेखकों ने एक सरल प्रश्न का उत्तर देने का प्रयास किया: जैसे-जैसे गणित की समस्याएं कठिन होती जाती हैं, क्या AI सिस्टम इंसानों की तुलना में अधिक तेजी से खराब होते जाते हैं?

एक सिद्धांत (जो गणितज्ञ टिमोथी गौवर्स द्वारा प्रस्तावित किया गया था) ने सुझाव दिया था कि AI एक ऐसे स्प्रिंटर (धावक) की तरह होगा जो जल्दी थक जाता है। विचार यह था: "AI आसान स्प्रिंट में तेज़ है, लेकिन जैसे-जैसे दौड़ लंबी और कठिन होती जाती है, AI का प्रयास (effort) विस्फोट की तरह बढ़ता है, और वह इंसानों से पीछे छूट जाता है।"

लेखकों ने 50 हालिया गणित की समस्याओं और 26 अलग-अलग AI मॉडलों के डेटा का उपयोग करके इस सिद्धांत का परीक्षण किया। उन्हें क्या मिला, यहाँ दिया गया है।

1. "प्रयास" (Effort) का परीक्षण: क्या AI जल्दी थक जाता है?

सिद्धांत: उन्होंने सोचा था कि हर एक घंटा जो एक इंसान कठिन समस्या को हल करने में बिताता है, उसके लिए एक AI को बहुत अधिक समय (कंप्यूटर प्रोसेसिंग पावर के संदर्भ में, जिसे "टोकन" या उत्पन्न शब्दों के रूप में मापा जाता है) खर्च करने की आवश्यकता होगी। उन्हें उम्मीद थी कि समस्या जितनी कठिन होगी, AI का प्रयास उतना ही आसमान छुएगा।

उपमा: कल्पना कीजिए कि एक इंसान और एक रोबोट पहाड़ चढ़ रहे हैं।

अपेक्षा: रोबोट नीचे के हिस्से में बहुत अच्छा है, लेकिन जैसे-जैसे ढलान खड़ी होती जाती है, रोबोट को इंसान के 1 कदम के बदले 100 कदम उठाने पड़ते हैं।
वास्तविकता: लेखकों ने इसके विपरीत पाया। सबसे मजबूत AI मॉडलों के लिए, जैसे-जैसे पहाड़ की ढलान खड़ी हुई, रोबोट वास्तव में इंसान के सापेक्ष अधिक कुशल होता गया।
- यदि एक इंसान एक कठिन समस्या को हल करने में 1 घंटा लेता है, तो AI को 2 घंटे के कंप्यूटर कार्य की आवश्यकता हो सकती है।
- यदि एक इंसान 10 घंटे लेता है, तो AI को केवल 15 घंटे के कंप्यूटर कार्य की आवश्यकता हो सकती है।
- परिणाम: "अंतर" बढ़ा नहीं; बल्कि यह वास्तव में सिकुड़ गया। AI ने इन विशिष्ट समस्याओं पर इंसानों की तुलना में बेहतर प्रदर्शन किया। लेखक इस खोज को $b < 1$ कहते हैं, जिसका मूल अर्थ है "AI उम्मीद से अधिक तेजी से कठिनाई को संभालने में बेहतर हो रहा है।"

क्यों? लेखक अनुमान लगाते हैं कि इन गणित की समस्याओं में बहुत सारे "कोडिंग" या "कार्यान्वयन" (implementation) चरण होते हैं। इंसान कोड टाइप करने और उसे ठीक करने (debugging) में बहुत समय बिताते हैं। AI टाइप करने और डिबगिंग करने में अविश्वसनीय रूप से तेज़ है। इसलिए, भले ही AI "सोचने" वाले भाग में धीमा हो, लेकिन "करने" वाले भाग में उसकी सुपर-स्पीड कुल समय को बहुत कुशल बना देती है।

2. "विश्वसनीयता" (Reliability) का परीक्षण: क्या AI बस हार मान लेता है?

सिद्धांत: हालांकि AI कुशल हो सकता है, लेकिन शायद यह भ्रमित हो जाता है और चीजें कठिन होने पर अधिक बार विफल हो जाता है। लेखकों ने परीक्षण किया कि क्या सफलता की दर एक अनुमानित तरीके से गिरती है।

उपमा: कल्पना कीजिए कि आप एक अंधेरे जंगल में चल रहे हैं।

सिद्धांत: आपके द्वारा लिया गया हर कदम आपके फिसलने और गिरने की एक छोटी, निरंतर संभावना रखता है। रास्ता जितना लंबा (समस्या जितनी कठिन) होगा, आपके फिसलने की संभावना उतनी ही अधिक होगी।
वास्तविकता: डेटा इस मॉडल में पूरी तरह फिट बैठता है। AI की सफलता दर एक सुचारू, अनुमानित वक्र (curve) में गिरती है।
- यदि एक समस्या को हल करने में इंसान को 1 घंटा लगता है, तो AI 90% बार सफल हो सकता है।
- यदि एक समस्या को हल करने में इंसान को 4 घंटे लगते हैं, तो AI की सफलता दर गिरकर लगभग 50% हो जाती है।
परिणाम: AI इसलिए विफल नहीं हो रहा है क्योंकि वह "ऊर्जा समाप्त" कर रहा है या "गलत दिशा में खोज" कर रहा है। वह इसलिए विफल हो रहा है क्योंकि वह लंबे समय तक अविश्वसनीय है। यह एक ऐसे धावक की तरह है जो तेज़ तो है लेकिन यदि दौड़ लंबी चलती है, तो वह अपने ही जूतों के फीतों में उलझकर बार-बार गिरता रहता है।

3. "क्षितिज" (Horizon) का परीक्षण: AI कितनी देर तक टिक सकता है?

लेखकों ने एक "50% क्षितिज" ( $h_{50}$ ) की गणना की। यह वह बिंदु है जहाँ AI के पास समस्या को हल करने की 50/50 संभावना होती है।

निष्कर्ष: इस अध्ययन में सर्वश्रेष्ठ AI मॉडल तब 50% सफलता का निशान छूते हैं जब मानव समय लगभग 2.5 से 4.3 घंटे होता है।
रूपक: AI को एक टॉर्च (flashlight) के रूप में सोचें। यह कुछ समय के लिए चमकती है, लेकिन यदि इंसान को समस्या हल करने के लिए 10 घंटे तक चलने की आवश्यकता है, तो AI की रोशनी (सही रास्ते पर बने रहने की क्षमता) 4 घंटे तक ही टिमटिमाकर बुझ चुकी होगी।
रुझान: लेखकों ने ट्रैक किया कि ये "टॉर्च" कितनी तेज़ी से उज्जवल हो रही हैं। उन्होंने पाया कि सर्वश्रेष्ठ AI अपनी "सहनशक्ति" को सुधारने की दर से बेहतर हो रहा है, जहाँ यह लगभग हर 75 दिनों में अपनी क्षमता को दोगुना कर देता है।

4. "एजेंट" ट्विस्ट: AI को एक टीम देना

शोध पत्र में "एजेंटिक" (Agentic) मॉडलों को भी देखा गया। ये वे AI हैं जो केवल एक बार उत्तर नहीं देते; उन्हें समस्याओं को तोड़ने, फिर से प्रयास करने और अपने काम की जांच करने के लिए उपकरण दिए जाते हैं (जैसे कि एक इंसान कैलकुलेटर और रफ नोटबुक का उपयोग करता है)।

परिणाम: ये "AI टीमें" उन समस्याओं को हल कर सकती थीं जिन्हें हल करने में इंसानों को अधिक समय लगता था (बेसिक AI के 0.3 घंटे के मानव समय की तुलना में 1.7 घंटे के मानव समय तक)।
पेंच: इन उपकरणों के साथ भी, वे शीर्ष मानवों द्वारा 10+ घंटों में हल की जाने वाली बहुत कठिन समस्याओं का मुकाबला नहीं कर सके। उन्होंने केवल "सहनशक्ति की सीमा" को थोड़ा आगे बढ़ाया।

सारांश: इसका क्या अर्थ है?

यह शोध पत्र निष्कर्ष निकालता है कि पुराना डर—कि AI केवल "ईंधन खत्म" कर देगा और समस्याएँ कठिन होने पर अक्षम हो जाएगा—इन विशिष्ट गणितीय पहेलियों के लिए सत्य नहीं है।

दक्षता (Efficiency): ये कार्य कठिन होने पर AI वास्तव में इंसानों की तुलना में अधिक कुशल है।
असली समस्या: बाधा दक्षता नहीं है; बल्कि विश्वसनीयता है। AI काम कर सकता है, लेकिन यदि कार्य बहुत लंबा चलता है, तो वह गलती करने लगता है और रास्ता भटक जाता है।
सीमा: वर्तमान में, सर्वश्रेष्ठ AI उन समस्याओं को विश्वसनीय रूप से संभाल सकता है जिन्हें हल करने में एक इंसान को लगभग 4 घंटे लगते हैं। इससे अधिक कठिन कुछ भी हो, AI अनुमान लगाने लगता है और विफल हो जाता है।

संक्षेप में: AI थक नहीं रहा है; यह बस विचलित हो रहा है। यह एक प्रतिभाशाली, तेज़ काम करने वाला कर्मचारी है जिसे सफल होने के लिए एक बहुत छोटे, केंद्रित कार्य की आवश्यकता है। यदि आप इसे एक लंबा, जटिल प्रोजेक्ट देते हैं, तो यह काम पूरा करने से पहले ही अपने ही जूतों के फीतों में उलझकर गिर जाएगा।

तकनीकी सारांश: प्रोजेक्ट यूलर पर मानव बनाम मशीन गणितीय कठिनाई

समस्या विवरण
यह शोध पत्र इस बात की जांच करता है कि कम्प्यूटेशनल गणित की समस्याओं पर फ्रंटियर एआई (AI) सिस्टम का प्रयास और सफलता की संभावना, मानव कठिनाई के सापेक्ष कैसे स्केल करती है। टिमोथी गौवर्स द्वारा प्रूफ-सर्च एल्गोरिदम के स्केलिंग के संबंध में दिए गए एक प्रस्ताव से प्रेरित होकर, लेखक यह निर्धारित करना चाहते हैं कि क्या एआई सिस्टम कार्य की कठिनाई बढ़ने के साथ मनुष्यों की तुलना में खराब तरीके से स्केल करते हैं। विशेष रूप से, वे इस परिकल्पना का परीक्षण करते हैं कि जबकि मशीनें सरल कार्यों पर तेज़ हो सकती हैं, उनकी अपेक्षित रनिंग टाइम (running time) समस्या की जटिलता (जिसे प्रूफ लेंथ या सॉल्यूशन ट्राजेक्टरी द्वारा मापा जाता है) के बढ़ने के साथ मानव गणितज्ञों की तुलना में बहुत अधिक तेजी से बढ़ती है। यह अध्ययन प्रोजेक्ट यूलर (Project Euler) का उपयोग करता है, जो कम्प्यूटेशनल मैथ समस्याओं का एक प्लेटफॉर्म है जहाँ मानव समाधान समय सार्वजनिक रूप से दर्ज किया जाता है, और मैथएरिना (MathArena) बेंचमार्क का उपयोग करता है, जो 50 हालिया समस्याओं (943–992) और 26 मॉडल कॉन्फ़िगरेशन में व्यापक एआई प्रयास डेटा प्रदान करता है।

कार्यप्रणाली
लेखक "मानव कठिनाई" ( $t_{human}$ ) को प्रत्येक समस्या के लिए पांच सबसे तेज़ दर्ज किए गए मानव समाधान समय के ज्यामितीय माध्य (geometric mean) के रूप में संचालित करते हैं, जो एक मजबूत-मानव निरंतर कार्य समय के प्रॉक्सी के रूप में कार्य करता है। "मशीन प्रयास" ( $t_{machine}$ ) को वॉल-क्लॉक समय द्वारा नहीं, बल्कि एक सफल उत्तर प्राप्त करने के लिए आवश्यक कुल उत्पन्न टोकन की संख्या द्वारा परिभाषित किया गया है, जिसकी गणना सभी प्रयासों के कुल टोकन को सफल प्रयासों की संख्या से विभाजित करके की जाती है।

अध्ययन तीन अलग-अलग विश्लेणात्मक ढांचेों का उपयोग करता है:

परिकल्पना T (टाइम-स्केलिंग मॉडल): एक पावर-लॉ संबंध $t_{machine} = a \cdot t_{human}^b$ का परीक्षण करता है। घातांक $b$ स्केलिंग व्यवहार को दर्शाता है: $b > 1$ का अर्थ है कि मशीनें मनुष्यों की तुलना में खराब स्केल करती हैं (प्रयास कठिनाई के साथ सुपर-लीनियर रूप से बढ़ता है), जबकि $b < 1$ का अर्थ है कि मशीनें मनुष्यों की तुलना में बेहतर स्केल करती हैं। विफल मामलों के प्रभुत्व से बचने के लिए फिट्स (fits) को उन मॉडल-समस्या जोड़ों पर किया जाता है जिनमें कम से कम 50% अनुभवजन्य सफलता दर हो।
परिकल्पना P (एक्सपोनेंशियल सक्सेस मॉडल): यह परीक्षण करता है कि क्या सफलता की संभावना ( $p_{success}$ ) मानव कार्य समय के साथ तेजी से (exponentially) घटती है: $p_{success} = p_{model}^{t_{task}}$ । इसे $\log p_{success}$ और $t_{human}$ के बीच एक रैखिक संबंध के रूप में मॉडल किया गया है, जो $(0, 1)$ से गुजरने के लिए बाध्य है। फिटिंग के लिए डेटा को क्वांटाइल बिन (quantile bins) में एकत्रित किया गया है।
METR-शैली के क्षितिज (Horizons): विशिष्ट क्षमता क्षितिजों को निकालने के लिए मानव समय के फलन के रूप में सफलता की संभावना पर एक लॉजिस्टिक कर्व फिट करता है: $h_{50}$ (50% सफलता के लिए मानव समय) और $h_{80}$ (80% सफलता के लिए मानव समय)। यह दृष्टिकोण METR टास्क-लेंथ बेंचमार्क [KWB+25] से अनुकूलित है।

डेटासेट में 26 मॉडल कॉन्फ़िगरेशन (एक गैर-प्रतिनिधिक कॉन्फ़िगरेशन को बाहर करने के बाद अंतिम फिट में 25 शामिल हैं) में 3,840 प्रयास शामिल हैं। सांख्यिकीय अनिश्चितता को फिट किए गए मापदंडों के लिए 90% कॉन्फिडेंस इंटरवल उत्पन्न करने के लिए नॉन-पैरामीट्रिक बूटस्ट्रैप रीसैंपलिंग (1,000 सैंपल) का उपयोग करके परिमाणित किया गया है।

प्रमुख परिणाम

स्केलिंग भविष्यवाणी का उलटा होना (परिकल्पना T): इस प्रारंभिक भविष्यवाणी के विपरीत कि मशीनें खराब स्केल करेंगी ( $b > 1$ ), अध्ययन में पाया गया कि उपयोग योग्य फिट वाले 25 में से 20 मॉडलों के लिए घातांक $b < 1$ है। इसमें सबसे मजबूत उच्च-कवरेज बेस मॉडल शामिल हैं: क्लॉड ओपस 4.6 ( $b=0.722$ ), GPT-5.4 (xhigh) ( $b=0.644$ ), और जेमिनी 3.1 प्रो प्रिव्यू ( $b=0.467$ )। इन शीर्ष मॉडलों के लिए 90% बूटस्ट्रैप कॉन्फिडेंस इंटरवल पूरी तरह से 1 से नीचे हैं। यह सुझाव देता है कि, इस परिचालन के भीतर, सफल उत्तर के लिए टोकन लागत मानव कठिनाई के साथ उप-रैखिक (sub-linearly) रूप से बढ़ती है, जिसका अर्थ है कि समस्याओं के कठिन होने पर मशीनों की सापेक्ष दक्षता में सुधार होता है, कम से कम उन समस्याओं के लिए जहाँ मॉडल मध्यम रूप से विश्वसनीय है।
सफलता का एक्सपोनेंशियल डिके (परिकल्पना P): डेटा एक्सपोनेंशियल डिके मॉडल के लिए मध्यम अनुभवजन्य समर्थन दिखाता है। 22 अच्छी तरह से कवर किए गए कॉन्फ़िगरेशन में मेडियन बिन-लेवल $R^2$ 0.92 है, जिसमें कई शीर्ष मॉडल 0.95 से अधिक हैं। फिट की गई हाफ-लाइव्स (वह मानव समय जिस पर सफलता की संभावना घटकर 50% रह जाती है) जेमिनी 2.5 प्रो के 0.12 घंटों से लेकर GPT-5.4 xhigh के 4.07 घंटों तक भिन्न होती है।
क्षमता क्षितिज (Capability Horizons): सबसे मजबूत बेस मॉडल कॉन्फ़िगरेशन लगभग 2.5 और 4.3 घंटे के मानव कार्य समय के बीच 50% सफलता क्षितिज ( $h_{50}$ ) तक पहुँचते हैं। एजेंटिक रैपर्स (जैसे, GPT-5 यूलर एजेंट, ग्रोक 4 फास्ट यूलर एजेंट) अपने बेस मॉडलों की तुलना में काफी बड़े क्षितिज प्रदर्शित करते हैं, हालांकि ये तुलनाएँ अवलोकन संबंधी हैं।
प्रगति प्रक्षेपवक्र (Progress Trajectory): डेटासेट के ~345-दिवसीय स्पैन के दौरान स्टेट-ऑफ-द-आर्ट (SOTA) फ्रंटियर बेस मॉडलों के माध्यम से एक लॉग-लीनियर फिट, $h_{50}$ क्षितिज के लिए लगभग 75 दिनों का दोहरीकरण समय (doubling time) दर्शाता है, जो 0.09 घंटे से बढ़कर 4.28 घंटे हो जाता है।

महत्व और दावे
यह पेपर दावा करता है कि इसके निष्कर्ष गौवर्स के फ्रेमिंग से प्राप्त विशिष्ट "सर्च-एफिशिएंसी" नैरेटिव को चुनौती देते हैं, जिसने भविष्यवाणी की थी कि कठिन समस्याओं पर एआई सिस्टम तेजी से बढ़ते सर्च कॉस्ट के कारण मनुष्यों से पीछे रह जाएंगे। इसके बजाय, परिणाम संकेत देते हैं कि प्रोजेक्ट यूलर पर, कठिनाई बढ़ने के साथ सफल उत्तर के लिए टोकन लागत के मामले में फ्रंटियर मॉडल मजबूत मानव हलकर्ताओं की तुलना में बेहतर स्केल करते हैं।

हालाँकि, लेखक इसके निहितार्थों को लेकर सतर्क हैं। वे नोट करते हैं कि हालांकि स्केलिंग अनुकूल है, इन सिस्टमों की पूर्ण विश्वसनीयता सीमित है; मॉडल केवल कुछ घंटों के मानव कार्य समय पर 50% सफलता थ्रेशोल्ड तक पहुँच जाते हैं, जो एक एकल समस्या पर मनुष्यों द्वारा लगाए जा सकने वाले निरंतर प्रयास से बहुत कम है। लेखक प्रोजेक्ट यूलर पर अनुकूल स्केलिंग और अनुसंधान-स्तरीय गणित में दृश्य त्वरण की कमी के बीच विसंगति के लिए पांच काल्पनिक स्पष्टीकरण प्रस्तावित करते हैं:

इम्प्लीमेंटेशन बनाम थिंकिंग: प्रोजेक्ट यूलर की समस्याएं इम्प्लीमेंटेशन (कोडिंग) को भारी महत्व देती हैं, जिसे LLM मनुष्यों की तुलना में तेजी से संभालते हैं, जिससे संभावित रूप से धीमी गणितीय तर्क प्रक्रिया छिप सकती है।
लॉन्ग-ट्रैजेक्टरी डिग्रेडेशन: संचित त्रुटियों या "कॉन्टेक्स्ट रॉट" (context rot) के कारण समय के साथ सफलता की संभावना घटती है, जो सुसंगत तर्क के क्षितिज को सीमित करती है।
टूल-बिल्डिंग लिमिट्स: LLM मानक उपकरणों का उपयोग करने में उत्कृष्ट हैं लेकिन उनमें अनुसंधान के लिए आवश्यक नए गणितीय ढांचे को आविष्कार करने की क्षमता की कमी हो सकती है।
स्कैफोल्डिंग गैप्स: वर्तमान आर्किटेक्चर में अनुसंधान के लिए आवश्यक निरंतर मेमोरी और लॉन्ग-होरिज़न वर्कफ़्लो की कमी है।
ओवरथिंकिंग: मॉडल आसान समस्याओं पर निरंतर टोकन ओवरहेड्स (सेल्फ-चेकिंग) का सामना कर सकते हैं, जो स्केलिंग स्लोप को कृत्रिम रूप से सपाट बना देता है।

पेपर निष्कर्ष निकालता है कि तीन विश्लेषण (स्केलिंग, डिके, और होरिजन) एक सुसंगत तस्वीर प्रदान करते हैं: इस बेंचमार्क पर इन सिस्टमों के लिए सीमित कारक विश्वसनीयता (सफलता का एक्सपोनेंशियल डिके) है न कि सर्च एफिशिएंसी (प्रयास का सब-लीनियर स्केलिंग)। निष्कर्षों को वर्तमान क्षमताओं के वर्णनात्मक सारांश के रूप में प्रस्तुत किया गया है, न कि एआई प्रगति के सार्वभौमिक नियमों के रूप में।