तकनीकी सारांश: IMProofBench

समस्या विवरण

गणित पर लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन करने के लिए वर्तमान बेंचमार्क शोध-स्तर की क्षमताओं के आकलन के लिए अपर्याप्त हैं। मौजूदा डेटासेट मुख्य रूप से हाई-स्कूल या स्नातक स्तर की प्रतियोगिता समस्याओं (जैसे, AIME, MATH) पर केंद्रित हैं, जो अत्याधुनिक मॉडल्स द्वारा हल किए जाने योग्य होती जा रही हैं और वास्तविक प्रमाण लेखन (proof-writing) क्षमताओं का परीक्षण करने में विफल रहती हैं। इसके अलावा, एडवांस्ड मैथमेटिक्स को लक्षित करने वाले बेंचमार्क, जैसे कि FrontierMath और Humanity's Last Exam (HLE), अक्सर मूल्यांकन को अंतिम-उत्तर की शुद्धता तक ही सीमित रखते हैं। यह सीमा मॉडल्स को तार्किक रूप से सुदृढ़ तर्क बनाने के बजाय शॉर्टकट अपनाने या सही उत्तरों का अनुमान लगाने की अनुमति देती है, जिससे वे गहन गणितीय प्रमाण उत्पन्न करने के महत्वपूर्ण कौशल की अनदेखी करते हैं। एक वास्तविक, टूल-ऑगमेंटेड वातावरण के भीतर शोध-स्तरीय प्रमाण निर्माण का मूल्यांकन करने के लिए एक मानकीकृत, निजी बेंचमार्क का अभाव है।

कार्यप्रणाली

बेंचमार्क निर्माण (IMProofBench)

IMProofBench एक निजी बेंचमार्क है जिसमें 44 से अधिक पेशेवर गणितज्ञों के सहयोग से विकसित 77 सहकर्मी-समीक्षित (peer-reviewed) समस्याएं शामिल हैं। समस्या निर्माण पाइपलाइन में शामिल हैं:

• लेखकत्व (Authorship): समस्याएं उनके विशिष्ट क्षेत्रों के विशेषज्ञों द्वारा लिखी जाती हैं, जो स्नातक-स्तरीय मौखिक परीक्षा के प्रश्नों से लेकर खुले शोध प्रश्नों तक विस्तृत हैं।
• सहकर्मी समीक्षा (Peer Review): प्रत्येक सबमिशन की एक कोर टीम के सदस्य और संबंधित क्षेत्र के एक बाहरी विशेषज्ञ द्वारा कठोर समीक्षा की जाती है ताकि गणितीय शुद्धता, उचित कठिनाई और स्पष्टता सुनिश्चित की जा सके।
• संरचना: प्रत्येक समस्या में एक मुख्य प्रमाण-लेखन कार्य और अनुवर्ती उप-प्रश्न शामिल हैं जिनके उत्तर अद्वितीय और स्वचालित रूप से ग्रेड करने योग्य हैं। यह दोहरी संरचना मानव विशेषज्ञ मूल्यांकन और अंतिम उत्तरों के स्वचालित मात्रात्मक विश्लेषण, दोनों का समर्थन करती है।
• गतिशील प्रकृति (Dynamic Nature): बेंचमार्क को एक निरंतर प्लेटफॉर्म के रूप में डिज़ाइन किया गया है। समस्याओं को निरंतर जोड़ा जाता है, और लेखकों को उन समस्याओं को रिटायर करने के लिए प्रोत्साहित किया जाता है यदि वे नए शोध के कारण हल करने योग्य हो जाती हैं, जिससे बेंचमार्क संतृप्त (unsaturated) न हो।

मूल्यांकन ढांचा

मूल्यांकन Inspect फ्रेमवर्क पर निर्मित एक एजेंटिक फ्रेमवर्क (agentic framework) का उपयोग करके एक वास्तविक शोध वातावरण का अनुकरण करता है। मॉडल्स के पास निम्नलिखित तक पहुँच होती है:

• कंप्यूटेशनल टूल्स: पायथन (NumPy, SciPy, SymPy), बाश (Arch Linux), और विशेष गणितीय सॉफ्टवेयर जैसे SageMath, GAP, Maxima, PARI/GP, और Singular।
• साहित्य खोज (Literature Search): प्रासंगिक प्रमेयों, शोध पत्रों या डेटा (जैसे, OEIS) को खोजने के लिए वेब सर्च क्षमताएं।
• इंटरैक्शन: मॉडल्स मल्टी-टर्न इंटरैक्शन में संलग्न होते हैं, जो तर्क चरणों (reasoning steps) को अंतिम आउटपुट से अलग करने के लिए एक submit टूल का उपयोग करते हैं।

ग्रेडिंग प्रक्रिया

मूल्यांकन दो चरणों में होता है:

1. स्वचालित ग्रेडिंग: अनुवर्ती उप-प्रश्नों को मॉडल के आउटपुट की तुलना ग्राउंड-ट्रुथ उत्तरों से करके ग्रेड किया जाता है।
2. मानव विशेषज्ञ ग्रेडिंग: मुख्य प्रमाण का मूल्यांकन समस्या के लेखक द्वारा 0–3 के पैमाने पर किया जाता है:
   • 0/3: कोई प्रगति नहीं।
   • 1/3: मामूली प्रगति (सीमित उन्नति)।
   • 2/3: बड़ी प्रगति (पर्याप्त कार्य पूर्ण हुआ)।
   • 3/3: पूर्ण समाधान।
     ग्रेडर्स विशिष्ट त्रुटि प्रकारों (तार्किक गलतियाँ, मतिभ्रम/hallucinations, गणना संबंधी त्रुटियाँ, वैचारिक गलतफहमियां) और उपलब्धि संकेतकों (समझ, सही परिणाम, अंतर्दृष्टि, उपयोगिता) को भी एनोटेट करते हैं। पूर्वाग्रह को रोकने के लिए, ग्रेडिंग के दौरान मॉडल की पहचान छिपाई जाती है।

प्रमुख योगदान

1. IMProofBench: एक निजी, विकसित होने वाला बेंचमार्क जो विशेष रूप से शोध-स्तरीय गणितीय प्रमाण निर्माण के लिए डिज़ाइन किया गया है, जिसे सीधे गणितीय समुदाय के सहयोग से विकसित किया गया है।
2. व्यवस्थित विश्लेषण: प्रमाण निर्माण पर अत्याधुनिक LLMs का व्यापक मूल्यांकन, जिसे मानव विशेषज्ञों द्वारा आंका गया है, जो केवल अंतिम-उत्तर सटीकता से आगे बढ़ता है।
3. गुणात्मक अंतर्दृष्टि: मॉडल की शक्तियों और विफलता मोड का विस्तृत विश्लेषण, जो अंतिम-उत्तर सटीकता और वास्तविक प्रमाण-लेखन क्षमता के बीच के अंतर को उजागर करता है, साथ ही शोध उपकरणों के साथ मॉडल्स के इंटरैक्शन को भी दर्शाता है।

प्रयोगात्मक परिणाम

प्रदर्शन अवलोकन

लेखकों ने 10 LLMs का प्रमाण-आधारित भाग पर मूल्यांकन किया:

• शीर्ष प्रदर्शनकर्ता: GPT-5.4 ने उच्चतम प्रदर्शन किया, जिसने 49% कार्यों के लिए पूर्ण समाधान (3/3) प्रस्तुत किए। GEMINI-3.1-PRO 46% के साथ निकटतम स्थान पर रहा।
• निम्न प्रदर्शनकर्ता: CLAUDE-OPUS-4.6 ने केवल 32% कार्यों के लिए पूर्ण समाधान प्रदान किए।
• खुले प्रश्न (Open Problems): बेंचमार्क के 23 खुले शोध प्रश्नों में से, GPT-5 ने दिसंबर 2025 में एक को हल किया।

अंतिम-उत्तर बनाम प्रमाण निर्माण

45 प्रश्नों के उप-समुच्चय (जिसमें अनुवर्ती उप-प्रश्न शामिल हैं) पर, GPT-5.4 ने 75% की अंतिम-उत्तर सटीकता प्राप्त की। उप-प्रश्न स्कोर और मानव-ग्रेड किए गए प्रमाण की प्रगति के बीच सहसंबंध 0.51 था, जो यह सुझाव देता है कि हालांकि अंतिम-उत्तर सटीकता एक उपयोगी प्रॉक्सी है, लेकिन इसमें तर्क प्रक्रिया की गुणवत्ता का मूल्यांकन करने के लिए आवश्यक सूक्ष्मता का अभाव है।

त्रुटि और टूल विश्लेषण

• त्रुटि के प्रकार: तार्किक त्रुटियाँ सबसे आम विफलता मोड थीं (जैसे, निराधार धारणाएं), विशेष रूप से CLAUDE-OPUS-4.6 (40% प्रतिक्रियाओं) में। गैर-मौजूद प्रमेयों के मतिभ्रम (hallucinations) भी देखे गए।
• टूल का उपयोग: मॉडल्स के टूल उपयोग में काफी भिन्नता देखी गई। GEMINI-3.1-PRO ने अन्य मॉडल्स की तुलना में लगभग चार गुना अधिक टूल कॉल किए लेकिन सबसे कम आउटपुट टोकन का उपयोग किया।
• एब्लेशन अध्ययन (Ablation Study): एजेंटिक सेटअप पर एक एब्लेशन ने खुलासा किया कि टूल एक्सेस ने आम तौर पर प्रदर्शन में सुधार किया (जैसे, GROK-4 के लिए +14.4%), हालांकि कुछ मॉडल्स (जैसे, GEMINI-2.5-PRO) में थोड़ी गिरावट देखी गई, जो संभवतः उप-इष्टतम टूल चयन (जैसे, गणितीय तर्क के लिए कोड इंटरप्रेटर का अत्यधिक उपयोग) के कारण थी।

गुणात्मक अवलोकन

• साहित्यिक ज्ञान: अग्रणी मॉडल्स ने विशिष्ट गणितीय साहित्य के प्रति मजबूत परिचितता प्रदर्शित की लेकिन निजी लेक्चर नोट्स जैसे अस्पष्ट स्रोतों के साथ संघर्ष किया।
• मतिभ्रम और आत्मविश्वास: मॉडल्स ने उत्तर देने के लिए जबरदस्ती परिणाम को मतिभ्रम (hallucinate) किया और वे शायद ही कभी समाधान देने से परहेज करते थे, भले ही वे फंस गए हों। उन्होंने अक्सर उच्च आत्मविश्वास के साथ त्रुटिपूर्ण तर्क प्रस्तुत किए।
• अंतर्दृष्टि: त्रुटियों के बावजूद, मॉडल्स ने अक्सर ऐसी अंतर्दृष्टि और आंशिक प्रगति प्रदान की जो मानव शोधकर्ताओं के लिए उपयोगी हो सकती है, जिसमें GPT-5.4 ने लगभग 60% प्रयासों में सार्थक योगदान दिया।

महत्व और दावे

यह पेपर यह दावा करता है कि IMProofBench शोध-स्तरीय प्रमाण निर्माण पर ध्यान केंद्रित करके AI मूल्यांकन में एक महत्वपूर्ण अंतर को संबोधित करता है। लेखक तर्क देते हैं कि:

1. वर्तमान क्षमताएं: अत्याधुनिक LLMs पहले से ही शोध-स्तरीय समस्याओं के एक सार्थक हिस्से को हल कर सकते हैं, जो गणितीय सहयोगकर्ता के रूप में उनकी क्षमता को दर्शाता है।
2. सीमाएं: वर्तमान मॉडल्स अभी भी अपूर्ण हैं, तार्किक त्रुटियों और मतिभ्रम के प्रति संवेदनशील हैं, और अक्सर एक सही अंतिम उत्तर और एक वैध प्रमाण के बीच अंतर करने में सक्षम नहीं होते हैं।
3. मूल्यांकन की आवश्यकता: बेंचमार्क यह प्रदर्शित करता है कि अंतिम-उत्तर मेट्रिक्स गणितीय क्षमता को मापने के लिए अपर्याप्त हैं; तर्क प्रक्रिया के मानव विशेषज्ञ मूल्यांकन की आवश्यकता है।
4. भविष्य की दिशा: यह कार्य वास्तविक शोध सेटिंग्स में LLMs के निरंतर, गतिशील मूल्यांकन के लिए एक ढांचा स्थापित करता है, जो इस बात के अध्ययन की सुविधा प्रदान करता है कि AI को गणितीय वर्कफ़्लो में प्रभावी ढंग से कैसे एकीकृत किया जा सकता है।

लेखक एक विनम्र रुख बनाए रखते हैं, यह नोट करते हुए कि बेंचमार्क वर्तमान में सक्रिय विकास के अधीन है और इसमें समस्याओं की संख्या सीमित (77) है, लेकिन वे तर्क देते हैं कि भले ही इस स्तर पर भी, यह गणितीय अनुसंधान में AI के प्रक्षेपवक्र (trajectory) के बारे में मूल्यवान अंतर्दृष्टि प्रदान करता है।