FindStatBench: Evaluating Large Language Models on Combinatorial Code Synthesis
यह शोध पत्र FindStatBench प्रस्तुत करता है, जो कॉम्बिनेटरियल कोड सिंथेसिस (combinatorial code synthesis) पर लार्ज लैंग्वेज मॉडल्स के मूल्यांकन के लिए एक कठोर निष्पादन-आधारित बेंचमार्क है, जो यह प्रकट करता है कि हालांकि शीर्ष मॉडल प्रदर्शन में अभिसरण (converge) करते हैं, लेकिन उनकी सटीकता लंबे प्रॉम्प्ट्स, कुछ कार्यों पर उदाहरणों के प्रति सहज विपरीत नकारात्मक प्रभाव और स्टैटिस्टिक सिंथेसिस की तुलना में मैप सिंथेसिस की अंतर्निहित कठिनाई से काफी बाधित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबट को गणितज्ञ बनना सिखाने की कोशिश कर रहे हैं। आप नहीं चाहते कि वह केवल संख्याओं के बारे में बातें करे; आप चाहते हैं कि वह उस पहेली को हल करने वाला वास्तविक कोड लिखे। यह कॉम्बिनेटरियल कोड सिंथेसिस (combinatorial code synthesis) की दुनिया है। "कॉम्बिनेटरिकल्स" को "चीजों को व्यवस्थित करने, बदलने या गिनने के अध्ययन" के रूप में समझें—जैसे कि यह पता लगाना कि ब्लॉक्स को कितनी तरह से स्टैक किया जा सकता है, ताश की गड्डी को कैसे व्यवस्थित किया जा सकता है, या एक मानचित्र को बिना दो छूते हुए रंगों के कैसे रंगा जा सकता है। "कोड सिंथेसिस" केवल एक एआई द्वारा कंप्यूटर प्रोग्राम लिखने की क्रिया है।
लंबे समय तक, हमने एआई का सामान्य कोडिंग कार्यों पर परीक्षण किया है, जैसे कि "नामों की एक सूची को सॉर्ट करने के लिए एक फंक्शन लिखें" या "इस वेबसाइट के बग को ठीक करें।" लेकिन ये परीक्षण थोड़े ऐसे हैं जैसे किसी शेफ को प्याज काटने के लिए कहना; वे दिखाते हैं कि क्या शेफ को चाकू पकड़ना आता है, लेकिन यह नहीं कि क्या वे शून्य से एक नई रेसिपी बना सकते हैं। यह शोध पत्र एक कठिन प्रश्न पूछता है: यदि आप एक एआई को एक सख्त, अमूर्त गणितीय नियम और कुछ उदाहरण देते हैं, तो क्या वह एक ऐसा सटीक प्रोग्राम लिख सकता है जो उस नियम का पालन करते हुए किसी भी संभावित इनपुट के लिए काम करे, यहाँ तक कि उन इनपुट के लिए भी जिन्हें उसने पहले कभी नहीं देखा है? यह एक ऐसे रोबोट के बीच का अंतर है जो रेसिपी का पालन कर सकता है और एक ऐसे रोबोट के बीच जो खाना पकाने के रसायन विज्ञान को इतनी अच्छी तरह समझता है कि वह एक ऐसा व्यंजन बना सके जिसका अस्तित्व पहले कभी नहीं था।
महान गणित कोड चुनौती: FindStatBench
FindStatBench से मिलिए, जो एआई मॉडल्स के लिए एक नया, अत्यंत कठिन जिम है। स्केल एआई (Scale AI) के शोधकर्ताओं द्वारा बनाया गया यह बेंचमार्क, एलएलएम (LLMs) की शुद्ध गणितीय विवरणों को काम करने वाले पायथन (Python) कोड में बदलने की क्षमता का परीक्षण करने के लिए डिज़ाइन किया गया है। एआई को एक साधारण स्क्रिप्ट लिखने के लिए कहने के बजाय, शोधकर्ताओं ने इसे 2,329 विशिष्ट गणितीय पहेलियाँ दीं। ये पहेलियाँ एक वास्तविक दुनिया के डेटाबेस से आती हैं जिसे 'फाइंडस्टैट' (FindStat) कहा जाता है, जो परम्यूटेशन्स (सूचियों को बदलना), ग्राफ्स (बिंदुओं और रेखाओं के नेटवर्क), और पार्टिशन्स (संख्याओं को योग में तोड़ना) जैसी चीजों के लिए "गणितीय रेसिपी" का एक पुस्तकालय है।
खेल के नियम सख्त और "क्लोज्ड-बुक" थे। एआई को एक गणितीय समस्या का विवरण और इनपुट और आउटपुट के अधिकतम पांच उदाहरण दिए गए। उसे एक एकल पायथन फंक्शन लिखना था जिसे solve(obj) कहा जाता है, जो किसी भी ऑब्जेक्ट को संभाल सके, न कि केवल उन उदाहरणों को जो उसने देखे थे। एआई कैलकुलेटर का उपयोग नहीं कर सकता था, इंटरनेट खोज नहीं सकता था, या मदद के लिए नहीं पूछ सकता था। उसे पहली बार में ही सही होना था। यह सुनिश्चित करने के लिए कि एआई केवल उत्तरों को याद नहीं कर रहा है, शोधकर्ताओं ने इसके कोड का परीक्षण 5.52 मिलियन छिपे हुए टेस्ट केस के विरुद्ध किया—लाखों ऐसी गणितीय समस्याएं जिन्हें एआई ने पहले कभी नहीं देखा था। यदि कोड इन छिपे हुए टेस्ट में से एक भी विफल होता, तो उसे गलत माना जाता।
परिणाम: एक आश्चर्यजनक टाई और कुछ अजीब गड़बड़ियाँ
जब सब कुछ समाप्त हुआ, तो परिणाम दिलचस्प और थोड़े विरोधाभासी थे।
1. "बड़े" और "छोटे" मॉडल बराबरी पर हैं
आप उम्मीद कर सकते हैं कि सबसे महंगे, शक्तिशाली "क्लोज्ड-सोर्स" मॉडल (जिन्हें उपयोग करने के लिए आपको बड़ी कंपनियों को भुगतान करना पड़ता है) ओपन-सोर्स मॉडल (जिन्हें कोई भी डाउनलोड और चला सकता है) को कुचल देंगे। लेकिन इस गणित-प्रधान क्षेत्र में, उन्होंने ऐसा नहीं किया। सबसे अच्छे ओपन-सोर्स मॉडल, gpt-oss-120b ने सबसे अच्छे क्लोज्ड-सोर्स मॉडल, Claude Sonnet 4.6 के लगभग बराबर स्कोर किया। वे 1 प्रतिशत से भी कम के अंतर पर थे। यह एक मैराथन में दो धावकों की तरह है: एक के पास एक विशाल निगम की टीम और शानदार जूते हैं, और दूसरे के पास एक स्थानीय नायक है जो हाथ से बने जूतों के साथ दौड़ रहा है। दोनों एक ही समय पर फिनिश लाइन पार कर गए।
इससे भी अधिक आश्चर्यजनक बात यह थी कि यदि आप परीक्षण किए गए सभी ग्यारह मॉडल्स के सर्वश्रेष्ठ उत्तरों को मिला दें, तो आप कुल स्कोर में केवल लगभग 10% का सुधार करते हैं। यह सुझाव देता है कि सभी मॉडल क्षमता के एक समान "सीलिंग" (सीमा) से टकरा रहे हैं। वे सभी पहेली के कठिन हिस्सों के साथ संघर्ष कर रहे हैं।
2. अधिक उदाहरण वास्तव में चीजें खराब कर सकते हैं
यहाँ मामला अजीब हो जाता है। अधिकांश एआई परीक्षणों में, मॉडल को अधिक उदाहरण देने से उसे सीखने में मदद मिलती है। लेकिन FindStatBench पर, "बाइजेक्शन" (bijections - जो 'परफेक्ट मैचिंग रूल्स' कहने के फैंसी तरीके हैं) नामक गणितीय पहेलियों के कुछ प्रकारों के लिए, मॉडल को पांच उदाहरण देने से वास्तव में प्रदर्शन शून्य उदाहरण देने की तुलना में खराब हो गया।
कल्पना कीजिए कि आप एक छात्र को ओरिगेमी क्रेन (origami crane) बनाना सिखा रहे हैं। यदि आप केवल कहते हैं "कागज को इस तरह मोड़ें," तो वे क्लासिक, परफेक्ट फोल्ड को याद रख सकते हैं। लेकिन यदि आप उन्हें पांच उदाहरण दिखाते हैं जहाँ किसी ने थोड़ा सा टेढ़ा-मेढ़ा फोल्ड बनाया है, तो छात्र भ्रमित हो सकता है और उन टेढ़े-मेढ़े फोल्ड्स की नकल करने की कोशिश कर सकता है, जिससे वह सटीक नियम को भूल सकता है। पेपर ने पाया कि कुछ क्लासिक गणितीय नियमों के लिए, उदाहरणों ने एआई के आंतरिक ज्ञान को "क्राउड आउट" (बाहर कर दिया) कर दिया, जिससे उसने ऐसा टूटा हुआ कोड लिखा जो दिखाए गए उदाहरणों में भी विफल रहा। यह "बहुत अधिक जानकारी, बहुत कम समझ" का मामला है।
3. "सोचने" का जाल
एक अन्य प्रमुख निष्कर्ष यह था कि कुछ मॉडल, विशेष रूपकर वे जो बोलने से पहले "सोचने" के लिए डिज़ाइन किए गए हैं, अक्सर जगह खत्म कर देते हैं। इन मॉडल्स की टेक्स्ट जेनरेट करने की एक सीमा होती है। कभी-कभी, वे अपनी पूरी "बजट" अपनी आंतरिक तर्क प्रक्रिया (विचार प्रक्रिया) को लिखने में खर्च कर देते हैं और वास्तविक कोड लिखने तक नहीं पहुँच पाते। यह एक छात्र की तरह है जो परीक्षा का पूरा समय इस बारे में डायरी लिखने में बिता देता है कि परीक्षा कितनी कठिन है, और फिर समस्याओं को हल करने के लिए समय ही नहीं बचता। शोधकर्ताओं ने पाया कि इन मॉडल्स को उनके विचारों (और कोड) को लिखने के लिए अधिक स्थान देने से इन विफलताओं का समाधान हो गया।
4. कठिन चीजें अभी भी कठिन हैं
जबकि एआई कुछ कार्यों (जैसे चीजों को गिनना या सरल आकृतियों के साथ काम करना) में काफी अच्छा हो गया, वह अन्य कार्यों में पूरी तरह से विफल रहा। "सेट पार्टिशन" (सेट पार्टिशन - हर संभव तरीके से वस्तुओं को समूहबद्ध करना) और "बाइनरी ट्री" (बाइनरी ट्री - पदानुक्रमित संरचनाएं) से संबंधित कार्यों के लिए, सटीकता हर मॉडल के लिए लगभग शून्य थी, चाहे वे ओपन-सोर्स हों या क्लोज्ड-सोर्स। ऐसा लगता है कि मॉडल कितना भी बड़ा क्यों न हो, या उसकी लागत कितनी भी अधिक क्यों न हो, इस प्रकार की संरचनात्मक पहेलियाँ वर्तमान में उनकी पहुंच से बाहर हैं।
इसका क्या अर्थ है
पेपर यह निष्कर्ष निकालता है कि जबकि एआई "प्लासिबल" (संभावित) गणितीय कोड लिखने में बहुत अच्छा हो रहा है, लेकिन यह सटीक, प्रतीकात्मक नियमों के मामले में अभी भी नाजुक है। मॉडल अक्सर सही उत्तर का अनुमान लगा लेते हैं, लेकिन वे जटिल संरचनाओं के लिए सटीक तर्क निकालने में संघर्ष करते हैं।
सबसे बड़ी सीख? लागत हमेशा क्षमता के बराबर नहीं होती। इस विशिष्ट परीक्षण में, एक सस्ता, ओपन-सोर्स मॉडल सबसे महंगे, प्रोप्रायटरी मॉडल्स के समान ही प्रदर्शन कर रहा था। और कभी-कभी, एआई को अधिक उदाहरण या अधिक "सोचने का समय" देना मदद नहीं करता—यह वास्तव में उसे भ्रमित कर सकता है। शोधकर्ता सुझाव देते हैं कि गणित में महारत हासिल करने के लिए, एआई को केवल चालों को याद करने के बजाय खेल के नियमों को समझने में बेहतर होने की आवश्यकता है। फिलहाल के लिए, एआई एक प्रतिभाशाली प्रशिक्षु है जो निर्देशों का पालन अच्छी तरह से कर सकता है लेकिन जब उसे एक नए प्रकार की ज्यामिति (geometry) का आविष्कार करने के लिए कहा जाता है, तो वह खो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।