s2n-bignum-bench: A practical benchmark for evaluating low-level code reasoning of LLMs
यह शोध पत्र \textit{s2n-bignum-bench} को प्रस्तुत करता है, जो कि प्रतिस्पर्धात्मक गणित में सफलता और वास्तविक दुनिया के औपचारिक सत्यापन (formal verification) के बीच के अंतर को संबोधित करने के लिए, HOL Light में औद्योगिक निम्न-स्तरीय क्रिप्टोग्राफिक असेंबली रूटीन के लिए मशीन-जांच योग्य प्रमाण उत्पन्न करने की लार्ज लैंग्वेज मॉडल्स (LLMs) की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला सार्वजनिक बेंचमार्क है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन प्रशिक्षु (apprentice) को एक बहुत ही विशिष्ट, उच्च-जोखिम वाली मशीन को ठीक करना सिखाने की कोशिश कर रहे हैं: एक क्रिप्टोग्राफिक लॉक जिसका उपयोग अमेज़न जैसी बड़ी कंपनियाँ अपने डेटा को सुरक्षित रखने के लिए करती हैं।
यह शोध पत्र एक नया "फाइनल एग्जाम" पेश करता है जिसे s2n-bignum-bench कहा जाता है, ताकि यह परीक्षण किया जा सके कि क्या आर्टिफिशियल इंटेलिजेंस (विशेष रूप से लार्ज लैंग्वेज मॉडल्स या LLMs) उस प्रशिक्षु बनने के लिए तैयार है।
यहाँ इस शोध पत्र का विवरण दिया गया है, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:
1. समस्या: गणित बनाम वास्तविक मशीनें
वर्तमान में, AI मॉडल गणित की पहेलियों (जैसे कि हाई स्कूल प्रतियोगिताओं में मिलने वाली पहेलियाँ) को हल करने में बहुत अच्छे हैं। यदि आप AI को एक जटिल ज्यामिति प्रमेय (geometry theorem) सिद्ध करने के लिए कहते हैं, तो वह ए+ (A+) प्राप्त कर सकता है।
लेकिन एक गणितीय पहेली को कागज पर हल करने और एक वास्तविक मशीन को ठीक करने के बीच एक बड़ा अंतर है।
- गणित की पहेलियाँ: अमूर्त (abstract), स्वच्छ और सख्त तार्किक नियमों का पालन करती हैं।
- वास्तविक मशीन कोड: अव्यवस्थित होता है, विशिष्ट कंप्यूटर हार्डवेयर (जैसे कि आईफोन चिप और विंडोज सर्वर के बीच का अंतर) पर निर्भर करता है, और इसमें "असेंबली लैंग्वेज" (कंप्यूटर द्वारा वास्तव में समझे जाने वाले निम्न-स्तरीय निर्देश) शामिल होती है।
लेखक कहते हैं: "सिर्फ इसलिए कि एक AI गणित की पहेली हल कर सकता है, इसका मतलब यह नहीं है कि वह यह सिद्ध कर सकता है कि एक वास्तविक दुनिया का सुरक्षा कोड गलती से आपका पासवर्ड लीक नहीं करेगा।"
2. समाधान: एक "वास्तविक दुनिया" का एग्जाम
इसे ठीक करने के लिए, लेखकों ने s2n-bignum पर आधारित एक नया परीक्षण बनाया है, जो एक वास्तविक लाइब्रेरी है जिसका उपयोग अमेज़न वेब सर्विसेज (AWS) द्वारा एन्क्रिप्शन के लिए बड़े नंबरों को संभालने हेतु किया जाता है।
- स्रोत सामग्री (Source Material): यह लाइब्रेरी पहले से ही "वेरिफाइड" (verified) है। इसका अर्थ है कि मानव विशेषज्ञों ने पहले ही एक सटीक, चरण-दर-चरण प्रमाण लिखा है जो यह दर्शाता है कि कोड सही ढंग से काम करता है।
- परीक्षण: लेखकों ने इन वास्तविक प्रमाणों को लिया, "उत्तर कुंजी" (प्रूफ स्क्रिप्ट) को हटा दिया, और AI को "प्रश्न" (कोड और लक्ष्य) दे दिया।
- लक्ष्य: AI को एक नई प्रूफ स्क्रिप्ट लिखनी होगी जिसे एक कंप्यूटर सिस्टम (HOL Light) पढ़ सके और उसे 100% सही मानकर सत्यापित कर सके।
इसे इस तरह समझें: मानव विशेषज्ञों ने एक पुल बनाया और उसके ब्लूप्रिंट लिखे। उन्होंने उन ब्लूप्रिंट्स को छिपा दिया। अब, वे AI से उन ब्लूप्रिंट्स को फिर से बिल्कुल सटीक रूप से बनाने के लिए कह रहे हैं ताकि एक सुरक्षा निरीक्षक (कंप्यूटर) पुल को मंजूरी दे सके।
3. यह एग्जाम कैसे काम करता है
एग्जाम को निष्पक्ष लेकिन सख्त बनाया गया है:
- "नकल न करने" का नियम: AI केवल यह नहीं कह सकता कि "मैं वादा करता हूँ कि यह काम करता है" (एक प्लेसहोल्डर तकनीक)। इसे वास्तव में वास्तविक तार्किक चरणों को प्रदान करना होगा। यदि यह नकल करने की कोशिश करता है, तो सिस्टम इसे तुरंत पकड़ लेता है।
- "समय सीमा": कुछ प्रमाण त्वरित पहेलियों (सेकंडों में) की तरह होते हैं, जबकि अन्य एक विशाल जिग्सॉ पहेली (घंटों में) को हल करने जैसे होते हैं। लेखों ने अलग-अलग कठिनाई स्तरों के लिए अलग-अलग समय सीमा दी है ताकि AI हमेशा के लिए न फंसा रहे।
- "ओब्फस्केशन" (Obfuscation) का तरीका: AI को इसके ट्रेनिंग डेटा से उत्तर याद करने से रोकने के लिए, लेखकों ने प्रश्नों के दिखने के तरीके को थोड़ा बदल दिया है (जैसे कि फॉन्ट बदलना या अतिरिक्त विवरण जोड़ना) ताकि AI को केवल याद करने के बजाय वास्तव में सोचना पड़े।
4. परिणाम: AI अभी भी सीख रहा है
लेखकों ने इस परीक्षा पर एक बहुत ही स्मार्ट AI मॉडल (GPT-5.3-Codex) का परीक्षण किया।
- स्कोर: AI लगभग 4% से 5% समस्याओं को हल करने में सफल रहा।
- निष्कर्ष: यह कोई विफलता नहीं है; यह एक वास्तविकता की जाँच (reality check) है। यह दिखाता है कि हालांकि AI गणित में अच्छा हो रहा है, लेकिन यह वास्तविक दुनिया के कंप्यूटर सुरक्षा कोड के बारीक विवरणों में अभी भी बहुत खराब है। यह एक ऐसे छात्र की तरह है जो कैलकुलस टेस्ट में तो टॉप कर सकता है लेकिन कार का इंजन ठीक करने के लिए कहा जाए तो उलझ जाता है।
5. यह क्यों महत्वपूर्ण है
यह बेंचमार्क महत्वपूर्ण है क्योंकि:
- सुरक्षा सर्वोपरि है: क्रिप्टोग्राफी हमारे पैसे, रहस्यों और पहचान की रक्षा करती है। यदि कोड में बग है, तो यह एक आपदा है। हमें ऐसे AI की आवश्यकता है जो इस कोड को सत्यापित कर सके, न कि केवल इसे लिखे।
- नया मानक: यह AI अनुसंधान को "पहेलियाँ सुलझाने" से हटाकर "इंजीनियरिंग समस्याओं को हल करने" की ओर ले जाता है।
- ओपन सोर्स: लेखक इस परीक्षा को सभी के लिए उपलब्ध करा रहे हैं। वे चाहते हैं कि अन्य शोधकर्ता इस 5% के स्कोर को तोड़ने की कोशिश करें और AI को सॉफ्टवेयर सुरक्षा के विश्वसनीय उपकरण के रूप में विकसित करने के लिए आगे बढ़ें।
संक्षेप में
शोध पत्र कहता है: "हमने वास्तविक अमेज़न सुरक्षा कोड का उपयोग करके एक कठिन, वास्तविक दुनिया का परीक्षण बनाया है ताकि यह देखा जा सके कि क्या AI यह सिद्ध कर सकता है कि कंप्यूटर प्रोग्राम सुरक्षित हैं। AI वर्तमान में संघर्ष कर रहा है, लेकिन यह परीक्षण हमें यह सिखाने के लिए एक स्पष्ट रोडमैप देता है कि इसे सॉफ्टवेयर सुरक्षा में एक सच्चा विशेषज्ञ कैसे बनाया जाए।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।