BODHI: Precise OS Kernel Specification Inference
यह शोध पत्र BODHI को प्रस्तुत करता है, जो एक डोमेन नॉलेज प्रॉम्प्टिंग विधि है जो एक संरचित C-से-पायथन अनुवाद गाइड को शामिल करके ऑपरेटिंग सिस्टम कर्नेल के लिए सटीक औपचारिक विनिर्देशों (formal specifications) को स्वचालित रूप से उत्पन्न करने में लार्ज लैंग्वेज मॉडल्स की सटीकता में महत्वपूर्ण सुधार करती है, जिससे OSV-Bench बेंचमार्क पर 96.73% तक Pass@1 प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी तस्वीर: "अनुवादक" की समस्या
कल्पive है कि आपके पास एक बहुत ही सख्त, पुराने जमाने का लाइब्रेरियन (ऑपरेटिंग सिस्टम कर्नेल) है जो केवल एक जटिल, प्राचीन भाषा बोलता है जिसे C कहा जाता है। आप उस लाइब्रेरियन से एक विशिष्ट काम करने के लिए कहना चाहते हैं, जैसे "एक किताब ढूँढो और उसे मेरे हाथ में थमा दो।"
हालाँकि, लाइब्रेरियन केवल आपके अनुरोध को स्वीकार नहीं करता; उन्हें एक औपचारिक नियम पुस्तिका (formal rulebook) चाहिए जो पूरी तरह से एक अलग भाषा (Python/Z3) में लिखी गई हो, जो गणितीय रूप से यह सिद्ध करे कि काम सुरक्षित रूप से किया जाएगा, बिना किताब गिराए या गलत व्यक्ति को थमाए। यदि नियम पुस्तिका में एक भी छोटी सी गलती होती है, तो लाइब्रेरियन काम करने से मना कर देता है, और पूरा सिस्टम क्रैश हो जाता है।
दशकों से, इंसानों को ये नियम पुस्तिकाएं मैन्युअल रूप से लिखनी पड़ती थीं। यह एक उपन्यास का अनुवाद करने और साथ ही एक गणितीय प्रमाण लिखने जैसा था। यह धीमा, महंगा और त्रुटियों से भरा था।
हाल ही में, हमने इस अनुवाद को करने के लिए AI (लार्ज लैंग्वेज मॉडल्स) का उपयोग करने की कोशिश की। AI सामान्य कोड लिखने में बहुत अच्छा है, लेकिन जब इसे इन विशिष्ट, गणित-प्रधान नियम पुस्तिकाओं को लिखने के लिए कहा गया, तो यह बार-बार विफल होता रहा। पिछले सबसे अच्छे प्रयास में, AI केवल 55% बार ही अनुवाद सही कर पाता था। यह एक ऐसे अनुवादक की तरह था जो शब्द तो जानता है लेकिन कहानी के व्याकरण और अर्थ को गलत कर देता है।
समाधान: BODHI (द "चीट शीट")
लेखकों ने इस शोध पत्र में BODHI नामक एक विधि बनाई है। AI से केवल यह पूछने के बजाय कि "कृपया इस कोड का अनुवाद करें," उन्होंने काम शुरू करने से ठीक पहले AI को एक विशाल, संरचित चीट शीट (Cheat Sheet) (एक 519-लाइन वाला अनुवाद मार्गदर्शिका) दे दी।
इसे इस तरह समझें:
- पहले: आप एक छात्र को एक कठिन गणित का सवाल देते हैं और कहते हैं, "इसे हल करो।" छात्र अपने स्कूल की धुंधली यादों के आधार पर अनुमान लगाता है।
- BODHI के साथ: आप छात्र को वही समस्या देते हैं, लेकिन साथ ही आप उसे एक पाठ्यपुस्तक का अध्याय (textbook chapter) भी देते हैं जो विशेष रूप से उन गलतियों के बारे में है जो वे आमतौर पर करते हैं। वह अध्याय कहता है जैसे:
- "जब आप पुरानी भाषा में एक 'चेक' (check) देखते हैं, तो आपको नई भाषा में एक 'निषेध' (negation) लिखना चाहिए।"
- "जब आप एक मान (value) को पढ़ते हैं, तो कोष्ठक
()का उपयोग करें। जब आप एक मान को लिखते हैं, तो ब्रैकेट[]का उपयोग करें। इन्हें आपस में न मिलाएं!" - "मेमोरी पेजों को संभालने के लिए सटीक फॉर्मूला यहाँ दिया गया है।"
यह कैसे काम करता है ("चिंताओं का पृथक्करण" - Separation of Concerns)
पेपर में एक विशेष ट्रिक का उल्लेख किया गया है जिसका उन्होंने उपयोग किया है। पुराने कोड (C) में, त्रुटियों की जाँच करना (जैसे "क्या यह ID वैध है?") और वास्तविक कार्य करना (जैसे "फ़ाइल को मूव करना") अक्सर एक अव्यवस्थित ढेर में मिले हुए होते हैं।
BODHI गाइड AI को चिंताओं को अलग करना (separate the concerns) सिखाती है:
- सुरक्षा जाँच (Pre-condition): पहले, उन सभी नियमों को लिखें कि काम कब शुरू करने की अनुमति है।
- कार्रवाई (Post-condition): फिर, विस्तार से लिखें कि काम शुरू होने के बाद वास्तव में क्या होता है।
AI को इन दोनों को दो अलग-अलग कार्यों के रूप में मानने के लिए मजबूर करके, यह भ्रमित होने और "सुरक्षा नियमों" को "कार्य चरणों" के साथ मिलाने से रुक जाता है।
परिणाम: "C-ग्रेड" से "A+" तक
शोधकर्ताओं ने छह अलग-अलग कंपनियों (Anthropic, Meta और Alibaba जैसे बड़े नामों सहित) के नौ अलग-अलग AI मॉडल्स पर इस "चीट शीट" पद्धति का परीक्षण किया।
- परिणाम: हर एक AI मॉडल बेहतर हुआ।
- सुधार: सबसे अच्छा मॉडल, जो पहले 55% सही था, बढ़कर 96.73% सही हो गया।
- आश्चर्य: सबसे बड़े सुधार सबसे "स्मार्ट" AI मॉडल्स से नहीं, बल्कि "मिड-टियर" (मध्यम स्तर के) मॉडल्स से आए।
- उपमा: कल्पना कीजिए कि एक जीनियस छात्र है जो सामग्री को पहले से जानता है; उसे चीट शीट देने से थोड़ा ही फर्क पड़ता है। लेकिन एक स्मार्ट छात्र जो कुछ प्रमुख तथ्यों को भूल गया है? उसे वह चीट शीट देना उसे एक शीर्ष प्रदर्शन करने वाले में बदल देता है। "चीट शीट" ने उस विशिष्ट ज्ञान की कमी को पूरा किया जो AI के पास अपने आप में नहीं था।
यह क्यों महत्वपूर्ण है
पेपर का दावा है कि ज्ञान ही वह गायब कड़ी है, न कि केवल "स्मार्टर" AI।
AI मॉडल्स कोड लिखने में पहले से ही बहुत अच्छे हैं। समस्या यह नहीं थी कि वे सोच नहीं सकते थे; समस्या यह थी कि वे इस विशिष्ट ऑपरेटिंग सिस्टम के विशिष्ट, अजीब नियमों (जैसे पेज टेबल या इंटरप्ट रीमैपिंग को कैसे संभालें) को नहीं जानते थे। प्रॉम्प्ट (चीट शीट) में इस विशिष्ट डोमेन ज्ञान को सीधे इंजेक्ट करके, उन्होंने "सामान्य कोड लेखन" और "औपचारिक सुरक्षा सत्यापन" के बीच के अंतर को पाट दिया।
एक वाक्य में सारांश
यह पेपर दिखाता है कि यदि आप AI मॉडल्स को एक संरचित, विस्तृत "अनुवाद मार्गदर्शिका" देते हैं जो ऑपरेटिंग सिस्टम सुरक्षा के विशिष्ट नियमों को समझाती है, तो वे 55% की सफलता दर को लगभग पूर्ण 96% में बदल सकते हैं, जिससे वे महत्वपूर्ण कंप्यूटर सिस्टम को सत्यापित करने में विश्वसनीय बन जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।