← नवीनतम पेपर
🤖 AI

Governed Metaprogramming for Intelligent Systems: Reclassifying Eval as a Governed Effect

यह शोध पत्र "गवर्नड मेटाप्रोग्रामिंग" (governed metaprogramming) का प्रस्ताव करता है, जो एक ऐसा भाषा डिज़ाइन है जो अनियंत्रित `eval` प्रिमिटिव को एक नियंत्रित प्रभाव (governed effect) के रूप में पुनर्वर्गीकृत करता है, जिसके लिए प्रतीकात्मक रूपों को निष्पादन योग्य कोड में भौतिक रूप देने से पहले संरचनात्मक निरीक्षण और नीति अनुपालन की आवश्यकता होती है, जिससे स्व-संशोधन करने वाली एआई प्रणालियों में सुरक्षा और अधिकार नियंत्रण सुनिश्चित होता है।

मूल लेखक: Alan L. McCann

प्रकाशित 2026-05-27
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Alan L. McCann

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट सहायक है जो अपने स्वयं के निर्देश लिख सकता है। यह किसी समस्या को देख सकता है, उस पर विचार कर सकता है, और फिर अपने लिए नियमों का एक नया सेट टाइप कर सकता है।

पुराने प्रोग्रामिंग की दुनिया में, यदि इस रोबोट ने नए नियमों का एक सेट लिखा, तो कंप्यूटर बस कहता, "ठीक है, मैं उन्हें अभी चला दूँगा।" वह यह नहीं पूछता, "रुको, क्या ये नियम सुरक्षित हैं? क्या ये आपका बैंक पासवर्ड चुराने की कोशिश कर रहे हैं? क्या ये आपकी फ़ाइलें डिलीट करने की कोशिश कर रहे हैं?" कंप्यूटर लिखित शब्दों को क्रिया में बदलने के कार्य को एक जादुई बटन की तरह मानता था जो हमेशा काम करता था।

यह पेपर तर्क देता है कि जो AI सिस्टम खुद को फिर से लिख सकते हैं, उनके लिए वह "जादुई बटन" खतरनाक है। लेखक, एलन एल. मैकेन (Alan L. McCann), इस तरह से निपटने का एक नया तरीका प्रस्तावित करते हैं जिसे गवर्नड मेटाप्रोग्रामिंग (Governed Metaprogramming) कहा जाता है।

यहाँ मुख्य विचार दिया गया है, जिसे सरल उपमाओं के साथ तोड़कर समझाया गया है:

1. समस्या: "जादुई बटन" टूट गया है

एक कंप्यूटर प्रोग्राम को एक रेसिपी (विधि) की तरह समझें।

  • कोड (The Code): लिखित रेसिपी (सामग्री और चरण)।
  • एक्जीक्यूशन (The Execution): भोजन पकाने की क्रिया।

पारंपरिक प्रणालियों में, यदि आप कागज पर एक नई रेसिपी लिखते हैं, तो आप उसे तुरंत शेफ को दे सकते हैं, और शेफ खाना बनाना शुरू कर देता है। कागज-से-खाना बनाने का संक्रमण तात्कालिक और निर्बाधिकार है।

लेकिन आधुनिक AI में, "शेफ" (AI) खाना बनाते समय नई रेसिपी लिख सकता है। यदि AI एक ऐसी रेसिपी लिखता है जिसमें लिखा है "पूरा किचन खा जाओ," और सिस्टम बस इसे तुरंत पकाने की अनुमति दे देता है, तो तबाही मच जाती है। यह पेपर इस संक्रमण को "अथॉरिटी एम्प्लीफिकेशन" (Authority Amplification) कहता है। यह वह क्षण है जब कागज का एक टुकड़ा (डेटा) अचानक वास्तविक दुनिया को बदलने (एक्जीक्यूट करने) की शक्ति प्राप्त कर लेता है।

2. समाधान: रेसिपी के लिए "सुरक्षा गार्ड"

पेपर सुझाव देता है कि हमें रेसिपी को भोजन में बदलने की क्रिया को केवल एक साधारण कंप्यूटर फंक्शन के रूप में मानना बंद कर देना चाहिए। इसके बजाय, हमें इसे एक गवर्नड इफेक्ट (governed effect) के रूप में मानना चाहिए—एक विशेष क्रिया जिसके लिए सुरक्षा गार्ड की मंजूरी की आवश्यकता होती है।

सिस्टम एक नया अवधारणा पेश करता है जिसे मशीन फॉर्म्स (Machine Forms) कहा जाता है।

  • मशीन फॉर्म्स रेसिपी के ब्लूप्रिंट (खाके) या आरेख (डायग्राम) की तरह हैं। वे केवल डेटा हैं। वे कुछ भी पका नहीं सकते। वे फोन नंबर नहीं मिला सकते। वे केवल निर्देशों की तस्वीरें हैं।
  • ब्लूप्रिंट का हेरफेर करना (उन पर रेखाएं खींचना, रेखाएं मिटाना, दो ब्लूप्रिंट को मिलाना) सुरक्षित है। यह लेगो (Legos) के साथ खेलने जैसा है। केवल प्लास्टिक के ईंटों को इधर-उधर करने से वास्तविक दुनिया में कोई नुकसान नहीं हो सकता।

3. महत्वपूर्ण चरण: "मटेरियलाइजेशन" (Materialization)

खतरनाक क्षण को मटेरियलाइजेशन कहा जाता है। यह वह समय है जब आप ब्लूप्रिंट लेते हैं और कहते हैं, "ठीक है, इसे बनाओ।"

इस नए सिस्टम में, आप केवल "इसे बनाओ" नहीं कह सकते। आपको ब्लूप्रिंट को एक गवर्नेंस सिस्टम (Governance System) (सुरक्षा गार्ड) को सौंपना होगा। गार्ड खाना पकाने की अनुमति देने से पहले तीन चीजें करता है:

  1. ब्लूप्रिंट का निरीक्षण करता है: क्या यह रेसिपी किसी वर्जित सामग्री (जैसे कि एक खतरनाक AI मॉडल) का उपयोग करने की कोशिश कर रही है?
  2. नियमों की जाँच करता है: क्या यह रेसिपी बजट के भीतर है? क्या यह उन फाइलों तक पहुँचने की कोशिश कर रही है जिन्हें इसे नहीं छूना चाहिए?
  3. निर्णय लेता है: यदि यह पास हो जाता है, तो गार्ड "गो" (Go) सिग्नल देता है। यदि यह विफल हो जाता है, तो ब्लूप्रिंट को कचरे में फेंक दिया जाता है।

4. यह स्व-सुधार करने वाले AI के लिए क्यों महत्वपूर्ण है

कल्पना कीजिए कि एक AI जो अधिक स्मार्ट बनना चाहता है। वह अपने स्वयं के कोड को देखता है, महसूस करता है कि वह गणित में खराब है, और अपने स्वयं का एक नया संस्करण लिखता है जो गणित में बेहतर है।

  • इस सिस्टम के बिना: AI नया कोड लिखता है, "रन" (Run) दबाता है, और अचानक नए कोड के पास पूर्ण शक्ति आ जाती है। यदि AI ने कोई गलती की या उसे धोखा दिया गया, तो वह अनजाने में खुद को सब कुछ डिलीट करने की शक्ति दे सकता है।
  • इस सिस्टम के साथ: AI नया कोड (ब्लूप्रिंट) लिखता है। फिर उसे सुरक्षा गार्ड से पूछना होगा, "क्या मैं इस नए संस्करण बन सकता हूँ?" गार्ड नए कोड की जाँच करता है। यदि नया कोड कुछ ऐसा करने की कोशिश करता है जिसे करने की अनुमति AI को नहीं है (जैसे कि एक गुप्त डेटाबेस तक पहुँचना), तो गार्ड "नहीं" कहता है। AI गार्ड को बायपास नहीं कर सकता, भले ही उसने स्वयं वह कोड लिखा हो।

मुख्य निष्कर्ष

पेपर का दावा है कि eval (वह कमांड जो कोड को क्रिया में बदलता है) केवल एक उपकरण नहीं है; यह एक पावर ग्रांट (शक्ति प्रदान करना) है।

इसे एक "गवर्नड इफेक्ट" के रूप में पुनर्वर्गीकृत करके, सिस्टम यह सुनिश्चित करता है कि:

  1. कोड लिखना (ब्लूप्रिंट का हेरफेर करना) सुरक्षित और शुद्ध है।
  2. कोड चलाना (ब्लूप्रिंट को क्रिया में बदलना) हमेशा एक चेकपॉइंट से होकर गुजरता है।
  3. कोई शॉर्टकट मौजूद नहीं हैं। आप एक सामान्य गणना के भीतर एक खतरनाक प्रोग्राम को छिपाकर गार्ड के पास से चुपके से नहीं निकाल सकते।

लेखक ने इसे मशीनटॉक (MashinTalk) नामक एक सिस्टम में लागू किया और गणितीय रूप से (454 औपचारिक प्रमेयों का उपयोग करके) सिद्ध किया कि इस सुरक्षा गार्ड को बायपास करना असंभव है। यह एक ऐसी दुनिया बनाता है जहाँ AI अपने स्वयं के नए संस्करण बना सकता है, लेकिन केवल तभी जब वे संस्करण पहले एक सख्त सुरक्षा निरीक्षण से गुजरते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →