← नवीनतम पेपर
💻 computer science

A Structured Approach to Safety Case Construction for AI Systems

यह शोध पत्र दावों, तर्कों और साक्ष्यों के व्यापक वर्गीकरणों के साथ-साथ एक पुन: प्रयोज्य, संरचित टेम्पलेट पेश करके आधुनिक एआई प्रणालियों के लिए पारंपरिक सुरक्षा-मामला (सेफ्टी-केस) ढांचों की अपर्याप्तता को संबोधित करता है, जिसे जनरेटिव और एजेंटिक एआई के लिए विश्वसनीय और अनुकूलनीय सुरक्षा मामले बनाने के लिए डिज़ाइन किया गया है।

मूल लेखक: Sung Une Lee, Liming Zhu, Md Shamsujjoha, Liming Dong, Qinghua Lu, Jieshan Chen, Lionel Briand

प्रकाशित 2026-03-09
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Sung Une Lee, Liming Zhu, Md Shamsujjoha, Liming Dong, Qinghua Lu, Jieshan Chen, Lionel Briand

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नया, अविश्वसनीय रूप से स्मार्ट रोबोट सहायक बना रहे हैं। पुराने इंजीनियरिंग के दिनों में (जैसे हवाई जहाज या परमाणु संयंत्र बनाना), आप एक मैनुअल लिख सकते थे कि, "यदि आप बटन A दबाते हैं, तो विमान ऊपर जाता है। यदि आप बटन B दबाते हैं, तो वह नीचे जाता है।" आप हर एक बटन का परीक्षण कर सकते थे, यह सिद्ध कर सकते थे कि यह काम करता है, और फिर कह सकते थे, "यह विमान सुरक्षित है।"

लेकिन आधुनिक AI अलग है। इसे बटन-दर-बटन नहीं बनाया जाता है; इसे लाखों किताबें पढ़ने और लाखों वीडियो देखने से "सिखाया" जाता है। यह उन चीजों को भी सीख लेता है जो हमने इसे स्पष्ट रूप से नहीं बताई थीं। यह एक बच्चे की तरह है जो एक सख्त शब्दकोश सीखने के बजाय पूरी दुनिया को सुनकर बोलना सीखता है। इस कारण से, हम केवल एक मैनुअल नहीं लिख सकते और यह नहीं कह सकते कि "यह सुरक्षित है।" हमें यह भी नहीं पता कि यह अभी क्या-क्या कर सकता है।

यह शोध पत्र इन अप्रत्याशित AI सिस्टम के लिए एक "सेफ्टी केस" (Safety Case) बनाने के तरीके पर एक मार्गदर्शिका है। एक सेफ्टी केस को एक नियम पुस्तिका के रूप में नहीं, बल्कि एक ठोस कानूनी तर्क या प्रमाणों के पोर्टफोलियो के रूप में समझें जो कहता है, "हमारा मानना है कि यह AI उपयोग के लिए पर्याप्त सुरक्षित है, और यहाँ इसे सिद्ध करने के लिए साक्ष्य दिए गए हैं।"

यहाँ इस शोध पत्र को सरल अवधारणाओं और उपमाओं में विभाजित किया गया है:

1. समस्या: "ब्लैक बॉक्स" बनाम "ब्लूप्रिंट"

  • पुराना तरीका (हवाई जहाज): आपके पास एक ब्लूप्रिंट होता है। आप हर हिस्से को जानते हैं। आप हर हिस्से का परीक्षण करते हैं। यदि ब्लूप्रिंट कहता है "सुरक्षित," तो यह सुरक्षित है।
  • नया तरीका (AI): AI एक "ब्लैक बॉक्स" है। आप इसमें डेटा डालते हैं, और यह समस्याओं को हल करने के लिए अपने आप तरीके खोज लेता है। कभी-कभी, यह ऐसी नई क्षमताएं (या चीजें बिगाड़ने के नए तरीके) खोज लेता है जिनके बारे में रचनाकारों को पता भी नहीं था।
  • चुनौती: आप उस ब्लूप्रिंट के आधार पर सुरक्षा का तर्क नहीं लिख सकते जो आपके पास है ही नहीं। आपको इस आधार पर सुरक्षा का तर्क देना होगा कि जब आप AI को छेड़छाड़ कर देखते हैं, तो वह वास्तव में क्या करता है।

2. समाधान: "सेफ्टी केस" टूलकिट

लेखकों ने लोगों को ये तर्क बनाने में मदद करने के लिए एक नया टूलकिट बनाया है। वे इसे CAE प्रणाली कहते हैं: Claims (दावे), Arguments (तर्क), और Evidence (साक्ष्य/प्रमाण)।

इसे घर बनाने जैसा समझें:

  • दावा (छत - The Claim): यह वह बड़ी घोषणा है जिसे आप सिद्ध करना चाहते हैं।
    • उदाहरण: "यह AI सरकारी दस्तावेजों को छाँटने के लिए उपयोग करने के लिए सुरक्षित है।"
  • तर्क (बीम - The Argument): यह आपकी छत को जमीन से जोड़ने वाला तर्क है। यह समझाता है कि क्यों आपका दावा सच है।
    • उदाहरण: "हमें पता है कि यह सुरक्षित है क्योंकि हमने इसका एक मानव विशेषज्ञ के विरुद्ध परीक्षण किया, और इसने कम गलतियाँ कीं।"
  • साक्ष्य (ईंटें - The Evidence): यह वास्तविक प्रमाण है।
    • उदाहरण: "यहाँ परीक्षण के परिणाम हैं जो दिखाते हैं कि AI ने 2.8% त्रुटियाँ कीं, जबकि मानव ने 3.0% त्रुटियाँ कीं।"

3. नया "टैक्सोनॉमी" (फाइलिंग सिस्टम)

शोध पत्र को एहसास हुआ कि पुराने फाइलिंग सिस्टम AI के लिए काम नहीं करते। इसलिए, उन्होंने पहेली के टुकड़ों को वर्गीकृत करने का एक नया तरीका बनाया:

  • दावों के नए प्रकार:

    • पुराना: "यह मशीन कभी विफल नहीं होगी।" (AI के लिए बहुत कठोर)।
    • नया: "यह मशीन सुरक्षित है केवल यदि हम इसे इस विशिष्ट कमरे के भीतर रखें और इसे इंटरनेट से बात न करने दें।" (संदर्भ-जागरूक)।
    • नया: "यह मशीन सुरक्षित है क्योंकि हमने इसके चारों ओर एक पिंजरा बनाया है ताकि यह बुरा काम न कर सके।" (क्षमता-सीमित)।

  • तर्कों के नए प्रकार:

    • तुलनात्मक (Comparative): "यह पूर्ण नहीं है, लेकिन यह उस मानव से बदतर नहीं है जिसकी जगह इसने ली है।"
    • खोज-आधारित (Discovery-based): "हमें नहीं पता था कि यह X कर सकता है, लेकिन हमने इसका परीक्षण किया, पाया कि यह कर सकता है, और फिर इस पर एक सुरक्षा घेरा (guardrail) लगा दिया।"

  • साक्ष्यों के नए प्रकार:

    • केवल "परीक्षण परिणामों" के बजाय, वे "रेड टीमिंग" (हैकर को AI को तोड़ने की कोशिश करने के लिए नियुक्त करना), "विशेषज्ञों की राय," और "वास्तविक दुनिया के लॉग" (यह देखना कि यह व्यवहार कैसे करता है) जैसी चीजों का उपयोग करते हैं।

4. "पैटर्न" (रेसिपी कार्ड)

लेखकों ने देखा कि लोग AI को सुरक्षित साबित करने की कोशिश करते समय बार-बार चार कठिन समस्याओं का सामना करते हैं। उन्होंने उन्हें हल करने के लिए चार "रेसिपी कार्ड" (पैटर्न) बनाए हैं:

  1. "डिस्कवरी" (खोज) पैटर्न:
    • समस्या: हमें अभी तक नहीं पता कि AI क्या कर सकता है।
    • रेसिपी: लगातार परीक्षण करते रहें। हर बार जब आप इसकी कोई नई ट्रिक पाते हैं, तो अपने सुरक्षा तर्क को अपडेट करें। यह एक जीवित दस्तावेज़ की तरह है जो AI के बारे में अधिक जानने के साथ बढ़ता जाता है।
  2. "कोई पूर्ण उत्तर नहीं" पैटर्न:
    • समस्या: कभी-कभी कोई "सही" उत्तर नहीं होता (जैसे, एक रचनात्मक निबंध का मूल्यांकन करना)। आप कैसे जानेंगे कि AI सुरक्षित है?
    • रेसिपी: एक मानव से तुलना करें। यदि AI एक मानव की तुलना में "पर्याप्त रूप से अच्छा" है, तो वह पर्याप्त है। यह "बदतर न होने" के बारे में है।
  3. "लिविंग अपडेट" (जीवित अपडेट) पैटर्न:
    • समस्या: AI हर हफ्ते बदलता है। इसे नया डेटा, नए उपकरण या नए अपडेट मिलते हैं।
    • रेसिपी: आपका सेफ्टी केस एक "जीवित वस्तु" (living artifact) होना चाहिए। जब AI अपडेट होता है, तो सेफ्टी केस भी स्वचालित रूप से अपडेट होता है। यह एक कार की तरह है जो हर बार चलाने पर अपने ब्रेक का पुन: निरीक्षण करती है।
  4. "थ्रेशोल्ड" (सीमा) पैटर्न:
    • समस्या: कितना जोखिम बहुत अधिक है?
    • रेसिपी: एक संख्या निर्धारित करें। "यदि त्रुटि दर 5% से कम है, तो हम ठीक हैं।" यदि यह 5.1% तक पहुँचती है, तो सिस्टम रुक जाता है। यह सुरक्षा को एक स्पष्ट, मापने योग्य रेखा में बदल देता है।

5. वास्तविक दुनिया का परीक्षण: सरकारी टेंडर

अपने विचारों को काम करने के लिए सिद्ध करने हेतु, लेखकों ने एक वास्तविक सरकारी परियोजना पर इसे आजमाया: नौकरी के बोलियों (टेंडर्स) का मूल्यांकन करने में मदद करने के लिए AI का उपयोग करना।

  • स्थिति: सरकार एक अनुबंध प्राप्त करने के लिए किस कंपनी को चुनना है, इसका निर्णय लेने में मनुष्यों की सहायता के लिए AI का उपयोग करना चाहती है।
  • समस्या: यहाँ कोई "सही" उत्तर नहीं है। अलग-अलग मनुष्य अलग-अलग विजेताओं को चुन सकते हैं। आप यह कैसे सिद्ध करेंगे कि AI पक्षपाती या खतरनाक नहीं है?
  • समाधान: उन्होंने "कोई पूर्ण उत्तर नहीं" पैटर्न का उपयोग किया।
    • उन्होंने यह सिद्ध करने की कोशिश नहीं की कि AI "पूर्ण" है।
    • उन्होंने यह सिद्ध किया कि AI पुराने मानव-मात्र सिस्टम की तुलना में "बदतर नहीं" है।
    • उन्होंने 200 नकली बोलियां चलाईं। मनुष्य एक-दूसरे से 3% बार असहमत हुए। AI + मानव टीम केवल 2.8% बार असहमत हुई।
    • परिणाम: सेफ्टी केस ने कहा, "देखो, AI वास्तव में मनुष्यों की तुलना में थोड़ा अधिक सुसंगत है। यह उपयोग के लिए सुरक्षित है।"

सारांश

यह शोध पत्र मूल रूप से यह कह रहा है: "AI को एक मशीन की तरह पूर्ण होने का प्रमाण देना बंद करें। इसके बजाय, इसे एक साथी की तरह सुरक्षित होने का प्रमाण दें।"

यह हमें यह कहने का एक संरचित तरीका देता है: "हम जानते हैं कि यह AI अजीब है और अक्सर बदलता रहता है, लेकिन यहाँ हमारे साक्ष्य, हमारा तर्क और हमारे सुरक्षा घेरे (guardrails) हैं जो यह सिद्ध करते हैं कि यह काम के लिए पर्याप्त सुरक्षित है।" यह सुरक्षा को एक स्थिर चेकलिस्ट से बदलकर डेवलपर्स, नियामकों और स्वयं AI के बीच एक गतिशील, जीवंत संवाद में बदल देता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →