Coverage-Driven Verification for Safety-by-Design in AI-Based Collision Avoidance Systems
यह शोध पत्र एयरबोर्न कोलिजन अवॉयडेंस सिमुलेशन के माध्यम से प्रदर्शित, कुलबैक-लीलर डाइवर्जेंस और क्रेमर के वी का उपयोग करते हुए, ईएएसए (EASA) सुरक्षा मानकों के विरुद्ध डेटा कवरेज का मात्रात्मक मूल्यांकन करने के लिए, एआई-आधारित विमानन सुरक्षा प्रणालियों में ऑपरेशनल डिजाइन डोमेन (ODDs) की प्रतिनिधित्व क्षमता का आकलन करने हेतु एक संरचित इंजीनियरिंग प्रक्रिया प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आकाश के ऊपर, विमानन का भविष्य कोड में लिखा जा रहा है। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस विमानों को अधिक सुरक्षित और कुशल बनाने का वादा कर रहा है, एक महत्वपूर्ण प्रश्न बना हुआ है: हम कैसे जान सकते हैं कि ये स्मार्ट सिस्टम अप्रत्याशित होने पर सही ढंग से व्यवहार करेंगे? इसका उत्तर केवल सॉफ्टवेयर के परीक्षण में नहीं, बल्कि उस दुनिया को समझने में निहित है जिसे नेविगेट करने के लिए सॉफ्टवेयर को डिज़ाइन किया गया है। प्रत्येक बुद्धिमान प्रणाली विशिष्ट स्थितियों के एक सेट के भीतर कार्य करती है, जो संभावनाओं के एक परिभाषित स्थान के रूप में जानी जाती है जिसे इसका 'ऑपरेशनल डिज़ाइन डोमेन' (operational design domain) कहा जाता है। एक टक्कर बचाव प्रणाली (collision avoidance system) के लिए, इस डोमेन में विमान की गति से लेकर दूसरे विमान के बीच की दूरी तक सब कुछ शामिल है। सुरक्षा नियामक इस बात का प्रमाण मांगते हैं कि इन प्रणालियों को प्रशिक्षित और परीक्षण करने के लिए उपयोग किया गया डेटा वास्तव में वास्तविक दुनिया का प्रतिनिधित्व करता है। यदि प्रशिक्षण डेटा पक्षपाती या अधूरा है, तो सिस्टम तब विफल हो सकता है जब वह ऐसी स्थिति का सामना करता है जिसे उसने पहले कभी नहीं देखा है। इंजीनियरों के लिए चुनौती यह सिद्ध करना है कि उनका डेटा संभावित परिदृश्यों की पूरी श्रृंखला को कवर करता है और उन परिदृश्यों की आवृत्ति वास्तविकता से मेल खाती है, जो लाखों डेटा बिंदुओं और जटिल, उच्च-आयामी स्थानों (high-dimensional spaces) के साथ काम करते समय अविश्वसनीय रूप से कठिन कार्य बन जाता है।
जर्मन एयरोस्पेस सेंटर के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए एक नई विधि विकसित की है, विशेष रूप से AI-आधारित टक्कर बचाव प्रणालियों के लिए। उन्होंने दो विशिष्ट प्रणालियों पर ध्यान केंद्रित किया: एक जो टक्करों से बचने के लिए क्षैतिज युद्धाभ्यास (horizontal maneuvers) को संभालती है, और दूसरी जो ऊर्ध्वाधर चढ़ाई और नीचे उतरने (vertical climbs and descents) का प्रबंधन करती है। ये प्रणालियाँ न्यूरल नेटवर्क पर निर्भर करती हैं जो सापेक्ष गति, दूरी और निकटतम दृष्टिकोण के समय (time to the closest point of approach) जैसे इनपुट के आधार पर पलक झपकते ही निर्णय लेती हैं। शोधकर्ताओं ने पिछले प्रयोगों से उत्पन्न लाखों सिम्युलेटेड उड़ान परिदृश्यों को लिया और एक सरल लेकिन गहन प्रश्न पूछा: क्या हमारे पास मौजूद डेटा वास्तव में उस दुनिया जैसा दिखता है जिसमें हम उड़ने की उम्मीद करते हैं? उन्होंने केवल यह नहीं गिना कि कितने अलग-अलग स्थितियों का परीक्षण किया गया; बल्कि उन्होंने डेटा के सांख्यिकीय आकार (statistical shape) की जांच की ताकि यह देखा जा सके कि क्या यह इच्छित वितरण (distribution) से मेल खाता है। अपने सिमुलेशन में, उन्होंने पाया कि हालांकि कुछ डेटा सेट संभावित मूल्यों की पूरी श्रृंखला को कवर करते थे, लेकिन उन मूल्यों का वितरण अक्सर गलत था। उदाहरण के लिए, एक प्रणाली में, डेटा ने दिखाया कि विमान लगभग हमेशा एक स्थिर ऊंचाई पर उड़ रहे थे, जबकि सुरक्षा मॉडल ने चढ़ाई और नीचे उतरने के बहुत व्यापक व्यवहारों की कल्पना की थी। इस विसंगति का अर्थ था कि सिस्टम का परीक्षण वास्तविकता के विकृत संस्करण पर किया जा रहा था, जिससे यह संभावित रूप से दुर्लभ लेकिन खतरनाक घटनाओं के लिए तैयार न रहने की स्थिति में था।
इस विसंगति को मापने के लिए, टीम ने कई सांख्यिकीय उपकरणों का मूल्यांकन किया। सबसे पहले, उन्होंने 'ची-स्क्वायर टेस्ट' (chi-squared test) नामक एक पारंपरिक विधि का प्रयास किया, जिसका उपयोग अक्सर डेटा सेटों की तुलना करने के लिए किया जाता है। हालाँकि, उन्होंने पाया कि आधुनिक सिमुलेशन द्वारा उत्पन्न विशाल मात्रा में डेटा का सामना करते समय यह उपकरण विफल हो जाता है। क्योंकि यह परीक्षण नमूना आकार (sample size) के प्रति इतना संवेदनशील है, इसने मामूली, हानिरहित अंतरों को भी बड़ी त्रुटियों के रूप में चिह्नित किया, जो अनिवार्य रूप से यह चिल्लाकर कह रहा था कि डेटा गलत है जबकि वास्तव में वह काफी अच्छा था। इसके कारण शोधकर्ताओं ने इस विशिष्ट अनुप्रयोग के लिए पारंपरिक परीक्षण को खारिज कर दिया। इसके बजाय, उन्होंने दो अधिक मजबूत उपायों को अपनाया जो भारी मात्रा में डेटा के साथ बिना भ्रमित हुए काम कर सकें। ये उपाय एक तराजू की तरह कार्य करते थे, जो देखे गए डेटा और अपेक्षित लक्ष्य वितरण के बीच के अंतर को तौलते थे ताकि यह देखा जा सके कि अंतराल महत्वपूर्ण है या केवल एक मामूली उतार-चढ़ाव। इन उपकरणों का उपयोग करके, वे डेटा के केवल भिन्न होने और खतरनाक रूप से गैर-प्रतिनिधिक होने के बीच अंतर कर सके।
उनके विश्लेषण के परिणाम दो प्रकार के कवरेज के बीच एक स्पष्ट विभाजन प्रकट करते हैं। एक प्रकार, जिसे वे 'पूर्णता' (completeness) कहते हैं, केवल यह पूछती है कि क्या प्रत्येक संभावित परिदृश्य को कम से कम एक बार छुआ गया है। दूसरा, 'प्रतिनिधित्व' (representativeness), यह पूछता है कि क्या परिदृश्य सही अनुपात में दिखाई देते हैं। शोधकर्ताओं ने पाया कि एक डेटा सेट पूर्ण हो सकता है—अर्थात, परिचालन स्थान के हर कोने को कवर कर सकता है—फिर भी प्रतिनिधित्व के परीक्षण में विफल हो सकता है क्योंकि डेटा गलत स्थानों पर केंद्रित था। संभावित टक्कर तक के समय से संबंधित एक विशिष्ट मामले में, डेटा ने पूर्णतः समान वितरण (uniform distribution) से मेल खाया, जिससे उसे शीर्ष रेटिंग मिली। एक अन्य मामले में, जिसमें ऊर्ध्वाधर गति (vertical speed) शामिल थी, डेटा शून्य के आसपास अत्यधिक केंद्रित था, जो उन चरम चढ़ाइयों और नीचे उतरने का प्रतिनिधित्व करने में विफल रहा जिनके लिए सिस्टम को तैयार रहने की आवश्यकता थी। यह अंतर महत्वपूर्ण है: हर संभावित स्थिति के लिए डेटा होना पर्याप्त नहीं है यदि डेटा इस बात को प्रतिबिंबित नहीं करता है कि वास्तविक दुनिया में वे स्थितियाँ कितनी बार घटित होती हैं।
शोध पत्र निष्कर्ष निकालता है कि सुरक्षा सुनिश्चित करने के लिए एक एकल मीट्रिक पर्याप्त नहीं है। इसके बजाय, एक दो-चरणीय प्रक्रिया की आवश्यकता है। पहला, इंजीनियरों को यह सुनिश्चित करना चाहिए कि डेटा पूरे ऑपरेशनल स्पेस को भरता है, यह जाँचते हुए कि कोई अंतराल मौजूद न हो। दूसरा, उन्हें यह सत्यापित करना चाहिए कि डेटा सही सांख्यिकीय आकार का पालन करता है, नए उपायों का उपयोग करके यह पुष्टि करना कि वितरण सुरक्षा आवश्यकताओं के अनुरूप है। यह दृष्टिकोण AI प्रणालियों को मान्य करने के लिए एक संरचित तरीका प्रदान करता है, जो साधारण परीक्षण से आगे बढ़कर एक गहरे सांख्यिकीय आश्वासन की ओर ले जाता है। टक्कर बचाव सिमुलेशन पर इस पद्धति को लागू करके, शोधकर्ताओं ने प्रदर्शित किया कि यह मात्रात्मक रूप से आकलन करना संभव है कि क्या एक AI सिस्टम को आकाश की निष्पक्ष और सटीक तस्वीर पर प्रशिक्षित किया जा रहा है। उनका कार्य नियामकों और इंजीनियरों को आत्मविश्वास के साथ AI प्रणालियों को प्रमाणित करने के लिए एक मार्ग प्रदान करता है, यह सुनिश्चित करते हुए कि हमारे भविष्य की उड़ानों की रक्षा करने वाली तकनीक उस डेटा की नींव पर बनी है जो वास्तव में उस दुनिया का प्रतिनिधित्व करती है जिसमें वह उड़ेगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।