🤖 AI

Silent Failures in Physical AI: A Literature Review of Runtime Action Authorization for Autonomous Systems

यह साहित्य समीक्षा फिजिकल एआई (Physical AI) के लिए मौजूदा सुरक्षा तंत्रों में महत्वपूर्ण अंतराल की पहचान करती है, जहाँ ब्लैक-बॉक्स मॉडल ऐसे भौतिक रूप से परिणामी कार्य जारी कर सकते हैं जो विश्वसनीय प्रतीत होते हैं किंतु विफल हो जाते हैं, और मॉडल की क्षमता तथा भौतिक सुरक्षा आश्वासन के बीच के अंतर को पाटने के लिए रनटाइम एक्शन ऑथोराइजेशन (runtime action authorization) हेतु एक एकीकृत ढांचे का प्रस्ताव करती है।

मूल लेखक: Barak Or

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Barak Or

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "आत्मविश्वासी लेकिन गलत" रोबोट

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट और आत्मविश्वासी रोबोट सहायक है। आप उससे कहते हैं, "जाकर कॉफी लेकर आओ।" रोबोट इधर-उधर देखता है, एक सेकंड के लिए सोचता है, और 100% आत्मविश्वास के साथ कहता है, "समझ गया!" वह कॉफी मशीन की ओर चलने लगता है।

लेकिन यहाँ एक समस्या है: रोबोट की "आंखें" (सेंसर) थोड़ी धुंधली हैं, या छाया के कारण वह फर्श पर रखे पानी के गिलास को देख नहीं पाया। रोबोट को लगता है कि रास्ता साफ है, लेकिन ऐसा नहीं है। क्योंकि रोबोट अपने आंतरिक मानचित्र (internal map) में इतना आश्वस्त है, वह सीधे गिलास से टकरा जाता है, उसे गिरा देता है और तोड़ देता है।

रोबोट का सॉफ्टवेयर क्रैश नहीं हुआ। उसने कोई एरर मैसेज नहीं दिया। वह रुका नहीं। वह बस आत्मविश्वास के साथ तब तक चलता रहा जब तक कि भौतिक नुकसान नहीं हो गया। इसे ही यह पेपर "साइलेंट फेल्योर" (Silent Failure) कहता है।

मूल समस्या: आत्मविश्वास $\neq$ सुरक्षा

यह पेपर तर्क देता है कि आधुनिक AI (जैसे रोबोट, सेल्फ-ड्राइविंग कारें और ड्रोन) क्रियाएं उत्पन्न करने में बहुत कुशल होते जा रहे हैं। वे भाषा ("बाएं मुड़ो") को भौतिक गति में बदल सकते हैं।

हालाँकि, AI जो प्रस्तावित करता है और वास्तव में क्या सुरक्षित है, उसके बीच एक खतरनाक अंतर है।

पुराना तरीका: टेक्स्ट-आधारित AI (जैसे चैटबॉट) में, सुरक्षा फिल्टर AI को कुछ बुरा या अवैध कहने से रोकते हैं।
नई समस्या: फिजिकल AI में, AI ऐसी हरकत प्रस्तावित कर सकता है जो "अच्छी" है (वह किसी को चोट पहुँचाने की कोशिश नहीं कर रहा है) लेकिन भौतिक रूप से असंभव या खतरनाक है क्योंकि दुनिया के बारे में रोबोट की समझ गलत है।

पेपर कहता है कि हम केवल रोबोट के कॉन्फिडेंस स्कोर पर भरोसा नहीं कर सकते। एक रोबोट इस बात पर 99% आश्वस्त हो सकता है कि वह सुरक्षित है, लेकिन यदि उसके सेंसर उसे झूठ बोल रहे हैं, तो उसका यह आत्मविश्वास बेकार है।

समाधान: "सेफ्टी गेटकीपर" (सुरक्षा द्वारपाल)

पेपर सुरक्षा की एक नई परत प्रस्तावित करता है जिसे रनटाइम एक्शन ऑथोराइजेशन (Runtime Action Authorization) कहा जाता है। इसे रोबोट के मस्तिष्क और उसकी मांसपेशियों के बीच खड़े एक गेटकीपर (द्वारपाल) के रूप में समझें।

हर बार जब रोबोट हिलना चाहता है, तो गेटकीपर क्रिया होने देने से पहले चार सवाल पूछता है:

क्या मानचित्र वास्तविक है? (क्या सेंसर में कोई गड़बड़ी हुई? क्या डेटा पुराना है?)
क्या यह चाल संभव है? (क्या रोबोट बिना पलटे उस भारी बॉक्स को वास्तव में उठा सकता है?)
क्या यहाँ इसकी अनुमति है? (क्या यह प्रतिबंधित क्षेत्र है? क्या वहां "नो वॉकिंग" का साइन है?)
अगर हम गलत हुए तो क्या होगा? (यदि गेटकीपर कहता है "रुको," तो क्या रोबोट के पास कोई सुरक्षित बैकअप प्लान है, जैसे धीरे से रुकना या किसी इंसान से पूछना?)

यदि गेटकीपर "ना" कहता है, तो रोबोट नहीं हिलता, भले ही रोबोट का दिमाग चिल्ला रहा हो "जाओ!"

"साइलेंट" (मौन) खतरा

यह इतना डरावना क्यों है? क्योंकि पुराने सॉफ्टवेयर में, यदि कुछ गलत होता था, तो प्रोग्राम क्रैश हो जाता था (जैसे ब्लू स्क्रीन ऑफ डेथ)। आपको तुरंत पता चल जाता था।

फिजिकल AI में, सिस्टम चलता रहता है। रोबोट चलता रहता है। "विफलता" (failure) मौन होती है क्योंकि रोबोट का आंतरिक तर्क पूरी तरह से काम कर रहा है—यह बस एक गलत वास्तविकता पर काम कर रहा है।

उपमा (Analogy): कल्पना कीजिए कि एक ड्राइवर अपने GPS के अनुसार बिल्कुल सही गाड़ी चला रहा है, लेकिन GPS एक ऐसे पुल को दिखा रहा है जो वहां मौजूद ही नहीं है। ड्राइवर आत्मविश्वास के साथ किनारे से नीचे गिर जाता है। कार खराब नहीं हुई; जानकारी गलत थी।

पेपर वास्तव में क्या कहता है (और क्या नहीं कहता)

यह यह नहीं कहता: "हमें रोबोट बनाना बंद कर देना चाहिए।"
यह यह नहीं कहता: "वर्तमान रोबोट सभी खतरनाक हैं।"
यह यह कहता है: हम ऐसे रोबोट बना रहे हैं जो अधिक स्मार्ट और सक्षम हैं, लेकिन हमने अभी तक एक मानकीकृत "गेटकीपर" प्रणाली नहीं बनाई है जो यह जांच सके कि उनकी क्रियाएं होने से पहले वे वास्तविक दुनिया में सुरक्षित हैं या नहीं।
यह यह कहता है: हमें सुरक्षा मापने का एक नया तरीका चाहिए। हमें केवल इस बात को नहीं गिनना चाहिए कि रोबोट ने कितने कार्य पूरे किए (Task Success)। हमें यह भी गिनना चाहिए कि गेटकीपर ने कितनी बार नुकसान होने से पहले एक गलत विचार को रोका (Intervention Quality)।

"गेटकीपर" चेकलिस्ट (वर्गीकरण)

पेपर गेटकीपर के काम को एक चेकलिस्ट में व्यवस्थित करता है ताकि कुछ भी छूट न जाए:

सिमेंटिक चेक (Semantic Check): क्या अनुरोध तर्कसंगत है? (जैसे, "दीवार में मत टकराओ।")
स्टेट चेक (State Check): क्या दुनिया के बारे में रोबोट का दृश्य सटीक है? (जैसे, "क्या वह व्यक्ति है या सिर्फ एक छाया?")
फिजिकल चेक (Physical Check): क्या रोबोट भौतिक रूप से यह कर सकता है? (जैसे, "क्या हाथ इतना मजबूत है?")
स्पेस चेक (Space Check): क्या यह क्षेत्र अनुमत है? (जैसे, "क्या यह निर्माण क्षेत्र है?")
टाइम चेक (Time Check): क्या यह अगले कुछ सेकंड के लिए सुरक्षित है, या केवल अभी के लिए?
फालबैक चेक (Fallback Check): यदि हम रुकते हैं, तो आगे क्या होगा?
ऑडिट चेक (Audit Check): क्या हम बाद में लॉग्स देख सकते हैं कि हमने क्यों रोका?

निचोड़

पेपर निष्कर्ष निकालता है कि जैसे-जैसे रोबोट स्मार्ट होते जा रहे हैं, हमें उन्हें ब्लैक बॉक्स की तरह मानना बंद करना होगा जिन्हें हम बस भरोसा कर लेते हैं। हमें एक अलग, स्वतंत्र सुरक्षा परत बनानी होगी जो अंतिम जांच के रूप में कार्य करे।

इस परत को यह जानने की आवश्यकता नहीं है कि रोबोट कैसे सोचता है; इसे बस यह जांचने की आवश्यकता है कि रोबोट क्या करना चाहता है और पूछने की आवश्यकता है, "दुनिया के बारे में जो हम जानते हैं, उसके आधार पर क्या यह अभी करना सुरक्षित है?" यदि उत्तर "मुझे यकीन नहीं है" है, तो गेटकीपर को क्रिया रोक देनी चाहिए।

यह प्रगति को धीमा करने के बारे में नहीं है; यह यह सुनिश्चित करने के बारे में है कि जब ये शक्तिशाली मशीनें लैब से निकलकर हमारी वास्तविक दुनिया में कदम रखें, तो वे आत्मविश्वास के साथ गलत होकर गलती से चीजें न तोड़ दें।

तकनीकी सारांश: फिजिकल एआई (Physical AI) में साइलेंट फेलियर्स (Silent Failures)

1. समस्या की परिभाषा

यह शोध पत्र फिजिकल एआई सिस्टम्स—एम्बॉडीड एजेंट्स (रोबोट, ड्रोन, स्वायत्त वाहन) जो मल्टीमॉडल ऑब्जर्वेशन और लैंग्वेज इंस्ट्रक्शन्स को भौतिक रूप से परिणामी क्रियाओं (physically consequential actions) में मैप करने के लिए फाउंडेशन मॉडल्स, विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स और वर्ल्ड मॉडल्स का उपयोग करते हैं—में एक महत्वपूर्ण सुरक्षा अंतराल (safety gap) को संबोधित करता है।

मुख्य समस्या साइलेंट फिजिकल-एक्शन फेलियर (silent physical-action failure) है। क्लासिकल सॉफ्टवेयर विफलताओं (जैसे क्रैश या स्पष्ट त्रुटियां) के विपरीत, साइलेंट फेलियर्स तब होते हैं जब एक स्वायत्त प्रणाली दुनिया के गलत, अपूर्ण या भौतिक रूप से अमान्य प्रतिनिधित्व पर कार्य करते हुए उच्च स्पष्ट आत्मविश्वास (high apparent confidence) के साथ संचालित होती है। ये विफलताएं निम्नलिखित कारणों से उत्पन्न होती हैं:

सेंसर ड्रिफ्ट (sensor drift), ऑक्लूजन (occlusion), और स्टेट-एस्टिमेशन त्रुटियां।
डिस्ट्रीब्यूशन शिफ्ट (distribution shifts) और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) इनपुट।
हैलुसिनेटेड अफोर्डेंस (hallucinated affordances) (यह अनुमान लगाना कि कोई वस्तु उपयोग योग्य है जबकि वह नहीं है)।
अमान्य भौतिक धारणाएं जो डाउनस्ट्रीम हार्डवेयर कंट्रोलर्स को बायपास कर देती हैं।

शोध पत्र का तर्क है कि वर्तमान सुरक्षा तंत्र खंडित (fragmented) हैं। सिमेंटिक गार्डरेल्स (कंटेंट मॉडरेशन) भौतिक व्यवहार्यता (physical feasibility) को सत्यापित नहीं करते हैं, जबकि लो-लेवल सेफ्टी फिल्टर्स (जैसे कंट्रोल बैरियर फंक्शन्स) अक्सर ज्ञात डायनेमिक्स और स्पष्ट स्टेट वेरिएबल्स को मानते हैं जो ब्लैक-बॉक्स मॉडल प्रदान नहीं करते हैं। फलस्वरूप, ऐसा कोई एकल, ऑडिट करने योग्य रनटाइम ऑथोराइजेशन बाउंड्री (runtime authorization boundary) नहीं है जो यह मूल्यांकन कर सके कि क्या एक संभावित मॉडल प्रस्ताव को हार्डवेयर कमिटमेंट (hardware commitment) बनना चाहिए।

2. कार्यप्रणाली और औपचारिकीकरण (Methodology and Formalization)

यह शोध पत्र एक साहित्य समीक्षा और सैद्धांतिक संश्लेषण दृष्टिकोण का उपयोग करता है, जो ग्यारह अलग-अलग अनुसंधान धाराओं (एम्बॉडीड फाउंडेशन मॉडल्स, वर्ल्ड मॉडल्स, सेफ कंट्रोल, रनटाइम एश्योरेंस, और अनसर्टेन्टी एस्टिमेशन सहित) का विश्लेषण करके इंटरफेस धारणाओं और अंतरालों की पहचान करता है।

2.1 औपचारिक ढांचा (Formal Framework)

लेखक ऑथोराइजेशन इवेंट (authorization event) पर केंद्रित एक न्यूनतम नोटेशन का उपयोग करके समस्या को औपचारिक रूप देते हैं:

मॉडल प्रपोजल (Model Proposal): एक ब्लैक-बॉक्स पॉलिसी $\pi_\theta$ ऑब्जर्वेशन $o_{\le t}$ और लक्ष्यों $g$ को एक प्रस्तावित एक्शन $a_t$ में मैप करती है।
स्टेट एस्टीमेट (State Estimate): सिस्टम एक अनुमानित स्टेट $s_t$ बनाए रखता है, जो शोर या ड्रिफ्ट के कारण वास्तविक स्टेट $\bar{s}_t$ से भिन्न हो सकता है।
कन्स्ट्रेंट्स (Constraints): कंस्ट्रेंट्स का एक सेट $C_t$ (काइनेमैटिक, कोलिजन, जियोफेंस, ऑपरेशनल) संतुष्ट होना चाहिए।
ऑथोराइजेशन फंक्शन (Authorization Function): एक रनटाइम फंक्शन $G$ टुपल $(a_t, s_t, C_t, e_t)$ का मूल्यांकन करता है, जहाँ $e_t$ रनटाइम एविडेंस (सेंसर हेल्थ, अनसर्टेन्टी, OOD इंडिकेटर्स) है।
डिसीजन (Decision): फंक्शन एक निर्णय $\rho_t \in \{\text{authorize, modify, block, fallback, escalate}\}$ आउटपुट करता है।

पेपर साइलेंट फिजिकल-एक्शन फेलियर ( $F_t = 1$ ) को तब होता हुआ परिभाषित करता है जब सिस्टम एक एक्शन को अधिकृत ( $\rho_t = \text{authorize}$ ) करता है, बावजूद इसके कि वास्तविक स्टेट-एक्शन पेयर अमान्य ( $M_t = 0$ ) है या साक्ष्य अपर्याप्त ( $V_t = 0$ ) है।

2.2 सैद्धांतिक आधार (Theoretical Anchors)

यह ढांचा तीन मौजूदा सुरक्षा सिद्धांतों को एकीकृत करता है लेकिन उन्हें कंट्रोलर स्तर के बजाय ऑथोराइजेशन बाउंड्री पर पुन: स्थापित करता है:

कंजर्वेटिव स्टेट अनसर्टेन्टी (Conservative State Uncertainty): केवल तभी अधिकृत करना जब अनसर्टेन्टी सेट $U_t$ में कंस्ट्रेंट्स लागू हों।
सेफ्टी फिल्टर्स/प्रोजेक्शंस (Safety Filters/Projections): प्रस्तावित एक्शन्स को एक सुरक्षित सेट $A_{safe}$ पर प्रोजेक्ट करना।
कंट्रोल बैरियर फंक्शन्स (CBFs): एक सुरक्षित सेट की फॉरवर्ड इनवेरिएंस (forward invariance) सुनिश्चित करना।

पेपर का मानना है कि ब्लैक-बॉक्स फिजिकल एआई के लिए ये उपकरण आवश्यक तो हैं लेकिन अकेले पर्याप्त नहीं हैं, क्योंकि वे स्वाभाविक रूप से स्टेट रिलायबिलिटी, सिमेंटिक इंटेंट, या ऑपरेशनल पॉलिसी अनुपालन को सत्यापित नहीं करते हैं।

3. प्रमुख योगदान

यह शोध पत्र पांच प्राथमिक तकनीकी योगदान देता है:

शब्दावली परिभाषा (Vocabulary Definition): यह क्षेत्र के लिए एक लिंक्ड शब्दावली स्थापित करता है, जिसमें साइलेंट फिजिकल-एक्शन फेलियर, रनटाइम एक्शन ऑथोराइजेशन, ऑथोराइजेशन इवेंट, और ऑथोराइजेशन गैप को परिभाषित किया गया है।
औपचारिक इंटरफेस (Formal Interface): यह रनटाइम एक्शन ऑथोराइजेशन को ब्लैक-बॉक्स मॉडल आउटपुट और फिजिकल एग्जीक्यूशन के बीच एक निर्णय इंटरफेस के रूप में औपचारिक रूप देता है, जो विशिष्ट मॉडल आर्किटेक्चर से स्वतंत्र है।
गार्डरेल टैक्सोनॉमी (Guardrail Taxonomy): यह सात रनटाइम गार्डरेल फंक्शन्स (तालिका 1) के टैक्सोनॉमी को संश्लेषित करता है जिनका निष्पादन से पहले मूल्यांकन किया जाना चाहिए:
- सिमेंटिक वैलिडिटी (Semantic Validity): टास्क इंटेंट और पॉलिसी के साथ संरेखण।
- स्टेट वैलिडिटी (State Validity): वर्ल्ड स्टेट एस्टीमेट की विश्वसनीयता।
- फिजिकल फिजिबिलिटी (Physical Feasibility): काइनेमैटिक और डायनेमिक कंस्ट्रेंट्स।
- स्पेशियल और ऑपरेशनल वैलिडिटी (Spatial and Operational Validity): जियोफेंस और मिशन नियम।
- टेम्पोरल वैलिडिटी (Temporal Validity): भविष्य के क्षितिज (future horizon) पर सुरक्षा।
- फालबैक अथॉरिटी (Fallback Authority): रिकवरी या एस्केलेशन के तंत्र।
- ऑडिटेबिलिटी (Auditability): निर्णय की पुनर्निर्मोचनीयता (reconstructability)।
मूल्यांकन आवश्यकताएं (Evaluation Requirements): यह मूल्यांकन आवश्यकताओं और मेट्रिक परिवारों (तालिका 5) का एक सेट निकालता है जो केवल टास्क सक्सेस के बजाय इंटरवेंशन क्वालिटी को मापते हैं। मुख्य मेट्रिक्स में शामिल हैं:
- अनसेफ-एक्शन इंटरवेंशन रेट (UAIR): अमान्य एक्शन्स को ब्लॉक करने की आवृत्ति।
- फॉल्स ब्लॉक रेट (FBR): वैध एक्शन्स को ब्लॉक करने की आवृत्ति (उपयोगिता लागत)।
- प्री-कमिट इंटरवेंशन रेट (PCIR): हार्डवेयर कमिटमेंट के सापेक्ष निर्णय का समय।
- रेसिडुअल वायलेशन सेवेरिटी (RVS): इंटरवेंशन के बाद कंस्ट्रेंट वायलेशन की मात्रा।
न्यूनतम ऑथोराइजेशन इवेंट स्कीमा (Minimal Authorization Event Schema): यह ऑथोराइजेशन इवेंट्स को रिकॉर्ड करने के लिए एक मानकीकृत डेटा स्कीमा (तालिका 7) प्रस्तावित करता है। यह स्कीमा साझा आंतरिक प्रतिनिधित्व की आवश्यकता के बिना विभिन्न मॉडल्स, सिम्युलेटर्स और हार्डवेयर प्लेटफॉर्म्स के बीच गार्डरेल्स की तुलना करने की अनुमति देता है।

4. परिणाम और विश्लेषण

यह पेपर कोई नया प्रायोगिक डेटा या विशिष्ट गार्डरेल कार्यान्वयन प्रस्तुत नहीं करता है। इसके बजाय, इसके "परिणाम" वर्तमान साहित्य परिदृश्य का एक संश्लेषण हैं:

कैपेबिलिटी बनाम एश्योरेंस गैप (Capability vs. Assurance Gap): जबकि फिजिकल एआई क्षमताएं (जैसे Open X-Embodiment, OpenVLA, वर्ल्ड मॉडल्स) टास्क सक्सेस और जनरलाइजेशन के मामले में तेजी से आगे बढ़ रही हैं, ये मेट्रिक्स रनटाइम सुरक्षा के बराबर नहीं हैं। हाई कॉन्फिडेंस स्कोर और टास्क सक्सेस रेट्स फिजिकल कमिटमेंट के लिए पर्याप्त प्रमाण नहीं हैं।
इंटरफेस मिसमैच (Interface Mismatch): समीक्षा से पता चलता है कि मौजूदा सुरक्षा साहित्य असंगत इंटरफेस धारणाएं बनाता है। VLA मॉडल्स एक्शन जनरेशन पर ध्यान केंद्रित करते हैं; सेफ्टी फिल्टर्स स्पष्ट स्टेट वेरिएबल्स को मानते हैं; सिमेंटिक गार्डरेल्स इंटेंट पर ध्यान केंद्रित करते हैं। कोई भी एक एकल लेयर प्रदान नहीं करता है जो एक प्रस्तावित एक्शन के चारों ओर सिमेंटिक, स्टेट, फिजिकल और ऑपरेशनल चेक्स को कंपोज करे।
साइलेंट फेलियर मैकेनिज्म (Silent Failure Mechanisms): विश्लेषण पुष्टि करता है कि क्लोज्ड-लूप ऑटोनॉमी में साइलेंट फेलियर्स एक विशिष्ट जोखिम हैं, जहाँ सिस्टम दूषित स्टेट एस्टीमेट्स (जैसे कि एक ड्रोन जो गलत फ्री-स्पेस मैप के आधार पर नेविगेट कर रहा है) के बावजूद संचालित होता रहता है।
मूल्यांकन सीमाएं (Evaluation Limitations): वर्तमान बेंचमार्क और सिम्युलेटर (जैसे Isaac Sim, CARLA) एज केसेस उत्पन्न करने के लिए मूल्यवान हैं लेकिन वे स्वाभाविक रूप से ऑथोराइजेशन समस्या को हल नहीं करते हैं। उनमें यह तय करने के लिए तंत्र की कमी है कि क्या कोई प्रस्तावित एक्शन वास्तविक दुनिया की अनसर्टेन्टी और ऑपरेशनल कंस्ट्रेंट्स के तहत अधिकृत है।

5. महत्व और दावे

यह पेपर दावा करता है कि फिजिकल एआई सुरक्षा मौलिक रूप से एक ऑथोराइजेशन समस्या है, न कि केवल एक मॉडल-ट्रेनिंग या कंट्रोलर समस्या।

मुख्य तर्क: एक "प्लासिबल" मॉडल एक्शन को भौतिक कमिटमेंट बनने से पहले एक स्वतंत्र, ऑडिट करने योग्य बाउंड्री से गुजरना चाहिए। इस बाउंड्री को स्टेट वैलिडिटी, फिजिकल फिजिबिलिटी और ऑपरेशनल कंस्ट्रेंट्स का एक साथ मूल्यांकन करना चाहिए।
सीमित दायरा (Modest Scope): लेखक स्पष्ट रूप से कहते हैं कि यह कोई नया मानक, पूर्ण गार्डरेल डिज़ाइन, या सर्टिफिकेशन मैनुअल नहीं है। यह गैप का एक संरचित मानचित्र है जो मॉडल कैपेबिलिटी और फिजिकल-एक्शन एश्योरेंस के बीच है।
असत्यता परीक्षण (Falsifiability): केंद्रीय दावा असत्यता योग्य (falsifiable) है। यह कमजोर हो जाएगा यदि भविष्य के सिस्टम यह प्रदर्शित कर सकें कि मॉडल-इंटरनल कॉन्फिडेंस, लो-लेवल फिल्टर्स, या सिमेंटिक गार्डरेल्स अकेले विषम प्लेटफॉर्म्स पर साइलेंट फेलियर्स को लगातार रोकने में सक्षम हैं। इसके विपरीत, दावा मजबूत होता है यदि बाहरी चेक आवश्यक बने रहते हैं।
निहितार्थ (Implications):
- शोधकर्ताओं (Researchers) को मूल्यांकन फोकस को टास्क सक्सेस से बदलकर ऑथोराइजेशन इवेंट्स और इंटरवेंशन क्वालिटी पर ले जाना चाहिए।
- सिस्टम बिल्डर्स (System Builders) को मॉडल प्रपोजल्स और रनटाइम अथॉरिटी के बीच एक अलगाव को आर्किटेक्ट करना चाहिए ताकि स्वतंत्र जांच और ऑडिटेबिलिटी सुनिश्चित हो सके।
- नियामक और सुरक्षा टीमों (Regulators and Safety Teams) घटनाओं का विश्लेषण करने और यह समझने के लिए कि अनसर्टेन्टी के तहत एक्शन्स को क्यों अधिकृत या ब्लॉक किया गया था, पुनर्निर्मोचनीय (reconstructable) ऑथोराइजेशन रिकॉर्ड का उपयोग कर सकते हैं।

निष्कर्षतः, यह पेपर तर्क देता है कि जैसे-जैसे एआई दुनिया की भविष्यवाणी करने से लेकर उसके भीतर कार्य करने की ओर बढ़ रहा है, उद्योग को एक रनटाइम ऑथोराइजेशन लेयर की आवश्यकता है जो क्रिया को प्रस्तावित करने वाली जेनेरेटिव प्रक्रिया से अलग, एक विशिष्ट, ऑडिट करने योग्य इवेंट के रूप में कार्य को अधिकृत करने का निर्णय लेती है।