💻 computer science

SafeManip: A Property-Driven Benchmark for Temporal Safety Evaluation in Robotic Manipulation

यह शोधपत्र SafeManip को पेश करता है, जो एक प्रॉपर्टी-ड्रिवन बेंचमार्क है जो रोबोटिक मैनिपुलेशन में टेम्पोरल सेफ्टी उल्लंघनों का मूल्यांकन करने के लिए फाइनाइट ट्रेसेस पर लीनियर टेम्पोरल लॉजिक (LTLf) का उपयोग करता है, जिससे यह पता चलता है कि उच्च प्रदर्शन करने वाली विजन-लैंग्वेज-एक्शन पॉलिसियाँ भी कार्य सफलता प्राप्त करने के बावजूद अक्सर असुरक्षित व्यवहार प्रदर्शित करती हैं।

मूल लेखक: Chengyue Huang, Khang Vo Huynh, Sebastian Elbaum, Zsolt Kira, Lu Feng

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chengyue Huang, Khang Vo Huynh, Sebastian Elbaum, Zsolt Kira, Lu Feng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को सैंडविच बनाना सिखा रहे हैं। अतीत में, यदि रोबोट ने ब्रेड, चीज़ और हैम को एक साथ रखने और सैंडविच को प्लेट पर रखने का काम सफलतापूर्वक कर लिया, तो हम कहते थे, "बहुत बढ़िया! कार्य पूरा हुआ!"

लेकिन इस शोध पत्र के लेखक, SAFEMANIP, तर्क देते हैं कि केवल "कार्य पूरा करना" पर्याप्त नहीं है। एक रोबोट एक आदर्श सैंडविच बना सकता है लेकिन वह इसे बेहद असुरक्षित तरीके से कर सकता है: वह एक गंदे चाकू को साफ काउंटर पर घसीट सकता है, ब्रेड को उठाने से पहले फर्श पर गिरा सकता है, या दूध का गिलास पकड़े हुए फ्रिज का दरवाजा जोर से पटक सकता है।

SAFEMANIP रोबोटों के लिए एक नया "रिपोर्ट कार्ड" है जो केवल यह नहीं पूछता कि, "क्या आपने काम पूरा किया?" बल्कि यह पूछता है, "क्या आपने इसे सुरक्षित रूप से पूरा किया?"

यहाँ बताया गया है कि यह शोध पत्र इसे सरल उपमाओं का उपयोग करके कैसे समझाता है:

1. समस्या: "फिनिश लाइन" का जाल

एक रोबोट के काम को एक दौड़ की तरह समझें। पारंपरिक रूप से, हमें केवल इस बात की परवाह होती है कि रोबोट फिनिश लाइन को पार करता है या नहीं। लेकिन क्या होगा यदि रोबोट एक बच्चे के ऊपर से टकरा जाए, दीवार के आर-पार भाग जाए, और फिर लाइन को पार कर ले? उसने काम पूरा किया, लेकिन यह एक आपदा थी।

शोध पत्र कहता है कि कई रोबोट ऐसे ही होते हैं। वे लक्ष्य (कार्य) को प्राप्त कर सकते हैं लेकिन यात्रा (सुरक्षा) में विफल हो सकते हैं। ये विफलताएं अक्सर समय के साथ होती हैं। यह केवल इस बारे में नहीं है कि अभी आप एक बुरी स्थिति में हैं; यह इस बारे में है कि गलत समय पर गलत काम करना।

उदाहरण: एक रोबोट कच्चे चिकन को छूने के बाद एक साफ चम्मच को छूता है। शुरुआत में और अंत में चम्मच साफ है, लेकिन घटनाओं का क्रम खतरनाक था।

2. समाधान: "सेफ्टी स्क्रिप्ट" (SAFEMANIP)

इसे ठीक करने के लिए, शोधकर्ताओं ने SAFEMANIP बनाया है। इसे LTLf (जो समय के लिए नियमों का एक सख्त सेट है) नामक एक विशेष भाषा में लिखे गए सेफ्टी स्क्रिप्ट्स के रूप में समझें।

केवल यह जाँचने के बजाय कि क्या रोबोट दीवार से टकराया, ये स्क्रिप्ट्स रोबोट के कार्यों की "कहानी" की जाँच करती हैं:

"ग्रैस्प" (पकड़ने का) नियम: एक बार जब आप एक फिसलन भरी बोतल उठाते हैं, तो आपको उसे नीचे रखने के लिए तैयार होने तक मजबूती से पकड़ना चाहिए। आप इसे बीच में डगमगाने या गिरने नहीं दे सकते।
"स्वच्छता" का नियम: यदि आप कच्चे मांस को छूते हैं, तो आप अपने हाथ (या रोबोट के ग्रिपर) धोने के बिना एक साफ कटोरे को नहीं छू सकते।
"डोर" (दरवाजे का) नियम: आप माइक्रोवेव के अंदर तब तक नहीं पहुँच सकते जब तक कि दरवाजा पूरी तरह से खुला न हो। आप दूसरा प्लेट तब तक नहीं रख सकते जब तक कि पहला अंदर न हो।

ये स्क्रिप्ट्स पुन: प्रयोज्य टेम्पलेट (reusable templates) हैं। जिस तरह आप अलग-अलग प्रकार के सैंडविच बनाने के लिए एक ही "रेसिपी" का उपयोग कर सकते हैं, उसी तरह शोधकर्ता विभिन्न कार्यों के लिए—चाहे वह रसोई साफ करना हो, खाना बनाना हो, या पेंट्री व्यवस्थित करना हो—एक ही सुरक्षा नियमों का उपयोग कर सकते हैं।

3. परीक्षण: "किचन सिम्युलेटर"

शोधकर्ताओं ने RoboCasa नामक एक कंप्यूटर सिमुलेशन के भीतर 50 विभिन्न घरेलू कार्यों (जैसे कॉफी बनाना, बर्तन धोना, या भोजन गर्म करना) पर इस प्रणाली का परीक्षण किया। उन्होंने इन कार्यों को करने के लिए छह अलग-अलग AI रोबोटों (जिनमें $\pi_0$ और GR00_T जैसे बहुत उन्नत रोबोट भी शामिल हैं) का उपयोग किया।

उन्होंने केवल यह नहीं देखा कि क्या रोबोट ने काम पूरा किया; उन्होंने रोबोट के कार्यों को अपने "सेफ्टी स्क्रिप्ट्स" के माध्यम से चलाया ताकि यह देख सकें कि क्या उसने रास्ते में कोई नियम तोड़ा।

4. चौंकाने वाले परिणाम

निष्कर्ष आश्चर्यजनक और थोड़े डरावने थे:

सफलता $\neq$ सुरक्षा: रोबोट कार्यों को पूरा करने में जितने स्मार्ट होते गए, वे आवश्यक रूप से उतने सुरक्षित नहीं हुए। वास्तव में, कुछ रोबटेज जिन्होंने अधिक कार्य पूरे किए, उन्होंने अधिक सुरक्षा नियम भी तोड़े।
"सफलता-लेकिन-असुरक्षित" का जाल: कई रोबोटों ने कार्य पूरा किया, लेकिन उन्होंने इसे ऐसे तरीके से किया जो वास्तविक जीवन में खतरनाक होता। उदाहरण के लिए, एक रोबोट ने सफलतापूर्वक एक कप को डिशवॉशर में रखा, लेकिन उसने ऐसा कप को गिराकर, उसे फर्श पर लुढ़कने देकर और फिर उसे उठाकर किया। कार्य "पूरा" था, लेकिन सेफ्टी स्क्रिप्ट चिल्ला रही थी "FAIL"।
लंबे कार्य = अधिक खतरा: कार्य जितना जटिल होगा (जैसे भोजन बनाना बनाम केवल एक कप उठाना), रोबोट के सुरक्षा संबंधी गलती करने की संभावना उतनी ही अधिक होगी। कहानी जितनी लंबी होगी, उसमें "प्लॉट होल" (कथानक की कमी) की उतनी ही अधिक संभावना होगी।

5. मुख्य निष्कर्ष (Takeaway)

शोध पत्र निष्कर्ष निकालता है कि हमें रोबोटों को आंकने के लिए एक नए तरीके की आवश्यकता है। हम केवल अंतिम स्कोर को नहीं देख सकते। हमें पूरी फिल्म देखनी होगी।

SAFEMANIP हमें फिल्म को फ्रेम-दर-फ्रेम देखने का एक उपकरण प्रदान करता है, उन क्षणों को पकड़ता है जहाँ रोबोट लापरवाह हो रहा है, भले ही वह अंततः काम पूरा कर ले। यह हमें यह समझने में मदद करता है कि रोबोट कहाँ और कब विफल होते हैं, ताकि हम उन्हें वास्तव में अपनी रसोई में आने देने से पहले ठीक कर सकें।

संक्षेप में: सिर्फ इसलिए कि एक रोबोट काम कर सकता है, इसका मतलब यह नहीं है कि वह चीजें तोड़े बिना, लोगों को चोट पहुँचाए बिना, या गंदगी फैलाए बिना काम कर सकता है। SAFEMNIP वह उपकरण है जो अंततः हमें काम पूरा करने के साथ-साथ उसके "कैसे" को भी जाँचने की अनुमति देता है।

तकनीकी सारांश: SAFEMANIP

समस्या विवरण

रोबोटिक मैनिपुलेशन का मूल्यांकन पारंपरिक रूप से मुख्य रूप से कार्य सफलता मेट्रिक्स (जैसे, सफलता दर) द्वारा किया जाता रहा है। हालाँकि, सफल कार्य पूर्णता सुरक्षित निष्पादन की गारंटी नहीं देती है। रोबोटिक मैनिपुलेशन में कई सुरक्षा विफलताएँ अस्थायी (temporal) प्रकृति की होती हैं, जो तात्कालिक अवस्था उल्लंघन के बजाय घटनाओं के अनुक्रम और समय से उत्पन्न होती हैं। उदाहरण के लिए, दूषित भोजन को संभालने के बाद एक साफ सतह को छूना, किसी वस्तु को पूरी तरह से एनक्लोजर के अंदर होने से पहले छोड़ देना, या परिवहन के दौरान किसी वस्तु को गिरा देना। मौजूदा बेंचमार्क अक्सर कार्य-विशिष्ट खतरा लेबल, तात्कालिक टकराव जांच, या संचयी प्रक्षेपवक्र लागत (cumulative trajectory costs) पर निर्भर करते हैं। हालांकि उपयोगी हैं, ये मेट्रिक्स अक्सर इस बात को अस्पष्ट कर देते हैं कि कौन सा सुरक्षा नियम उल्लंघन हुआ, यह कब हुआ, और क्या कार्य सुरक्षित रूप से पूरा किया गया या केवल पूरा किया गया। विविध मैनिपुलेशन कार्यों में स्पष्ट रूप से अस्थायी सुरक्षा गुणों का मूल्यांकन करने के लिए पुन: प्रयोज्य, गुण-संचालित ढाँचों (frameworks) की कमी है।

कार्यप्रणाली

लेखक SAFEMANIP पेश करते हैं, जो एक गुण-संचालित बेंचमार्क है जिसे रोबोटिक मैनिपुलेशन में स्पष्ट रूप से अस्थायी सुरक्षा का मूल्यांकन करने के लिए डिज़ाइन किया गया है। यह ढांचा तीन मुख्य घटकों से बना है:

1. औपचारिक विशिष्टता भाषा (LTLf)

SAFEMANIP सुरक्षा गुणों को परिभाषित करने के लिए फाइनाइट ट्रेसेस पर लीनियर टेम्पोरल लॉजिक (LTLf) का उपयोग करता है। अनंत ट्रेसेस के लिए उपयोग किए जाने वाले मानक LTL के विपरीत, LTLf सीमित रोबोटिक रोलआउट के लिए उपयुक्त है जो कार्य सफलता, विफलता या हॉरिजन सीमाओं पर समाप्त होते हैं।

एटॉमिक प्रपोजिशन्स (Atomic Propositions): सिस्टम निरंतर अवलोकनों (वस्तु की स्थिति, संपर्क घटनाएँ, ग्रिपर अवस्था, फिक्स्चर अवस्था) को बूलियन प्रेडिकेट्स (जैसे, Contaminated, StableGrasp, EnclosureCleared) में ग्राउंड करता है।
टेम्पोरल ऑपरेटर्स: फ्रेमवर्क क्रम, इनवेरिएंट्स और रिकवरी आवश्यकताओं को निर्दिष्ट करने के लिए मानक ऑपरेटर्स का उपयोग करता है: नेक्स्ट ( $\bigcirc$ ), अंटिल ( $U$ ), ऑलवेज ( $\square$ ), और इवेंचुअली ( $\diamond$ )।
मॉनिटरिंग: प्रत्येक LTLf फॉर्मूला को एक डिटरमिनिस्टिक फाइनाइट ऑटोमेटन (DFA) में संकलित किया जाता है। जैसे ही एक रोलआउट एक सिम्बोलिक ट्रेस उत्पन्न करता है, DFA यह निर्धारित करने के लिए अपनी अवस्था अपडेट करता है कि गुण संतुष्ट है या उल्लंघन हुआ है।

2. पुन: प्रयोज्य सुरक्षा गुण टेम्प्लेट

बेंचमार्क आठ सुरक्षा श्रेणियों का एक समूह परिभाषित करता है जिसमें पुन: प्रयोज्य LTLf टेम्प्लेट हैं। इन टेम्प्लेट्स को कार्य-विशिष्ट वस्तुओं, फिक्स्चर, क्षेत्रों या कौशल के साथ इंस्टैंशिएट किया जा सकता है, जिससे विभिन्न वातावरणों में सामान्यीकरण संभव होता है:

कोलिजन और कॉन्टैक्ट सेफ्टी: मैनिपुलेशन के दौरान असुरक्षित संपर्क से बचना।
ग्रैस्प स्टेबिलिटी: यह सुनिश्चित करना कि वस्तु रिलीज होने तक स्थिर रूप से पकड़ी गई रहे।
रिलीज़ स्टेबिलिटी: यह सुनिश्चित करना कि छोड़ी गई वस्तु सुरक्षित रूप से सेटल हो जाए (कोई रोलिंग, गिरना या स्पिलिंग नहीं)।
क्रॉस-कंटैमिनेशन: दूषित पदार्थों को संभालने के बाद स्वच्छ संपर्क से पहले स्वच्छता (sanitization) लागू करना।
एक्शन-ऑनसेट सेफ्टी: किसी कौशल को शुरू करने से पहले सुरक्षित प्रीकंडिशन्स को सत्यापित करना।
मैकेनिज्म सेफ्टी: फिक्स्चर इम्पैक्ट (जैसे, दरवाजे, दराज) के बाद रिट्रैक्शन और रिकवरी की आवश्यकता।
कंटेनमेंट सेफ्टी: यह सुनिश्चित करना कि स्थानांतरित तरल पदार्थ या वस्तुएं अपने इच्छित प्राप्तकर्ता तक पहुँचें।
एनक्लोजर और एक्सेस सेफ्टी: अनुक्रमिक बाधाओं को लागू करना (जैसे, नए आइटम डालने से पहले एनक्लोजर को खाली करना, अंदर पहुँचने से पहले पूरी तरह खुलने का इंतजार करना)।

3. मूल्यांकन प्रोटोकॉल

टास्क सुइट: बेंचमार्क को विविध घरेलू मैनिपुलेशन कौशलों (सफाई, खाना बनाना, भंडारण, आदि) को कवर करने वाले 50 RoboCasa365 कार्यों पर इंस्टैंशिएट किया गया है, जिन्हें सात मैनिपुलेशन सुइट्स में समूहबद्ध किया गया है।
मूल्यांकित नीतियां: छह विजन-लैंग्वेज-एक्शन (VLA) नीतियों और प्रशिक्षण वेरिएंट का परीक्षण किया गया, जिसमें $\pi_0$ , $\pi_{0.5}$ , GR00T N1.5, और तीन GR00T वेरिएंट (प्रीट्रेनिंग-ओनली, टारगेट-ओनली, और कंबाइंड) शामिल हैं।
मेट्रिक्स: फ्रेमवर्क कार्य सफलता को सुरक्षा से अलग करता है। यह रिपोर्ट करता है:
- टास्क सक्सेस रेट: कार्य पूरा करने वाले रोलआउट का अंश।
- सेफ्टी वायलेशन रेट: समग्र और प्रति-गुण उल्लंघन आवृत्तियाँ।
- आउटकम डिकंपोजिशन: रोलआउट्स को सफलता-और-सुरक्षित, सफलता-लेकिन-असुरक्षित, विफलता-लेकिन-सुरक्षित, और विफलता-और-असुरक्षित में वर्गीकृत करना।
- अनसेफ-स्टेट एक्सपोज़र रेट: उल्लंघन वाली अवस्था में बिताए गए टाइमस्टेप्स का प्रतिशत।

मुख्य परिणाम

50 कार्यों में छह VLA नीतियों के मूल्यांकन ने निम्नलिखित निष्कर्ष दिए:

कार्य सफलता सुरक्षा का संकेत नहीं देती: कार्य सफलता दरों में सुधार विश्वसनीय रूप से सुरक्षित निष्पादन में अनुवादित नहीं होता है। उदाहरण के लिए, $\pi_{0.5}$ ने $\pi_0$ की तुलना में कार्य सफलता में मामूली वृद्धि दिखाई लेकिन सुरक्षा उल्लंघनों में महत्वपूर्ण वृद्धि (69.7% से 82.8% तक) देखी गई। कई "सफल" रोलआउट्स को सफलता-लेकिन-असुरक्षित के रूप में वर्गीकृत किया गया था।
श्रेणी-विशिष्ट विफलताएं: सुरक्षा विफलताएं समान रूप से वितरित नहीं होती हैं। कोलिजन/कॉन्टैक्ट और रिलीज़ स्टेबिलिटी उल्लंघन सबसे अधिक बार होने वाले थे। रिलीज़ विफलताएं विशेष रूप से निरंतर थीं, जो अक्सर वस्तुओं को कई टाइमस्टेप्स तक अनसेटल छोड़ देती थीं।
टास्क हॉरिजन और संरचना का प्रभाव:
- हॉरिजन: जैसे-जैसे टास्क हॉरिजन एटोमिक से लॉन्ग-हॉरिजन कार्यों तक विस्तारित हुआ, सुरक्षा उल्लंघन दर आम तौर पर बढ़ी। लंबे निष्पादन अधिक सुरक्षा-महत्वपूर्ण ट्रांजिशन (संपर्क, प्लेसमेंट, फिक्स्चर मोशन) पेश करते हैं, जिससे अंतिम लक्ष्य प्राप्त होने पर भी उल्लंघन जमा हो जाते हैं।
- सुइट डिपेंडेंस: कुकिंग, क्लीनिंग और सर्विंग से जुड़े जटिल सुइट्स ने सरल फिक्स्चर कार्यों की तुलना में काफी अधिक टेम्पोरल उल्लंघन प्रदर्शित किए।
प्रॉम्प्ट-आधारित मार्गदर्शन: GR00T-tpt मॉडल पर सुरक्षा प्रॉम्प्ट्स का उपयोग करके एक खोजपूर्ण विश्लेषण ने एक ट्रेड-ऑफ दिखाया: प्रॉम्प्ट्स ने अधिक रूढ़िवादी व्यवहार को प्रोत्साहित किया (उल्लंघन दरों को थोड़ा कम किया) लेकिन कार्य सफलता दरों को काफी कम कर दिया।

महत्व और दावे

पेपर का दावा है कि SAFEMANIP सरल कार्य पूर्णता या बाइनरी सुरक्षा लेबल से परे टेम्पोरल सुरक्षा विफलताओं के निदान के लिए एक पुन: प्रयोज्य मूल्यांकन परत प्रदान करता है।

कार्य सफलता से परे: लेखक प्रदर्शित करते हैं कि कार्य सफलता महत्वपूर्ण टेम्पोरल सुरक्षा विफलताओं को छिपा सकती है। कार्य पूर्णता को सुरक्षित निष्पादन से अलग करके, SAFEMANIP प्रकट करता है कि मॉडल अक्सर असुरक्षित तरीके से कार्य पूरे करते हैं।
गहन निदान (Granular Diagnosis): गुण-संचालित दृष्टिकोण शोधकर्ताओं को विशिष्ट विफलता मोड (जैसे, अस्थिर रिलीज बनाम कोलिजन) और विभिन्न कार्य संरचनाओं में उनकी व्यापकता की पहचान करने की अनुमति देता है, जिसे एग्रीगेट मेट्रिक्स अक्सर अस्पष्ट कर देते हैं।
सामान्यीकरण: पुन: प्रयोज्य LTLf टेम्प्लेट्स का उपयोग करने से एक ही सुरक्षा विशिष्टताओं को विभिन्न वस्तुओं, फिक्स्चर और वातावरणों पर लागू किया जा सकता है, जिससे तुलनात्मक सुरक्षा विश्लेषण की सुविधा मिलती है।
सीमित दायरा: लेखक स्वीकार करते हैं कि SAFEMANIP निर्दिष्ट गुणों का मूल्यांकन करता है न कि सभी संभावित खतरों का। वर्तमान इंस्टेंशिएशन प्रेडिकेट्स को ग्राउंड करने के लिए सिम्युलेटर स्टेट पर निर्भर है, और परिणाम RoboCasa365 बेंचमार्क प्रोटोकॉल के वर्णनात्मक हैं न कि सभी रोबोटिक डोमेन के लिए सार्वभौमिक दावा। यह कार्य नीति प्रशिक्षण और वास्तविक दुनिया के परिनियोजन में गुण-स्तर के सुरक्षा संकेतों के भविष्य के एकीकरण के लिए एक आधार के रूप में कार्य करता है।