तकनीकी सारांश: SafeDojo

समस्या परिभाषा

वास्तविक भौतिक वातावरण में विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स की तैनाती एक महत्वपूर्ण सुरक्षा चुनौती का सामना करती है: संपर्क-समृद्ध हेरफेर (contact-rich manipulation) के दौरान टकराव से बचाव। कम-आयामी नियंत्रण प्रणालियों के विपरीत, जहाँ सुरक्षा बाधाओं को स्पष्ट रूप से परिभाषित किया जा सकता है या संक्षिप्त रूप से सीखा जा सकता है, VLA नीतियों को विविध और पहले से अनदेखी बाधा विन्यासों (obstacle configurations) में उच्च-आयामी दृश्य अवलोकनों से सुरक्षा सीमाओं का अनुमान लगाना पड़ता है।

मौजूदा दृष्टिकोण सुरक्षित रोबोटिक हेरफेर में महत्वपूर्ण सीमाओं से ग्रस्त हैं:

• अनुमान-समय हस्तक्षेप (Inference-time interventions) (जैसे, कंट्रोल बैरियर फंक्शन्स) सटीक ज्यामितीय मॉडलिंग और कैमरा अंशांकन (calibration) की आवश्यकता रखते हैं, जो ओपन-वर्ल्ड VLA परिनियोजन के लिए अव्यावहारिक है।
• मॉडल-मुक्त बाधित सुदृढीकरण लर्निंग (Model-free constrained RL) दंड-आधारित अनुकूलन के माध्यम से सुरक्षा लागू करता है, लेकिन इसके लिए महंगी और संभावित रूप से असुरक्षित वास्तविक दुनिया की खोज (exploration) की आवश्यकता होती है। एक भी असुरक्षित संपर्क कार्य की विफलता, अपरिवर्तनीय हार्डवेयर क्षति, या पर्यावरणीय व्यवधान का कारण बन सकता है।
• मॉडल-आधारित सुरक्षित RL आमतौर पर निम्न-आयामी अवस्था स्थानों (state spaces) में काम करता है जहाँ सिम्युलेटर-प्रदत्त लागत फलनों (cost functions) का उपयोग होता है, जिससे उच्च-आयामी VLA मॉडल्स में स्थानांतरण करना कठिन हो जाता है जहाँ सुरक्षा संकेतों को विश्लेषणात्मक रूप से परिभाषित करने के बजाय दृश्य डेटा से सीखना आवश्यक होता है।

मूल खुला प्रश्न यह है कि हाथ से बनाए गए सुरक्षा फलनों या जोखिम भरी वास्तविक दुनिया की खोज पर निर्भर किए बिना बाधा-समृद्ध वातावरणों में टकराव-मुक्त VLA नीतियों को कैसे सीखा जाए।

कार्यप्रणाली: SafeDojo

SafeDojo को विशेष रूप से VLA नीतियों के लिए डिज़ाइन किया गया पहला मॉडल-आधारित सुरक्षित सुदृढीकरण लर्निंग फ्रेमवर्क के रूप में प्रस्तावित किया गया है। यह वास्तविक दुनिया के जोखिमों से बचते हुए पूरी तरह से एक इंटरैक्टिव वीडियो वर्ल्ड मॉडल के भीतर ऑनलाइन नीति अनुकूलन सक्षम बनाता है। यह ढांचा तीन प्रमुख घटकों से बना है:

1. चंक-वाइज इंटरैक्टिव वर्ल्ड मॉडल रोलआउट्स (Chunk-wise Interactive World Model Rollouts)

भौतिक दुनिया में डेटा एकत्र करने के बजाय, SafeDojo एक इंटरैक्टिव वर्ल्ड मॉडल $p_\phi$ के भीतर "मॉडल-इन-द-लूप" रोलआउट करता है।

• आर्किटेक्चर: वर्ल्ड मॉडल को एक एक्शन-कंडीशन्ड वीडियो प्रेडिक्टर (Wan 2.2 पर आधारित) के रूप में स्थापित किया गया है जो भविष्य के दृश्य अवलोकन और लेटेंट डायनेमिक्स उत्पन्न करता है।
• प्रक्रिया: एक प्रारंभिक अवलोकन $o_0$ और भाषा निर्देश $l$ दिए जाने पर, वर्तमान VLA नीति $\pi_\theta$ संभावित प्रक्षेप पथों (trajectories) का नमूना लेती है। वर्ल्ड मॉडल इन प्रक्षेप पथों को पुनरावर्ती रूप से रोल आउट करता है ताकि एक्शन चंक्स पर आधारित भविष्य के काल्पनिक फ्रेम $\hat{o}_{i,k+1}$ और लेटेंट अवस्थाएं $\hat{z}_{i,k+1}$ उत्पन्न की जा सकें।
• मजबूती (Robustness): लॉन्ग-होरिज़न रोलआउट्स में ट्रेन-टेस्ट मिसमैच और एक्सपोज़र एरर को कम करने के लिए, प्रशिक्षण में स्टैटिक-वीडियो ऑग्मेंटेशन शामिल है जो कभी-कभी कंडीशनिंग फ्रेम्स को फ्रीज कर देता है, जिससे मॉडल अपूर्ण मध्यवर्ती भविष्यवाणियों के प्रति सहनशील बनता है।

2. विकेंद्रीकृत कार्य पुरस्कार और सुरक्षा लागत अनुमान (Decoupled Task Reward and Safety Cost Estimation)

SafeDojo काल्पनिक प्रक्षेप पथों का मूल्यांकन करने के लिए एक दोहरी-शाखा मूल्यांकनकर्ता (dual-branch evaluator) का उपयोग करता है, जो उन्हें एकल स्केलर रिवॉर्ड में बदलने के बजाय सघन (dense), प्रति-चरण संकेतों का अनुमान लगाता है।

• कार्य पुरस्कार ($f_{task}$): एक फाइन-ट्यून्ड ResNet सफलता क्लासिफायर काल्पनिक भविष्य के फ्रेमों से प्रति-चरण कार्य प्रगति की भविष्यवाणी करता है।
• सुरक्षा लागत ($f_{safe}$): एक हल्का सुरक्षा हेड अनुमानित लेटेंट कॉन्टेक्स्ट और प्रस्तावित एक्शन चंक से प्रति-चरण सुरक्षा लागत (बाधा-संपर्क संभाव्यता) का अनुमान लगाता है।
• एकत्रीकरण (Aggregation): इन सघन संकेतों को प्रक्षेप पथ-स्तरीय पुरस्कारों ($r_i$) और लागतों ($c_i$) में एकत्रित किया जाता है। सुरक्षा लागत विशेष रूप से महत्वपूर्ण अंतरालों पर जोर देने के लिए शीर्ष-$M$ उच्च-जोखिम वाले चरणों को एकत्रित करती है।

3. लैग्रेंजियन-आधारित सुरक्षा-बाधित GRPO (Lagrangian-based Safety-Constrained GRPO)

स्पष्ट सुरक्षा बाधाओं के तहत नीति को अनुकूलित करने के लिए, SafeDojo एक लैग्रेंजियन फॉर्मूलेशन के साथ ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का एक संस्करण उपयोग करता है।

• एडवांटेज गणना: सापेक्ष एडवांटेज $\hat{A}^r_i$ और $\hat{A}^c_i$ की गणना करने के लिए चुने गए प्रक्षेप पथों के एक समूह के भीतर कार्य पुरस्कारों और सुरक्षा लागतों को अलग-अलग सामान्यीकृत किया जाता है।
• बाधित उद्देश्य (Constrained Objective): अंतिम एडवांटेज $\hat{A}^{safe}_i = \hat{A}^r_i - \eta \hat{A}^c_i$ के रूप में परिकलित किया जाता है, जहाँ $\eta$ एक गैर-ऋणात्मक लैग्रेंज मल्टीप्लायर है।
• गतिशील संतुलन (Dynamic Balancing): मल्टीप्लायर $\eta$ को बैच-स्तर के उल्लंघन (औसत सुरक्षा लागत बनाम अनुमेय बजट $d$) के आधार पर अपडेट किया जाता है। यदि औसत लागत बजट से अधिक हो जाती है, तो $\eta$ बढ़ता है ताकि असुरक्षित प्रक्षेप पथों को अधिक मजबूती से दंडित किया जा सके; अन्यथा, यह कार्य-उन्मुख सुधार की अनुमति देने के लिए घटता है।
• अपडेट नियम: नीति को सुरक्षा-बाधित एडवांटेज के साथ क्लिप्ड ऑब्जेक्टिव का उपयोग करके अपडेट किया जाता है, जो निश्चित दंड भार (penalty weights) के बिना कार्य सफलता और सुरक्षा के समन्वित सुधार को सुनिश्चित करता है।

प्रमुख योगदान

1. वर्ल्ड मॉडल-आधारित रिवॉर्ड-कॉस्ट एस्टीमेशन: एक इंटरैक्टिव वीडियो वर्ल्ड मॉडल का विकास जो एक दोहरी-शाखा मूल्यांकनकर्ता के साथ जुड़ा हुआ है, जो कार्य प्रगति और सुरक्षा जोखिम अनुमान को काल्पनिक डायनेमिक्स से अलग करता है, जिससे हाथ से बनाए गए सुरक्षा फलनों की आवश्यकता समाप्त हो जाती है।
2. सुरक्षा-बाधित RL: एक लैग्रेंजियन-आधारित सुरक्षा-बाधित GRPO उद्देश्य का परिचय जो निश्चित दंड भार की संवेदनशीलता से बचते हुए सुरक्षा बजट को स्पष्ट रूप से लागू करता है और कार्य सफलता एवं टकराव बचाव का समन्वय करता है।
3. अनुभवजन्य प्रदर्शन: SafeLIBERO बेंचमार्क और वास्तविक दुनिया के फ्रैंका रोबोट पर श्रेष्ठ प्रदर्शन का प्रदर्शन, जो इंफरेंस-टाइम सुरक्षा, मॉडल-फ्री RL और मॉडल-आधारित RL बेसलाइन्स के बीच उच्चतम समग्र कार्य सफलता, सुरक्षित सफलता और निष्पादन दक्षता प्राप्त करता है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन SafeLIBERO (Robosuite पर आधारित एक सुरक्षा-महत्वपूर्ण बेंचमार्क) और वास्तविक दुनिया के Franka Emika Panda रोबोट्स पर किया गया।

सिमुलेशन परिणाम (SafeLIBERO)

• सुरक्षित सफलता दर (Safe Success Rate - SSR): SafeDojo ने लेवल I (53.25%) और लेवल II (49.62%) दोनों पर उच्चतम औसत SSR प्राप्त किया। लेवल I पर, यह सबसे मजबूत बेसलाइन (SafeVLA @ 45.00%) की तुलना में 8.25 प्रतिशत अंक का सुधार है।
• निष्पादन दक्षता (Execution Efficiency): SafeDojo ने सबसे कम औसत निष्पादन समय चरण (लेवल I पर 269.41) प्राप्त किया, जो सर्वश्रेष्ठ मॉडल-आधारित बेसलाइन (WMPO @ 274.02) से बेहतर है, जो यह दर्शाता है कि सुरक्षा-जागरूक अनुकूलन अत्यधिक रूढ़िवादी या अक्षम नीतियों की ओर नहीं ले जाता है।
• सामान्यीकरण (Generalization): केवल लेवल I प्रदर्शनों पर प्रशिक्षित होने के बावजूद, SafeDojo ने लेवल II (जहाँ बाधाएं मोशन पाथ में आगे रखी गई हैं) पर शीर्ष प्रदर्शन बनाए रखा, जो दर्शाता है कि काल्पनिक रोलआउट के माध्यम से सीखे गए सुरक्षा संकेत अनदेखी बाधा विन्यासों में स्थानांतरित होते हैं।

वास्तविक दुनिया के परिणाम

• पांच वास्तविक दुनिया के हेरफेर कार्यों पर तैनात किए जाने पर, SafeDojo ने सर्वश्रेष्ठ औसत कार्य सफलता दर (76.00%) और सुरक्षित सफलता दर (70.00%) प्राप्त की।
• गुणात्मक विश्लेषण ने दिखाया कि SafeDojo सीधे, टकराव-जागरूक प्रक्षेप पथ उत्पन्न करता है, जबकि बेसलाइन या तो बाधाओं से टकराती हैं, अत्यधिक रूढ़िवादी हो जाती हैं, या असुरक्षित अवस्थाओं से उबरने में विफल रहती हैं।

एब्लेशन अध्ययन (Ablation Studies)

• घटक महत्व: सुरक्षा हेड को हटाने से SSR गिरकर 38.0% हो गया; टास्क रिवॉर्ड ब्रांच को हटाने से प्रदर्शन लगभग शून्य हो गया। अनकन्स्ट्रेंड ऑप्टिमाइजेशन के साथ रिप्लेस करने से सुरक्षा में काफी कमी आई।
• इनपुट स्रोत: भविष्य के भविष्यवाणियों के बजाय वर्तमान वर्ल्ड-मॉडल स्टेट प्लस प्रस्तावित एक्शन चंक का उपयोग करने से सबसे स्थिर रिवॉर्ड-कॉस्ट संकेत मिले।
• लैग्रेंज मल्टीप्लायर ($\eta$): 0.2 के प्रारंभिक $\eta$ ने सबसे अच्छा संतुलन प्रदान किया; उच्च मानों के कारण अत्यधिक-बाधित, अक्षम नीतियां बनीं, जबकि कम मानों के कारण जोखिम भरे कार्यों को दबाने में विफलता मिली।

महत्व और दावे

यह पेपर SafeDojo को सुरक्षित एम्बोडीड इंटेलिजेंस (embodied intelligence) की ओर एक स्केलेबल और सामान्यीकरण योग्य पथ के रूप में प्रस्तुत करता है। कल्पना में "पूर्वानुमानित रोलआउट" करने के लिए वर्ल्ड मॉडल का लाभ उठाकर, SafeDojo नीति अन्वेषण (exploration) की आवश्यकता और भौतिक सुरक्षा उल्लंघन की अपरिवर्तनीयता के बीच मौलिक तनाव को संबोधित करता है।

लेखक दावा करते हैं कि SafeDojo पहला फ्रेमवर्क है जिसने सफलतापूर्वक VLA मॉडल्स के लिए मॉडल-आधारित सुरक्षित RL को लागू किया है, जो सक्षम बनाता है:

1. जोखिम-मुक्त लर्निंग: नीति सुधार पूरी तरह से एक सिम्युलेटेड वर्ल्ड मॉडल के भीतर होता है, जिससे महंगी और खतरनाक वास्तविक दुनिया की खोज की आवश्यकता समाप्त हो जाती है।
2. डेटा-संचालित सुरक्षा: सुरक्षा संकेत पूर्व-निर्धारित ज्यामितीय बाधाओं या हाथ से बनाए गए लागत फलनों पर निर्भर रहने के बजाय उच्च-आयामी दृश्य अवलोकनों से सीखे जाते हैं।
3. संतुलित अनुकूलन: लैग्रेंजियन-आधारित दृष्टिकोण उच्च कार्य प्रदर्शन बनाए रखते हुए स्पष्ट बाधा संतुष्टि की अनुमति देता है।

परिणाम बताते हैं कि वर्ल्ड मॉडल-आधारित सुरक्षित सुदृढीकरण लर्निंग एक व्यवहार्य प्रतिमान है, जिसे उन ओपन-वर्ल्ड भौतिक वातावरणों में VLA नीतियों को तैनात करने के लिए उपयोग किया जा सकता है जहाँ सुरक्षा एक पूर्व शर्त है।