🤖 machine learning

CoWAM: Coordination Contracts for Selective Policy Intervention with WAMs

CoWAM द्विपक्षीय (bimanual) रोबोटों के लिए एक चयनात्मक हस्तक्षेप परत (selective intervention layer) पेश करता है जो समन्वय अनुबंधों (coordination contracts) का उपयोग करता है ताकि वर्ल्ड एक्शन मॉडल (WAM) नीतियों को केवल तभी सुरक्षित रूप से संशोधित किया जा सके जब विशिष्ट सिंक्रोनाइज़ेशन, भूमिका और टकराव के मानदंड पूरे हों, जिससे हानिकारक हस्तक्षेप के नगण्य जोखिम को बनाए रखते हुए समन्वय सफलता दर में महत्वपूर्ण सुधार होता है।

मूल लेखक: Shuaijun Liu, Qifu Wen, Shuyang Hao, Qi Luo, Chenglong Zhang, Feiyang You, Chengyu Wu, Ningxin Su

प्रकाशित 2026-08-04

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Shuaijun Liu, Qifu Wen, Shuyang Hao, Qi Luo, Chenglong Zhang, Feiyang You, Chengyu Wu, Ningxin Su

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप रोबोटिक भुजाओं की एक जोड़ी को एक जटिल टैंगो (tango) नृत्य सिखा रहे हैं। आप नहीं चाहते कि वे केवल हिलें-डुलें; आप चाहते हैं कि वे एक साथ मिलकर चलें। यदि एक भुजा कप उठाने के लिए पहुँचती है और दूसरी गलती से उसे गिरा देती है, या यदि वे दोनों एक ही हैंडल को पकड़ने की कोशिश करते हैं, तो नृत्य विफल हो जाता है। यह बाइमैनुअल रोबोटिक्स (bimanual robotics) की दुनिया है, जहाँ दो भुजाओं को वस्तुओं को संभालने के लिए पूर्ण समन्वय के साथ काम करना होता है। रोबोट को योजना बनाने में मदद करने के लिए, वैज्ञानिक वर्ल्ड एक्शन मॉडल्स (World Action Models - WAMs) नामक चीज़ का उपयोग करते हैं। WAM को एक "क्रिस्टल बॉल" (भविष्य दिखाने वाला गोला) की तरह समझें: यह एक प्रस्तावित चाल को लेता है और सिम्युलेट करता है कि यदि वह चाल चली गई तो भविष्य कैसा दिखेगा। यह एक वीडियो गेम प्रीव्यू की तरह है, जो रोबोट को दिखाता है, "यदि तुम वहाँ पहुँचे, तो तुम इसे गिरा दोगे।" लेकिन पेचीदा बात यह है कि सिर्फ इसलिए कि रोबोट एक ऐसा भविष्य देख सकता है जहाँ चीजें गलत हो जाती हैं, इसका मतलब यह नहीं है कि उसे तुरंत अपना इरादा बदल लेना चाहिए। कभी-कभी रोबोट की मूल योजना वास्तव में ठीक होती है, और एक डरावने सिम्युलेशन पर घबराहट करने से अधिक गलतियाँ हो सकती हैं। बड़ा सवाल यह है: हम रोबोट को कैसे बताएं कि कब अपने अंतर्मन (gut) पर भरोसा करना है और कब अपनी क्रिस्टल बॉल की बात सुननी है?

यह शोध पत्र एक चतुर समाधान पेश करता है जिसे CoWAM (Coordination Contracts with World Models) कहा जाता है। रोबोट के "क्रिस्टल बॉल" को उसकी योजनाओं को बेतरतीब ढंग से ओवरराइड करने देने के बजाय, CoWAM एक सख्त और निष्पक्ष रेफरी की तरह कार्य करता है जो केवल तभी हस्तक्षेप करता है जब विशिष्ट नियम टूटते हैं। शोधकर्ताओं ने एक ऐसी प्रणाली स्थापित की है जहाँ रोबोट की मूल योजना (जिसे "नोमिनल एक्शन" कहा जाता है) तब तक प्रभारी रहती है जब तक कि कोई बेहतर विकल्प श्रृंखला की कठिन परीक्षाओं को पास न कर ले। इन परीक्षाओं को कोऑर्डिनेशन कॉन्ट्रैक्ट्स (coordination contracts) कहा जाता है। इन कॉन्ट्रैक्ट्स को वादों की एक चेकलिस्ट के रूप में समझें: "वादा करो कि तुम दूसरी भुजा से नहीं टकराओगे," "वादा करो कि तुम सही समय पर वस्तु को पकड़ोगे," और "वादा करो कि तुम कप नहीं गिराओगे।"

यह प्रणाली इस प्रकार कार्य करती है: रोबोट संभावित चालों की एक सूची बनाता है, जिसमें उसकी शीर्ष पसंद और कुछ विकल्प शामिल होते हैं। CoWAM उन सभी के लिए "क्रिस्टल बॉल" भविष्यवाणियों को देखता है। यह रोबोट को एक नई चाल पर तभी स्विच करने की अनुमति देता है यदि वह नई चाल प्रत्येक सक्रिय अनुबंध (जैसे कोई टकराव नहीं, सटीक समय, आदि) को पूरा करती है और एक स्पष्ट, कम जोखिम वाला सुधार प्रदान करती है। यदि नई चाल जोखिम भरी है या वह मूल योजना को स्पष्ट रूप से नहीं हरा पाती है, तो CoWAM कहता है, "मूल योजना के साथ बने रहो।" यदि मूल योजना भी खराब दिखती है, तो रोबोट के पास रुकने और मदद माँगने के लिए एक सुरक्षा जाल (safety net) होता है।

लेखकों ने इसे आठ अलग-अलग दो-हाथ वाले कार्यों, जैसे कटोरे सजाना, बर्तन उठाना और बोतलों को कूड़ेदान में डालना, जैसे एक सिम्युलेटेड विश्व में परखा। उन्होंने पाया कि CoWAM अन्य तरीकों की तुलना में सही चाल चुनने में बहुत बेहतर था। विशेष रूप से, जब अवसर आया, तो इसने वैध, समन्वित विकल्पों को 93.3% बार सफलतापूर्वक पहचाना और चुना, जबकि पूर्ण "कॉन्ट्रैक्ट" प्रणाली के बिना यह केवल 76.7% था। इससे भी महत्वपूर्ण बात यह है कि यह बहुत सावधान था: इसने हानिकारक गलतियाँ (जैसे कि टक्कर होना) 1% से भी कम समय में कीं। वास्तविक दुनिया के सिम्युलेशन में, इसने सबसे अच्छे पिछले तरीकों की तुलना में सफल कार्य पूर्णता में 9.6 प्रतिशत अंक की वृद्धि की। यह शोध पत्र दिखाता है कि इन सख्त "अनुबंधों" का उपयोग करके भविष्यवाणियों को फ़िल्टर करने से, रोबोट न केवल नई चीजें आज़माने के लिए साहसी बन सकते हैं बल्कि आपदाओं से बचने के लिए स्मार्ट भी हो सकते हैं, जिससे एक अराजक नृत्य एक सुचारू प्रदर्शन में बदल जाता है।

तकनीकी सारांश: CoWAM – WAMs के साथ चयनात्मक नीति हस्तक्षेप के लिए समन्वय अनुबंध (Coordination Contracts)

समस्या विवरण (Problem Statement)

वर्ल्ड एक्शन मॉडल्स (WAMs) प्रस्तावित कार्यों को भविष्य के अनुमानित परिणामों के साथ जोड़कर रोबोट नीतियों को बेहतर बनाते हैं। हालांकि, द्विपक्षीय हेरफेर (bimanual manipulation) में, केवल अनुमानित भविष्य की दृश्य सुसंगतता (visual plausibility) एक नाममात्र नीति क्रिया (nominal policy action, $i=0$ ) को ओवरराइड करने का औचित्य सिद्ध नहीं करती है। एक सुसंगत रोलआउट (coherent rollout) भी सूक्ष्म समन्वय संबंधी समस्याओं जैसे कि विलंबित ग्रैस्प (delayed grasps), असंगत आर्म भूमिकाओं (incompatible arm roles), या अभिसरण टकरावों (converging collisions) के कारण विफल हो सकता है। इसके विपरीत, पर्याप्त साक्ष्य के बिना नाममात्र क्रिया को ओवरराइड करने से अनिश्चितता विफलता में बदल सकती है।

वर्तमान दृष्टिकोण अक्सर एक "उत्पादक दिखने वाले" उम्मीदवार (जो एक विशिष्ट समन्वय उल्लंघन को छिपाता है) और एक वास्तविक रूप से बेहतर विकल्प के बीच अंतर करने में संघर्ष करते हैं। चुनौती एक ऐसा चयनात्मक हस्तक्षेप स्तर विकसित करने की है जो यह कठोरता से मूल्यांकन कर सके कि क्या एक वैकल्पिक उम्मीदवार नाममात्र क्रिया को बदलने से पहले विशिष्ट समन्वय दायित्वों (तालमेल, भूमिका अनुकूलता, टकराव अभिसरण) को संतुष्ट करता है, और यह सब मूल एक्शन जनरेटर को पुन: प्रशिक्षित किए बिना या कैंडिडेट पूल को बदले बिना किया जाए।

कार्यप्रणाली: CoWAM (Methodology: CoWAM)

CoWAM एक चयनात्मक हस्तक्षेप परत पेश करता है जो समन्वय आवश्यकताओं को समन्वय अनुबंधों (coordination contracts) के रूप में मानता है। यह एक WAM प्रस्तावक द्वारा प्रदान किए गए फ्रोजन कैंडिडेट पूल पर कार्य करता है और एक संयुग्मी सेट (conjunctive set) के आधार पर संरक्षण (Preserve) (नाममात्र क्रिया निष्पादित करना), ओवरराइड (Override) (एक सत्यापित विकल्प निष्पादित करना), या परित्याग (Abstain) (एक फॉलबैक को बुलाना) करने के निर्णय लेता है।

1. समन्वय अनुबंध (Coordination Contracts)

मुख्य तंत्र दायित्वों को एकल संभाव्यता स्कोर के बजाय टाइप किए गए अनुबंधों के रूप में परिभाषित करता है। तीन अनुबंध परिवारों की पहचान की गई है:

तालमेल (Synchronization): संपर्कों (contacts) और रिलीज (releases) की लौकिक अनुकूलता सुनिश्चित करता है।
भूमिका अनुकूलता (Role Compatibility): सुनिश्चित करता है कि भुजाएं (arms) कार्य-संगत वस्तु और सहायता भूमिकाएं बनाए रखें।
टकराव अभिसरण (Collision Convergence): सुनिश्चित करता है कि भुजाओं के बीच की गति असुरक्षित संपर्क से बचे।

एक उम्मीदवार $i$ तभी स्वीकार्य है यदि वह वर्तमान घटना $e$ के लिए प्रत्येक सक्रिय प्रेडिकेट $c_{i,e}$ को संतुष्ट करता है। अनुबंध-स्वीकार्यता संकेतक $g_i$ इन प्रेडिकेट्स का गुणनफल है। यह संरचना सुनिश्चित करती है कि कोई भी उम्मीदवार उच्च उपयोगिता स्कोर (utility score) के माध्यम से किसी विशिष्ट समन्वय विफलता की भरपाई नहीं कर सकता।

2. घटना-आधारित सत्यापन (Event-Conditioned Verification)

उन भविष्य-निर्भर विफलताओं को हल करने के लिए जिन्हें नियतात्मक प्रेडिकेट (deterministic predicates) कैप्चर नहीं कर सकते, CoWAM एक घटना-आधारित सत्यापनकर्ता $f_\theta$ का उपयोग करता है। अवलोकन, उम्मीदवार क्रिया, अनुमानित भविष्य और सक्रिय घटना को देखते हुए, सत्यापनकर्ता आउटपुट देता है:

$\hat{p}_{i,e}$ : अनुमानित घटना संतुष्टि।
$\hat{r}_{i,e}$ : अनुमानित समन्वय जोखिम।
$\hat{u}_i$ : कार्य उपयोगिता (task utility)।
$\hat{o}_i$ : अवसर मूल्य (opportunity value)।
$\hat{q}_i$ : विश्वास (confidence)।

इन आउटपुट को जोखिम ( $R^+_i$ ) और उपयोगिता ( $U^-_i$ ) के रूढ़िवादी सीमाओं (conservative bounds) का निर्माण करने के लिए एक एन्सेम्बल (ensemble) का उपयोग करके एकत्रित किया जाता है। एक अंतिम स्कोर $S_i$ की गणना उपयोगिता, अवसर और जोखिम को मिलाकर की जाती है।

3. कैलिब्रेटेड हस्तक्षेप गेट्स (Calibrated Intervention Gates)

एक वैकल्पिक उम्मीदवार $i > 0$ केवल तभी चुना जाता है जब वह गेट्स के एक संयुग्मी सेट ( $G_i = 1$ ) को पार करता है:

अनुबंध वैधता (Contract Validity): $g_i = 1$ (सभी सक्रिय दायित्वों को संतुष्ट करता है)।
सीमित जोखिम (Bounded Risk): $R^+_i \leq \tau_r$ ।
उपयोगिता प्रतिधारण (Utility Retention): $U^-_i \geq U^-_0 - \epsilon_u$ (स्थानीय सुरक्षा के लिए कार्य प्रगति को त्यागने से रोकता है)।
सक्रिय अवसर (Active Opportunity): $\hat{o}_i \geq \tau_o$ ।
विश्वास (Confidence): $\hat{q}_i \geq \tau_q$ ।
चयनात्मक मार्जिन (Selective Margin): $S_i - S_0 \geq \tau_m$ (नाममात्र से निर्णायक रूप से बेहतर होना चाहिए)।

यदि कोई विकल्प पास नहीं होता है, तो सिस्टम नाममात्र क्रिया को सुरक्षित रखता है (यदि स्वीकार्य हो) या परित्याग करता है।

4. आउटकम-ब्लाइंड सेम-पूल इवैल्यूएशन (Outcome-Blind Same-Pool Evaluation)

एक महत्वपूर्ण पद्धतिगत योगदान मूल्यांकन प्रोटोकॉल है। सभी चयनकर्ता समान क्रमबद्ध कैंडिडेट पूल पर कार्य करते हैं और सिम्युलेटर परिणामों के उपलब्ध होने से पहले अपने निर्णय लेते हैं। एक साझा ऑरेकल (oracle) परिणामों को लेबल करता है। यह चयनकर्ता की गुणवत्ता (सही उम्मीदवार चुनने की क्षमता) को प्रस्ताव की गुणवत्ता (कैंडिडेट पूल की गुणवत्ता) से अलग करता है, जिससे प्रदर्शन मूल्यांकन में भ्रमित करने वाले कारकों को रोका जा सके।

मुख्य योगदान (Key Contributions)

समन्वय अनुबंध (Coordination Contracts): एक औपचारिक ढांचा जो टाइप किए गए दायित्वों और साक्ष्य को निर्दिष्ट करता है, यह सुनिश्चित करता है कि विशिष्ट समन्वय उल्लंघनों को उच्च उपयोगिता स्कोर द्वारा छिपाया न जा सके।
अनुबंध-आधारित चयनात्मक नियंत्रक (Contract-Conditioned Selective Controller): एक नियंत्रक जो टाइप किए गए चेक, घटना-विशिष्ट सत्यापन, कैलिब्रेटेड बाउंड्स और एक निर्णय तर्क का उपयोग करता है ताकि संरक्षण, ओवरराइड या परित्याग किया जा सके।
आउटकम-ब्लाइंड सेम-पूल इवैल्यूएशन (Outcome-Blind Same-Pool Evaluation): एक प्रोटोकॉल जो हस्तक्षेप रणनीतियों की तुलना करने के लिए चयनकर्ता के प्रदर्शन को प्रस्ताव पीढ़ी से अलग करता है।
मजबूती का प्रमाण (Robustness Evidence): घटक हटाने, कैंडिडेट पूल आकार, घटना परिवारों और विभिन्न WAM प्रस्तावक स्रोतों के माध्यम से व्यापक विश्लेषण।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन RoboTwin 2.0 सिम्युलेटर में आठ द्विपक्षीय कार्यों पर किया गया, जिसमें क्रॉस-आर्म ट्रांसफर, पैरेलल प्लेसमेंट और मल्टी-स्टेज इंसर्शन शामिल थे।

वैध चयन (Valid Selection): CoWAM ने 93.3% वैध चयन (140/150 अवसर) प्राप्त किया, जो अनुबंध-केवल वेरिएंट (76.7%) की तुलना में 16.7 प्रतिशत अंक का सुधार है और फ्यूचर-कंसेंसस (67.3%) तथा RGB-D चयनकर्ताओं (84.0%) जैसे बेसलाइन से काफी बेहतर है।
हस्तक्षेप सुरक्षा (Intervention Safety): CoWAM ने मैच किए गए नेगेटिव्स पर अत्यंत कम त्रुटि दर बनाए रखी: 2.8% गलत हस्तक्षेप और 0.6% हानिकारक हस्तक्षेप। इसके विपरीत, फ्यूचर-कंसेंसस में 62.2% गलत और 8.9% हानिकारक हस्तक्षेप थे।
क्लोज्ड-लूप सफलता (Closed-Loop Success): प्राकृतिक क्लोज्ड-लूप एपिसोड में, CoWAM ने 62.9% सफलता (151/240) प्राप्त की, जो सबसे मजबूत चयनात्मक बेसलाइन (सेलेक्टिव कंट्रोल 53.3% पर) से 9.6 प्रतिशत अंक अधिक है।
विफलता में कमी (Failure Reduction): CoWAM ने नाममात्र पॉलिसी टॉप-1 की तुलना में इंटर-आर्म कोलिजन में 66.7%, रोल कॉन्फ्लिक्ट में 75%, और एसिंक्रोनस रिलीज में 71.4% की कमी की।
मजबूती (Robustness): प्रदर्शन लाभ विभिन्न कैंडिडेट पूल आकारों ( $K=4$ से $32$) और विभिन्न WAM स्रोतों (X-WAM, LeWorldModel) में बने रहे, जो दर्शाता है कि चयनकर्ता त्रुटि दर बढ़ाए बिना विविध प्रस्तावों का प्रभावी ढंग से उपयोग करता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि CoWAM समन्वय अनुबंधों को रूढ़िवादी नीति हस्तक्षेप के लिए एक प्रभावी इंटरफेस के रूप में स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

चिंताओं का पृथक्करण (Separation of Concerns): प्रस्ताव पीढ़ी को हस्तक्षेप से अलग करके, यह विधि मौजूदा WAMs को बिना पुन: प्रशिक्षित किए सुरक्षित रूप से उपयोग करने की अनुमति देती है।
रूढ़िवादी विश्वसनीयता (Conservative Reliability): संयुग्मी गेटिंग तंत्र यह सुनिश्चित करता है कि हस्तक्षेप केवल तभी हों जब कोई उम्मीदवार सभी समन्वय दायित्वों को पूरा करता है और स्पष्ट, कम-जोखिम वाला सुधार प्रदान करता है, जिससे "असमर्थित ओवरराइड" को रोका जा सके।
सामान्यीकरण (Generalizability): फ्रेमवर्क को विविध कार्य संरचनाओं और विभिन्न WAM कैंडिडेट डिस्ट्रीब्यूशन में पुन: उपयोग योग्य दिखाया गया है, जो सुझाव देता है कि समन्वय अनुबंध समन्वित द्विपक्षीय नियंत्रण के लिए वर्ल्ड-एक्शन साक्ष्य के लिए एक मानक इंटरफेस के रूप में कार्य कर सकते हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि भविष्यवाणी की गुणवत्ता और हस्तक्षेप के निर्णय पूरक हैं, CoWAM सफलतापूर्वक समृद्ध कैंडिडेट पूल्स को वैध हस्तक्षेपों में परिवर्तित करता है, जिससे बिना शर्त पुन: रैंकिंग (unconditional reranking) से जुड़ी त्रुटियों के विकास को रोका जा सकता है, जिससे अनुमानित वर्ल्ड-एक्शन साक्ष्य और विश्वसनीय समन्वित नियंत्रण के बीच के अंतर को पाटा जा सकता है।