🤖 machine learning

Learning responsibility allocations for multi-agent interactions: A differentiable optimization approach with control barrier functions

यह शोध पत्र कंट्रोल बैरियर फंक्शन्स और डिफरेंशिएबल ऑप्टिमाइज़ेशन को संयोजित करने वाले एक डेटा-संचालित ढांचे का प्रस्ताव करता है ताकि व्याख्या योग्य उत्तरदायित्व आवंटन (responsibility allocations) को सीखा जा सके, जो स्वायत्त एजेंटों को सुरक्षित, सामाजिक रूप से जागरूक बहु-एजेंट अंतःक्रियाओं के लिए अपने व्यवहार को मापने और समायोजित करने में सक्षम बनाता है।

मूल लेखक: Isaac Remy, David Fridovich-Keil, Karen Leung

प्रकाशित 2026-03-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Isaac Remy, David Fridovich-Keil, Karen Leung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त हाईवे पर गाड़ी चला रहे हैं। आप अपने गंतव्य तक पहुँचने के लिए गति बढ़ाना चाहते हैं, लेकिन आपके सामने वाली कार धीमी है, और बगल वाली लेन की कार मर्ज (merge) करने की कोशिश कर रही है। आपके पास कोई ऐसा मैनुअल नहीं है जो आपको ठीक-ठीक बताए कि किसे धीमा होना चाहिए और किसे तेज़ होना चाहिए। इसके बजाय, आप सहज ज्ञान (instinct), सामाजिक मानदंडों (social norms) और थोड़ा "माहौल समझने" (reading the room) के मिश्रण पर भरोसा करते हैं।

यह शोध पत्र रोबोटों और सेल्फ-ड्राइविंग कारों को उसी "माहौल समझने" की क्षमता सिखाने के बारे में है, लेकिन एक ऐसे तरीके से जो स्पष्ट, गणितीय और सुरक्षित हो।

यहाँ उनके विचार का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. मुख्य समस्या: "कौन रास्ता दे?" की दुविधा (The "Who Yields?" Dilemma)

वास्तविक दुनिया में, इंसान जगह बनाने के लिए बातचीत करने में माहिर होते हैं। यदि दो कारें टक्कर की ओर बढ़ रही हैं, तो एक कार धीमी हो सकती है, या दोनों थोड़ी-थोड़ी धीमी हो सकती हैं। यह एक सामाजिक मानदंड (social norm) है।

हालाँकि, रोबोट आमतौर पर कठोर नियमों के साथ प्रोग्राम किए जाते हैं: "अगर आपके सामने कुछ है, तो रुक जाओ।" यह बहुत सख्त है। कभी-कभी पीछे वाली कार को तेज़ होना चाहिए; कभी-कभी आगे वाली कार को दूसरी तरफ हट जाना चाहिए। समस्या यह है: हम रोबोट को यह कैसे सिखाएं कि दूसरे व्यक्ति को रास्ता देने के लिए उसे अपनी योजना में कितना बदलाव करना चाहिए?

लेखक इसे "ज़िम्मेदारी" (Responsibility) कहते हैं।

उच्च ज़िम्मेदारी (High Responsibility): "मैं आपसे टकराने से बचने के लिए अपना रास्ता पूरी तरह से बदलने के लिए तैयार हूँ।"
कम ज़िम्मेदारी (Low Responsibility): "मैं सीधा चलता रहूँगा; बेहतर होगा कि आप मेरे रास्ते से हट जाएँ।"

2. समाधान: "सेफ्टी फ़िल्टर" (द बाउंसर)

शोधकर्ता एक गणितीय उपकरण का उपयोग करते हैं जिसे कंट्रोल बैरियर फंक्शन (Control Barrier Function - CBF) कहा जाता है। इसे एक क्लब के बाउंसर की तरह समझें।

क्लब: वह सुरक्षित क्षेत्र जहाँ कोई दुर्घटना नहीं होती।
बाउंसर: एक गणितीय नियम जो कहता है, "यदि आप खतरे के क्षेत्र में प्रवेश करने की कोशिश करते हैं, तो मैं आपको रोक दूँगा।"
वांछित नियंत्रण (Desired Control): यह वह है जो रोबोट करना चाहता है (जैसे, "मैं 60 मील प्रति घंटे की गति से जाना चाहता हूँ")।
वास्तविकता: कभी-कभी, 60 मील प्रति घंटे की गति से जाना बाउंसर के नियम से टकराता है।

बाउचर रोबोट को एक नई गति चुनने के लिए मजबूर करता है जो सुरक्षित हो। सवाल यह है: इसकी कीमत कौन चुकाएगा? क्या रोबोट बहुत धीमा हो जाएगा, या वह दूसरी कार को धीमा होने के लिए मजबूर करेगा?

3. नवाचार: "विभाजन" को सीखना (Learning the "Split")

अतीत में, इंजीनियरों को इस ज़िम्मेदारी को कैसे विभाजित किया जाए, इसका अनुमान लगाना पड़ता था। शायद उन्होंने तय किया कि पीछे वाली कार हमेशा रास्ता देगी। लेकिन इंसान ऐसे काम नहीं करते। कभी-कभी आगे वाली कार रास्ता देती है; कभी-कभी पीछे वाली कार।

यह शोध पत्र एक डेटा-संचालित दृष्टिकोण (data-driven approach) प्रस्तावित करता है। अनुमान लगाने के बजाय, वे कंप्यूटर को यह सीखने देते हैं कि इंसान वास्तव में कैसे गाड़ी चलाते हैं।

वे "ज़िम्मेदारी" को एक डायल (0 और 1 के बीच एक संख्या) के रूप में देखते हैं।

यदि डायल कार A के लिए 0 पर सेट है, तो कार A वही करती है जो वह चाहती है, और कार B को दुर्घटना से बचने के लिए सारा काम करना होगा।
यदि डायल 0.5 पर है, तो दोनों कारें समान रूप से समझौता करती हैं।

4. वे रोबोट को कैसे सिखाते हैं (The "Differentiable Optimization")

यह तकनीकी जादू वाला हिस्सा है, जिसे सरल भाषा में समझाया गया है:

कल्पना कीजिए कि आप एक छात्र (रोबोट) को असली ड्राइवरों के वीडियो दिखाकर गाड़ी चलाना सिखा रहे हैं।

अनुमान (The Guess): रोबोट एक वीडियो देखता है और अनुमान लगाता है, "ठीक है, इस स्थिति में, लाल कार 80% ज़िम्मेदार है धीमा होने के लिए।"
सिमुलेशन (The Simulation): रोबोट उस अनुमान का उपयोग करके एक सिमुलेशन चलाता है। यह गणना करता है कि कारों को उस 80% ज़िम्मेदारी के आधार पर क्या करना चाहिए था।
तुलना (The Comparison): रोबोट अपने सिमुलेशन की वास्तविक वीडियो से तुलना करता है। "ओह, असली लाल कार केवल 40% धीमी हुई। मेरा अनुमान गलत था।"
सुधार (The Correction): रोबोट एक विशेष गणितीय ट्रिक (डिफरेंशिएबल ऑप्टिमाइज़ेशन) का उपयोग करता है ताकि वह अपने "ज़िम्मेदारी डायल" को तुरंत ट्यून कर सके ताकि वह वास्तविक उत्तर के करीब पहुँच सके।

वे इसे हजारों बार करते हैं जब तक कि रोबोट का "ज़िम्मेदारी डायल" मानव व्यवहार के साथ पूरी तरह से मेल नहीं खा जाता।

5. "मिरर ट्रिक" (समरूपता/Symmetry)

एक दिलचस्प चीज़ जो उन्होंने खोजी, वह यह है कि कारों का क्रम मायने नहीं रखना चाहिए। यदि कार A, कार B के पीछे है, तो ज़िम्मेदारी वही होनी चाहिए जो कार B के पीछे होने पर होती, बस उलटकर।

इसे तेज़ और स्मार्ट बनाने के लिए, उन्होंने अपने गणित में एक "मिरर" (दर्पण) बनाया। यदि रोबोट सीख जाता है कि पीछे होने पर कार A कैसा व्यवहार करती है, तो वह स्वचालित रूप से जान जाता है कि आगे होने पर कार A कैसा व्यवहार करेगी, बिना अतिरिक्त डेटा के। यह एक डांस मूव को अपने बाएं हाथ से सीखने और तुरंत यह जान लेने जैसा है कि उसे दाएं हाथ से कैसे करना है।

6. उन्हें क्या मिला

उन्होंने दो चीजों पर परीक्षण किया:

नकली डेटा (Fake Data): उन्होंने एक काल्पनिक परिदृश्य बनाया जहाँ वे उत्तर जानते थे। रोबोट ने उत्तर को पूरी तरह से सीख लिया।
वास्तविक डेटा (Real Data): उन्होंने एक ड्राइविंग सिम्युलेटर का उपयोग किया जहाँ इंसानों ने तेज़ी से लेन बदली।
- परिणाम: रोबोट ने सीखा कि यदि एक कार पीछे है और तेज़ जा रही है, तो वह आमतौर पर कम ज़िम्मेदारी लेती है (वह उम्मीद करती है कि सामने वाली कार हटेगी)।
- परिणाम: यदि कारें अगल-बगल हैं, तो वे ज़िम्मेदारी साझा करती हैं।

यह क्यों महत्वपूर्ण है

वर्तमान में, सेल्फ-ड्राइविंग कारें झटकेदार या भ्रमित करने वाली हो सकती हैं क्योंकि वे सामाजिक बारीकियों को नहीं समझतीं। वे अचानक रुक सकती हैं जब एक इंसान केवल थोड़ा धीमा हो जाता।

रोबोट को ज़िम्मेदारी आवंटन (Responsibility Allocations) समझने के लिए सिखाकर, हम उन्हें बना सकते हैं:

अधिक सुरक्षित: वे जान जाएंगे कि दुर्घटना से बचने के लिए कितना झुकना (yield) है।
अधिक स्वाभाविक: वे इंसानों की तरह गाड़ी चलाएंगे, जिससे हमारे लिए उनके साथ सड़क साझा करना आसान होगा।
व्याख्या योग्य (Explainable): हम "ज़िम्मेदारी डायल" को देख सकते हैं और कह सकते हैं, "आह, रोबोट धीमा हो गया क्योंकि उसने निर्णय लिया कि वह मर्ज होने की सुरक्षा के लिए 70% ज़िम्मेदार है।"

संक्षेप में: यह शोध पत्र रोबोट को एक "सामाजिक विवेक" देता है, उन्हें गणितीय रूप से यह गणना करना सिखाता है कि ट्रैफिक जाम में किसे रास्ता देना चाहिए, जिससे हमारा भविष्य का सड़क सफर सुरक्षित और कम तनावपूर्ण हो सके।

यहाँ शोध पत्र "Learning responsibility allocations for multi-agent interactions: A differentiable optimization approach with control barrier functions" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सुरक्षित मल्टी-एजेंट इंटरेक्शन (जैसे, स्वायत्त ड्राइविंग, पैकेज डिलीवरी) चुनौतीपूर्ण है क्योंकि मानव निर्णय लेने की प्रक्रिया जटिल, मॉडल करने में कठिन सामाजिक मानदंडों और प्रासंगिक संकेतों द्वारा संचालित होती है। जबकि एंड-टू-एंड लर्निंग में व्याख्यात्मकता (interpretability) का अभाव होता है और हस्त-निर्मित (hand-crafted) मॉडल सूक्ष्म 'कॉर्नर केसेस' को पकड़ने में विफल रहते हैं, इसलिए एक डेटा-संचालित, मॉडल-आधारित दृष्टिकोण की आवश्यकता है जो व्याख्यात्मकता प्रदान कर सके।

मुख्य समस्या जिसे संबोधित किया गया है वह है: हम इंटरेक्शन डेटा से मल्टी-एजेंट सिस्टम में एजेंटों की "जिम्मेदारी" (responsibility) को मात्रात्मक और व्याख्यात्मक रूप से कैसे निष्कर्ष निकाल सकते हैं?

जिम्मेदारी की परिभाषा: लेखक जिम्मेदारी को एक एजेंट की अपने वांछित नियंत्रण (जैसे, गति या लेन बनाए रखना) से विचलित होने की इच्छा के रूप में परिभाषित करते हैं ताकि दूसरों के साथ सुरक्षित इंटरेक्शन को सुगम बनाया जा सके।
अंतराल (The Gap): मौजूदा विधियाँ जैसे सोशल वैल्यू ओरिएंटेशन (SVO) अक्सर दो एजेंटों तक सीमित होती हैं या अज्ञात रिवॉर्ड फंक्शन पर निर्भर करती हैं। ऑप्टिमल रेसिप्रोकल कोलिजन अवॉइडेंस (ORCA) अक्सर समान जिम्मेदारी मानती है या ऐसे ह्यूरिस्टिक्स का उपयोग करती है जो सीखे गए मानव सामाजिक मानदंडों के अनुरूप नहीं होते हैं।

2. कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा जिम्मेदारी आवंटन (responsibility allocations) को सीखने के लिए कंट्रोल बैरियर फंक्शन्स (CBFs) को डिफरेंशिएबल ऑप्टिमाइज़ेशन के साथ जोड़ता है।

A. गणितीय औपचारिकीकरण (Mathematical Formalization)

सिस्टम डायनेमिक्स: इसे एक मल्टी-एजेंट कंट्रोल-एफ़ाइन सिस्टम $\dot{x} = \tilde{f}(x) + \sum g_i(x)u_i$ के रूप में मॉडल किया गया है।
सुरक्षा बाधा (Safety Constraint): एक साझा टकराव बचाव बाधा को CBF $b(x) \geq 0$ के माध्यम से परिभाषित किया गया है।
सेफ्टी फ़िल्टर: एक मानक CBF सेफ्टी फ़िल्टर वांछित नियंत्रण $u^{des}$ को एक सुरक्षित सेट $U_{safe}$ में प्रोजेक्ट करता है, जो CBF बाधा के अधीन विचलन $\|u - u^{des}\|^2$ को कम करता है।
जिम्मेदारी आवंटन ( $\gamma$ ): लेखक सुरक्षा फ़िल्टर को एक जिम्मेदारी वेक्टर $\gamma = [\gamma_1, ..., \gamma_N]$ $γ = [γ_{1}, ..., γ_{N}]$ शामिल करने के लिए संशोधित करते हैं जहाँ $\sum \gamma_i = 1$ $\sum γ_{i} = 1$ ।
- एक उच्च $\gamma_i$ का अर्थ है कि एजेंट विचलित होने के लिए कम इच्छुक है (कम जिम्मेदार), जबकि एक निम्न $\gamma_i$ का अर्थ है कि एजेंट विचलित होने के लिए अधिक इच्छुक है (अधिक जिम्मेदार) ताकि सुरक्षा सुनिश्चित की जा सके।
- अनुकूलन समस्या (Prob. 3) विचलन के भारित योग $\sum \gamma_i \|u_i - u^{des}_i\|^2$ को कम करती है।

B. डिफरेंशिएबल प्रोग्रामिंग के माध्यम से इनवर्स ऑप्टिमाइज़ेशन (Inverse Optimization via Differentiable Programming)

लक्ष्य $\gamma$ को खोजना है ताकि सुरक्षा फ़िल्टर का समाधान देखे गए मानव डेटा से मेल खाए।

द्वि-स्तरीय अनुकूलन (Bi-level Optimization):
- Outer Loop: देखे गए नियंत्रणों और प्रोजेक्ट किए गए सुरक्षित नियंत्रणों के बीच लॉस (loss) को कम करना।
- Inner Loop: CBF सुरक्षा फ़िल्टर द्वारा परिभाषित क्वाड्रेटिक प्रोग्राम (QP) को हल करना।
डिफरेंशिएबल ऑप्टिमाइज़ेशन: लेखक कॉन्वेक्स QPs के माध्यम से डिफरेंशिएट करने की हालिया प्रगति (JAX और ऑटोमैटिक डिफरेंशिएशन जैसे टूल का उपयोग करके) का लाभ उठाते हैं। यह ऑप्टिमाइज़ेशन स्टेप्स को अनरोल किए बिना $\gamma$ के कुशल ग्रेडिएंट-आधारित लर्निंग की अनुमति देता है।
सममित जिम्मेदारी (Symmetric Responsibility): डेटा दक्षता में सुधार करने और परम्यूटेशन इनवेरिएंस (अर्थात, परिणाम इस पर निर्भर नहीं होना चाहिए कि एजेंट को "एजेंट 1" या "एजेंट 2" लेबल किया गया है) सुनिश्चित करने के लिए, लेखक एक सिमेट्रिक रिस्पॉन्सिबिलिटी फंक्शन का प्रस्ताव करते हैं।
- $N$ एजेंटों के लिए, वे एक न्यूरल नेटवर्क $\phi$ और एक विशिष्ट परम्यूटेशन-इनवेरिएंट आर्किटेक्चर (Eq. 7) का उपयोग करके $\gamma$ का निर्माण करते हैं।
- 2-एजेंट सिस्टम के लिए, वे एक पूरक समरूपता बाधा (complementary symmetry constraint) (Eq. 8) के साथ एक सापेक्ष समन्वय (relative coordinate) फॉर्मूलेशन का उपयोग करते हैं।

3. मुख्य योगदान (Key Contributions)

नया औपचारिकीकरण: CBFs पर आधारित जिम्मेदारी आवंटन का एक गणितीय विवरण, जिसे नियंत्रण से विचलन के रूप में फ्रेम किया गया है।
कुशल लर्निंग एल्गोरिदम: डिफरेंशिएबल ऑप्टिमाइज़ेशन का उपयोग करके डेटा से जिम्मेदारी आवंटन को निष्कर्ष निकालने के लिए एक कम्प्यूटेशनल रूप से कुशल तकनीक, जो QPs के समानांतर प्रसंस्करण (parallel processing) को सक्षम बनाती है।
सममित जिम्मेदारी: एक सममित जिम्मेदारी मॉडल जो परम्यूटेशन इनवेरिएंस को लागू करता है, जिससे व्यापक डेटा ऑग्मेंटेशन की आवश्यकता के बिना डेटा दक्षता में काफी सुधार होता है।
अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक और वास्तविक दुनिया के मानव इंटरेक्शन डेटासेट दोनों पर ढांचे का प्रदर्शन, जो ग्राउंड ट्रुथ को रिकवर करने और व्याख्यात्मक अंतर्दृष्टि प्रदान करने की क्षमता दिखाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो डेटासेट पर पद्धति का मूल्यांकन किया:

A. सिंथेटिक डेटासेट

सेटअप: ज्ञात ग्राउंड-ट्रुथ $\gamma$ मानों के साथ 2-एजेंट (1D) और 6-एजेंट (2D) सिस्टम।
परिणाम: एल्गोरिदम ने शोर वाले डेटा (noisy data) से ग्राउंड-ट्रुथ $\gamma$ $γ$ मानों को सफलतापूर्वक रिकवर किया।
- समय-परिवर्तित (time-varying) $\gamma$ के लिए भी अभिसरण (convergence) तीव्र था।
- गणना समय बैच आकार के साथ रैखिक रूप से स्केल हुआ, जो वास्तविक समय ऑनलाइन अनुमान की क्षमता का सुझाव देता है।

B. वास्तविक दुनिया का ट्रैफिक वीविंग डेटासेट (Real-World Traffic Weaving Dataset)

सेटअप: एक सिम्युलेटर में दो मानव ड्राइवरों के लेन बदलने के प्रक्षेपवक्र (trajectories)। डेटासेट में विविध परिदृश्य शामिल थे (जैसे, ओवरटेकिंग, साइड-बाय-साइड स्टार्ट)।
निष्कर्ष:
- समरूपता लाभ (Symmetry Benefits): सममित मॉडल ने बिना किसी डेटा ऑग्मेंटेशन (एजेंट लेबल को स्वैप किए बिना) के अनकन्स्ट्रेंड मॉडल्स के समान परिणाम प्राप्त किए, जो बेहतर डेटा दक्षता को उजागर करता है।
- व्याख्यात्मकता (Interpretability): सीखा गया $\gamma$ मान मानव अंतर्ज्ञान के अनुरूप था। उदाहरण के लिए, ओवरटेकिंग परिदृश्य में, पीछे वाली तेज़ कार को कम जिम्मेदारी (कम विचलन) सौंपी गई, जबकि आगे वाली धीमी कार ने उच्च जिम्मेदारी (ब्रेकिंग/यील्डिंग) ली।
- सीमाएँ: मॉडल मल्टीमॉडल डेटा (जैसे, ऐसे परिदृश्य जहाँ दोनों कारों में से कोई भी गुजर सकती थी) के साथ संघर्ष करता है। इन अस्पष्ट मामलों में, मॉडल एक स्थिर, समान जिम्मेदारी आवंटन पर अभिसरित हुआ, जो दर्शाता है कि कई व्यवहार मोड को संभालने के लिए संभाव्य विस्तार (probabilistic extensions) की आवश्यकता है।
- बायस कैप्चर (Bias Capture): मॉडल ने डेटासेट के पूर्वाग्रहों को सफलतापूर्वक पकड़ा, जैसे कि तेज़ पीछे वाली कारों की यील्ड करने के बजाय ओवरटेक करने की प्रवृत्ति।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

महत्व: यह कार्य ब्लैक-बॉक्स लर्निंग और कठोर नियम-आधारित प्रणालियों के बीच के अंतर को पाटता है। यह मल्टी-एजेंट सिस्टम में सामाजिक मानदंडों के लिए एक मात्रात्मक, व्याख्यात्मक मीट्रिक प्रदान करता है। यह सीखकर कि एजेंट सुरक्षा के लिए कितना समझौता करने को तैयार हैं, यह सामाजिक रूप से जागरूक स्वायत्त एजेंटों के निर्माण और मूल्यांकन के लिए एक नया दृष्टिकोण प्रदान करता है।
भविष्य की दिशाएं:
1. "वांछित नियंत्रण" नीति (जो वर्तमान में हस्त-निर्मित है) को सीखने के लिए सिद्धांतवादी तरीके विकसित करना।
2. मल्टीमॉडल इंटरेक्शन (कौन झुकता है इसकी अस्पष्टता) को संभालने के लिए ढांचे को संभाव्य मॉडलों (probabilistic models) तक विस्तारित करना।
3. वास्तविक दुनिया में तैनाती के लिए रोबोट नीतियों के निर्माण को निर्देशित करने हेतु सीखे गए जिम्मेदारी आवंटन को लागू करना।

संक्षेप में, यह शोध पत्र एक मजबूत, डिफरेंशिएबल ढांचे को प्रस्तुत करता है जो जटिल मानव सामाजिक अंतःक्रियाओं को एक सीखने योग्य, व्याख्यात्मक पैरामीटर ( $\gamma$ ) में बदल देता है, जिससे स्वायत्त प्रणालियों को मानव जैसे सहयोगात्मक सुरक्षा व्यवहारों को समझने और उनकी नकल करने में मदद मिलती है।