🤖 कृत्रिम बुद्धिमत्ता

DecompGAIL: Learning Realistic Traffic Behaviors with Decomposed Multi-Agent Generative Adversarial Imitation Learning

यह शोधपत्र DecompGAIL का प्रस्ताव करता है, जो एक अपघटित (decomposed) मल्टी-एजेंट जनरेटिव एडवरसेरियल इमिटेशन लर्निंग फ्रेमवर्क है जो स्पष्ट यथार्थवाद अपघटन (explicit realism decomposition) और एक सोशल PPO ऑब्जेक्टिव के माध्यम से अप्रासंगिक इंटरेक्शन मिसगाइडेंस से होने वाली अस्थिरता को हल करता है, और WOMD Sim Agents 2025 बेंचमार्क पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है।

मूल लेखक: Ke Guo, Haochen Liu, Xiaojun Wu, Chen Lv

प्रकाशित 2026-01-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ke Guo, Haochen Liu, Xiaojun Wu, Chen Lv

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए ड्राइवर को व्यस्त शहर में गाड़ी चलाना सिखाने की कोशिश कर रहे हैं। आपके पास विशेषज्ञों द्वारा सब कुछ पूरी तरह से करने वाले वीडियो का एक पुस्तकालय है। आपका लक्ष्य एक ऐसा कंप्यूटर प्रोग्राम बनाना है जो इन वीडियो को देख सके और विशेषज्ञों की तरह ही वास्तविक रूप से गाड़ी चलाना सीख सके।

यह शोध पत्र DecompGAIL नामक एक नई विधि पेश करता है जो एक विशिष्ट समस्या को हल करता है: जब आप एक ही समय में कारों के पूरे समूह (एक मल्टी-एजेंट सिस्टम) को सिखाने की कोशिश करते हैं, तो सीखने की प्रक्रिया अक्सर अनियंत्रित हो जाती है।

यहाँ समस्या और समाधान का विवरण दिया गया है, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:

समस्या: "बुरे पड़ोसी" का प्रभाव (The "Bad Neighbor" Effect)

अतीत में, शोधकर्ताओं ने GAIL (जेनरेटिव एडवरसेरियल इमिटेशन लर्निंग) नामक एक विधि का उपयोग किया था। GAIL को एक सख्त ट्रैफिक पुलिस (डिस्क्रिमिनेटर) के रूप में समझें जो कारों को देखता है और उन्हें एक स्कोर देता है।

यदि कार एक विशेषज्ञ की तरह चलती है, तो पुलिस उच्च स्कोर देती है।
यदि कार खराब तरीके से चलती है, तो वह कम स्कोर देती है।

गड़बड़ी (The Glitch):
वास्तविक शहर में, कारें आपस में क्रिया करती हैं। शोधकर्ताओं ने पाया कि पुराना ट्रैफिक पुलिस अप्रासंगिक अंतःक्रियाओं (irrelevant interactions) के प्रति बहुत संवेदनशील था।

परिदृश्य: कल्पना करें कि आपकी कार (Ego vehicle) पूरी तरह से सही दिशा में चल रही है। हालाँकि, आपके पास मौजूद दो अन्य कारें, खराब ड्राइविंग के कारण आपस में टकरा जाती हैं।
गलती: पुराना ट्रैफिक पुलिस आपकी कार को देखता है, देखता है कि ठीक बगल में दुर्घटना हो रही है, और कहता है, "यह स्थिति बहुत अराजक लग रही है! मैं तुम्हारी कार को भी कम स्कोर देता हूँ!"
परिणाम: आपकी कार को उस चीज़ के लिए दंडित किया जाता है जो उसने नहीं की थी। वह भ्रमित हो जाती है, यह सोचकर, "मैं तो ठीक से गाड़ी चला रही थी, लेकिन मुझे कम स्कोर मिला क्योंकि मेरे पड़ोसी की टक्कर हो गई।" यह सीखने की प्रक्रिया को अस्थिर बना देता है और सिमुलेशन को खराब कर देता है।

लेखक इसे "अप्रासंगिक अंतःक्रिया गलतमार्गदर्शन" (Irrelevant Interaction Misguidance) कहते हैं। सिस्टम अन्य कारों के टकराने और विफल होने के शोर से विचलित हो रहा है और आपकी कार के वास्तविक ड्राइविंग कौशल का न्याय करने में विफल हो रहा है।

समाधान: विशेषज्ञ न्यायाधीश (DecompGAIL)

इसे ठीक करने के लिए, लेखकों ने DecompGAIL बनाया। एक विशाल ट्रैफिक पुलिस के बजाय जो सब कुछ एक साथ देखता है, उन्होंने निर्णय लेने को दो विशेषज्ञ भूमिकाओं में विभाजित कर दिया जो एक साथ काम करती हैं लेकिन केवल महत्वपूर्ण चीजों पर ध्यान केंद्रित करती हैं:

मैप जज (Ego–Map): यह जज केवल आपकी कार और सड़क को देखता है। क्या आपने अपनी लेन में रहकर गाड़ी चलाई? क्या आपने ट्रैफिक लाइटों का पालन किया? क्या आपने सड़क के सापेक्ष सुचारू रूप से गाड़ी चलाई? यह पूरी तरह से अनदेखा करता है कि अन्य कारें क्या कर रही हैं।
नेबर जज (Ego–Neighbor): यह जज आपकी कार और एक समय में एक विशिष्ट पड़ोसी को देखता है। क्या आपने उस विशिष्ट कार से सुरक्षित दूरी बनाए रखी? यह जांचता है कि उस पड़ोसी के साथ आपकी अंतःक्रिया सुरक्षित थी या नहीं।

वे क्या अनदेखा करते हैं:
महत्वपूर्ण बात यह है कि ये जज यह नहीं देखते कि दो अन्य कारें आपस में कैसे व्यवहार करती हैं (Neighbor-to-Neighbor)। यदि कार A और कार B आपस में टकराती हैं, तो मैप जज और नेबर जज इसकी परवाह नहीं करते, क्योंकि इसमें आपकी कार की सीधी क्रिया शामिल नहीं है।

इन कार्यों को अलग करके, सिस्टम दूसरों की गलतियों के लिए दंडित होना बंद कर देता है। यह केवल अपनी ड्राइविंग और अपने तत्काल पड़ोसी के साथ अपनी सीधी अंतःक्रियाओं के लिए पुरस्कृत या दंडित होता है।

"सोशल" बोनस

शोध पत्र में एक "सोशल PPO" उद्देश्य भी जोड़ा गया है। कल्पना करें कि स्कोर मिलने के बाद, आपको एक छोटा बोनस भी मिलता है कि आपके पड़ोसी कैसा प्रदर्शन कर रहे हैं।

यदि आप अच्छी तरह से गाड़ी चलाते हैं, और आपके पड़ोसी भी अच्छी तरह से गाड़ी चलाते हैं, तो सभी को थोड़ा बढ़ावा मिलता है।
यह पूरे समूह की कारों को एक साथ वास्तविक रूप से व्यवहार करने के लिए प्रोत्साहित करता है, न कि केवल खुद पर ध्यान केंद्रित करने के लिए।

परिणाम

लेखकों ने इस नई प्रणाली का परीक्षण वास्तविक दुनिया के ट्रैफ़िक के एक विशाल डेटासेट (Waymo Open Motion Dataset) पर किया।

स्थिरता (Stability): पुराने तरीके के विपरीत, जो अधिक कारें जुड़ने पर अव्यवस्थित और अप्रत्याशित हो जाता था, DecompGAIL शांत और सुसंगत रहा।
यथार्थवाद (Realism): इसने "WOMD Sim Agents 2025" बेंचमार्क पर सर्वश्रेष्ठ परिणाम (State-of-the-Art) प्राप्त किए। इसने ऐसे ट्रैफ़िक सिमुलेशन बनाए जो किसी भी पिछले तरीके की तुलना में वास्तविक मानव ड्राइविंग की तरह अधिक दिखते हैं।

संक्षेप में, शोध पत्र कहता है कि भीड़ में AI को वास्तविक रूप से गाड़ी चलाना सिखाने के लिए, आपको "जज" को अपने पड़ोसियों के बुरे व्यवहार के लिए एक अच्छे ड्राइवर को दोष देने से रोकना होगा। निर्णय को "मैं सड़क पर कैसे चलता हूँ" और "मैं अपने तत्काल पड़ोसी के साथ कैसे व्यवहार करता हूँ" में अलग करके, AI बहुत तेज़ी से सीखता है और बहुत अधिक वास्तविक रूप से गाड़ी चलाता है।

तकनीकी सारांश: DecompGAIL

समस्या विवरण (Problem Statement)

स्वायत्त ड्राइविंग (autonomous driving) के विकास के लिए यथार्थवादी यातायात सिमुलेशन आवश्यक है, फिर भी मौजूदा इमिटेशन लर्निंग (IL) दृष्टिकोण जटिल मानवीय व्यवहारों को मॉडल करने में संघर्ष करते हैं। बिहेवियर क्लोनिंग (BC) को कोवेरिएट शिफ्ट (covariate shift) का सामना करना पड़ता है, जहाँ त्रुटियाँ संचयी रूप से बढ़ती हैं क्योंकि सीखा गया पॉलिसी विशेषज्ञ के स्टेट डिस्ट्रीब्यूशन से विचलित हो जाता है। जेनेरेटिव एडवरसैरियल इमिटेशन लर्निंग (GAIL) प्रक्षेपवक्र (trajectory) वितरण को संरेखित करके एक सैद्धांतिक समाधान प्रदान करता है, लेकिन यह मल्टी-एजेंट सेटिंग्स में प्रशिक्षण अस्थिरता (training instability) का सामना करता है।

लेखक इस अस्थिरता के एक विशिष्ट मूल कारण की पहचान करते हैं जिसे अप्रासंगिक इंटरेक्शन मिसगाइडेंस (irrelevant interaction misguidance) कहा जाता है। मानक विकेंद्रीकृत GAIL में, एक डिस्क्रिमिनेटर (discriminator) ईगो वाहन के स्थानीय अवलोकनों का मूल्यांकन करता है। हालाँकि, यदि पड़ोसी एजेंट अवास्तविक व्यवहार करते हैं (जैसे, आपस में टकराना), तो डिस्क्रिमिनेटर ईगो वाहन के यथार्थवादी व्यवहार को दंडित करता है क्योंकि संयुक्त अवस्था (ईगो + अवास्तविक पड़ोसी) विशेषज्ञ डेटा से विचलित होती है। डिस्क्रिमिनेटर उन कमजोर रूप से प्रासंगिक पड़ोसी-पड़ोसी (neighbor–neighbor) और पड़ोसी-मैप (neighbor–map) इंटरेक्शन को अत्यधिक महत्व देता है, जो ईगो के कार्यों से कारणवश (causally) जुड़े नहीं हैं लेकिन ली गई पॉलिसी से प्रभावित होते हैं। जैसे-जैसे पड़ोसियों की संख्या बढ़ती है, यह शोर (noise) द्विघातीय (quadratically) रूप से बढ़ता है, जिससे अस्थिर और भ्रामक रिवॉर्ड सिग्नल उत्पन्न होते हैं।

कार्यप्रणाली (Methodology): DecompGAIL

इसे संबोधित करने के लिए, लेखक एक हल्के वजन वाले SMART-आधारित ट्रांसफार्मर बैकबोन में एकीकृत DecompGAIL (डिकम्पोज्ड मल्टी-एजेंट जेनेरेटिव एडवरसैरियल इमिटेशन लर्निंग) का प्रस्ताव करते हैं। यह फ्रेमवर्क तीन मुख्य घटकों से बना है:

1. डिकम्पोज्ड डिस्क्रिमिनेटर (Decomposed Discriminator)

एक मोनोलिथिक डिस्क्रिमिनेटर के बजाय जो सभी एजेंट और मैप टोकन को एक एकल फीचर में फ्यूज करता है, DecompGAIL यथार्थवाद (realism) को दो स्वतंत्र घटकों में स्पष्ट रूप से अलग करता है:

ईगो–मैप (सीन) यथार्थवाद ( $S_t^i$ ): यह स्थिर मैप कॉन्टेक्स्ट के साथ ईगो वाहन के प्रक्षेपवक्र के संरेखण का आकलन करता है, और पड़ोसी इंटरेक्शन को अनदेखा करता है।
ईगो–नेबर (इंटरेक्शन) यथार्थवाद ( $I_{t}^{ij}$ ): यह ईगो और प्रत्येक विशिष्ट पड़ोसी के बीच युग्मवार (pairwise) इंटरेक्शन की तर्कसंगतता का आकलन करता है।

डिज़ाइन के अनुसार, यह आर्किटेक्चर पड़ोसी-पड़ोसी और पड़ोसी-मैप इंटरेक्शन ( $\phi_3$ और $\phi_4$ पद) को दबा देता है, जिससे डिस्क्रिमिनेटर दूसरों की विफलताओं के लिए ईगो को दंडित नहीं कर पाता है। डिस्क्रिमिनेटर को विशेषज्ञ और पॉलिसी सैंपल्स पर बाइनरी क्रॉस-एन्ट्रॉपी (BCE) लॉस के साथ प्रशिक्षित किया जाता है।

2. सोशल PPO ऑब्जेक्टिव (Social PPO Objective)

पॉलिसी को अनुकूलित करने के लिए, लेखक एक सोशल PPO ऑब्जेक्टिव पेश करते हैं। एक एजेंट $i$ के लिए रिवॉर्ड उसके सीन स्कोर और पेयरवाइज इंटरेक्शन स्कोर का भारित योग (weighted sum) है। महत्वपूर्ण रूप से, इस ईगो रिवॉर्ड को डिस्टेंस-वेटेड नेबरहुड रिवॉर्ड्स के साथ बढ़ाया जाता है:
$r_t^{S_i} = r_t^i + \sum_{j \in N_i} \lambda_{ij} r_t^j$
जहाँ $\lambda_{ij}$ एक डिस्टेंस-डिकेड (distance-decayed) वेट है। यह एजेंटों को पास के एजेंटों की यथार्थता को कम किए बिना अपनी स्वयं की यथार्थता में सुधार करने के लिए प्रोत्साहित करता है, जिससे सहयोगात्मक स्थिरता (cooperative stability) को बढ़ावा मिलता है।

3. ट्रेनिंग पाइपलाइन (Training Pipeline)

यह फ्रेमवर्क दो चरणों वाली प्रक्रिया का पालन करता है:

BC प्रीट्रेनिंग: पॉलिसी को विशेषज्ञ डेटा पर बिहेवियर क्लोनिंग का उपयोग करके इनिशियलाइज़ किया जाता है ताकि एक मजबूत शुरुआती बिंदु प्रदान किया जा सके और कंप्यूटेशनल लागत को कम किया जा सके।
DecompGAIL फाइन-ट्यूनिंग: पॉलिसी को PPO का उपयोग करके फाइन-ट्यून किया जाता है, जिसमें डिकम्पोज्ड डिस्क्रिमिनेटर सरोगेट रिवॉर्ड प्रदान करता है।

मुख्य योगदान (Key Contributions)

यह शोध पत्र तीन प्राथमिक योगदान देता है:

अप्रासंगिक इंटरेक्शन मिसगाइडेंस की पहचान: लेखक प्रदर्शित करते हैं कि मानक विकेंद्रीकृत GAIL डिस्क्रिमिनेटर उन कमजोर रूप से प्रासंगिक उच्च-क्रम (higher-order) इंटरेक्शन पर अत्यधिक जोर देकर अस्थिरता पैदा करते हैं जो ईगो के कार्यों से कारणवश नहीं जुड़े हैं।
DecompGAIL आर्किटेक्चर: वे एक डिकम्पोज्ड डिस्क्रिनेटर का प्रस्ताव करते हैं जो अप्रासंगिक संकेतों को दबाते हुए ईगो-सीन और ईगो-नेबर यथार्थवाद को अलग-अलग मॉडल करता है, जिससे अधिक स्थिर और सूचनात्मक रिवॉर्ड मिलते हैं।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह विधि WOMD Sim Agents 2025 बेंचमार्क पर स्टेट-ऑफ-द-आर्ट यथार्थवाद प्राप्त करती है, जो मौजूदा BC, डेटा ऑग्मेंटेशन और RL-आधारित बेसलाइन्स को पीछे छोड़ देती है।

प्रयोगात्मक परिणाम (Experimental Results)

Waymo Open Motion Dataset (WOMD) पर WOSAC 2025 लीडरबोर्ड मेट्रिक्स का उपयोग करके मूल्यांकन किया गया:

स्थिरता (Stability): DecompGAIL प्रशिक्षण के दौरान डिस्क्रिमिनेटर स्कोर और सिमुलेशन यथार्थवाद में कम विचरण (variance) बनाए रखता है, जबकि मानक पैरामीटर-शेयरिंग GAIL (PS-GAIL) पड़ोसियों की संख्या बढ़ने के साथ बढ़ता हुआ विचरण और प्रदर्शन गिरावट प्रदर्शित करता है।
प्रदर्शन (Performance): DecompGAIL सभी परीक्षण किए गए मॉडलों, जिनमें टोकनाइज्ड मॉडल (SMART-R1, TrajTok) और कंटीन्यूअस मॉडल (UniMM) शामिल हैं, में उच्चतम रियलिज्म मेटा-मैट्रिक (0.7864) प्राप्त करता है।
मेट्रिक ब्रेकडाउन: विधि इंटरएक्टिव (0.8152) और मैप-आधारित (0.9176) मेट्रिक्स में लगातार बेसलाइन्स से बेहतर प्रदर्शन करती है, जो बेहतर टक्कर बचाव (collision avoidance) और रोड एडहेरेंस को दर्शाता है।
एब्लेशन स्टडीज (Ablation Studies): डिकम्पोजिशन को हटाना (मोनोलिथिक डिस्क्रिमिनेटर का उपयोग करना) या सोशल रिवॉर्ड मैकेनिज्म को हटाना यथार्थवाद और टक्कर की संभावना में महत्वपूर्ण गिरावट लाता है, जो दोनों घटकों की आवश्यकता की पुष्टि करता है।

महत्व (Significance)

यह पेपर दावा करता है कि DecompGAIL रिवॉर्ड सिग्नल की अप्रासंगिक पर्यावरणीय शोर के प्रति संवेदनशीलता को ठीक करके मल्टी-एजेंट इमिटेशन लर्निंग में एक मौलिक अस्थिरता को हल करता है। पड़ोसियों की विफलताओं से ईगो व्यवहार को अलग करके, यह विधि जटिल, उच्च-घनत्व वाले यातायात परिदृश्यों में स्थिर प्रशिक्षण को सक्षम बनाता है। लेखक इस कार्य को उच्च-निष्ठा (high-fidelity) वाले ट्रैफिक सिम्युलेटर्स की ओर एक महत्वपूर्ण कदम के रूप में देखते हैं जो प्रशिक्षण अस्थिरता या कोवेरिएट शिफ्ट के आर्टिफैक्ट्स के बिना स्वायत्त ड्राइविंग नीतियों का विश्वसनीय रूप से परीक्षण कर सकते हैं।