🤖 AI

RLFTSim: Realistic and Controllable Multi-Agent Traffic Simulation via Reinforcement Learning Fine-Tuning

RLFTSim एक सुदृढीकरण अधिगम (reinforcement learning) आधारित फाइन-ट्यूनिंग फ्रेमवर्क है जो सिम्युलेटर रोलआउट्स को वास्तविक दुनिया के डेटा वितरण के साथ संरेखित करके और स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करने के लिए एक कम-विचलन वाले, सघन रिवॉर्ड सिग्नल का उपयोग करके मल्टी-एजेंट ट्रैफिक सिमुलेशन की वास्तविकता और नियंत्रणीयता को बढ़ाता है, जैसा कि वेमो ओपन मोशन डेटासेट (Waymo Open Motion Dataset) पर देखा गया है।

मूल लेखक: Ehsan Ahmadi, Hunter Schofield, Behzad Khamidehi, Fazel Arasteh, Jinjun Shan, Lili Mou, Dongfeng Bai, Kasra Rezaee

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ehsan Ahmadi, Hunter Schofield, Behzad Khamidehi, Fazel Arasteh, Jinjun Shan, Lili Mou, Dongfeng Bai, Kasra Rezaee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखाने की कोशिश कर रहे हैं। आपके पास इसे सिखाने के दो मुख्य तरीके हैं:

"नकलची" तरीका (पुराना तरीका): आप रोबोट को असली लोगों के हजारों ड्राइविंग वीडियो दिखाते हैं और कहते हैं, "उन्होंने जो किया, बिल्कुल वैसा ही करो।" रोबोट तब तक हुबहू नकल करता है जब तक सड़क बिल्कुल वीडियो जैसी दिखती है। लेकिन अगर रोबोट एक छोटी सी गलती कर देता है और थोड़ा सा रास्ता भटक जाता है, तो वह भ्रमित हो जाता है। उसे यह नहीं पता होता कि वापस कैसे आना है क्योंकि वह सिर्फ एक स्क्रिप्ट को याद कर रहा था, न कि यह सीख रहा था कि प्रतिक्रिया कैसे देनी है। इसे "ओपन-लूप" (open-loop) ट्रेनिंग कहा जाता है, जो अक्सर जटिल स्थितियों में अवास्तविक और जड़ ड्राइविंग का कारण बनता है।
"अभ्यास ड्राइवर" तरीका (नया तरीका - RLFTSim): यह वह तरीका है जिसे यह शोध पत्र पेश करता है। केवल नकल करने के बजाय, रोबोट एक आभासी दुनिया (virtual world) में गाड़ी चलाता है, गलतियाँ करता है, और एक बहुत ही सख्त और निष्पक्ष शिक्षक द्वारा उसे ग्रेड दिया जाता है। यदि वह सुरक्षित और वास्तविक रूप से गाड़ी चलाता है, तो उसे उच्च स्कोर मिलता है। यदि वह दुर्घटनाग्रस्त होता है या सड़क से उतर जाता है, तो उसे कम स्कोर मिलता है। रोबंड फिर अपने दिमाग को बेहतर स्कोर पाने के लिए एडजस्ट करता है। यह "क्लोज्ड-लूप" (closed-loop) ट्रेनिंग है।

समस्या: शिक्षक बहुत आलसी था

शोधकर्ताओं ने "अभ्यास ड्राइवर" पद्धति में एक समस्या पाई। जो "शिक्षक" (स्कोरिंग सिस्टम) वे उपयोग कर रहे थे, वह बहुत धीमा और अस्पष्ट था।

पुराना शिक्षक: स्कोर देने के लिए, शिक्षक को एक साथ 32 अलग-अलग ड्राइविंग सत्रों को देखना पड़ता था, उन सभी की वास्तविक जीवन से तुलना करनी पड़ती थी, और पूरे समूह के लिए एक एकल संख्या देनी पड़ती थी। यह ऐसा था जैसे कोई शिक्षक पूरे सेमेस्टर के अंत में पूरी कक्षा के औसत के आधार पर ग्रेड दे। रोबोट को यह पता नहीं चलता था कि कौन सी विशिष्ट चाल अच्छी थी या बुरी, इसलिए वह बहुत धीरे और अक्षम रूप से सीखता था।

समाधान: RLFTSim

टीम ने RLFTSim बनाया, जो एक नया प्रशिक्षण ढांचा (framework) है जो एक सुपर-कुशल, चौकस कोच की तरह काम करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "एक को छोड़ देने वाला" कोच (MLOO)

32 ड्राइवरों के पूरे समूह को ग्रेड देने के इंतजार करने के बजाय, यह नया कोच एक चतुर तकनीक का उपयोग करता है जिसे लीव-वन-आउट (Leave-One-Out - MLOO) कहा जाता है।

उपमा: कल्पना कीजिए कि 32 गायकों का एक समूह (choir) है। पुराना शिक्षक पूरे समूह के खत्म होने तक इंतजार करता था ताकि कह सके, "यह ठीक था।" नया कोच 31 गायकों को सुनता है, फिर 32वें गायक को अकेले गाने के लिए कहता है। वह समूह के साथ उस एकल गायक की तुलना करता है।
यह कैसे मदद करता है: यदि एकल गायक समूह से अलग सुनाई देता है, तो कोच तुरंत जान जाता है कि कौन सा विशिष्ट गायक सुर से बाहर था। यह रोबोट को उसकी हर चाल के लिए एक स्पष्ट, तत्काल "पुरस्कार" संकेत देता है। यह हर नोट के बाद "अच्छा काम किया!" या "फिर से कोशिश करो" मिलने जैसा है, न कि पूरा गाना खत्म होने का इंतजार करने जैसा। इससे रोबोट बहुत तेज़ी से और कम गलतियों के साथ सीखता है।

2. "लक्ष्य-निर्धारण" विशेषता (नियंत्रणीयता/Controllability)

वास्तविक दुनिया के परीक्षणों में अक्सर विशिष्ट परिदृश्यों की आवश्यकता होती है, जैसे "क्या होता है यदि एक कार व्यस्त चौराहे पर यू-टर्न लेने की कोशिश करती है?" या "क्या होगा यदि कोई पैदल यात्री सड़क पर आ जाए?"

उपमा: पुराना रोबोट एक टैक्सी ड्राइवर की तरह था जिसे केवल सबसे लोकप्रिय गंतव्यों तक जाना पता था। यदि आप उसे कहीं अजीब जगह जाने के लिए कहते, तो वह रास्ता भटक सकता था या घबरा सकता था।
सुधार: RLFTSim रोबोट को एक "जीपीएस डेस्टिनेशन" (लक्ष्य) सुनने के लिए प्रशिक्षित करता है। आप रोबोट को बता सकते हैं, "इस विशिष्ट स्थान तक जाओ," और रोबोट यातायात नियमों का पालन करते हुए और वास्तविक रूप से गाड़ी चलाते हुए वहां पहुँचने का तरीका खोज लेगा। उन्होंने हाइंडसाइट एक्सपीरियंस रीप्ले (Hindsight Experience Replay) नामक एक तकनीक का उपयोग किया, जो रोबोट को यह बताने जैसा है: "भले ही आप उस लक्ष्य को चूक गए जिसे आप निशाना बना रहे थे, फिर भी देखें कि आप वास्तव में कहाँ पहुँचे। वह भी एक वैध गंतव्य है! अगली बार वहां पहुँचने का अभ्यास करते हैं।" यह रोबोट को उन लक्ष्यों तक पहुँचना सीखने में मदद करता है जो उसने केवल ट्रेनिंग वीडियो में देखे थे।

परिणाम

शोधकर्ताओं ने इस नए सिस्टम का परीक्षण वेमो ओपन मोशन डेटासेट (Waymo Open Motion Dataset) (वास्तविक दुनिया के ड्राइविंग डेटा का एक विशाल संग्रह) का उपयोग करके किया।

यथार्थवाद (Realism): RLFTSim के साथ प्रशिक्षित रोबोट बहुत अधिक वास्तविक इंसान की तरह गाड़ी चलाता है। इसने पिछले "कॉपीकैट" मॉडलों की तुलना में जटिल चौराहों और अन्य कारों को बेहतर ढंग से संभाला। इसने मानक यथार्थवाद परीक्षण पर अब तक के सर्वश्रेष्ठ स्कोर हासिल किए।
दक्षता (Efficiency): क्योंकि "लीव-वन-आउट" कोच ने स्पष्ट, तत्काल फीडबैक दिया, इसलिए रोबोट को सीखने के लिए अन्य तरीकों की तुलना में बहुत कम अभ्यास सत्रों की आवश्यकता पड़ी।
नियंत्रण (Control): रोबोट सुरक्षित रूप से गाड़ी चलाने की अपनी क्षमता खोए बिना विशिष्ट निर्देशों (जैसे "यहाँ बाएं मुड़ें" या "वहाँ रुकें") का सफलतापूर्वक पालन कर सकता था।

संक्षेप में

यह शोध पत्र सिमुलेशन में सेल्फ-ड्राइविंग कार को प्रशिक्षित करने का एक नया तरीका प्रस्तुत करता है। केवल ड्राइविंग वीडियो को याद करने के बजाय, वे AI को एक स्मार्ट कोच के साथ आभासी दुनिया में अभ्यास करने देते हैं जो तत्काल, सटीक फीडबैक देता है। यह AI को अधिक वास्तविक रूप से चलाने, तेज़ी से सीखने और आवश्यकता पड़ने पर विशिष्ट निर्देशों का पालन करने में सक्षम बनाता है। यह एक ऐसे रोबोट के बीच का अंतर है जो अंधाधुंध स्क्रिप्ट का पालन करता है और एक ऐसे रोबोट के बीच का अंतर है जो वास्तव में गाड़ी चलाना समझता है।

तकनीकी सारांश: RLFTSim

समस्या विवरण

स्वायत्त ड्राइविंग (Autonomous driving) का विकास काफी हद तक यातायात सिमुलेशन पर निर्भर करता है ताकि सुरक्षा-महत्वपूर्ण परिदृश्यों का परीक्षण किया जा सके, विशेष रूप से वे दुर्लभ दुर्घटनाएं जिन्हें वास्तविक दुनिया के डेटा में पकड़ना कठिन होता है। हालांकि ट्रैफिक सिमुलेशन मॉडल को प्रशिक्षित करने के लिए सुपरवाइज्ड ओपन-लूप ट्रेनिंग (इमिटेशन लर्निंग) को व्यापक रूप से अपनाया गया है, लेकिन यह जटिल, मल्टी-एजेंट वातावरणों में महत्वपूर्ण सीमाओं से ग्रस्त है। विशेष रूप से, ओपन-लूप मॉडल स्वाभाविक रूप से गतिशील अंतःक्रियाओं (interactions) को कैप्चर करने में विफल रहते हैं और क्लोज्ड-लूप सेटिंग्स में तैनात होने पर एरर एक्यूमुलेशन (error accumulation) और कॉज़ल कन्फ्यूजन (causal confusion) के प्रति संवेदनशील होते हैं। मौजूदा लर्निंग-आधारित सिमुलेटर रिएक्टिव, मल्टी-एजेंट रोलआउट उत्पन्न करते समय वास्तविक दुनिया के डेटा वितरण और यातायात नियमों के साथ संरेखित होने में संघर्ष करते हैं। इसके अलावा, जबकि कंट्रोलेबिलिटी (विशिष्ट लक्ष्यों की ओर सिमुलेशन को निर्देशित करने की क्षमता) लक्षित परीक्षण के लिए महत्वपूर्ण है, मौजूदा विधियां अक्सर यथार्थवाद (realism) और कंट्रोलेबिलिटी को अलग-अलग चुनौतियों के रूप में देखती हैं, और यथार्थवाद से समझौता किए बिना कंट्रोलेबिलिटी को डिस्टिल करने के लिए एक एकीकृत ढांचे की कमी रखती हैं।

कार्यप्रणाली (Methodology)

लेखक RLFTSim का प्रस्ताव करते हैं, जो एक सुदृढीकरण लर्निंग (Reinforcement Learning) आधारित फाइन-ट्यूनिंग फ्रेमवर्क है जिसे प्री-ट्रेंड सिमुलेशन मॉडल्स की यथार्थता बढ़ाने और गोल-कंडीशन्ड कंट्रोलेबिलिटी को डिस्टिल करने के लिए डिज़ाइन किया गया है। यह दृष्टिकोण एक प्री-ट्रेंड मॉडल (विशेष रूप से SMART-tiny मॉडल) के ऊपर एक क्लोज्ड-लूप पोस्ट-ट्रेनिंग प्रक्रिया के रूप में कार्य करता है।

1. रिवॉर्ड सिग्नल डिज़ाइन: मेटा-मेट्रिक लीव-वन-आउट (MLOO)

ट्रैफिक सिमुलेशन में RL लागू करने में एक केंद्रीय चुनौती एक प्रभावी रिवॉर्ड सिग्नल का डिज़ाइन है। लेखक Waymo Open Simulation Challenge (WOSAC) Realism Meta-Metric (RMM) का उपयोग करते हैं, जो सिम्युलेटेड और वास्तविक प्रक्षेपवक्रों (trajectories) के बीच किनेमैटिक, इंटरैक्टिव और मैप-आधारित फीचर्स के वितरण संरेखण (distributional alignment) का मूल्यांकन करता है। हालांकि, मानक RMM स्पार्स (32 रोलआउट के समूह पर गणना की गई) और हाई-वेरिएंस वाला है, जो इसे प्रत्यक्ष RL ऑप्टिमाइज़ेशन के लिए अक्षम बनाता है।

इसे संबोधित करने के लिए, लेखक Meta-metric Leave-One-Out (MLOO) पेश करते हैं:

परिभाषा: $N$ रोलआउट के एक बैच के लिए, रोलआउट $i$ के लिए रिवॉर्ड को रोलआउट $i$ को छोड़कर सेट पर गणना किए गए $RMM_{-i}$ और रोलआउट $j$ को छोड़कर सेट पर गणना किए गए $RMM_{-j}$ के बीच के अंतर के रूप में परिभाषित किया जाता है, जिसे उचित रूप से औसत किया जाता है।
सैद्धांतिक गुण: लेखक यह सिद्ध करने के लिए सैद्धांतिक विश्लेषण प्रदान करते हैं कि MLOO एक अनबायस्ड पॉलिसी ग्रेडिएंट एस्टीमेटर (unbiased policy-gradient estimator) प्रदान करता है। महत्वपूर्ण रूप से, वे प्रदर्शित करते हैं कि जैसे-जैसे रोलआउट $N$ की संख्या बढ़ती है, MLOO मानक लीव-वन-आउट (RLOO) विधियों ( $O(1/T)$ ) की तुलना में क्वाड्रेटिक वेरिएंस रिडक्शन ( $O(1/N^2T)$ ) प्राप्त करता है। यह डेंस, लो-वेरिएंस सिग्नल सैंपल-एफिशिएंट ट्रेनिंग को सक्षम बनाता है।

2. गोल-कंडीशनिंग और हिंडसाइट एक्सपीरियंस रिप्ले (HER) के माध्यम से कंट्रोलेबिलिटी

कंट्रोलेबल परिदृश्य पीढ़ी को सक्षम करने के लिए, फ्रेमवर्क मॉडल को गोल स्पेसिफिकेशन (लक्ष्य निर्देशांक या पॉलीलाइन्स) स्वीकार करने के लिए विस्तारित करता है।

गोल-कंडीशनिंग (Goal Conditioning): मॉडल को दो प्रतिनिधित्व विधियों का उपयोग करके बाहरी लक्ष्यों पर ध्यान केंद्रित करने (attend) के लिए फाइन-ट्यून किया जाता है: टोकन एम्बेडिंग कॉनकैटिनेशन और पोजीशनल एनकोडिंग इंडिकेशन।
हिंडसाइट एक्सपीरियंस रिप्ले (HER): जब एजेंट विशिष्ट लक्ष्यों तक पहुँचने में विफल रहता है, तो रिवॉर्ड की स्पर्सिटी को कम करने के लिए, लेखक HER का उपयोग करते हैं। प्रशिक्षण के दौरान, यदि कोई रोलआउट मूल लक्ष्य तक पहुँचने में विफल रहता है, तो बैच के सर्वश्रेष्ठ प्रदर्शन करने वाले रोलआउट की टर्मिनल स्थिति को डेटासेट को बढ़ाने के लिए एक वैकल्पिक लक्ष्य के रूप में उपयोग किया जाता है। यह मॉडल को "विफल" प्रयासों से सीखने की अनुमति देता है, यह मानकर कि प्राप्त अवस्था एक वैध लक्ष्य है।
संयुक्त रिवॉर्ड (Combined Reward): गोल-कंडीशन्ड फाइन-ट्यूनिंग (GCFT) के लिए अंतिम रिवॉर्ड, MLOO रियलिज्म रिवॉर्ड और एक बाइनरी गोल-रीचिंग रिवॉर्ड का भारित योग (weighted sum) है, जो यथार्थवाद और कंट्रोलेबिलिटी के बीच संतुलन बनाता है।

मुख्य योगदान

रियलिज्म अलाइनमेंट फ्रेमवर्क: RLFTSim का परिचय, जो एक क्लोज्ड-लूप RL फाइन-ट्यूनिंग दृष्टिकोण है जो प्री-ट्रेंड सिमुलेशन मॉडल्स को RMM को एक ऑप्टिमाइज़ेशन ऑब्जेक्टिव के रूप में उपयोग करके वास्तविक दुनिया के डेटा वितरण के साथ संरेखित करता है।
MLOO रिवॉर्ड सिग्नल: मेटा-मेट्रिक लीव-वन-आउट (MLOO) विधि का प्रस्ताव, जो स्पार्स RMM को एक डेंस, लो-वेरिएंस रिवॉर्ड सिग्नल में बदल देता है। लेखक इसकी अनबायस्डनेस और क्वाड्रेटिक वेरिएंस रिडक्शन गुणों के लिए सैद्धांतिक प्रमाण प्रदान करते हैं।
कंट्रोलेबिलिटी डिस्टिलेशन: गोल-कंडीशनिंग और HER का उपयोग करके एक बेस सिम्युलेटर में कंट्रोलेबिलिटी को डिस्टिल करने का एक अभिनव दृष्टिकोण, जो उच्च यथार्थवाद बनाए रखते हुए विविध, लक्ष्य-निर्देशित परिदृश्य उत्पन्न करने में सक्षम बनाता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: Waymo Open Motion Dataset (WOMD) पर व्यापक प्रयोग यह प्रदर्शित करते हैं कि RLFTSim अन्य ह्यूरिस्टिक सर्च-आधारित फाइन-ट्यूनिंग विधियों और बेसलाइन मॉडल्स की तुलना में रियलिज्म मेट्रिक्स में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है।

प्रयोगात्मक परिणाम

लेखकों ने SMART-tiny को संदर्भ मॉडल के रूप में उपयोग करते हुए Waymo Open Motion Dataset (WOMD) पर RLFTSim का मूल्यांकन किया।

यथार्थवाद (Realism): RLFTSim ने 0.7867 का रियलइज़्म मेटा-मेट्रिक (RMM) स्कोर प्राप्त किया, जो संदर्भ SMART-tiny मॉडल (0.7824) और TrafficBots V1.5 तथा BehaviorGPT जैसे अन्य स्टेट-ऑफ-द-आर्ट तरीकों से बेहतर है। इसने इंटरैक्टिव और मैप-आधारित सब-मेट्रिक्स में भी सुधार दिखाया।
सैंपल एफिशिएंसी: लो-वेरिएंस MLOO सिग्नल के कारण, RLFTSिM को स्पार्स रिवॉर्ड या ह्यूरिस्टिक सर्च पर निर्भर विधियों की तुलना में अभिसरण (converge) करने के लिए काफी कम नमूनों की आवश्यकता पड़ी।
एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने पुष्टि की कि MLOO, यथार्थता बढ़ाने के लिए RLOO और इमिटेशन-आधारित रिवॉर्ड्स (जैसे minADE) की तुलना में बेहतर प्रदर्शन करता है।
कंट्रोलेबिलिटी: गोल-कंडीशन्ड वेरिएंट्स (GCFT) ने वास्तविक अंतःक्रियाओं को बनाए रखते हुए विशिष्ट लक्ष्यों (जैसे यू-टर्न, लेफ्ट टर्न) के लिए "मिस रेट" को सफलतापूर्वक कम किया। गुणात्मक विश्लेषण से पता चला कि मॉडल एक ही सीड परिदृश्य से विविध व्यवहार (जैसे रेड लाइट पर रुकना बनाम दाएं मुड़ना) उत्पन्न कर सकता था, जबकि बेसलाइन मॉडल सीमित और अक्सर अवास्तविक व्यवहार उत्पन्न करता था।
सुरक्षा: फाइन-ट्यून्ड मॉडल्स ने प्री-ट्रेंड बेसलाइन की तुलना में कम कोलिजन (collision) और ऑफ-रोड दरें दिखाईं, जो यातायात नियमों के साथ बेहतर ढंग से संरेखित हैं।

महत्व और दावे

पेपर का दावा है कि RLFTSim ओपन-लूप इमिटेशन लर्निंग से आगे बढ़कर क्लोज्ड-लूप सुदृढीकरण लर्निंग (RL) का उपयोग करके मल्टी-एजेंट ट्रैफिक सिमुलेशन में महत्वपूर्ण "सिम-टू-रियल" गैप को संबोधित करता है। इस कार्य का महत्व है:

गैप को पाटना: यह सीधे तौर पर रियलिज्म अलाइनमेंट इश्यू को संबोधित करता है, यह सुनिश्चित करता है कि सिम्युलेटेड व्यवहार क्लोज्ड-लूप पर तैनाती के तहत भी वास्तविक दुनिया के वितरण के अनुरूप हो।
स्केलेबिलिटी: MLOO पेश करके, यह कार्य जनसंख्या-आधारित मेट्रिक्स (जैसे RMM) का उपयोग करने की सैंपल इनएफिशिएंसी को दूर करता है, जिससे बड़े पैमाने पर फाइन-ट्यूनिंग संभव हो जाती है।
एकीकृत दृष्टिकोण: यह प्रदर्शित करता है कि कंट्रोलेबिलिटी को वास्तविक ट्रैफिक जेनरेट करने की क्षमता से समझौता किए बिना एक सिम्युलेटर में डिस्टिल किया जा सकता है, जो स्वायत्त ड्राइविंग में सुरक्षा सत्यापन और परिदृश्य परीक्षण के लिए आवश्यक है।
प्रथम अनुप्रयोग: लेखक उल्लेख करते हैं कि ट्रैफिक सिमुलेशन में RL फाइन-ट्यूनिंग के लिए RMM का यह पहला सफल अनुप्रयोग है।

पेपर विनम्र सीमाओं के साथ समाप्त होता है, यह स्वीकार करते हुए कि टोकन-आधारित प्रतिनिधित्व अत्यधिक गतिशील परिदृश्यों में रिस्पॉन्सिवनेस को कम कर सकते हैं और गोल-रीचिंग दरें, हालांकि बेहतर हुई हैं, अभी भी पूर्ण नहीं हैं। वे सुझाव देते हैं कि भविष्य के कार्य में RMM से परे बेहतर रियलिज्म मेट्रिक्स विकसित करना और अन्य जनसंख्या-आधारित मेट्रिक्स पर MLOO फॉर्मूलेशन को लागू करना शामिल हो सकता है।