← नवीनतम पेपर
🤖 machine learning

RadarGen: Automotive Radar Point Cloud Generation from Cameras

RadarGen एक डिफ्यूजन-आधारित फ्रेमवर्क है जो मल्टीमॉडल जेनेरेटिव सिमुलेशन के लिए डोमेन गैप को पाटने हेतु BEV-अलाइन्ड विजुअल, सिमेंटिक और मोशन क्यूज़ का लाभ उठाकर मल्टी-व्यू कैमरा इमेजरी से यथार्थवादी ऑटोमोटिव रडार पॉइंट क्लाउड्स को सिंथेसाइज करता है।

मूल लेखक: Tomer Borreda, Fangqiang Ding, Sanja Fidler, Shengyu Huang, Or Litany

प्रकाशित 2026-08-14
📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Tomer Borreda, Fangqiang Ding, Sanja Fidler, Shengyu Huang, Or Litany

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखाने की कोशिश कर रहे हैं। आप उसे दस लाख घंटों का वीडियो दिखा सकते हैं, और वह इंसानों की तरह ही स्टॉप साइन और पैदल यात्रियों को पहचानना सीख जाएगा। लेकिन एक सेल्फ-ड्राइविंग कार केवल आंखों से "देखती" नहीं है; वह अदृश्य तरंगों के साथ दुनिया को "महसूस" भी करती है। ये तरंगें, जिन्हें रडार कहा जाता है, वस्तुओं से टकराकर वापस आती हैं ताकि कार को पता चल सके कि वे कितनी दूर हैं, कितनी तेजी से चल रही हैं, और वे किस सामग्री से बनी हैं। यह ऐसा है जैसे कार सड़क का 3D मैप बनाने के लिए सोनार का उपयोग कर रही है, लेकिन ध्वनि के बजाय रेडियो तरंगों का उपयोग कर रही है।

समस्या यह है कि जबकि हमारे पास दुनिया के अंतहीन वीडियो हैं, हमारे पास रोबोट को ठीक से सिखाने के लिए पर्याप्त "रडार अहसास" (radar feelings) नहीं हैं। वास्तविक रडार डेटा रिकॉर्ड करना धीमा, महंगा और अव्यवस्थित है। यह किसी को केवल चाबियों के दबने की आवाज सुनकर पियानो बजाना सिखाने जैसा है, लेकिन कभी उन्हें संगीत सुनने ही नहीं दिया गया। वैज्ञानिक कंप्यूटर का उपयोग यह कल्पना करने के लिए करने की कोशिश कर रहे हैं कि वीडियो के आधार पर रडार डेटा कैसा दिखना चाहिए, लेकिन अब तक, कंप्यूटर की कल्पना थोड़ी धुंधली और गलत रही है। यह किसी फोटो को देखकर पत्थर की बनावट का अंदाजा लगाने जैसा है; आप आकार तो सही पकड़ सकते हैं, लेकिन आप उसकी खुरदरापन या लुढ़कते पत्थर की गति को मिस कर सकते हैं।

यहीं पर एक नई टीम के शोधकर्ता RadarGen नामक एक टूल के साथ सामने आते हैं। RadarGen को एक जादुई "रडार अनुवादक" (radar translator) के रूप में समझें। यह सड़क के दृश्य की सामान्य कैमरा तस्वीरों का एक सेट लेता है और एक विशेष प्रकार के AI (जिसे डिफ्यूजन मॉडल कहा जाता है) का उपयोग करके यह कल्पना करता है कि उस सटीक क्षण के लिए रडार डेटा कैसा दिखना चाहिए। यह न केवल वस्तुओं के स्थान का अनुमान लगाता है; बल्कि यह इस बारे में भी वास्तविक विवरण गढ़ता है कि वे कितनी तेजी से चल रही हैं और उनका रडार सिग्नल कितना परावर्तित (bounce back) हो रहा है।

शोधकर्ताओं ने पाया कि यदि वे अपने AI को "बर्ड्स-आई व्यू" (ऊपर से नीचे का नज़ारा) से दुनिया को देखना सिखाते हैं और गहराई और गति को समझने के लिए अन्य स्मार्ट AI टूल्स का उपयोग करते हैं, तो वे ऐसा रडार डेटा बना सकते हैं जो आश्चर्यजनक रूप से वास्तविक चीज़ों के करीब होता है। जब उन्होंने इस नकली रडार डेटा को कार के नेविगेशन सिस्टम पर टेस्ट किया, तो सिस्टम वास्तव में वस्तुओं को "देख" और उन पर प्रतिक्रिया दे सका, ठीक वैसे ही जैसे डेटा असली हो। यह अभी पूरी तरह से परफेक्ट नहीं है—कंप्यूटर अभी भी बहुत अंधेरे या कठिन स्थितियों में संघर्ष करता है—लेकिन यह सुझाव देता है कि हम जल्द ही वीडियो को एडिट करके असीमित, यथार्थवादी रडार ट्रेनिंग डेटा जेनरेट करने में सक्षम हो सकते हैं, जिससे हमें सड़क पर हर एक स्थिति को रिकॉर्ड करने की आवश्यकता से मुक्ति मिल जाएगी।

RadarGen का जादू

समस्या: एक लापता इंद्रिय (The Missing Sense)
सेल्फ-ड्राइविंग कारें कई इंद्रियों वाले सुपरहीरो की तरह हैं। उनके पास रंग और आकार देखने के लिए कैमरे (आंखें) हैं, और रडार (एक विशेष प्रकार का स्पर्श) है जो उन्हें अंधेरे या बारिश में भी दूरी और गति महसूस करने में मदद करता है। लेकिन यहाँ एक पेंच है: जबकि हमारे पास "आंखों" को प्रशिक्षित करने के लिए वीडियो का अंबार है, हमारे पास रडार डेटा बहुत कम है। क्यों? क्योंकि वास्तविक रडार रिकॉर्ड करना कठिन है। इसके लिए विशेष, महंगी कारों की आवश्यकता होती है जो दुनिया से टकराकर वापस आने वाली अदृश्य रेडियो तरंगों को कैप्चर करने के लिए घूम सकें। इसके अलावा, कच्चा (raw) डेटा इतना विशाल और जटिल है कि अधिकांश कंपनियाँ केवल अंतिम, प्रोसेस्ड वर्जन ही सेव करती हैं, जिससे बहुत से बारीक विवरण खो जाते हैं।

इस कमी के कारण, हमारी सेल्फ-ड्राइविंग कारों का "रडार अहसास" अक्सर कम प्रशिक्षित होता है। यह एक पियानो वादक को केवल शीट म्यूजिक दिखाकर कॉन्सर्टो सिखाने जैसा है, लेकिन कभी उन्हें वास्तविक ध्वनि सुनने ही नहीं दी गई। कार को पता हो सकता है कि कोई कार कहाँ है, लेकिन उसे यह नहीं पता हो सकता कि वह कितनी तेज चल रही है या वह एक फिसलन भरा ट्रक है या एक उछलने वाली कार।

समाधान: रडार की कल्पना करना (Dreaming Up Radar)
इस लेख के लेखकों ने RadarGen के माध्यम से इसे ठीक करने का निर्णय लिया। उन्होंने एक कंप्यूटर को यह सिखाया कि वह रडार डेटा की कल्पना कैसे करे। उन्होंने एक ऐसा सिस्टम बनाया जो मानक कैमरा फोटो को देखता है और कहता है, "ठीक है, यहाँ जो मैं देख रहा हूँ, उसके आधार पर रडार का 'एहसास' कैसा होगा?"

इसे करने के लिए, उन्होंने केवल फोटो नहीं देखे; उन्होंने एक चतुर तकनीक का उपयोग किया। उन्होंने रडार डेटा को एक मैप के प्रारूप में बदल दिया, विशेष रूप से एक बर्ड्स-आई-व्यू (BEV) मैप। कल्पना कीजिए कि आप हेलीकॉप्टर से एक शहर को ऊपर से देख रहे हैं। कारों को 3D वस्तुओं के रूप में देखने के बजाय, आप उन्हें एक फ्लैट ग्रिड पर बिंदुओं (dots) के रूप में देखते हैं।

  • मैप: सिस्टम इस मैप पर तीन परतें बनाता है:
    1. बिंदु कहाँ हैं: वस्तुओं का स्थान।
    2. वे कितने "तेज" या "जोरदार" हैं: इसे रडार क्रॉस सेक्शन (RCS) कहा जाता है, जो हमें बताता है कि वस्तु कितनी परावर्तक (reflective) है (एक बड़ा ट्रक एक छोटी कार की तुलना में अधिक परावर्तन करता है)।
    3. वे कितनी तेजी से चल रहे हैं: यह डॉप्लर (Doppler) मान है, जो कार के सापेक्ष गति को बताता है।

यह कैसे काम करता है: "सपनों वाली" मशीन (The "Dreaming" Machine)
टीम ने एक शक्तिशाली AI मॉडल का उपयोग किया जिसे डिफ्यूजन मॉडल कहा जाता है। आप इसे एक मूर्तिकार के रूप में सोच सकते हैं जो शोर (static/noise) के एक ब्लॉक से शुरू करता है और धीरे-धीरे शोर को हटाकर एक मूर्ति को प्रकट करता है।

  1. इनपुट: सिस्टम कार के सामने, पीछे और किनारों से कैमरा फोटो लेता है।
  2. सुराग (Clues): "सपना" देखने से पहले, यह गहराई (चीजें कितनी दूर हैं), वस्तु का प्रकार (क्या यह कार है या पेड़?), और गति (क्या यह चल रही है?) का पता लगाने के लिए अन्य स्मार्ट AI टूल्स का उपयोग करता है। यह इन सभी सुरागों को उसी बर्ड्स-आई-व्यू मैप पर प्रोजेक्ट करता है।
  3. जेनरेशन: डिफ्यूजन मॉडल इन सुरागों को लेता है और एक खाली मैप से "डिनोइजिंग" (शोर हटाना) शुरू करता है। यह धीरे-धीरे मैप को ऐसे बिंदुओं से भर देता है जो वास्तविक रडार रिटर्न की तरह दिखते हैं। क्योंकि यह एक प्रोबेबिलिस्टिक मॉडल है, यह केवल एक उत्तर का अनुमान नहीं लगाता; यह वास्तविक रडार की तरह कई यथार्थवादी संभावनाओं को बनाता है, जैसे कि वास्तविक रडार में कभी-कभी "शोर" या गायब बिंदु होते हैं।
  4. रिकवरी: परिणाम एक स्मूथ, धुंधला मैप होता है। सिस्टम फिर इस मैप को विशिष्ट, तीखे बिंदुओं में बदलने के लिए एक गणितीय ट्रिक (जिसे डीकन्वोल्यूशन कहा जाता है) का उपयोग करता है, जिससे अंतिम पॉइंट क्लाउड (point cloud) बनता है।

उन्होंने क्या पाया
टीम ने अपने परीक्षण के लिए ट्रक ड्राइविंग के वास्तविक दृश्यों के एक डेटासेट (MAN TruckScenes) का उपयोग किया। उन्होंने अपने जेनरेटेड रडार डेटा की तुलना वास्तविक रडार डेटा और एक सरल, पुराने तरीके (बेसलाइन) से की।

  • बेहतर सटीकता: RadarGen वस्तुओं के स्थान और उनकी गति का अनुमान लगाने में बहुत बेहतर था। उनके परीक्षणों में, "जियोमेट्रिक फिडेलिटी" (वास्तविकता के कितने करीब आकार है) बेसलाइन की तुलना में काफी अधिक थी।
  • यथार्थवादी सांख्यिकी: नकली रडार डेटा सांख्यिकीय रूप से वास्तविक रडार डेटा के समान था। गति और परावर्तन का वितरण पिछले प्रयासों की तुलना में वास्तविक दुनिया से बहुत बेहतर मेल खाता था।
  • यह ड्राइविंग के लिए काम करता है: सबसे बड़ा परीक्षण यह था कि क्या एक वास्तविक सेल्फ-ड्राइविंग कार इस नकली डेटा का उपयोग कर सकती है। उन्होंने वास्तविक रडार डेटा पर एक डिटेक्टर (एक प्रोग्राम जो कारों को ढूंढता है) को प्रशिक्षित किया और फिर उससे जेनरेटेड रडार डेटा में कारें खोजने को कहा। डिटेक्टर ने जेनरेटेड डेटा में 66% कारों को खोजा (जिसे हिट रेट कहा जाता है), जबकि बेसलाइन डिटेक्टर को शायद ही कुछ मिल पाया। यह सुझाव देता है कि जेनरेटेड डेटा वास्तव में सेल्फ-ड्राइविंग कारों को प्रशिक्षित करने के लिए पर्याप्त अच्छा है।

"क्या होगा अगर" और "क्या नहीं है"
पेपर ने यह भी दिखाया कि यह सिस्टम लचीला है। यदि आप सड़क की एक फोटो लेते हैं और एक इमेज एडिटर का उपयोग करके एक छोटी कार को एक बड़े ट्रक से बदलते हैं, तो RadarGen तुरंत रडार डेटा को अपडेट कर देता है। यह उस जगह से रडार डॉट्स को हटा देता है जहाँ छोटी कार थी और ट्रक के लिए नए डॉट्स जोड़ देता है, यहाँ तक कि यह भी संभालता है कि ट्रक अपने पीछे की चीजों को ढक (occlude) सकता है। यह साबित करता है कि सिस्टम केवल 2D तस्वीर को नहीं, बल्कि 3D दुनिया को समझता है।

हालाँकि, पेपर स्पष्ट रूप से बताता है कि यह क्या नहीं है।

  • यह जादू नहीं है: सिस्टम कैमरा फोटो और अन्य AI टूल्स (जैसे डेप्थ एस्टिमेटर) की गुणवत्ता पर निर्भर करता है। यदि कैमरा अंधेरे में है या दूसरा AI भ्रमित हो जाता है, तो RadarGen गलतियाँ करेगा।
  • यह परफेक्ट नहीं है: हालांकि यह पहले से बेहतर है, जेनरेटेड डेटा अभी भी वास्तविक डेटा के बिल्कुल समान नहीं है। पेपर नोट करता है कि जेनरेटेड डेटा पर डिटेक्शन की गुणवत्ता अभी भी वास्तविक डेटा की तुलना में कम है, जो बताता है कि कुछ सूक्ष्म विवरण अभी भी बाकी हैं जिन्हें AI पूरी तरह से नहीं पकड़ पाया है।
  • कोई रॉ सिग्नल नहीं: सिस्टम अंतिम "बिंदुओं" (पॉइंट क्लाउड्स) को जेनरेट करता है, न कि कच्चे रेडियो तरंगों को। लेखकों ने समझाया कि कच्चे तरंगों को जेनरेट करने के लिए भारी मात्रा में रॉ डेटा की आवश्यकता होगी जो सार्वजनिक रूप से उपलब्ध नहीं है, इसलिए वे प्रोसेस्ड पॉइंट क्लाउड्स तक ही सीमित रहे।

यह क्यों महत्वपूर्ण है
मुख्य बात यह है कि RadarGen रडार डेटा बनाने का एक स्केलेबल तरीका प्रदान करता है। हर मौसम की स्थिति में हजारों मील गाड़ी चलाकर रडार रिकॉर्ड करने के बजाय, हम जल्द ही वीडियो से वह डेटा जेनरेट कर पाएंगे। इससे सुरक्षित सेल्फ-ड्राइविंग कारों के विकास में तेजी आ सकती है, जिससे वे लैब से बाहर निकले बिना लाखों आभासी परिदृश्यों में "अभ्यास" कर सकेंगी। यह एक ऐसी भविष्य की ओर एक कदम है जहाँ सेल्फ-ड्राइविंग कारों के पास दुनिया की पूर्ण, बहु-संवेदी समझ होगी, भले ही वास्तविक दुनिया बहुत खतरनाक या महंगी क्यों न हो।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →