🤖 AI

HilDA: Hierarchical Distillation with Diffusion for Advancing Self-Supervised LiDAR Pre-trainin

HilDA एक स्व-पर्यवेक्षित प्री-ट्रेनिंग फ्रेमवर्क है जो LiDAR बैकबोन के लिए विजन फाउंडेशन मॉडल्स से पदानुक्रमित डिस्टिलेशन (hierarchical distillation) और एक टेम्पोरल ऑक्यूपेंसी डिफ्यूजन ऑब्जेक्टिव का लाभ उठाता है ताकि बेहतर सिमेंटिक और ज्यामितीय जानकारी को कैप्चर करके 3D ऑब्जेक्ट डिटेक्शन, सीन फ्लो और सिमेंटिक ऑक्यूपेंसी प्रेडिक्शन में अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Maciej Wozniak, Jesper Ericsson, Hariprasath Govindarajan, Truls Nyberg, Thomas Gustafsson, Patric Jensfelt, Olov Andersson

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Maciej Wozniak, Jesper Ericsson, Hariprasath Govindarajan, Truls Nyberg, Thomas Gustafsson, Patric Jensfelt, Olov Andersson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट ड्राइवर को दुनिया को देखना सिखाने की कोशिश कर रहे हैं। आपके पास दो प्रकार की "आंखें" हैं:

कैमरा (The Camera): यह दुनिया को वैसे ही देखता है जैसे इंसान देखते हैं—रंगों, बनावटों और स्पष्ट लेबल से भरपूर (जैसे "वह एक स्टॉप साइन है" या "वह एक कुत्ता है")। यह इस बात को समझने में माहिर है कि चीजें क्या हैं, लेकिन यह जानने में कमजोर है कि वे 3D स्पेस में कहाँ हैं या वे कैसे चल रही हैं।
लिडार (The LiDAR): यह एक लेजर स्कैनर है जो दुनिया का एक सटीक 3D मानचित्र बनाता है। इसे पता है कि हर बिंदु वास्तव में कहाँ है, लेकिन यह बिना किसी लेबल के बिंदुओं के बादल (cloud of dots) के रूप में दुनिया को देखता है। इसे नहीं पता कि एक बिंदु पेड़ है या कार; इसे बस इतना पता है कि वह वहां मौजूद है।

समस्या यह है कि लिडार को वस्तुओं को पहचानना सिखाने के लिए मनुष्यों को लाखों 3D बिंदुओं को मैन्युअल रूप से लेबल करने की आवश्यकता होती है, जो धीमा, महंगा है, और हर संभावित स्थिति (जैसे कि एक ट्रक के पीछे से कुत्ता अचानक दौड़कर बाहर आ जाए और बारिश हो रही हो) को कवर करना असंभव है।

पेश है: HilDA: एक नई विधि जो लिडार को "कैमरे से सीखने" के लिए प्रशिक्षित करती है बिना किसी मानवीय लेबल के। लेखक इसे HilDA (Hierarchical Distillation with Diffusion) कहते हैं। यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

1. "मास्टर शेफ" और "शिक्षु" (Hierarchical Distillation)

आमतौर पर, जब आप एक मास्टर (कैमरा मॉडल) से एक छात्र (लिडार मॉडल) को सिखाते हैं, तो आप केवल अंतिम परिणाम देखते हैं। यह एक कुकिंग टीचर की तरह है जो छात्र को केवल बना हुआ केक दिखाता है और कहता है, "इसे बनाओ।"

लेखकों ने महसूस किया कि यह अक्षम है। एक मास्टर शेफ केवल केक नहीं बनाता; वे बैटर मिलाते हैं, तापमान की जांच करते हैं, और परतों पर फ्रॉस्टिंग करते हैं—एक विशिष्ट क्रम में।

पुराना तरीका: लिडार केवल अंतिम "केक" (कैमरे के मस्तिष्क की अंतिम परत) की नकल करने की कोशिश करता था।
HilDA का तरीका: लिडार पूरी प्रक्रिया को देखता है। यह "बैटर मिलाने के चरण", "बेकिंग के चरण", और "फ्रॉस्टिंग के चरण" (कैमरे के मस्तिष्क की कई परतों) से सीखता है।
ग्लोबल कॉन्टेक्स्ट (Global Context): यह लिडार को पूरे दृश्य के "मिजाज" (vibe) को समझने के लिए भी सिखाता है। ठीक वैसे ही जैसे एक शेफ पूरे टेबल को देखकर जानता है कि यह वेडिंग केक है या बर्थडे केक, HilDA लिडार को यह पहचानने में मदद करता है कि वह हाईवे पर है या रिहायशी इलाके में, न कि केवल व्यक्तिगत बिंदुओं को देखकर।

2. "समय की यात्रा करने वाला क्रिस्टल बॉल" (Temporal Occupancy Diffusion)

यह जानना कि चीजें क्या हैं, बहुत अच्छी बात है, लेकिन एक सेल्फ-ड्राइविंग कार को यह भी जानने की जरूरत है कि आगे क्या होने वाला है। कैमरा अभी एक कार को पहचानने में अच्छा है, लेकिन यह स्वाभाविक रूप से यह नहीं समझ पाता कि अगले सेकंड में वह कार कैसे चलेगी।

इसे ठीक करने के लिए, HilDA एक "क्रिस्टल बॉल" प्रशिक्षण अभ्यास जोड़ता है:

खेल: लिडार को समय $T$ और समय $T-1$ पर सड़क दिखाई जाती है। फिर इसे समय $T+1$ पर सड़क कैसी दिखेगी, इसकी "भवििकावाणी" (predict) करने के लिए कहा जाता है।
डिफ्यूजन ट्रिक (Diffusion Trick): केवल अनुमान लगाने के बजाय, मॉडल "डिनोइजिंग" (denoising) का खेल खेलता है। कल्पना कीजिए कि भविष्य की सड़क 'स्टैटिक नॉइज़' (static noise) से ढकी हुई है। मॉडल को उस शोर को धीरे-धीरे हटाकर स्पष्ट भविष्य की सड़क को प्रकट करना होता है।
यह क्यों मदद करता है: यह लिडार को भौतिकी (physics) और गति के नियमों को सीखने के लिए मजबूर करता है। यह सीखता है कि कारें सुचारू रूप से चलती हैं, पैदल यात्री चलते हैं, और इमारतें स्थिर रहती हैं। यह केवल लेबल नहीं, बल्कि दुनिया की "ज्यामिति" (geometry) को सीखता है।

3. परिणाम: एक सुपर-परसेप्टिव ड्राइवर

इन दोनों विचारों को जोड़कर—वस्तुओं को पहचानने की चरण-दर-चरण प्रक्रिया सीखना (कैमरे से) और डिफ्यूजन गेम से भविष्य की भविष्यवाणी करना—HilDA एक ऐसा लिडार मॉडल बनाता है जो अविश्वसनीय रूप से स्मार्ट है।

यह पेपर क्या हासिल करने का दावा करता है:

बेहतर सटीकता (Better Accuracy): लिडार वस्तुओं की पहचान करने में कम गलतियाँ करता है, यहाँ तक कि कठिन स्थितियों में भी जैसे कि ट्रक के ऊपर खड़ा व्यक्ति या बारिश में स्कूटर चालक।
कम डेटा की आवश्यकता (Less Data Needed): यह बहुत अच्छी तरह से काम करता है भले ही टीम के पास बहुत कम लेबल वाला डेटा हो (अन्य तरीकों की तुलना में केवल 1% जितना कम)।
मजबूती (Robustness): यह खराब मौसम (बर्फबारी, कोहरा) और सेंसर की त्रुटियों को पिछले तरीकों की तुलना में बहुत बेहतर तरीके से संभालता है।
बहुमुखी प्रतिभा (Versatility): यह एकल प्रशिक्षित मॉडल कई अलग-अलग ड्राइविंग कार्यों के लिए बेहतरीन काम करता है, न कि केवल एक के लिए। यह मदद करता है:
- 3D ऑब्जेक्ट डिटेक्शन: कारों और लोगों को खोजने में।
- सीन फ्लो (Scene Flow): यह समझने में कि चीजें कितनी तेजी से और किस दिशा में चल रही हैं।
- सिमेंटिक ऑक्यूपेंसी (Semantic Occupancy): यह जानने में कि 3D स्पेस के कौन से हिस्से खाली, ठोस या विशिष्ट वस्तुओं द्वारा घेरे गए हैं।

संक्षेप में, HilDA एक रोबोट ड्राइवर को एक ऐसे मेंटर देने जैसा है जो उसे न केवल वस्तुओं को पहचानने की पूरी कुकिंग प्रक्रिया दिखाता है, बल्कि भविष्य की भविष्यवाणी करने के लिए एक क्रिस्टल बॉल भी देता है, जिससे एक ऐसा ड्राइवर तैयार होता है जो समझता है कि चीजें क्या हैं और वे कहाँ जा रही हैं।

तकनीकी सारांश: HilDA – LiDAR प्री-ट्रेनिंग के लिए पदानुक्रमित डिस्टिलेशन विद डिफ्यूजन (Hierarchical Distillation with Diffusion)

1. समस्या विवरण (Problem Statement)

स्वायत्त ड्राइविंग (AD) प्रणालियों को गतिशील वातावरण में मजबूत स्थानिक धारणा (spatial perception) की आवश्यकता होती है। हालांकि LiDAR उच्च-सटीक ज्यामितीय डेटा प्रदान करता है, लेकिन 3D मॉडल को प्रशिक्षित करने के लिए आमतौर पर विशाल, लेबल वाले डेटासेट की आवश्यकता होती है। मैनुअल एनोटेशन न केवल महंगा है, बल्कि यह वास्तविक दुनिया की ज्यामिति और गति की संयोजनात्मक विविधता (combinatorial diversity) को कवर करने में भी विफल रहता है। इसे संबोधित करने के लिए, समुदाय ने LiDAR बैकबोन के लिए एक स्व-पर्यवेक्षित (self-supervised) प्री-ट्रेनिंग रणनीति के रूप में विजन फाउंडेशन मॉडल्स (VFMs) से नॉलेज डिस्टिलेशन (KD) की ओर रुख किया है।

हालाँकि, मौजूदा क्रॉस-मोडल डिस्टिलेशन दृष्टिकोण दो प्राथमिक सीमाओं से ग्रस्त हैं:

अंतिम-परत प्रतिबंध (Final-Layer Restriction): वर्तमान विधियाँ VFMs को 'ब्लैक बॉक्स' मानती हैं, जो केवल अंतिम परत से फीचर्स को डिस्टिल करती हैं। यह प्रगतिशील सिमेंटिक रिफाइनमेंट और VFM की परतों में वितरित मध्यवर्ती निरूपणों (intermediate representations) की अनदेखी करता है, जो यह समझने के लिए महत्वपूर्ण हैं कि फीचर्स का निर्माण "कैसे" किया जाता है। इसके अलावा, ये विधियाँ अक्सर VFM के CLS टोकन द्वारा एनकोडेड ग्लोबल कॉन्टेक्स्ट को त्याग देती हैं।
स्थानिक-कालिक पर्यवेक्षण का अभाव (Lack of Spatiotemporal Supervision): छवियों पर प्रशिक्षित VFMs सिमेंटिक रिकग्निशन में उत्कृष्ट हैं लेकिन उनमें स्पष्ट 3D ज्यामितीय और टेम्पोरल संकेत (cues) की कमी होती है। शुद्ध सिमेंटिक डिस्टिलेशन 3D संरचना को अनियंत्रित छोड़ देता है। जबकि कुछ पूर्व कार्य ऑक्यूपेंसी प्रेडिक्शन पेश करते हैं, वे आमतौर पर स्थानीय मार्जिनल्स को मॉडल करने वाले डिस्क्रिमिनेटिव उद्देश्यों पर निर्भर करते हैं न कि जॉइंट सीन डिस्ट्रीब्यूशन पर, जिससे वैश्विक स्थानिक-कालिक सुसंगतता (global spatiotemporal coherence) लागू करने में विफलता होती है।

2. कार्यप्रणाली: HilDA फ्रेमवर्क (Methodology: HilDA Framework)

लेखक HilDA (Hierarchical Distillation with Diffusion) का प्रस्ताव करते हैं, जो एक स्व-पर्यवेक्षित प्री-ट्रेनिंग फ्रेमवर्क है जो पदानुक्रमित डिस्टिलेशन को टेम्पोरल ऑक्यूपेंसी डिफ्यूजन ऑब्जेक्टिव के साथ जोड़ता है। यह फ्रेमवर्क तीन फ्रेमों ( $t_{-1}, t_0, t_1$ ) के टेम्पोरल सीक्वेंस को प्रोसेस करता है, जिसमें पास्ट और प्रेजेंट का उपयोग फीचर एक्सट्रैक्शन के लिए और फ्यूचर फ्रेम का उपयोग ऑक्यूपेंसी प्रेडिक्शन के लिए लक्ष्य के रूप में किया जाता है।

2.1 पदानुक्रमित डिस्टिलेशन (Hierarchical Distillation)

HilDA एकल-परत डिस्टिलेशन से आगे बढ़कर दो तंत्रों के माध्यम से VFM के सिमेंटिक विकास को कैप्चर करता है:

बहु-परत डिस्टिलेशन (Multi-Layer Distillation): केवल अंतिम आउटपुट को अलाइन करने के बजाय, HilDA फ्रोजन VFM के संगत परतों के साथ स्टूडेंट LiDAR नेटवर्क की मध्यवर्ती परतों को अलाइन करता है। यह एक 'डेंस-टू-स्पार्स' रणनीति के माध्यम से प्राप्त किया जाता है जहाँ कैलिब्रेशन पैरामीटर्स का उपयोग करके 3D पॉइंट्स को 2D कैमरा इमेज पर प्रोजेक्ट किया जाता है। एक लाइटवेट, लेयर-विशिष्ट MLP फीचर डायमेंशन को अलाइन करता है, और कई परतों में वैध पॉइंट-पिक्सेल पत्राचार (correspondences) पर कोसाइन डिस्टेंस को मिनिमाइज किया जाता है। यह स्टूडेंट को विजुअल कॉन्सेप्ट्स के प्रगतिशील निर्माण को सीखने की अनुमति देता है।
ग्लोबल कॉन्टेक्स्ट डिस्टिलेशन (Global Context Distillation): दृश्य-स्तर की सिमेंटिक्स को कैप्चर करने के लिए, फ्रेमवर्क VFM के CLS टोकन (जो ग्लोबल सीन इंफॉर्मेशन को एनकोड करता है) को स्टूडेंट नेटवर्क में एक लर्न करने योग्य 3D ग्लोबल कॉन्टेक्स्ट टोकन के साथ अलाइन करता है। स्टूडेंट का ग्लोबल टोकन फाइनल लेयर फीचर्स पर एक समर्पित MLP लागू करने और उसके बाद ग्लोबल मैक्स-पूलिंग के माध्यम से जेनरेट किया जाता है। अलाइनमेंट को MSE के माध्यम से लागू किया जाता है, जो एक सीन-लेवल रेगुलराइज़र के रूप में कार्य करता है।

2.2 टेम्पोरल ऑक्यूपेंसी डिफ्यूजन (Temporal Occupancy Diffusion)

स्पष्ट 3D ज्यामिति और टेम्पोरल डायनेमिक्स की कमी को दूर करने के लिए, HilDA एक सहायक स्व-पर्यवेक्षित कार्य पेश करता है: टेम्पोरल ऑक्यूपेंसी डिफ्यूजन।

फॉर्मूलेशन: इस कार्य को कंडीशनल डिनोइजिंग डिफ्यूजन प्रोबेबिलिस्टिक मॉडल (DDPM) जनरेशन के रूप में प्रस्तुत किया गया है। $t_{-1}$ और $t_0$ पर LiDAR स्वीप्स को देखते हुए, स्टूडेंट नेटवर्क उन्हें एक साझा डेंस बर्ड्स आई व्यू (BEV) हिस्ट्री फीचर मैप में एनकोड करता है।
ऑब्जेक्टिव: मॉडल हिस्ट्री पर कंडिशन होकर एक करप्टेड फ्यूचर ऑक्यूपेंसी टारगेट ( $x_{occ}$ at $t_1$ ) को डिनोइज करना सीखता है। ट्रेनिंग ऑब्जेक्टिव नॉइज़ प्रेडिक्शन लॉस (स्टैंडर्ड डिफ्यूजन) को ऑक्यूपेंसी मैप के लिए रिकंस्ट्रक्शन लॉस के साथ जोड़ता है।
लाभ: यह जेनेरेटिव दृष्टिकोण मॉडल को इटरेटिव रिफाइनमेंट के माध्यम से स्थानिक मैनिफोल्ड्स और सरफेस हिरार्कीज़ को आंतरिक रूप से आत्मसात करने के लिए प्रोत्साहित करता है, जिससे बिना किसी मैनुअल लेबल के स्पैशियो-टेम्पोरल कंसिस्टेंसी और ऑब्जेक्ट परमानेंस को बढ़ावा मिलता है।

2.3 कुल ऑब्जेक्टिव (Total Objective)

फ्रेमवर्क को तीन लॉस के भारित योग (weighted sum) का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है:
$\mathcal{L}_{total} = \omega_{ds}\mathcal{L}_{distill} + \omega_{gl}\mathcal{L}_{cls} + \omega_{df}\mathcal{L}_{diffusion}$
जहाँ $\mathcal{L}_{distill}$ मल्टी-लेयर पॉइंट-पिक्सेल लॉस है, $\mathcal{L}_{cls}$ ग्लोबल कॉन्टेक्स्ट लॉस है, और $\mathcal{L}_{diffusion}$ टेम्पोरल ऑक्यूपेंसी डिफ्यूजन लॉस है।

3. मुख्य योगदान (Key Contributions)

पदानुक्रमित डिस्टिलेशन रणनीति: VFMs से मल्टी-लेयर इंटरमीडिएट फीचर्स और ग्लोबल CLS टोकन दोनों को डिस्टिल करने का एक अभिनव दृष्टिकोण, जो LiDAR स्टूडेंट को प्रगतिशील सिमेंटिक रिफाइनमेंट और समग्र दृश्य संदर्भ (holistic scene context) सीखने में सक्षम बनाता है।
टेम्पोरल ऑक्यूपेंसी डिफ्यूजन: एक सहायक जेनेरेटिव ऑब्जेक्टिव जो फ्यूचर ऑक्यूपेंसी प्रेडिक्शन को कंडीशनल डिफ्यूजन के रूप में प्रस्तुत करता है, जो प्रभावी रूप से मल्टी-स्केल ज्यामितीय और मोशन क्यूज़ को LiDAR एनकोडर में इंजेक्ट करता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: इन घटकों का एकीकरण ऐसे रिप्रेजेंटेशन प्रदान करता है जो कई बेंचमार्क पर पिछले डिस्टिलेशन तरीकों से बेहतर प्रदर्शन करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने प्री-ट्रेनिंग के लिए nuScenes डेटासेट पर HilDA का मूल्यांकन किया, और सीखे गए बैकबोन को विभिन्न डाउनस्ट्रीम कार्यों में बिना री-प्री-ट्रेनिंग के ट्रांसफर किया।

3D सिमेंटिक सेगमेंटेशन: HilDA, nuScenes, SemanticKITTI और Waymo Open Dataset पर SOTA (स्टेट-ऑफ-द-आर्ट) परिणाम प्राप्त करता है। यह डेटा-दुर्लभ परिदृश्यों (1%–10% लेबल) में महत्वपूर्ण लाभ दिखाता है, जो CleverDistiller, LiMoE और ScaLR जैसी विधियों से बेहतर है। यह अनस्ट्रक्चर्ड ऑफ-रोड (Rellis-3D) और स्क्रिबल-लेबल (ScribbleKITTI) डेटासेट पर भी बेहतर डोमेन जनरलाइजेशन प्रदर्शित करता है।
मजबूती (Robustness): करप्टेड nuScenes-C बेंचमार्क पर, HilDA मौसम (बर्फ, बारिश) और सेंसर विफलताओं (बीम इको, क्रॉस-सेंसर) के प्रति बेहतर लचीलापन दिखाता है, जो न्यूनतम मीन करप्शन एरर (mCE) प्राप्त करता है।
3D ऑब्जेक्ट डिटेक्शन: जब इसे PointRCNN के लिए इनिशियलाइज़ेशन के रूप में उपयोग किया जाता है, तो HilDA, KITTI और nuScenes पर mAP में सुधार करता है, विशेष रूप से लॉन्ग-रेंज और भारी ऑक्लूजन वाले जटिल परिदृश्यों में।
सिमेंटिक ऑक्यूपेंसी और सीन फ्लो: HilDA, 3D और 4D सिमेंटिक ऑक्यूपेंसी प्रेडिक्शन और सीन फ्लो एस्टीमेशन (Argoverse 2) में बेसलाइन्स से बेहतर प्रदर्शन करता है। डिफ्यूजन सहायक कार्य विशेष रूप से डायनेमिक ऑब्जेक्ट्स और मोशन एस्टीमेशन पर प्रदर्शन में सुधार करता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि HilDA सफलतापूर्वक LiDAR प्री-ट्रेनिंग में सिमेंटिक समृद्धि और ज्यामितीय/टेम्पोरल मजबूती के बीच के अंतर को पाटता है। "ब्लैक-बॉक्स" फाइनल-लेयर डिस्टिलेशन से आगे बढ़कर और एक जेनेरेटिव डिफ्यूजन प्रायर को शामिल करके, यह फ्रेमवर्क एक ऐसा रिप्रेजेंटेशन बनाता है जो "सिमेंटिक क्या" (VFMs से) और "ज्यामितीय कहाँ" (डिफ्यूजन से) दोनों को कैप्चर करता है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण बड़े पैमाने पर एनोटेटेड डेटा पर निर्भरता को कम करता है और ऐसे फीचर्स बनाता है जो विविध डोमेन और कार्यों के लिए ट्रांसफरेबल हैं। वे एक सीमा नोट करते हैं: पॉइंट-पिक्सेल डिस्टिलेशन LiDAR-कैमरा मिसअलाइनमेंट के प्रति संवेदनशील बना रहता है, हालांकि HilDA इसे अलाइनमेंट-फ्री ग्लोबल कॉन्टेक्स्ट डिस्टिलेशन और टेम्पोरल डिफ्यूजन के माध्यम से आंशिक रूप से कम करता है। भविष्य के कार्य के लिए लेयर-टू-लेयर डिस्टिलेशन के लिए लर्निंग मैचिंग रणनीतियों को खोजने और BEV रिप्रेजेंटेशन से परे डिफ्यूजन का विस्तार करने का सुझाव दिया गया है।