CorrelationFlow: A Training-Free Geometric Approach for LiDAR Scene Flow Estimation

कल्पना कीजिए कि आप एक व्यस्त शहर में कार चला रहे हैं, लेकिन आँखों के बजाय, आपकी कार के पास एक अत्यंत संवेदनशील लेजर स्कैनर है जो हर सेकंड लाखों अदृश्य किरणें छोड़ता है। ये किरणें इमारतों, अन्य कारों और पैदल यात्रियों से टकराकर वापस आती हैं, जिससे आपके चारों ओर की दुनिया का एक 3D मानचित्र बनाने वाले बिंदुओं का एक घूमता हुआ बादल बन जाता है। सेल्फ-ड्राइविंग कारें इसी तरह "देखती" हैं। लेकिन केवल देखना ही काफी नहीं है; कार को यह जानने की जरूरत है कि क्या चल रहा है और वह कहाँ जा रहा है। इसे "सीन फ्लो" (scene flow) कहा जाता है। यह उस बादल के हर एक बिंदु के डांस मूव्स (नृत्य की चालों) का अनुमान लगाने जैसा है ताकि यह भविष्यवाणी की जा सके कि कोई पैदल यात्री सड़क पर कदम रख रहा है या कोई ट्रक लेन बदल रहा है। वर्षों से, वैज्ञानिकों ने कंप्यूटर को भारी मात्रा में डेटा से सिखाकर इसे हल करने की कोशिश की है, यानी उन्हें चलते हुए कारों के लाखों उदाहरण दिखाकर उन्हें पैटर्न याद करवाना। यह एक कुत्ते को छड़ी लाने के लिए अंतहीन ट्रीट (उपहार) देकर प्रशिक्षित करने जैसा है। लेकिन इस दृष्टिकोण के साथ एक समस्या है: यदि कुत्ते ने कभी कांच की बनी छड़ी नहीं देखी है, या यदि हवा बहुत तेज चल रही है, तो वह भ्रमित हो जाता है।

यहाँ एक नया विचार आता है जो एक सरल प्रश्न पूछता है: क्या हमें वास्तव में कंप्यूटर को एक कुत्ते की तरह प्रशिक्षित करने की आवश्यकता है, या हम बस कुछ पुराने ज़माने के ज्यामिति (geometry) और तर्क का उपयोग कर सकते हैं? यह पेपर CorrelationFlow नामक एक विधि पेश करता है, जो "प्रशिक्षण" वाले हिस्से को पूरी तरह से छोड़ देता है। डेटा से सीखने के बजाय, यह चलते हुए बिंदुओं को एक पहेली की तरह मानता है। यह लेजर क्लाउड के दो स्नैपशॉट लेता है, उन्हें फ्लैट, बर्ड्स-आई व्यू (ऊपर से दिखने वाले नज़ारे) चित्रों में बदल देता है (जैसे ड्रोन से दिखने वाला नक्शा), और फिर एक चित्र को दूसरे के ऊपर स्लाइड करता है ताकि यह देखा जा सके कि वे आपस में कितना मेल खाते हैं। यदि आप एक कार के चित्र को बिल्कुल सही मात्रा में स्लाइड करते हैं, तो वह अगले फ्रेम में कार की स्थिति के ऊपर पूरी तरह फिट बैठ जाता है। उस सटीक फिट को खोजकर, कंप्यूटर गणना कर सकता है कि कार कितनी तेजी से और किस दिशा में चल रही है, और इसके लिए उसे किसी भी कार को पहले से "पढ़ने" या "सीखने" की आवश्यकता नहीं होती।

"लर्निंग" (सीखने वाले) समूह की समस्या

लंबे समय से, 3D स्पेस में चीजें कैसे चलती हैं, यह पता लगाने के विज्ञान पर एक विशिष्ट समूह का दबदबा रहा है: डीप लर्निंग (deep learning)। ये ऐसे कंप्यूटर प्रोग्राम हैं जो विशाल, जटिल मस्तिष्क की तरह काम करते हैं। उन्हें डेटा के विशाल पहाड़ों—वास्तविक कारों के लेजर स्कैन के हजारों घंटों—से खिलाया जाता है, और वे धीरे-धीरे हर बिंदु की गति का अनुमान लगाना सीख जाते हैं। यह लैब में अच्छा काम करता है, लेकिन इसकी कुछ गंभीर कमियां हैं।

पहला, ये "सीखने वाले" तरीके उन छात्रों की तरह हैं जो केवल एक विशिष्ट परीक्षा के लिए पढ़ते हैं। यदि आप उन्हें ऐसी कार दिखाते हैं जिसे उन्होंने कभी नहीं देखा, या ऐसा सेंसर जो थोड़ा अलग तरीके से काम करता है, या ऐसा दृश्य जो बहुत दूर या बहुत विरल (sparse) है (जैसे कोहरे वाली रात), तो वे अक्सर बुरी तरह विफल हो जाते हैं। वे उन गलतियों को भी अपना लेते हैं जो उनके प्रशिक्षण डेटा में थीं। दूसरा, वे बहुत भूखे होते हैं। उन्हें सीखने के लिए भारी मात्रा में महंगे, हाथ से लेबल किए गए डेटा की आवश्यकता होती है, और वे कार के कंप्यूटर पर चलने में धीमे होते हैं क्योंकि उन्हें हर एक बिंदु के लिए गणना करनी पड़ती है।

इस पेपर के लेखक तर्क देते हैं कि शायद हम चीजों को बहुत अधिक जटिल बना रहे हैं। उनका सुझाव है कि समस्या का एक बड़ा हिस्सा क्लासिकल कंप्यूटर विजन (classical computer vision) से हल किया जा सकता है—वह गणित और तर्क जो AI के उछाल से बहुत पहले मौजूद था। वे प्रस्ताव देते हैं कि मॉडल को गति का "अनुमान" लगाने के लिए प्रशिक्षित करने के बजाय, हम सीधे ज्यामिति का उपयोग करके इसे माप सकते हैं।

CorrelationFlow समाधान: एक स्लाइडिंग पहेली

CorrelationFlow के पीछे की टीम ने एक बिल्कुल अलग रास्ता चुना। उन्होंने एक ऐसा सिस्टम बनाया जिसे शून्य प्रशिक्षण (zero training) की आवश्यकता है। कोई डेटा सेट नहीं, कोई न्यूरल नेटवर्क नहीं, कोई "लर्निंग" चरण नहीं। इसके बजाय, उन्होंने 3D गति की जटिल समस्या को दो सरल, पाठ्यपुस्तकीय क्रियाओं में बदल दिया: कनेक्टेड-कंपोनेंट लेबलिंग (connected-component labeling) और कोरिलेशन मैक्सिमाइजेशन (correlation maximization)।

यह कैसे काम करता है, यहाँ चरण-दर-चरण, एक मनोरंजक उपमा के साथ दिया गया है:

1. बर्ड्स-आई व्यू मैप
कल्पना कीजिए कि आपके पास एक कार पर लेजर स्कैनर है। यह आपके सामने एक कार को 3D बिंदुओं के बादल के रूप में देखता है। CorrelationFlow का पहला काम इस 3D क्लाउड को एक 2D मैप में बदलना है, जो आसमान से सीधे नीचे की ओर देखता है ("बर्ड्स-आई व्यू" या BEV)। यह बिंदुओं के बादल को एक साधारण ब्लैक-एंड-व्हाइट इमेज में बदल देता है जहाँ कार काले बैकग्राउंड पर एक सफेद धब्बा (blob) होती है। यह दो समय क्षणों के लिए ऐसा करता है: अभी ($t$) और एक सेकंड के कुछ हिस्से बाद ($t+1$)।

2. स्लाइडिंग पहेली (कोरिलेशन)
अब, कल्पना कीजिए कि आपके पास कागज के दो टुकड़े हैं। एक पर समय $t$ पर कार का सफेद धब्बा है, और दूसरे पर समय $t+1$ पर धब्बा है। चूंकि कार हिल गई है, इसलिए दूसरे कागज पर धब्बा थोड़ा अलग स्थान पर है।
पुराना तरीका (सीखना) पैटर्न के आधार पर बदलाव का "अनुमान" लगाने की कोशिश करेगा। CorrelationFlow कुछ सरल करता है: यह पहले कागज को लेता है और उसे दूसरे कागज के ऊपर भौतिक रूप से स्लाइड करता है, हर संभव स्थिति को आज़माता है। यह पूछता है, "यदि मैं इस धब्बे को यहाँ स्लाइड करता हूँ, तो यह दूसरे कागज के धब्बे के साथ कितना ओवरलैप (एक दूसरे के ऊपर आता है) करता है?"
यह ओवरलैप को मापने के लिए नॉर्मलाइज्ड क्रॉस-कोरिलेशन (Normalized Cross-Correlation) नामक एक गणितीय उपकरण का उपयोग करता है। इसे एक "मैच स्कोर" की तरह समझें। यदि धब्बे पूरी तरह से मिल जाते हैं, तो स्कोर 100% होता है। यदि वे बिल्कुल भी ओवरलैप नहीं होते हैं, तो स्कोर 0 होता है। कंप्यूटर उस स्थान को खोज लेता है जहाँ स्कोर सबसे अधिक होता है। वह स्थान उसे बताता है कि कार वास्तव में कितनी दूर तक चली।

3. बिंदुओं का समूहीकरण (कनेक्टेड कंपोनेंट्स)
एक व्यस्त सड़क में, कई कारें, पैदल यात्री और पेड़ होते हैं। लेजर स्कैनर उन सभी को बिंदुओं के एक बड़े ढेर के रूप में देखता है। इसे हल करने के लिए, CorrelationFlow कनेक्टेड-कंपोनेंट लेबलिंग नामक तकनीक का उपयोग करता है।
कल्पना कीजिए कि बिंदु हाथ पकड़े हुए लोगों की तरह हैं। यदि दो बिंदु एक-दूसरे के पर्याप्त करीब हैं, तो वे "जुड़े हुए" हैं। एल्गोरिदम उन सभी समूहों को ढूंढता है जो हाथ पकड़े हुए हैं। एक समूह कार हो सकता है, दूसरा पैदल यात्री। यह प्रत्येक समूह को एक एकल वस्तु (object) के रूप में मानता है। यह महत्वपूर्ण है क्योंकि यह मान लेता है कि यदि कोई कार चल रही है, तो उस कार का हर हिस्सा एक साथ चल रहा है (रिजिड मोशन)। एक बार जब यह एक समूह को ढूंढ लेता है, तो यह हर एक बिंदु की गति को व्यक्तिगत रूप से समझने के बजाय पूरे समूह की गति की गणना करता है।

4. "कीपॉइंट" शॉर्टकट
लेखकों ने महसूस किया कि कभी-कभी, विशेष रूप से दूर या विरल वस्तुओं के मामले में, बिंदुओं को पूरी तरह से समूहित करना कठिन होता है। इसलिए, उन्होंने CorrelationFlow-Keypoints नामक एक दूसरा संस्करण बनाया।
पूरे ऑब्जेक्ट को समूहित करने के बजाय, यह संस्करण केवल वस्तुओं के किनारों (edges) या सीमाओं को देखता है। यह मैप पर कार की छाया की रूपरेखा पर विशेष "की पॉइंट्स" (key points) चुनता है। फिर यह इन एज पॉइंट्स को दो समय चरणों के बीच मिलाता है, ठीक वैसे ही जैसे आप पहेली के टुकड़ों के कोनों को मिलाते हैं। यह संस्करण और भी तेज़ है और बिना पिछले स्कैन के इतिहास के, केवल एक जोड़ी स्कैन के साथ भी अच्छा काम करता है।

उन्होंने क्या पाया: सादगी जीतती है (कभी-कभी)

टीम ने अपने तरीके का परीक्षण Argoverse 2 2026 सीन फ्लो चैलेंज नामक एक विशाल, वास्तविक दुनिया की चुनौती पर किया। यह केवल एक प्रकार की कार या एक शहर के लिए नहीं था; इसने पांच अलग-अलग डेटासेट्स का उपयोग किया, जिनमें अलग-अलग सेंसर, अलग-अलग वाहन और अलग-अलग स्थान थे। इसे यह देखने के लिए डिज़ाइन किया गया था कि क्या कोई विधि सामान्य (generalize) हो सकती है—यानी बिना किसी विशिष्ट सेटअप के लिए ट्यून किए बिना हर जगह अच्छी तरह काम कर सकती है।

परिणाम आश्चर्यजनक और उत्साहजनक थे:

• रैंकिंग: CorrelationFlow सभी "अनसुपरवाइज्ड" (unsupervised) तरीकों (वे तरीके जो मैन्युअल लेबल का उपयोग नहीं करते) के बीच दूसरे स्थान पर आया। यह प्रभावशाली है क्योंकि अधिकांश शीर्ष दावेदार जटिल, भारी-भरकम AI मॉडल हैं जिन्हें भारी प्रशिक्षण की आवश्यकता होती है।
• लॉन्ग-रेंज एडवांटेज (लंबी दूरी का लाभ): यह सबसे रोमांचक हिस्सा है। "सीखने वाले" तरीके (AI मॉडल) तब बहुत अच्छा काम करते हैं जब वस्तुएं पास (0–35 मीटर) होती हैं। लेकिन जैसे-जैसे वस्तुएं दूर (35–70 मीटर) होती गईं, AI मॉडल टूटने लगे और उनकी त्रुटियां (errors) तेजी से बढ़ गईं। क्यों? क्योंकि दूर की वस्तुओं में कम बिंदु होते हैं, और AI भ्रमित हो जाता है। हालाँकि, CorrelationFlow ग्रेसफुली डिग्रेड (gracefully degraded) हुआ। यह घबराया नहीं। क्योंकि यह पैटर्न को याद करने के बजाय वस्तु के समग्र आकार और ओवरलैप पर निर्भर करता है, यह डेटा विरल होने पर भी काम करता रहा।
• गति और दक्षता: चूंकि इसे एक विशाल न्यूरल नेटवर्क चलाने की आवश्यकता नहीं है, इसलिए CorrelationFlow बहुत हल्का है। इसे पहले लाखों छवियों पर प्रशिक्षित करने की आवश्यकता नहीं है। यह बस चलते समय गणित करता है।

सीमाएं और भविष्य

लेखक अपनी सीमाओं के प्रति ईमानदार हैं। उनका तरीका यह मानता है कि वस्तुएं एक सीधी रेखा में चलती हैं और दो फ्रेम के बीच बहुत अधिक मुड़ती या घूमती नहीं हैं (जो कि कारों और पैदल यात्रियों के लिए कम समय के अंतराल में आमतौर पर सच है)। इसे तेज़ गति से चलने वाली वस्तुओं के साथ भी थोड़ी समस्या होती है जो दो फ्रेम के बीच बहुत दूर कूद जाती हैं, हालांकि उन्होंने इसे बड़े कदमों में पहले जांचकर, फिर छोटे कदमों में जांचकर (coarse-to-fine strategy) संभालने के लिए विकसित किया है।

उन्होंने यह भी पाया कि हालांकि उनका तरीका बेहतरीन है, लेकिन यह जादू नहीं है। यदि कार की अपनी गति (ego-motion) का सटीक रूप से गणना नहीं की जाती है, तो सब कुछ गड़बड़ा जाता है। लेकिन मुख्य संदेश स्पष्ट है: हमें हर समस्या को हल करने के लिए जटिलता को बढ़ाना आवश्यक नहीं है।

यह पेपर सुझाव देता है कि सीन फ्लो की समस्या का एक बड़ा हिस्सा वास्तव में क्लासिकल कंप्यूटर विज़न से हल किया जा सकता है। यह एक याद दिलाता है कि कभी-कभी, जटिल पहेली को हल करने का सबसे अच्छा तरीका एक बड़ा, स्मार्ट रोबोट बनाना नहीं है जो उत्तर का अनुमान लगाए, बल्कि एक चतुर, सरल नियम का उपयोग करना है जो वास्तव में बताता है कि दुनिया कैसे काम करती है। जैसा कि लेखकों ने कहा, प्रगति के लिए "फॉर्मूलेशन को स्केल करने की नहीं, बल्कि उस पर सवाल उठाने की" आवश्यकता हो सकती है। बड़े AI मॉडल्स की दुनिया में, CorrelationFlow एक ताज़ा अनुस्मारक है कि कभी-कभी, सबसे सरल ज्यामितीय ट्रिक ही सबसे शक्तिशाली उपकरण होती है।