🤖 machine learning

Zero-Label Driving Scenario Complexity Detection via Joint Embedding Predictive Architecture

यह शोध पत्र प्रदर्शित करता है कि बिना लेबल वाले ड्राइविंग डेटा पर प्रशिक्षित एक स्व-पर्यवेक्षित जॉइंट एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA), टेम्पोरल प्रेडिक्शन एरर को ज़ीरो-लेबल कॉम्प्लेक्सिटी स्कोर के रूप में उपयोग करके जटिल और सुरक्षा-महत्वपूर्ण परिदृश्यों की प्रभावी ढंग से पहचान कर सकता है, जो बिना किसी मानवीय एनोटेशन के विसंगति का पता लगाने (anomaly detection) में महत्वपूर्ण प्रदर्शन प्राप्त करता है।

मूल लेखक: Santosh Jaiswal

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Santosh Jaiswal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट ड्राइवर को सड़क पर कठिन स्थितियों, जैसे कि एक व्यस्त चौराहे या फुटपाथ से उतरते हुए पैदल यात्री को संभालने के लिए सिखाने की कोशिश कर रहे हैं। समस्या यह है कि अधिकांश ड्राइविंग वीडियो उबाऊ होते हैं: बस सीधी सड़कें, खाली हाईवे और चलती हुई कारें। "रोमांचक" और खतरनाक चीजें दुर्लभ हैं, जो लाखों घंटों के फुटेज के भीतर कहीं गहराई में दबी हुई हैं। ऐसे दुर्लभ क्लिप्स को खोजने के लिए किसी इंसान को उन सबको देखना और टैग करना पड़ता है, जो धीमा, महंगा और पक्षपातपूर्ण हो सकता है।

यह शोध पत्र एक सरल प्रश्न पूछता है: क्या एक कंप्यूटर खुद ही यह पता लगा सकता है कि कौन से ड्राइविंग दृश्य "कठिन" हैं, बिना किसी के उसे यह बताए कि "कठिन" का अर्थ क्या है?

लेखकों के अनुसार, उत्तर है: हाँ। उन्होंने एक ऐसा सिस्टम बनाया है जो एक भविष्यवाणी करने वाले सपने देखने वाले (predictive dreamer) की तरह काम करता है।

"ड्रीमर" (सपना देखने वाला) सादृश्य

AI मॉडल को एक ऐसे छात्र के रूप में सोचें जिसने हजारों घंटों के ड्राइविंग वीडियो देखे हैं। चित्रों को याद करने के बजाय (जैसे आकाश का रंग या सड़क की बनावट), यह छात्र गति के नियमों को सीखता है। वे सीखते हैं कि कारें और लोग एक-दूसरे के सापेक्ष आमतौर पर कैसे चलते हैं।

हर बार जब छात्र एक नया दृश्य देखता है, तो वह अपनी आँखें बंद कर लेता है और जो उसने अभी देखा है उसके आधार पर अनुमान लगाता है कि आगे क्या होगा।

यदि दृश्य उबाऊ है (जैसे एक खाली सड़क पर सीधी चलती कार), तो छात्र का अनुमान एकदम सटीक होता है। वे कहते हैं, "मुझे पता है कि आगे क्या होने वाला है।" यहाँ "सरप्राइज स्कोर" (आश्चर्य का अंक) कम होता है।
यदि दृश्य जटिल है (जैसे एक कार अचानक मुड़ती है जबकि एक पैदल यात्री सड़क पर उतरता है), तो छात्र का अनुमान गलत होता है। वे कहते हैं, "रुको, ऐसा नहीं होना चाहिए था!" यहाँ "सरप्राइज स्कोर" उच्च होता है।

शोध पत्र का तर्क है कि उच्च आश्चर्य = उच्च जटिलता। यदि मॉडल भ्रमित है, तो इसकी संभावना है कि स्थिति कठिन और सुरक्षा-महत्वपूर्ण है।

उन्होंने इसे कैसे बनाया (एक "ब्लैक बॉक्स" बनाम एक "दर्पण")

शोधकर्ताओं ने JEPA (जॉइंट एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर) नामक एक विशिष्ट आर्किटेक्चर का उपयोग किया। इसे सरल रखने के लिए, दो दर्पणों की कल्पना करें:

एक्टिव मिरर (कॉन्टेक्स्ट एनकोडर): यह वर्तमान दृश्य को देखता है और भविष्य का अनुमान लगाने की कोशिश करता है।
स्लो मिरर (टारगेट एनकोडर): यह वास्तविक भविष्य को देखता है। लेकिन यहाँ एक ट्रिक है: स्लो मिरर तुरंत नहीं बदलता है। यह बहुत धीरे-धीरे अपडेट होता है, जैसे मोटे, पुराने कांच में दिखने वाला प्रतिबिंब।

एक्टिव मिरर, स्लो मिरर के समान होने की कोशिश करता है। क्योंकि स्लो मिरर हमेशा थोड़ा "पीछे" और सुचारू (smoothed out) होता है, इसलिए एक्टिव मिरर खुद की नकल करके धोखाधड़ी नहीं कर सकता। इसे वास्तव में यातायात के चलने के गहरे पैटर्न सीखने होंगे। यदि यह स्लो मिरर से मेल खाने में विफल रहता है, तो वह "विफलता" (प्रेडिक्शन एरर) ही जटिलता स्कोर (Complexity Score) बन जाती है।

उन्हें क्या मिला

उन्होंने वास्तविक शहरी ड्राइविंग के एक डेटासेट पर इसका परीक्षण किया। बिना कभी यह बताए कि "यह एक मोड़ है" या "यह एक पैदल यात्री है", मॉडल ने स्वाभाविक रूप से उच्चतम "सरप्राइज" स्कोर उन दृश्यों को दिया:

अनप्रोटेक्टेड लेफ्ट टर्न (जहाँ आपको ट्रैफिक के बीच गैप का इंतजार करना पड़ता है)।
क्रॉसिंग पर पैदल यात्रियों के साथ होने वाली अंतःक्रिया (interactions)।
रेड लाइट पर रुकती हुई कारें।

इसने सबसे कम स्कोर दिया:

केवल लेन का पालन करती कारें।
पूरी तरह से स्थिर और रुकी हुई ट्रैफिक।

"एब्लेशन" टेस्ट (यह साबित करना कि यह जादू नहीं है)

यह सुनिश्चित करने के लिए कि यह केवल एक इत्तेफाक नहीं था, उन्होंने चार "क्या होगा अगर" प्रयोग चलाए:

डेक को शफल करना: यदि उन्होंने स्कोर को रैंडम तरीके से इधर-उधर कर दिया, तो पैटर्न गायब हो गया। इससे साबित हुआ कि सिस्टम केवल अनुमान नहीं लगा रहा था।
रैंडम वेट्स: यदि उन्होंने एक ऐसा मॉडल इस्तेमाल किया जिसने कुछ भी नहीं सीखा था (रैंडम नंबर), तो वह जटिल दृश्यों को नहीं ढूंढ सका। इससे साबित हुआ कि सीखना ही महत्वपूर्ण था।
"फिजिक्स" बेसलाइन: उन्होंने एक सरल नियम आजमाया: "मान लें कि कारें एक ही गति से चलती रहती हैं।" यह बुरी तरह विफल रहा। क्यों? क्योंकि जटिल घटनाएं अक्सर धीमी गतिविधियों के साथ शुरू होती हैं (जैसे मुड़ने के लिए कार का धीमा होना)। एक सरल भौतिकी नियम सोचता है कि "धीमा होना सुरक्षित है," इसलिए वह कम सरप्राइज स्कोर देता है। हालाँकि, AI मॉडल ने पहचाना कि "धीमी पहुंच" अक्सर "जटिल मोड़" की ओर ले जाती है, इसलिए उसने उच्च सरप्राइज स्कोर दिया।
"स्लो मिरर" को हटाना: यदि उन्होंने उस विशेष प्रशिक्षण ट्रिक (EMA) को हटा दिया जो दर्पणों को अलग रखती है, तो सिस्टम ढह गया। दोनों दर्पण एक जैसे हो गए, मॉडल ने सीखना बंद कर दिया, और हर दृश्य को बिल्कुल एक जैसा स्कोर मिला। इससे साबित हुआ कि विशिष्ट प्रशिक्षण विधि आवश्यक थी।

परिणाम

अंत में, उन्होंने परीक्षण किया कि क्या यह "सरप्राइज स्कोर" स्वचालित रूप से खतरनाक दृश्यों को खोजने के लिए एक फिल्टर के रूप में कार्य कर सकता है।

लक्ष्य: सबसे जटिल दृश्यों के शीर्ष 5% को खोजना।
परिणाम: AI मॉडल ने शीर्ष 5% में लगभग 56% बार जटिल दृश्य खोजे।
बेसलाइन: यदि आप रैंडम तरीके से अनुमान लगाते, तो आप उन्हें लगभग 43% बार पाते।
फिजिक्स बेसलाइन: एक सरल नियम "एक ही गति से चलते रहें" ने वास्तव में रैंडम अनुमान लगाने से भी खराब प्रदर्शन किया।

मुख्य निष्कर्ष

यह शोध पत्र दिखाता है कि आपको खतरनाक दृश्यों को खोजने के लिए लाखों ड्राइविंग वीडियो को लेबल करने के लिए इंसानों की टीम की आवश्यकता नहीं है। आप कच्चे डेटा (raw data) पर एक "भविष्यवाणी करने वाले सपने देखने वाले" को प्रशिक्षित कर सकते हैं। जब सपना देखने वाला इस बारे में भ्रमित होता है कि आगे क्या होगा, तो उसका वह भ्रम एक विश्वसनीय संकेत है कि ड्राइविंग की स्थिति जटिल और संभावित रूप से खतरनाक है।

यह एक ऐसे सह-पायलट की तरह है जिसे मैनुअल की आवश्यकता नहीं है; वह बस जानता है कि सड़क कब कठिन हो रही है क्योंकि वह अनुमान नहीं लगा पा रहा है कि आगे क्या आने वाला है।

तकनीकी सारांश: जॉइंट एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर के माध्यम से ज़ीरो-लेबल ड्राइविंग परिदृश्य जटिलता का पता लगाना

समस्या विवरण

वास्तविक दुनिया के स्वायत्त वाहन (AV) डेटासेट अत्यधिक रूप से सामान्य और नियमित ड्राइविंग परिदृश्यों की ओर झुके हुए होते हैं, जिससे दुर्लभ, जटिल और सुरक्षा-महत्वपूर्ण घटनाओं की पहचान करना श्रमसाध्य और महंगा हो जाता है। मौजूदा समाधान मानव एनोटेशन, पर्यवेक्षित क्लासिफायर या हस्तनिर्मित नियम सेटों पर निर्भर करते हैं, जिनमें से सभी के लिए पर्याप्त पूर्व ज्ञान या महंगी डेटा संग्रह प्रक्रिया की आवश्यकता होती है। लेखक एक ऐसा समाधान प्रस्तावित करते हैं जो पूरी तरह से बिना लेबल के परिदृश्य की जटिलता को खोजने का प्रयास करता है, यह सवाल उठाते हुए कि क्या एक मॉडल केवल भविष्य के एजेंट डायनेमिक्स (dynamics) की भविष्यवाणी करने की अपनी क्षमता के आधार पर चुनौतीपूर्ण परिदृश्यों की पहचान कर सकता है।

कार्यप्रणाली

डेटा और प्रतिनिधित्व

यह अध्ययन nuPlan mini डेटासेट का उपयोग करता है, जिसमें 1,322 परिदृश्यों (प्रत्येक 10 Hz पर 5 सेकंड) को निकाला गया है। कच्चे पिक्सेल (raw pixels) वाले दृष्टिकोणों के विपरीत, यह विधि संरचित एजेंट स्टेट डेटा (structured agent state data) पर कार्य करती है। प्रत्येक परिदृश्य को $[50, 21, 6]$ आकार के टेंसर के रूप में दर्शाया गया है, जो 21 एजेंटों (ईगो + 20 आसपास के एजेंट) के लिए 50 टाइमस्टेप्स (50 timesteps) को एनकोड करता है। प्रत्येक एजेंट के लिए छह विशेषताएं शामिल हैं: स्थिति ( $x, y$ ), वेग ( $v_x, v_y$ ), हेडिंग ( $\theta$ ), और एजेंट का प्रकार। डेटा को इस तरह नॉर्मलाइज़ किया गया है कि विशिष्ट मान $[-1, 1]$ के करीब रहें।

आर्किटेक्चर: जॉइंट एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA)

इस दृष्टिकोण का मुख्य आधार एक न्यूनतम जॉइंट एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA) है जिसे संरचित एजेंट स्टेट्स पर प्रशिक्षित किया गया है। इस आर्किटेक्चर के चार घटक हैं:

कॉन्टेक्स्ट एनकोडर (Context Encoder): एक 4-लेयर ट्रांसफॉर्मर जो पहले 25 टाइमस्टेप्स (कॉन्टेक्स्ट विंडो) को प्रोसेस करके एक लेटेंट रिप्रेजेंटेशन $z_{ctx}$ उत्पन्न करता है।
प्रेडिक्टर (Predictor): एक 2-लेयर ट्रांसफॉर्मर जो $z_{ctx}$ को एक सीखे गए हॉरिजन एम्बेडिंग (horizon embedding) के आधार पर एक अनुमानित भविष्य के लेटेंट $\hat{z}_{tgt}$ में मैप करता है।
टारगेट एनकोडर (Target Encoder): कॉन्टेक्स्ट एनकोडर की एक समान प्रतिलिपि जो भविष्य के 25 टाइमस्टेप्स को प्रोसेस करके ग्राउंड-ट्रुथ लेटेंट $z_{tgt}$ उत्पन्न करती है। महत्वपूर्ण बात यह है कि इस एनकोडर को बैकप्रोपैगेशन के माध्यम से कभी अपडेट नहीं किया जाता है; इसके वेट्स (weights) केवल कॉन्टेक्स्ट एनकोडर के वेट्स के एक्सपोनेंशियल मूविंग एवरेज (EMA) के माध्यम से अपडेट किए जाते हैं।
पोजीशन डिकोडर (Position Decoder): एक छोटा MLP जो अनुमानित लेटेंट को भविष्य की स्थितियों (positions) में डिकोड करता है, जो एक सहायक सुपरविजन सिग्नल के रूप में कार्य करता है।

प्रशिक्षण उद्देश्य (Training Objective)

मॉडल को दो टर्म्स वाले सेल्फ-सुपरवाइज्ड लॉस फंक्शन के साथ प्रशिक्षित किया जाता है:
$\mathcal{L} = \underbrace{\|\hat{z}_{tgt} - z_{tgt}\|_2^2}_{\text{JEPA Loss}} + \lambda \underbrace{\|\hat{p} - p_{tgt}\|_2^2}_{\text{Position Loss}}$
जहाँ $\lambda = 0.1$ है। ग्रेडिएंट्स कॉन्टेक्स्ट एनकोडर और प्रेडिक्टर के माध्यम से प्रवाहित होते हैं लेकिन टारगेट एनकोडर पर रुक जाते हैं। EMA अपडेट ( $\alpha = 0.996$ ) रिप्रेजेंटेशन कोलैप्स (representation collapse) को रोकता है, यह सुनिश्चित करते हुए कि टारगेट एनकोडर कॉन्टेक्स एनकोडर का एक स्मूथ ऐतिहासिक औसत बना रहे।

जटिलता मीट्रिक: सरप्राइज स्कोर (Surprise Score)

इन्फरेंस (inference) के समय, किसी लेबल का उपयोग नहीं किया जाता है। किसी परिदृश्य के लिए सरप्राइज स्कोर ( $s$ ) अनुमानित भविष्य के लेटेंट और वास्तविक भविष्य के लेटेंट के बीच L2 दूरी द्वारा परिभाषित किया जाता है:
$s = \|\hat{z}_{tgt} - z_{tgt}\|_2$
एक उच्च स्कोर यह संकेत देता है कि मॉडल का भविष्य की स्थिति का अनुमान गलत था, जिसका अर्थ है कि परिदृश्य में जटिल और अप्रत्याशित इंटरैक्शन थे।

मुख्य योगदान

ज़ीरो-लेबल कॉम्प्लेक्सिटी स्कोरिंग: लेखक प्रदर्शित करते हैं कि बिना किसी लेबल के संरचित ड्राइविंग डेटा पर प्रशिक्षित एक JEPA मॉडल, ग्राउंड-ट्रुथ परिदृश्य टैग्स (जैसे, "unprotected turn," "pedestrian proximity") के साथ मजबूती से सह-संबंध (correlate) प्रदर्शित करता है।
एब्लेशन विश्लेषण (Ablation Analysis): चार प्रयोग सिग्नल के स्रोत को अलग करते हैं:
- शफल किए गए स्कोर (Shuffled Scores): पुष्टि करते हैं कि सह-संबंध विश्लेषण पाइपलाइन का कोई आर्टिफैक्ट नहीं है।
- रैंडम एनकोडर (Random Encoder): सिद्ध करते हैं कि प्रशिक्षित वेट्स आवश्यक हैं (रैंडम इनिशियलाइजेशन कोई सह-संबंध नहीं देता)।
- कॉन्स्टेंट-वेलोसिटी बेसलाइन (Constant-Velocity Baseline): दिखाती है कि सरल किनेमैटिक प्रेडिक्शन जटिल परिदृश्यों को सही ढंग से रैंक करने में विफल रहता है, और अक्सर जटिल युद्धाभ्यास (maneuvers) से पहले होने वाली धीमी गति के घटनाक्रमों को कम सरप्राइज स्कोर देता है।
- नो-EMA ट्रेनिंग (No-EMA Training): यह प्रदर्शित करती है कि EMA के बिना, मॉडल कोलैप्स हो जाता है (स्कोर स्प्रेड 44 गुना गिर जाता है), जो यह सिद्ध करता है कि EMA ही वह विशिष्ट तंत्र है जो टेम्पोरल स्ट्रक्चर को सीखने में सक्षम बनाता है।
डाउनस्ट्रीम एनोमली डिटेक्शन: सरप्राइज स्कोर एक प्रभावी ज़ीरो-शॉट अनोमली डिटेक्टर के रूप में कार्य करता है, जो चांस बेसलाइन (chance baseline) के 0.436 के मुकाबले 0.512 का एवरेज प्रिसिजन (AP) प्राप्त करता है।

परिणाम

टैग सह-संबंध (Tag Correlation): मॉडल "starting unprotected cross turn" (1.978) और "near pedestrian on crosswalk" (1.834) जैसे जटिल टैग्स को काफी अधिक सरप्राइज स्कोर देता है, जबकि "following lane with lead" (1.406) जैसे नियमित टैग्स को कम स्कोर देता है।
एब्लेशन निष्कर्ष: कॉन्स्टेंट-वेलोसिटी बेसलाइन ने मध्यम सह-संबंध ( $\rho=0.314$ ) दिखाया लेकिन नियंत्रित डिक्सेलरेशन (deceleration) वाले जटिल परिदृश्यों को पहचानने में विफल रहा। नो-ईएमए (no-EMA) मॉडल पूरी तरह विफल रहा, जहाँ सभी परिदृश्यों को लगभग समान स्कोर मिले।
अनोमली डिटेक्शन: प्रशिक्षित JEPA मॉडल ही एकमात्र ऐसा तरीका था जो पूरे रैंकिंग कर्व पर चांस बेसलाइन से लगातार ऊपर रहने में सक्षम रहा। कॉन्स्टेंट-वेलोसिटी बेसलाइन शीर्ष 5% रैंक किए गए परिदृश्यों के बाद चांस से नीचे गिर गई।
गुणात्मक सत्यापन (Qualitative Validation): शीर्ष 9 सबसे आश्चर्यजनक परिदृश्यों के दृश्य निरीक्षण से एजेंटों का घना क्लस्टरिंग, चौराहे और पैदल यात्री क्रॉसिंग का पता चला, जबकि निचले 9 में विरल (sparse), समानांतर लेन-फॉलोइंग देखी गई।

महत्व और दावे

यह पेपर दावा करता है कि एक सेल्फ-सुपरवाइज्ड लेटेंट वर्ल्ड मॉडल में टेम्पोरल प्रेडिक्शन एरर, ड्राइविंग परिदृश्य की जटिलता के लिए एक व्यावहारिक प्रॉक्सी (proxy) है।

तंत्र (Mechanism): मॉडल भविष्य के एजेंट इंटरैक्शन के "कंप्रेस्ड एसेंस" (compressed essence) की भविष्यवाणी करना सीखता है। यह विजुअल नॉइज़ या स्टैटिक गुणों के बजाय असामान्य मल्टी-एजेंट डायनेमिक्स पर सक्रिय होता है।
किनेमैटिक्स पर लाभ: कॉन्स्टेंट-वेलोसिटी बेसलाइन्स के विपरीत, JEPA मॉडल यह पहचान लेता है कि चौराहे की ओर नियंत्रित डिक्सेलरेशन एक जटिल घटना का पूर्वगामी (precursor) है, और महत्वपूर्ण युद्धाभ्यास से पहले ही उच्च सरप्राइज स्कोर असाइन करता है।
व्यावहारिकता: इस दृष्टिकोण के लिए कोई एनोटेशन लागत नहीं है। एक एकल मॉडल जिसे मानक सेल्फ-सुपरवाइज्ड ऑब्जेक्टिव के साथ एंड-टू-एंड प्रशिक्षित किया जा सकता है, जटिल परिदृश्यों को सामने लाकर स्वचालित रूप से डेटासेट को क्यूरेट कर सकता है, जिससे ऑटोनॉमस ड्राइविंग डेवलपमेंट में डेटा असंतुलन की समस्या का समाधान होता है।

लेखक एक सीमित दायरा बनाए रखते हैं, जिसमें nuPlan के मिनी सबसेट (1,322 परिदृश्य) के उपयोग और वर्तमान में nuPlan डेटा पाइपलाइन के साथ जुड़ाव का उल्लेख किया गया है, यह सुझाव देते हुए कि बड़े पैमाने के डेटा के साथ कैलिब्रेशन में सुधार हो सकता है।

"ड्रीमर" (सपना देखने वाला) सादृश्य

उन्होंने इसे कैसे बनाया (एक "ब्लैक बॉक्स" बनाम एक "दर्पण")

उन्हें क्या मिला

"एब्लेशन" टेस्ट (यह साबित करना कि यह जादू नहीं है)

परिणाम

मुख्य निष्कर्ष

समस्या विवरण

कार्यप्रणाली

डेटा और प्रतिनिधित्व

आर्किटेक्चर: जॉइंट एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA)

प्रशिक्षण उद्देश्य (Training Objective)

जटिलता मीट्रिक: सरप्राइज स्कोर (Surprise Score)

मुख्य योगदान

परिणाम

महत्व और दावे

इसी तरह के और पेपर