💻 computer science

Action Emergence from Streaming Intent

यह शोध पत्र "स्ट्रीमिंग इंटेंट" (Streaming Intent) प्रस्तुत करता है, जो एक नवीन एंड-टू-एंड स्वायत्त ड्राइविंग फ्रेमवर्क है जो एक चेन-ऑफ-थॉट मैकेनिज्म के माध्यम से सिमेंटिकली स्ट्रीम किए गए इंटेंट को कॉज़ली (causally) व्युत्पन्न करके एक्शन इमर्जेंस को सक्षम बनाता है ताकि एक फ्लो-मैचिंग एक्शन जनरेटर को निर्देशित किया जा सके, जिससे वेमो (Waymo) बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन और अभूतपूर्व इंटेंट-फेथफुल कंट्रोलेबिलिटी प्राप्त होती है।

मूल लेखक: Pengfei Jing, Victor Shea-Jay Huang, Hengtong Lu, Jifeng Dai, Xie Yan, Benjin Zhu

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pengfei Jing, Victor Shea-Jay Huang, Hengtong Lu, Jifeng Dai, Xie Yan, Benjin Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखा रहे हैं। लंबे समय तक, रोबोट को सिखाने का सबसे अच्छा तरीका यह था कि उसे लोगों के गाड़ी चलाने के हजारों वीडियो दिखाए जाएं और कहा जाए, "जो तुम देख रहे हो, उसकी नकल करो।"

इस दृष्टिकोण के साथ समस्या यह है कि रोबोट एक तोता (parrot) बन जाता है। यदि वह ऐसी स्थिति देखता है जिसका उसने अभ्यास नहीं किया है (जैसे कोई अजीब चौराहा या अचानक आया कोई रास्ता परिवर्तन), तो वह घबरा जाता है। वह उन सभी चीजों का "औसत" निकालने की कोशिश करता है जो उसने कभी देखी हैं, जिसके परिणामस्वरूप एक भ्रमित, डगमगाता हुआ रास्ता बनता है जो वास्तव में कहीं भी उपयोगी ढंग से नहीं ले जाता। इसमें इरादे (intent) की कमी होती है। वह यह "तय" नहीं करता कि उसे बाएं मुड़ना है; वह बस यह अनुमान लगाता है कि "बाएं मुड़ना" सांख्यिकीय रूप से एक संभावित क्रिया है।

"एक्शन इमर्जेंस फ्रॉम स्ट्रीमिंग इंटेंट" (Action Emergence from Streaming Intent) नामक शोध पत्र इस नए तरीके से रोबोट को सिखाने का प्रस्ताव देता है, जिसे एसआई (Streaming Intent - SI) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "तोता" बनाम "ड्राइवर"

वर्तमान सेल्फ-ड्राइविंग एआई मॉडल तोतों की तरह हैं।

ऑटोरिग्रेसिव मॉडल (Autoregressive models) (पुराना तरीका) ड्राइविंग के अगले सेकंड की भविष्यवाणी करने की कोशिश करते हैं, फिर उसके अगले सेकंड की, एक-एक करके। यदि भविष्य स्पष्ट नहीं है, तो वे भ्रमित हो जाते हैं और एक "धुंधला" रास्ता बनाते हैं जो सीधा जाने, बाएं मुड़ने और रुकने के बीच का एक समझौता होता है। यह एक ऐसे तोते की तरह है जो एक ही समय में दो शब्द बोलने की कोशिश कर रहा हो।
डिफ्यूजन मॉडल (Diffusion models) (नया तरीका) कई अलग-अलग संभावनाओं की कल्पना करने में बेहतर हैं, लेकिन वे एक सपने देखने वाले व्यक्ति की तरह हैं। वे एक हजार अलग-अलग रास्ते बना सकते हैं, लेकिन उन्हें यह नहीं कहा जा सकता कि, "ठीक है, यह विशिष्ट रास्ता वही है जिसे हम अभी लेना चाहते हैं।" वे बस अपने सपने में से सबसे सामान्य चीज़ चुन लेते हैं।

2. समाधान: "स्ट्रीमिंग इंटेंट" (Streaming Intent)

लेखक एक ऐसा सिस्टम प्रस्तावित करते हैं जहाँ कार केवल अनुमान नहीं लगाती; वह कार्य करने से पहले सोचती है। वे इसे स्ट्रीमिंग इंटेंट (Streaming Intent) कहते हैं।

इसे एक फिल्म निर्देशक (movie director) द्वारा स्टंट ड्राइवर को निर्देश देने की तरह समझें:

स्क्रिप्ट (Chain-of-Thought): कार के चलने से पहले, एआई एक छोटी स्क्रिप्ट लिखता है। यह केवल "मुड़ो" नहीं कहता। यह चार चरणों के माध्यम से तर्क देता है:
- अनुभव (Perceive): "मैं एक लाल बत्ती और एक पैदल यात्री को देख रहा हूँ।"
- पूर्वानुमान (Predict): "पैदल यात्री सड़क पार करेगा।"
- निर्णय (Judge): "मुझे रुकना चाहिए।"
- योजना (Plan): "मैं रास्ता दूँगा (yield)।"
स्ट्रीमिंग (निरंतर प्रवाह): यह केवल एक विचार नहीं है। जैसे-जैसे कार चलती है, वह एक "लगातार कमेंट्री" बनाए रखती है। पहली लाइट पर रुकने का निर्णय अगले त्वरण (acceleration) के निर्णय के लिए शुरुआती बिंदु बन जाता है। यह एक नदी की तरह है; पानी (इरादा/intent) निरंतर बहता है, अतीत को भविष्य से जोड़ता है, ताकि कार यह न भूल जाए कि उसने पाँच सेकंड पहले क्या तय किया था।

3. कार वास्तव में कैसे चलती है (जादुई ट्रिक)

एक बार जब एआई अपनी "स्क्रिप्ट" (तर्क) पूरी कर लेता है, तो वह ड्राइविंग इंजन को एक विशिष्ट निर्देश टोकन सौंप देता है।

पुराना तरीका: इंजन पूरे वीडियो के आधार पर रास्ते का अनुमान लगाने की कोशिश करता है।
एसआई (SI) तरीका: इंजन क्लासिफायर-फ्री गाइडेंस (Classifier-Free Guidance - CFG) नामक तकनीक का उपयोग करता है। कल्पना कीजिए कि इंजन के पास एक "डिफ़ॉल्ट सेटिंग" (जो अधिकांश कारें करती हैं) और एक "विशेष सेटिंग" (जो स्क्रिप्ट कहती है) है।
- एआई कहता है: "डिफ़ॉल्ट पथ लें, लेकिन इसे 'रास्ता देने' (Yield) की दिशा में ज़ोर से धकेलें।"
- यह कार को एक ऐसा रास्ता बनाने की अनुमति देता है जो भौतिक रूप से सुरक्षित है लेकिन सख्ती से उस विशिष्ट निर्णय का पालन करता है जो स्क्रिप्ट में बनाया गया है।

यदि आप स्क्रिप्ट को "सीधे जाओ" से बदलकर "बाएं मुड़ो" कर देते हैं, तो कार तुरंत उस विशिष्ट दृश्य के लिए एक पूरी तरह से अलग, सुरक्षित रास्ता बना लेती है, बिना पहले से बनी मोड़ों की सूची को चुने। यह तर्क से क्रिया को उभरने (emerge) देती है।

4. परिणाम: एक स्मार्ट ड्राइवर

टीम ने इसे वेमो एंड-टू-एंड बेंचमार्क (Waymo End-to-End benchmark) (सेल्फ-ड्राइविंग कौशल का एक प्रसिद्ध परीक्षण) पर परखा।

प्रदर्शन: नए सिस्टम (SI) ने बहुत उच्च स्कोर किया, और लगभग सभी पिछले मॉडलों को पीछे छोड़ दिया।
"प्रथम": पहली बार, एक पूर्ण एंड-टू-एंड एआई ने इंटेंट-फेथफुल कंट्रोलेबिलिटी (Intent-Faithful Controllability) दिखाई। इसका मतलब है कि यदि आप एआई को किसी विशिष्ट दृश्य में "बाएं मुड़ो" कहते हैं, तो वह वास्तव में सुरक्षित रूप से बाएं मुड़ता है। यदि आप उसे "सीधे जाओ" कहते हैं, तो वह सीधा जाता है। यह केवल यादृच्छिक (random) रास्ते नहीं बनाता; यह शुद्ध रूप से जो उसे बताया गया है उसके आधार पर विशिष्ट, उच्च-गुणवत्ता वाली योजनाएँ बनाता है।

5. इसे तेज़ बनाना (द डिस्टिलेशन ट्रिक)

आमतौर पर, यह "दो-चरणीय" सोच (तर्क + ड्राइविंग) धीमी होती है क्योंकि कंप्यूटर को हर चाल के लिए दो बार दिमाग चलाना पड़ता है।

लेखकों ने एआई का एक "छात्र" (student) संस्करण बनाया। उन्होंने इस छोटे छात्र को शिक्षक के अंतिम निर्णय की नकल करने के लिए एक ही चरण में प्रशिक्षित किया।
उपमा: कल्पना कीजिए कि एक मास्टर शेफ (शिक्षक) सूप को एकदम सही बनाने के लिए दो बार चखता है। वे एक सहायक शेफ (छात्र) को प्रशिक्षित करते हैं जो एक ही बार चखकर भी बिल्कुल वैसा ही परिणाम प्राप्त करता है। छात्र दोगुना तेज़ है लेकिन स्वाद में उतना ही अच्छा है।

सारांश

यह शोध पत्र एक ऐसा सेल्फ-ड्राइविंग सिस्टम पेश करता है जो कार्य करने से पहले सोचता है। केवल जो वह देखता है उसकी नकल करने के बजाय, यह एक स्थिति के माध्यम से तर्क देता है ("मैं X देख रहा हूँ, इसलिए मैं Y करूँगा") और फिर उस विशिष्ट योजना को क्रियान्वित करता है। यह निर्णयों का एक निरंतर प्रवाह बनाता है, जिससे कार औसत अनुमानों के लूप में फंसने के बजाय, मौके पर ही नए और सुरक्षित कार्यों को उत्पन्न करके कठिन और दुर्लभ स्थितियों को संभाल सकती है।

तकनीकी सारांश: स्ट्रीमिंग इंटेंट से एक्शन इमर्जेंस (Action Emergence from Streaming Intent)

समस्या विवरण (Problem Statement)

वर्तमान एंड-टू-एंड स्वायत्त ड्राइविंग सिस्टम "लॉन्ग-टेल" परिदृश्यों (जैसे, अस्पष्ट जंक्शन, अनप्रोटेक्टेड टर्न, घने विलय/merging) के साथ संघर्ष करते हैं। लेखक तर्क देते हैं कि मुख्य लुप्त क्षमता एक्शन इमर्जेंस (action emergence) है: यानी ऑन-द-फ्लाई रीजनिंग के माध्यम से किसी भी दृश्य में भौतिक रूप से व्यवहार्य, अर्थपूर्ण और सुरक्षा-अनुपालन वाले कार्यों को उत्पन्न करने की क्षमता, न कि पूर्व-सीखे गए सीन-एक्शन मैपिंग को पुनः प्राप्त करना या इंटरपोलेट करना।

मौजूदा प्रतिमान (paradigms) इंटेंट-फिथफुल कंट्रोलेबिलिटी (intent-faithful controllability) की कमी के कारण विफल हो जाते हैं:

ऑटोरेग्रेसिव (AR) मॉडल स्वाभाविक रूप से मल्टीमॉडल भविष्य को एक एकल औसत प्रक्षेपवक्र (trajectory) में ढालने की प्रवृत्ति रखते हैं, जिससे भौतिक रूप से अव्यवहारिक समझौते (जैसे, एक ऐसा प्रक्षेपवक्र जो न तो मोड़ है और न ही सीधा रास्ता) उत्पन्न होते हैं।
डिफ्यूजन और फ्लो-मैचिंग (FM) मॉडल मल्टीमॉडल वितरणों का प्रतिनिधित्व कर सकते हैं, लेकिन उनमें एक विशिष्ट तर्कसंगत इरादे (reasoned intent) की ओर सैंपलिंग को निर्देशित करने के लिए कोई स्पष्ट कंडीशनिंग सिग्नल नहीं होता है। फलस्वरूप, उनका आउटपुट डेटा प्रायर (data prior) द्वारा हावी रहता है और कमजोर रूप से स्टीयरेबल (steerable) रहता है।

एक डिस्क्रीट, तर्कसंगत ड्राइविंग इंटेंट (जैसे, यील्ड, मर्ज, टर्न) को निष्पादित प्रक्षेपवक्र से बांधने के तंत्र के बिना, एजेंट तब तक किसी योजना के प्रति प्रतिबद्ध नहीं हो सकते जब तक कि कई भविष्य संभव हों।

कार्यप्रणाली (Methodology): SI (Streaming Intent)

यह शोध पत्र SI (Streaming Intent) का प्रस्ताव करता है, जो एक विजन-लैंग्वेज-एक्शन (VLA) मॉडल है जिसे एक्शन इमर्जेंस को साकार करने के लिए डिज़ाइन किया गया है। SI एक एकल साझा Qwen3-VL ट्रांसफार्मर बैकबोन पर आधारित है जो ऑटोरिग्रेसिव (AR) भाषा शाखा और एक फ्लो-मैचिंग (FM) एक्शन शाखा दोनों को संयुक्त रूप से सपोर्ट करता है।

मुख्य घटक (Core Components)

स्ट्रीमिंग इंटेंट मैकेनिज्म (Streaming Intent Mechanism):
- सिमेंटिक स्ट्रीमिंग (Semantic Streaming): इंटेंट को एक अलग लेबल के रूप में प्रेडिक्ट नहीं किया जाता है। इसके बजाय, यह चार-चरणीय चेन-ऑफ-थॉट (CoT) प्रक्रिया (PERCEIVE → PREDICT → JUDGE → PLAN) से उभरता है जिसे ऑटोरिग्रेसिव रूप से डिकोड किया जाता है। अंतिम आउटपुट एक डिस्क्रीट इंटेंट टोकन है। यह सुनिश्चित करता है कि इंटेंट सीन अंडरस्टैंडिंग में कारण-आधारित (causally grounded) हो।
- टेम्पोरल स्ट्रीमिंग (Temporal Streaming): समय के साथ निरंतरता बनाए रखने के लिए, वर्तमान क्लिप से इंटेंट टोकन ( $k_t$ ) को एक मेमोरी टोकन में संकुचित किया जाता है और अगले क्लिप के इनपुट के साथ प्रीपेंड किया जाता है। यह मॉडल को पूरे बैकबोन को पुन: कंप्यूट किए बिना संचित एपिसोड हिस्ट्री पर भविष्य के इंटेंट प्रेडिक्शन को कंडीशन करने की अनुमति देता है।
इंटेंट-ड्रिवन क्लासिफायर-फ्री गाइडेंस (CFG):
- AR शाखा CoT को डिकोड करती है और एक इंटेंट टोकन उत्सर्जित करती है, जिसे 20 इंटेंट क्लासेस में से एक के रूप में पार्स किया जाता है।
- यह इंटेंट क्लास FM एक्शन हेड पर क्लासिफायर-फ्री गाइडेंस (CFG) को संचालित करता है। इन्फरेंस के दौरान, मॉडल प्रत्येक डिनोइजिंग स्टेप में दो फॉरवर्ड पास करता है: एक विशिष्ट इंटेंट ( $k$ ) पर कंडिशन किया गया और एक अनकंडीशन ( $K$ )।
- अंतिम वेलोसिटी फील्ड एक भारित संयोजन (weighted combination) है: $v_t = v_\theta(x_t, t; e(K)) + w [v_\theta(x_t, t; e(k)) - v_\theta(x_t, t; e(K))]$ ।
- यह इंटेंट को एक निरंतर स्टीयरिंग डायमेंशन के रूप में कार्य करने की अनुमति देता है, जो प्रक्षेपवपथ को सांख्यिकीय प्रायर के बजाय प्रतिबद्ध मैनूवर की ओर निर्देशित करता है।
डेटा कंस्ट्रक्शन पाइपलाइन (Data Construction Pipeline):
- चूंकि कोई मौजूदा कॉर्पस आवश्यक ट्रिपलेट (काइनेमैटिक मेटा-एक्शन, रीजनिंग CoT, इंटेंट) प्रदान नहीं करता है, इसलिए लेखकों ने शून्य मानव एनोटेशन लागत के साथ सघन पर्यवेक्षण (dense supervision) उत्पन्न करने के लिए एक SOTA VLM (Qwen3.5) का उपयोग करके चार-चरणीय एनोटेशन पाइपलाइन बनाई है।
- पाइपलाइन स्ट्रीमिंग क्लिप्स निकालती है, नियम-आधारित काइनेमैटिक लेबलिंग लागू करती है, स्ट्रक्चर्ड CoT और इंटेंट स्पैन जनरेट करती है, और इन सबको एक एकीकृत प्रशिक्षण सेट में एकत्रित करती है।
इन्फरेंस ऑप्टिमाइजेशन (CFG डिस्टिलेशन):
- मानक CFG के लिए प्रति स्टेप दो बैकबोन पास की आवश्यकता होती है। इन्फरेंस लागत को आधा करने के लिए, लेखकों ने दो-पास वाले CFG ऑपरेटर को सिंगल-पास स्टूडेंट एंबेडर में डिस्टिल किया है।
- एक हल्का डिस्टिल्ड-इंटेंट-एम्बेडर (DistilledIntentEmbedder) ( $\sim$ 21M पैरामीटर्स) प्रशिक्षित किया गया है जो CFG-करेक्टेड वेलोसिटी फील्ड का अनुमान लगाता है। यह एक्शन-हेड इन्फरेंस लागत को 50% कम कर देता है और प्रदर्शन में नगण्य गिरावट आती है।

मुख्य योगदान (Key Contributions)

एक्शन इमर्जेंस का औपचारिकीकरण (Formalization of Action Emergence): पेपर एक्शन इमर्जेंस को एंड-टू-एंड ड्राइविंग के लिए एक लक्षित क्षमता के रूप में परिभाषित करता है, जो वर्तमान VA और VLA मॉडल्स में मौजूद संरचनात्मक घटक के रूप में ड्राइविंग इंटेंट की पहचान करता है।
स्ट्रीमिंग इंटेंट आर्किटेक्चर: एक ऐसी प्रणाली का प्रस्ताव जो इंटेंट को सिमेंटिक CoT के माध्यम से ग्राउंड करती है और इसे टेम्पोरल मेमोरी टोकन के माध्यम से बनाए रखती है, जो भाषा तर्क और प्रक्षेपवक्र पीढ़ी के बीच के अंतर को पाटती है।
इंटेंट-फिथफुल कंट्रोलेबिलिटी: यह प्रदर्शन करना कि एक एकल एंड-टू-एंड प्रशिक्षित VLA, केवल इन्फरेंस के दौरान इंटेंट क्लास को बदलकर, एक ही सीन के लिए गुणात्मक रूप से भिन्न और उच्च-गुणवत्ता वाले प्रक्षेपवक्र उत्पन्न कर सकता है, जो पूर्व-निर्मित प्रक्षेपवक्र बैंकों या हैंड-कोडेड चयनकर्ताओं पर निर्भर नहीं है।
अनुभवजन्य प्रदर्शन (Empirical Performance): वेमो एंड-टू-एंड (Waymo End-to-End) बेंचमार्क पर प्रतिस्पर्धी एग्रीगेट प्रदर्शन हासिल करना।

परिणाम (Results)

मॉडल का मूल्यांकन Waymo Open Dataset End-to-End (WOD-E2E) बेंचमार्क पर किया गया।

एग्रीगेट मेट्रिक्स:
- वैलिडेशन सेट: 7.96 का RFS (Rater Feedback Score) प्राप्त किया, जो पिछले सर्वश्रेष्ठ बेसलाइन (RAP, 7.91) और अन्य सभी रिपोर्ट किए गए तरीकों से बेहतर है।
- टेस्ट सेट: 1.24m (3s) और 2.81m (5s) के ADE के साथ 7.74 का RFS प्राप्त किया, जो वैलिडेशन रैंकिंग के अनुरूप है।
एक्शन इमर्जेंस और कंट्रोलेबिलिटी:
- गुणात्मक विश्लेषण दिखाता है कि SI उन लॉन्ग-टेल सीन्स में इंटेंट-फिथफुल प्रक्षेपवक्र परिवार बनाता है जहाँ बेसलाइन मॉडल (जैसे RAP) एक एकल डोमिनेंट मोड में सिमट जाते हैं।
- इन्फरेंस के दौरान इंटेंट क्लास को बदलने से ज्यामितीय रूप से भिन्न प्लान मिलते हैं जो मानव-रेटेड RFS विकल्पों के साथ संरेखित होते हैं, जो पुष्टि करता है कि विविधता यादृच्छिक भिन्नता नहीं बल्कि संभावित एक्शन रिपर्टोयर का कवरेज है।
दक्षता (Efficiency): CFG डिस्टिलेशन रणनीति ने इन्फरेंस लागत को सफलतापूर्वक आधा कर दिया (2 पास से 1 पास), जिसमें RFS में नगण्य गिरावट ( $\sim$ 0.02) और ADE/FDE में मामूली सुधार हुआ।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि SI शुद्ध रूप से डेटा-ड्रिवन लर्निंग से उत्पन्न होने वाली पहली पूर्ण एंड-टू-एंड VLA है जो इंटेंट-फिथफुल कंट्रोलेबिलिटी प्रदर्शित करती है। प्रक्षेपवक्र बैंकों को जोड़ने या पोस्ट-हॉक चयनकर्ताओं का उपयोग करने के विपरीत, SI इसे संरचनात्मक रूप से संरेखित भाषा-एक्शन रिप्रेजेंटेशन के माध्यम से प्राप्त करता है।

पेपर का तर्क है कि स्ट्रीमिंग इंटेंट एक्शन इमर्जेंस की ओर एक व्यावहारिक मार्ग प्रदान करता है। इंटेंट को एक गतिशील रूप से विकसित होने वाले, कारण-आधारित और टेम्पोरल रूप से सुसंगत प्रतिबद्धता बनाकर, मॉडल जटिल और संदिग्ध दृश्यों के माध्यम से तर्क कर सकता है और विशिष्ट योजनाओं के प्रति प्रतिबद्ध हो सकता है। लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि अल्पसंख्यक इंटेंट्स (जैसे, रिवर्स, पार्किंग) पर प्रदर्शन वर्तमान में फॉरवर्ड-ड्राइविंग कॉर्पस में डेटा कवरेज द्वारा सीमित है, जो यह सुझाव देता है कि बड़े, अधिक विविध डेटासेट्स तक अपने एनोटेशन पाइपलाइन को स्केल करना एक आवश्यक अगला कदम है।