💻 computer science

$AutoDrive\text{-}P^3$ : Unified Chain of Perception-Prediction-Planning Thought via Reinforcement Fine-Tuning

यह शोध पत्र **AutoDrive-P³** को प्रस्तुत करता है, जो एक विशेष डेटासेट और पदानुक्रमित सुदृढीकरण शिक्षण (hierarchical reinforcement learning) के माध्यम से धारणा (perception), पूर्वानुमान (prediction) और नियोजन (planning) को एक एकल सुसंगत चेतना-प्रवाह (chain-of-thought) प्रक्रिया में एकीकृत करने वाला एक नवीन ढांचा है, जो सहक्रियात्मक निर्णय लेने को सुनिश्चित करते हुए और दोहरी विचार पद्धतियों (dual thinking modes) के साथ अनुमान दक्षता को संतुलित करते हुए स्वायत्त ड्राइविंग में अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Yuqi Ye, Zijian Zhang, Junhong Lin, Shangkun Sun, Changhao Peng, Wei Gao

प्रकाशित 2026-03-31

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuqi Ye, Zijian Zhang, Junhong Lin, Shangkun Sun, Changhao Peng, Wei Gao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखा रहे हैं। अतीत में, हमने रोबोट को दो तरीकों से सिखाने की कोशिश की, और दोनों में समस्याएँ थीं:

"अंतर्ज्ञान वाला" ड्राइवर (The "Gut Feeling" Driver): कुछ रोबोटों को बताया गया, "सड़क को देखो, और बस मुझे बताओ कि स्टीयरिंग कहाँ घुमाना है।" उन्होंने सोचने वाले हिस्से को छोड़ दिया। यह ऐसा था जैसे किसी इंसान को आँखों पर पट्टी बांधकर गाड़ी चलाने के लिए कहना, और अंदाज़ा लगाना कि अन्य कारें कहाँ हैं। वे अक्सर खतरनाक गलतियाँ करते थे क्योंकि उन्होंने खतरे को पहले "देखा" नहीं था।
"अलग-थलग" ड्राइवर (The "Siloed" Driver): अन्य रोबोट इतने स्मार्ट थे कि वे कह सकते थे, "मैं एक ट्रक देख रहा हूँ," फिर "मुझे लगता है कि ट्रक बाईं ओर जाएगा," और अंत में "मैं दाईं ओर मुड़ूँगा।" लेकिन वे ये तीनों कदम अलग-अलग करते थे, जैसे तीन अलग-अलग लोग ड्राइवर को निर्देश चिल्ला रहे हों बिना एक-दूसरे से बात किए। परिणाम एक भ्रमित ड्राइवर था जिसे यह समझ नहीं आ रहा था कि ट्रक की गति ही मुड़ने का कारण थी।

AutoDrive-P 3 नया समाधान है। यह रोबोट को एक विचारशील मानव विशेषज्ञ की तरह गाड़ी चलाना सिखाता है जो कभी भी कोई कदम नहीं छोड़ता और हमेशा कड़ियों को जोड़ता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. "सोचने की श्रृंखला" (The "Chain of Thought" - आंतरिक एकालाप)

केवल उत्तर देने के बजाय, AutoDrive-P 3 रोबोट को कार्य करने से पहले खुद से ज़ोर से बात करने के लिए मजबूर करता है। यह एक संरचना का उपयोग करता है जिसे P 3-CoT (परसेप्शन-प्रेडिक्शन-प्लानिंग चेन ऑफ थॉट) कहा जाता है।

इसे शतरंज के खिलाड़ी की तरह समझें जो चाल चलने से पहले सोचता है:

परसेप्शन (आंखें): "मैं आगे एक लाल कार और फुटपाथ पर एक पैदल यात्री देख रहा हूँ।"
प्रेडिक्शन (भविष्यवाणी/क्रिस्टल बॉल): "लाल कार धीमी हो रही है, और पैदल यात्री ऐसा लग रहा है जैसे वह सड़क पर उतर सकता है।"
प्लानिंग (रणनीति): "चूंकि कार धीमी हो रही है और पैदल यात्री जोखिम भरा है, इसलिए मैं धीरे से ब्रेक लगाऊंगा और अपनी लेन में रहूंगा।"

पिछले सिस्टमों में, रोबोट सीधे "ब्रेक लगाओ!" पर कूद सकता था बिना यह समझाए कि क्यों। AutoDrive-P 3 रोबोट को पहले पूरी कहानी लिखने के लिए मजबूर करता है। यह सुनिश्चित करता है कि अंतिम निर्णय दुनिया की ठोस समझ पर आधारित हो।

2. "कोच" (The "Coach" - सुदृढीकरण फाइन-ट्यूनिंग)

रोबोट यह सब पूरी तरह से कैसे सीखता है? लेखकों ने एक विशेष प्रशिक्षण पद्धति बनाई है जिसे P 3-GRPO कहा जाता है।

कल्पना कीजिए कि एक ड्राइविंग इंस्ट्रक्टर बगल वाली सीट पर बैठा है।

पुराना तरीका: इंस्ट्रक्टर केवल पूरे चक्कर के खत्म होने के बाद "अच्छा काम किया!" या "बुरा काम किया!" चिल्लाता था। रोबोट को यह पता नहीं चलता था कि वह दुर्घटना इसलिए हुई क्योंकि उसने बाधा को नहीं देखा या इसलिए हुई क्योंकि उसने बहुत देर से मुड़ने का निर्णय लिया।
AutoDrive-P 3 का तरीका: इंस्ट्रक्टर हर एक कदम पर फीडबैक देता है।
- "तुमने अपने 'परसेप्शन' स्टेप में उस पैदल यात्री को मिस कर दिया! फिर से कोशिश करो।"
- "तुम्हारा यह 'प्रेडिक्शन' कि कार रुक जाएगी, गलत था।"
- "तुम्हारा अंतिम 'प्लानिंग' कि बाईं ओर मुड़ना सुरक्षित था, लेकिन केवल इसलिए क्योंकि तुमने पहले की गलतियों को ठीक कर लिया था।"

यह "पदानुक्रमित" (hierarchical) कोचिंग सुनिश्चित करती है कि यदि रोबोट दुनिया को देखने में गलती करता है, तो वह पहले उसे ठीक करना सीखता है, जिससे स्वाभाविक रूप से बाद में बेहतर ड्राइविंग निर्णय लिए जाते हैं।

3. "दोहरा मोड" (The "Dual Mode" - तेज़ सोचना बनाम धीरे सोचना)

इसकी एक सबसे शानदार विशेषता यह है कि रोबोट के पास दो मोड हैं, बिल्कुल इंसानों की तरह:

विस्तृत सोच (धीमा, सावधानी वाला मोड): जब सड़क पर स्थिति कठिन हो (बारिश, निर्माण कार्य, भीड़), तो रोबलेट अपना समय लेता है। वह हिलने से पहले हर कार और पैदल यात्री के बारे में एक लंबी, विस्तृत कहानी लिखता है। यह सुरक्षा के लिए है।
तेज़ सोच (त्वरित मोड): जब सड़क खाली और साफ हो, तो रोबोट लंबी कहानी छोड़कर सीधे उत्तर दे देता है। यह ऐसा है जैसे बिना ट्रैफिक के हाईवे पर गाड़ी चलाना; आपको हर सांस का वर्णन करने की आवश्यकता नहीं है, आप बस गाड़ी चलाते हैं। यह समय और कंप्यूटिंग पावर बचाता है।

परिणाम

इन विचारों को जोड़कर, AutoDrive-P 3 एक घबराए हुए शिक्षार्थी से एक अनुभवी दिग्गज में अपग्रेड करने जैसा है।

यह बेहतर देखता है (Perception)।
यह दूसरों के व्यवहार का बेहतर अनुमान लगाता है (Prediction)।
यह चलने के लिए बेहतर निर्णय लेता है (Planning)।

पेपर दिखाता है कि यह विधि कार को अन्य किसी भी वर्तमान उपलब्ध सिस्टम की तुलना में बहुत अधिक सुरक्षित (कम दुर्घटनाएं) और कठिन स्थितियों में बहुत स्मार्ट बनाती है। यह साबित करता है कि यदि आप रोबोट को केवल उत्तर का अनुमान लगाने के बजाय पूरी प्रक्रिया के माध्यम से सोचना सिखाते हैं, तो वह एक बहुत बेहतर ड्राइवर बन जाता है।

यहाँ शोध पत्र "AutoDrive-P 3: Unified Chain of Perception–Prediction–Planning Thought via Reinforcement Fine-Tuning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

एंड-टू-एंड स्वायत्त ड्राइविंग (autonomous driving) में लागू किए जाने वाले वर्तमान विजन-लैंग्वेज मॉडल्स (VLMs) दो महत्वपूर्ण सीमाओं का सामना करते हैं:

संरचित तर्क (Structured Reasoning - CoT) का अभाव: कुछ VLMs मध्यवर्ती तर्क (intermediate reasoning) के बिना सीधे प्लानिंग ट्राजेक्टरी आउटपुट करते हैं, जिससे महत्वपूर्ण धारणा (perception) और भविष्यवाणी (prediction) चरण छूट जाते हैं। यह एक डोमेन गैप पैदा करता है और निर्णय लेने की मजबूती (robustness) से समझौता करता है, विशेष रूप से लॉन्ग-टेल (long-tail) परिदृश्यों में।
खंडित मल्टी-टास्क सिनर्जी (Fragmented Multi-Task Synergy): अन्य VLMs धारणा, भविष्यवाणी और योजना बनाने के कार्यों को संभाल सकते हैं, लेकिन वे उन्हें अलग-अलग, पृथक मॉड्यूल के रूप में देखते हैं। इस सिनर्जी की कमी प्लानिंग मॉड्यूल को पूर्ण रूप से धारणात्मक और भविष्यवाणात्मक विशेषताओं (perceptual and predictive features) का लाभ उठाने से रोकती है, जिससे सब-ऑप्टिमल प्लानिंग प्रदर्शन होता है।
अपूर्ण पर्यवेक्षण (Incomplete Supervision): मौजूदा सुदृढीकरण शिक्षण (reinforcement learning) दृष्टिकोण (जैसे GRPO) अक्सर केवल अंतिम प्लानिंग मेट्रिक्स (जैसे L2 distance) को अनुकूलित करते हैं, जिससे धारणा और भविष्यवाणी मॉड्यूल बिना किसी प्रत्यक्ष रिवॉर्ड मार्गदर्शन के रह जाते हैं, जिसके परिणामस्वरूप सतही लाभ और खराब व्याख्यात्मकता (interpretability) होती है।

मुख्य मुद्दा स्टेज्ड चेन-ऑफ-थॉट (staged CoT) प्रक्रिया को कैप्चर करने में विफलता है, जहाँ सटीक धारणा विश्वसनीय भविष्यवाणी को सक्षम बनाती है, और दोनों ही मजबूत प्लानिंग के लिए अपरिहार्य आधार हैं।

2. कार्यप्रणाली (Methodology)

लेखक AutoDrive-P 3 का प्रस्ताव करते हैं, जो एक एकीकृत ढांचा (unified framework) है जो संरचित तर्क और पदानुक्रमित सुदृढीकरण शिक्षण (hierarchical reinforcement learning) के माध्यम से धारणा (Perception), भविष्यवाणी (Prediction) और योजना (Planning) को एकीकृत करता है।

A. P 3-CoT डेटासेट

एकीकृत तर्क डेटा की कमी को दूर करने के लिए, लेखकों ने P 3-CoT डेटासेट का निर्माण किया।

निर्माण: nuScenes और NAVSIM डेटासेट्स के आधार पर, उन्होंने प्रमुख वस्तुओं (केवल सभी वस्तुओं को नहीं) को बाउंडिंग बॉक्स, भविष्य की क्रियाओं की भविष्यवाणी और ईगो-प्लानिंग ट्राजेक्टरी के साथ एनोटेट किया।
फॉर्मेट: मानक QA पेयर्स के विपरीत, यह डेटासेट एक एकीकृत CoT फॉर्मेट का उपयोग करता है जहाँ मॉडल तीन क्रमिक चरणों के लिए तर्क ट्रेस (<thinking>) के बाद संरचित उत्तर (<answer>) उत्पन्न करता है:
1. धारणा (Perception): प्रमुख वस्तुओं की पहचान और स्थानीयकरण करना।
2. भविष्यवाणी (Prediction): धारणा के आधार पर उन वस्तुओं के भविष्य के व्यवहार का पूर्वानुमान लगाना।
3. योजना (Planning): धारणा और भविष्यवाणी के आधार पर ईगो वाहन की ट्राजेक्टरी उत्पन्न करना।
पैमाना (Scale): इसमें nuScenes से ~25k फ्रेम्स और NAVSIM से ~115k फ्रेम्स शामिल हैं।

B. प्रशिक्षण पाइपलाइन (Training Pipeline)

प्रशिक्षण प्रक्रिया में दो चरण शामिल हैं:

कोल्ड-स्टार्ट के लिए सुपरवाइज्ड फाइन-ट्यूनिंग (SFT):
- बेस VLM (Qwen2.5-VL-3B) को P 3-CoT डेटासेट पर फाइन-ट्यून किया जाता है।
- यह मॉडल को स्वायत्त ड्राइविंग डोमेन के साथ संरेखित करता है और इसे संरचित P 3-CoT आउटपुट फॉर्मेट सिखाता है, जिससे तर्क के लिए एक बेसलाइन स्थापित होती है।
P 3-GRPO (Group Relative Policy Optimization):
- तीनों मॉड्यूल को एक साथ अनुकूलित करने के लिए एक नया पदानुक्रमित सुदृढीकरण शिक्षण एल्गोरिदम पेश किया गया है।
- मल्टी-कंपोनेंट रिवॉर्ड फंक्शन: कुल रिवॉर्ड $R$ $R$ चार घटकों का भारित योग (weighted sum) है:
  - $R_{format}$ : सुनिश्चित करता है कि आउटपुट CoT संरचना का पालन करता है।
  - $R_{perc}$ : सटीक ऑब्जेक्ट डिटेक्शन (IoU, Precision, Recall) को पुरस्कृत करता है।
  - $R_{pred}$ : सटीक व्यवहार भविष्यवाणी को पुरस्कृत करता है, जिसे डिटेक्शन की गुणवत्ता द्वारा भारित किया जाता है (धारणा को भविष्यवाणी से जोड़ना)।
  - $R_{plan}$ : ट्राजेक्टरी की गुणवत्ता (L2 distance, PDMS/EPDMS scores) को पुरस्कृत करता है।
- तंत्र (Mechanism): इन रिवॉर्ड्स को संयुक्त रूप से अनुकूलित करके, एल्गोरिदम यह सुनिश्चित करता है कि प्लानिंग में सुधार उन्नत धारणा और भविष्यवाणी में वृद्धि पर आधारित हो, जिससे सिनर्जिस्टिक इंटरैक्शन को बढ़ावा मिलता है।

C. दोहरी विचार मोड (Dual Thinking Modes)

इन्फरेंस दक्षता और प्रदर्शन के बीच संतुलन बनाने के लिए, फ्रेमवर्क दो मोड का समर्थन करता है:

विस्तृत विचार (Detailed Thinking): उत्तर देने से पहले तीनों चरणों (Perception, Prediction, Planning) के लिए पूर्ण तर्क ट्रेस उत्पन्न करता है।
फास्ट थिंकिंग (Fast Thinking): P 3-CoT संरचना का पालन करता है लेकिन स्पष्ट तर्क टेक्स्ट को छोड़ देता है, प्रत्येक मॉड्यूल के लिए केवल अंतिम उत्तर आउटपुट करता है ताकि लेटेंसी कम की जा सके।

3. मुख्य योगदान (Key Contributions)

एकीकृत ढांचा (AutoDrive-P 3): एक एंड-टू-एंड VLM फ्रेमवर्क जो धारणा, भविष्यवाणी और योजना के बीच कारण संबंधों (causal relationships) को स्पष्ट रूप से कैप्चर करता है, जिससे डायरेक्ट ट्राजेक्टरी जनरेशन की "ब्लैक बॉक्स" प्रकृति का समाधान होता है।
P 3-CoT डेटासेट: एक उच्च-गुणवत्ता वाला डेटासेट जिसमें एकीकृत तर्क श्रृंखलाएं और प्रमुख-वस्तु एनोटेशन शामिल हैं, जो VLMs और स्वायत्त ड्राइविंग आवश्यकताओं के बीच के अंतर को पाटता है।
P 3-GRPO एल्गोरिदम: एक पदानुक्रमित सुदृढीकरण शिक्षण विधि जो सभी तीन संज्ञानात्मक चरणों में प्रगतिशील पर्यवेक्षण प्रदान करती है, जो प्लानिंग-ओनली ऑप्टिमाइजेशन की तुलना में तर्क की सुसंगतता और प्लानिंग विश्वसनीयता में काफी सुधार करती है।
दोहरी विचार मोड: उच्च-सटीक तर्क (Detailed) और वास्तविक समय इन्फरेंस गति (Fast) के बीच व्यापार-बंद (trade-off) करने के लिए एक व्यावहारिक तंत्र।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन nuсenes (ओपन-लूप) और NAVSIMv1/v2 (क्लोज्ड-लूप) बेंचमार्क पर किया गया।

nuScenes (Open-Loop):
- कोलिजन रेट (collision rates) में स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन प्राप्त किया, पिछले SOTA तरीकों (जैसे OmniDrive, AutoVLA) की तुलना में इसे ~40% कम किया।
- प्रतिस्पर्धियों (7B+ पैरामीटर्स) की तुलना में बहुत छोटे मॉडल (3B पैरामीटर्स) और कम प्रशिक्षण डेटा के साथ तुलनीय L2 डिस्प्लेसमेंट एरर प्राप्त किया।
NAVSIM (Closed-Loop):
- केवल विजन-ओनली इनपुट का उपयोग करके NAVSIMv1 (90.6 PDMS) और NAVSIMv2 (89.9 EPDMS) पर SOTA परिणाम प्राप्त किए।
- जटिल मल्टी-मोडल बेसलाइन्स (जैसे DiffusionDrive, WoTE) को पीछे छोड़ दिया जो LiDAR डेटा का उपयोग करते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- पुष्टि की कि P 3-GRPO, "SFT केवल" और "SFT + प्लानिंग-ओनली GRPO" की तुलना में काफी बेहतर प्रदर्शन करता है, जो संयुक्त अनुकूलन की आवश्यकता को सिद्ध करता है।
- प्रदर्शित किया कि वीडियो इनपुट और ऐतिहासिक ट्राजेक्टरीज प्रदर्शन के लिए महत्वपूर्ण हैं।
- दिखाया कि "Detailed" मोड उच्च सुरक्षा/विश्वसनीयता प्रदान करता है, जबकि "Fast" मोड लगभग वास्तविक समय (1 Hz) का प्रदर्शन बनाए रखता है।

5. महत्व (Significance)

व्याख्यात्मकता (Interpretability): मॉडल को अपने तर्क (धारणा $\to$ भविष्यवाणी $\to$ योजना) को स्पष्ट करने के लिए मजबूर करके, सिस्टम अधिक पारदर्शी और डिबग करने में आसान हो जाता है, जो स्वायत्त ड्राइविंग के लिए एक प्रमुख सुरक्षा चिंता को संबोधित करता है।
सिनर्जिस्टिक लर्निंग (Synergistic Learning): यह कार्य सिद्ध करता है कि धारणा और भविष्यवाणी को प्लानिंग लूप के सह-उत्पादों के बजाय मुख्य घटकों के रूप में मानने से जटिल, लॉन्ग-टेल परिदृश्यों में बेहतर निर्णय लेने में मदद मिलती है।
दक्षता (Efficiency): दोहरी-मोड दृष्टिकोण गहरे तर्क के सुरक्षा लाभों से समझौता किए बिना VLMs को वास्तविक समय की प्रणालियों में तैनात करने के लिए एक व्यावहारिक समाधान प्रदान करता है।
सामान्यीकरण (Generalization): यह दृष्टिकोण प्रदर्शित करता है कि बड़े पैमाने के VLMs, जब संरचित तर्क और पदानुक्रमित पुरस्कारों के साथ ठीक से फाइन-ट्यून किए जाते हैं, तो वे ओपन-लूप और क्लोज्ड-लूप दोनों सेटिंग्स में विशिष्ट, छोटे एंड-टू-एंड मॉडल्स से बेहतर प्रदर्शन कर सकते हैं।