C$^2$T: Captioning-Structure and LLM-Aligned Common-Sense Reward Learning for Traffic--Vehicle Coordination

यहाँ शोध पत्र "C2T: Captioning-Structure and LLM-Aligned Common-Sense Reward Learning for Traffic–Vehicle Coordination" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान अत्याधुनिक शहरी यातायात नियंत्रण प्रणालियाँ ट्रैफिक लाइट कंट्रोलर्स (TLCs) और कनेक्टेड ऑटोनॉमस व्हीकल्स (CAVs) के समन्वय के लिए मल्टी-एजेंट सुदृढीकरण शिक्षण (Multi-Agent Reinforcement Learning - MARL) पर बहुत अधिक निर्भर करती हैं। हालाँकि, ये प्रणालियाँ एक मौलिक सीमा का सामना करती हैं:

• अल्पदर्शी पुरस्कार (Myopic Rewards): वे हस्तनिर्मित, स्थानीय पुरस्कार कार्यों (जैसे कि कतार की लंबाई, दबाव, या औसत विलंब को कम करना) का उपयोग करती हैं।
• मानवीय संरेखण का अभाव (Lack of Human Alignment): ये मेट्रिक्स उच्च-स्तरीय, मानव-केंद्रित लक्ष्यों जैसे कि सुरक्षा, प्रवाह स्थिरता और यात्री आराम को पकड़ने में विफल रहते हैं।
• नकारात्मक परिणाम (Negative Consequences): केवल स्थानीय दक्षता के लिए अनुकूलन करने से अक्सर वैश्विक अस्थिरता उत्पन्न होती है, जिसमें भीड़ की लहरें (congestion waves), अस्थिर यातायात प्रवाह, बार-बार अचानक ब्रेक लगाना और असुरक्षित वाहन अंतराल शामिल हैं, भले ही औसत यात्रा समय इष्टतम दिखाई दे रहा हो।

मुख्य चुनौती एक ऐसा मानव-संरेखित आंतरिक पुरस्कार (human-aligned intrinsic reward) सीखना है जो मानव-तर्क (common sense) युक्त यातायात गुणवत्ता (दक्षता के साथ सुरक्षा और आराम का संतुलन) को दर्शाता हो, बिना किसी मानव विशेषज्ञ के ऑनलाइन इंटरैक्शन की आवश्यकता के या वास्तविक समय में लार्ज लैंग्वेज मॉडल (LLM) कॉल्स की विलंबता (latency) के।

2. कार्यप्रणाली: C2T ढांचा (Methodology: The C2T Framework)

लेखक C2T का प्रस्ताव करते हैं, जो एक हल्का, सीखने योग्य पुरस्कार कार्य में LLM से 'कॉमन सेंस' ज्ञान को संकुचित (distill) करने वाला तीन-चरणीय ढांचा है।

चरण 1: संरचित कैप्शनिंग और प्राथमिकता युग्मन (Structured Captioning and Preference Pairing)

LLM को कच्चे सेंसर डेटा या मुक्त-रूप पाठ (free-form text) देने के बजाय, C2T सिम्युलेटर अवलोकनों को निश्चित, यूनिट-जागरूक संरचित कैप्शन (deterministic, unit-aware structured captions) में परिवर्तित करता है।

• स्कीमा (Schema): कैप्शन में विशिष्ट क्षेत्र शामिल हैं: सिग्नल फेज, बीता हुआ समय, कतार की लंबाई, दबाव, औसत विलंब, थ्रूपुट, सुरक्षा मेट्रिक्स (Time-to-Collision पर्सेंटाइल, अचानक ब्रेक लगाने की संख्या, रेड-लाइट जोखिम फ्लैग), और निकटतम वाहन गतिविज्ञान (kinematics)।
• युग्म नमूनाकरण (Pair Sampling): सिस्टम भीड़भाड़, सुरक्षा या अल्प समय परिवर्तन में उच्च विषमता प्रदर्शित करने वाले अवलोकनों के युग्मों $(o_a, o_b)$ का नमूना लेता है।
• LLM निर्णय (LLM Judgment): एक निश्चित प्रॉम्प्ट LLM से यह तय करने के लिए प्रश्न पूछता है कि कौन सा कैप्शन एक "बेहधिक" यातायात स्थिति का प्रतिनिधित्व करता है। केवल निर्णायक लेबल (1 या 2) को प्राथमिकता डेटासेट $D_{pref}$ बनाने के लिए रखा जाता है।

चरण 2: ऑफलाइन प्राथमिकता शिक्षण (Offline Preference Learning)

एक हल्का न्यूरल स्कोरर $r_\phi$ LLM की प्राथमिकताओं की नकल करने के लिए ऑफलाइन प्रशिक्षित किया जाता है।

• वास्तुकला (Architecture): स्कोरर संरचित कैप्शन टोकन और सहायक संख्यात्मक मानों को इनपुट के रूप में लेता है और एक स्केलर गुणवत्ता स्कोर आउटपुट करता है।
• लॉस फंक्शन (Loss Function): मॉडल को प्राथमिकता युग्मों पर एक ब्रैडली-टेरी लॉस (Bradley-Terry loss) का उपयोग करके प्रशिक्षित किया जाता है, जिसे पूर्वाग्रह को कम करने के लिए टेम्पलेट की आवृत्ति के आधार पर भारित (weighted) किया जाता है।
• आउटपुट: परिणाम एक आंतरिक पुरस्कार कार्य (intrinsic reward function) $r_\phi$ है जो प्रशिक्षण के दौरान LLM की आवश्यकता के बिना, स्थिति की "कॉमन सेंस" गुणवत्ता की भविष्यवाणी करता है।

चरण 3: असममित पुरस्कार एकीकरण और सुरक्षा मास्किंग (Asymmetric Reward Integration & Safety Masking)

सीखे गए आंतरिक पुरस्कार को ट्रैफिक लाइट कंट्रोलर्स के लिए मानक MARL प्रशिक्षण लूप (विशेष रूप से PPO) में एकीकृत किया जाता है।

• असममित मिश्रण (Asymmetric Mixing): आंतरिक पुरस्कार केवल TLC एजेंटों पर लागू होता है, जबकि वाहन (इस इंस्टेंशिएशन में) मानक वातावरण गतिकी द्वारा संचालित होते हैं। यह उन गैर-स्थिरता (non-stationarity) समस्याओं से बचाता है जो तब उत्पन्न होतीं जब दोनों एजेंट और वाहन एक बदलते आंतरिक सिग्नल के प्रति अनुकूलित होते।
• सुरक्षा मास्क (Safety Mask): एक महत्वपूर्ण घटक एक जोखिम मास्क (risk mask) $m(o)$ है। यदि स्थिति उच्च जोखिम (जैसे, कम Time-to-Collision, अचानक ब्रेक लगाने के क्लस्टर, या रेड-लाइट उल्लंघन) दर्शाती है, तो आंतरिक पुरस्कार को दबा दिया जाता है ($m=0$)। यह सुनिश्चित करता है कि "कॉमन सेंस" पुरस्कार तत्काल सुरक्षा बाधाओं को कभी भी ओवरराइड न करे।
• सामान्यीकरण और शेड्यूलिंग (Normalization & Scheduling):
  • बाहरी पुरस्कार, आंतरिक पुरस्कार और सुरक्षा दंड को अलग-अलग स्ट्रीम के रूप में माना जाता है, उन्हें नॉर्मलाइज़ (z-score) किया जाता है, और किसी भी एकल सिग्नल के प्रभुत्व को रोकने के लिए सॉफ्टली क्लिप किया जाता है।
  • एक करिकुलम शेड्यूल (curriculum schedule) $\lambda(t)$ आंतरिक पुरस्कार के भार को धीरे-धीरे बढ़ाता है, जिससे नीति को पहले बुनियादी पर्यावरणीय बाधाओं को संतुष्ट करने के बाद कॉमन-सेंस प्राथमिकताओं के लिए अनुकूलित करने की अनुमति मिलती है।

3. मुख्य योगदान (Key Contributions)

1. ट्रैफिक RL के लिए संरचित कैप्शनिंग: एक नवीन, निश्चित स्कीमा जो जटिल यातायात स्थितियों को यूनिट-जागरूक टेक्स्ट में बदल देता है, जिससे वे LLMs द्वारा तुलनीय और विभिन्न रन के बीच पुनरुत्पादक (reproducible) बन जाते हैं।
2. ऑफलाइन प्राथमिकता शिक्षण: LLM निर्णयों को एक पुन: प्रयोज्य, हल्के आंतरिक पुरस्कार स्कोरर में निकालने की एक विधि, जो RL प्रशिक्षण के दौरान ऑनलाइन LLM कॉल्स की आवश्यकता को समाप्त करती है।
3. सुरक्षित, असममित एकीकरण: असममित मिश्रण (केवल TLCs के लिए), जोखिम मास्किंग और प्रति-स्ट्रीम सामान्यीकरण के माध्यम से मल्टी-इंटरसेक्शन RL में मानव-संरेखित मार्गदर्शन इंजेक्ट करने के लिए एक मजबूत तंत्र, जो मानक PPO के साथ अनुकूलता सुनिश्चित करता है।
4. लचीलापन (Flexibility): यह ढांचा केवल ऑफलाइन डेटा संग्रह के दौरान उपयोग किए जाने वाले LLM प्रॉम्प्ट को संशोधित करके विशिष्ट नीति व्यवहारों (जैसे, "दक्षता-केंद्रित" बनाम "सुरक्षा-केंद्रित") की अनुमति देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे का मूल्यांकन CityFlow बेंचमार्क पर तीन वास्तविक नेटवर्क: जिनान (Jinan), हांग्जो (Hangzhou), और न्यूयॉर्क (New York) (196 इंटरसेक्शन) पर, विभिन्न स्ट्रेस टेस्ट (अत्यधिक मांग वृद्धि, 24-घंटे के चक्र) के तहत किया गया।

• प्रदर्शन लाभ (Performance Gains): C2T ने मजबूत MARL बेसलाइन्स (जैसे, MPLight, CoLight, AttendLight) और LLM-आधारित एजेंटों (LLMLight) को महत्वपूर्ण रूप से पीछे छोड़ दिया।
  • दक्षता: औसत यात्रा समय (ATT) और औसत कतार लंबाई (AQL) को कम किया।
  • सुरक्षा: Time-to-Collision (TTC) पर्सेंटाइल में वृद्धि और अचानक ब्रेक लगाने की घटनाओं में कमी।
  • ऊर्जा: ऊर्जा-संबंधी प्रॉक्सी में सुधार (कम स्टॉप, कम स्पीड वेरिएंस)।
• सामान्यीकरण (Generalization): छोटे नेटवर्क (जिनान) पर प्रशिक्षित मॉडल सफलतापूर्वक बड़े नेटवर्क (न्यूयॉर्क) और विभिन्न शहरों (हांग्जो) में ज़ीरो-शॉट या फ्यू-शॉट अनुकूलन के साथ स्थानांतरित हुए।
• एब्लेशन अध्ययन (Ablation Studies):
  • आंतरिक पुरस्कार को हटाने से प्रदर्शन बेसलाइन स्तर पर गिर गया।
  • सुरक्षा मास्क (safety mask) को हटाने से दक्षता में मामूली सुधार हुआ लेकिन सुरक्षा मेट्रिक्स में भारी गिरावट आई।
  • प्रति-स्ट्रीम सामान्यीकरण (per-stream normalization) को हटाने से प्रशिक्षण अस्थिर हो गया।
  • स्थिर अभिसरण (stable convergence) के लिए करिकुलम शेड्यूल (curriculum schedule) का उपयोग करना आवश्यक था।

5. महत्व (Significance)

यह कार्य यातायात नियंत्रण अनुकूलन में एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है:

• हस्तनिर्मित से सीखे गए पुरस्कारों तक: यह भंगुर, मैन्युअल रूप से डिज़ाइन किए गए मेट्रिक्स से हटकर उच्च-स्तरीय मानव (या AI-सिम्युलेटेड मानव) अंतर्ज्ञान से सीखे गए पुरस्कारों की ओर बढ़ता है।
• अंतराल को पाटना: यह LLMs की व्याख्यात्मकता (interpretability) और RL की दक्षता के बीच के अंतर को सफलतापूर्वक पाटता है, जो नियंत्रण लूप में LLMs का सीधे उपयोग करने की लेटेंसी और स्केलेबिलिटी समस्याओं को हल करता है।
• सुरक्षा-केंद्रित AI: एक जोखिम मास्क को स्पष्ट रूप से शामिल करके, यह ढांचा सुनिश्चित करता है कि "कॉमन सेंस" अनुकूलन कभी भी तत्काल सुरक्षा से समझौता न करे, जो पिछले RL यातायात प्रणालियों के एक महत्वपूर्ण विफलता मोड को संबोधित करता है।
• स्केलेबिलिटी: पुरस्कार शिक्षण की ऑफलाइन प्रकृति इस दृष्टिकोण को ऑनलाइन कम्प्यूटेशनल लागत को बढ़ाए बिना बड़े, जटिल शहरी नेटवर्क के लिए अत्यधिक स्केलेबल बनाती है।

संक्षेप में, C2T यह प्रदर्शित करता है कि MARL में संरचित, LLM-व्युत्पन्न कॉमन सेंस को एकीकृत करने से यातायात नियंत्रण नीतियां न केवल अधिक कुशल होती हैं, बल्कि सुरक्षित, सुचारू और मानव अपेक्षाओं के साथ अधिक संरेखित भी होती हैं।