💻 computer science

Guiding Neuro-Symbolic Scenario Generation with Spatio-Temporal Logic

यह शोध पत्र STRELGen को प्रस्तुत करता है, जो एक स्केलेबल न्यूरो-सिम्बोलिक फ्रेमवर्क है जो रोबस्ट ऑटोनॉमस व्हीकल टेस्टिंग के लिए सुरक्षा-महत्वपूर्ण, यथार्थवादी ड्राइविंग परिदृश्यों को कुशलतापूर्वक उत्पन्न करने हेतु एक मल्टी-एजेंट ट्रैजेक्टरी-जेनरेशन डिफ्यूजन मॉडल को डिफरेंशिएबल स्पैटियो-टेम्पोरल लॉजिक विनिर्देशों के साथ संयोजित करता है।

मूल लेखक: Lorenzo Bonin, Francesco Giacomarra, Luca Bortolussi, Jyotirmoy V. Deshmukh, Francesca Cairoli

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lorenzo Bonin, Francesco Giacomarra, Luca Bortolussi, Jyotirmoy V. Deshmukh, Francesca Cairoli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सेल्फ-ड्राइविंग कार को सड़क पर होने वाली हर संभव स्थिति को संभालना सिखाने की कोशिश कर रहे हैं। इसे करने का पुराना तरीका ऐसा है जैसे समुद्र में कूदकर तैरना सीखने की कोशिश करना और यह उम्मीद करना कि आप डूब न जाएं। आप लाखों वास्तविक दुनिया की दुर्घटनाओं के होने का इंतज़ार करते हैं ताकि आप उनका अध्ययन कर सकें। लेकिन समस्या यह है कि वास्तव में खतरनाक, डरावनी दुर्घटनाएं (यानी "एज केसेस") इतनी दुर्लभ होती हैं कि उन्हें देखने के लिए आपको अपना पूरा जीवन भी इंतज़ार करना पड़ सकता है। यह बहुत धीमा, बहुत महंगा और सांख्यिकीय रूप से बेकार है।

इस पेपर के लेखक, STRELGen, एक स्मार्ट तरीका प्रस्तावित करते हैं: दुर्घटनाओं के होने का इंतज़ार करने के बजाय, वे एक "डिजिटल सिम्युलेटर" बनाते हैं जो ज़रूरत पड़ने पर उन्हें बना (invent) सकता है।

यहाँ बताया गया है कि वे इसे कैसे करते हैं, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. "सपनों वाली" मशीन (डिफ्यूजन मॉडल्स)

एक डिफ्यूजन मॉडल को एक बहुत ही प्रतिभाशाली कलाकार के रूप में सोचें जिसने ट्रैफिक की लाखों तस्वीरों का अध्ययन किया है। यदि आप इस कलाकार से ट्रैफिक सीन बनाने के लिए कहते हैं, तो वह एक ऐसा चित्र बना सकता है जो अविश्वसनीय रूप से वास्तविक दिखता है। हालाँकि, यदि आप केवल कहेंगे, "एक ट्रैफिक सीन बनाओ," तो वह एक उबाऊ, सामान्य दृश्य बनाएगा। जब तक आप उसे विशेष रूप से कुछ कहने के लिए नहीं कहेंगे, वह यह नहीं दिखाएगा कि एक कार खतरनाक तरीके से मुड़ रही है या एक पैदल यात्री अचानक सड़क पर आ गया है।

चुनौती यह है: आप कलाकार को भौतिकी के नियमों को तोड़े बिना या तस्वीर को कार्टून जैसा बनाए बिना, कुछ विशिष्ट और खतरनाक बनाने के लिए कैसे कह सकते हैं?

2. "नियम पुस्तिका" (स्पैटियो-टेम्पोरल लॉजिक)

इस समस्या को हल करने के लिए, लेखकों ने एक विशेष नियम पुस्तिका बनाई जिसे STREL (स्पैटियो-टेम्पोरल रीच एंड एस्केप लॉजिक) कहा जाता है।

मानक लॉजिक (STL): कल्पना करें कि एक नियम पुस्तिका है जो कहती है, "कार को पैदल यात्री के करीब होना चाहिए।" यह एक कार के लिए ठीक है, लेकिन यदि आपके पास 50 कारें, 10 पैदल यात्री और 5 बाइक हैं, तो नियम पुस्तिका निर्देशों का एक उलझा हुआ जाल बन जाएगी जिसे पढ़ना या पालन करना असंभव होगा।
नई नियम पुस्तिका (कलर्ड STREL): लेखकों ने Colored STREL नामक एक अपग्रेड का आविष्कार किया है। कल्पना करें कि ट्रैफिक सीन एक विशाल बोर्ड गेम है। हर टुकड़े के साथ एक जैसा व्यवहार करने के बजाय, वे टुकड़ों को अलग-अलग रंगों से पेंट करते हैं: कारों के लिए लाल, बाइक्स के लिए नीला, और पैदल यात्रियों के लिए हरा।
- अब, नियम पुस्तिका कह सकती है: "एक लाल टुकड़ा खोजें जो तेज़ी से चल रहा है और एक नीले टुकड़े के बहुत करीब आने वाला है।"
- क्योंकि नियम रंगों पर आधारित हैं, कंप्यूटर सड़क उपयोगकर्ताओं के विभिन्न प्रकारों के बीच जटिल अंतःक्रियाओं को बिना भ्रमित हुए आसानी से समझ सकता है।

3. "मार्गदर्शन प्रणाली" (ग्रेडिएंट सर्च)

यही असली जादू है। आमतौर पर, एक बार जब कलाकार (AI) अपना चित्र बना लेता है, तो आप इसे दोबारा शुरू किए बिना बदल नहीं सकते। लेकिन क्योंकि लेखकों ने अपनी नियम पुस्तिका को गणितीय रूप से सुगम (डिफरेंशिएबल) बनाया है, इसलिए वे इसका उपयोग एक GPS के रूप में कर सकते हैं।

वे एक यादृच्छिक "सपना" (एक लेटेंट इनपुट) से शुरू करते हैं जिसे AI ट्रैफिक सीन में बदल देता है।
वे सीन की जांच अपनी Colored STREL नियम पुस्तिका के विरुद्ध करते हैं।
यदि सीन पर्याप्त खतरनाक नहीं है (उदाहरण के लिए, तेज़ कार अभी भी बाइक से बहुत दूर है), तो सिस्टम ठीक से गणना करता है कि मूल "सपने" में कैसे बदलाव किया जाए ताकि कार और करीब आ सके।
यह प्रक्रिया हजारों बार दोहराई जाती है, जो AI को एक ऐसा दृश्य बनाने के लिए प्रेरित करती है जो पूरी तरह से वास्तविक (यह वास्तविक ट्रैफिक जैसा दिखता है) है लेकिन विशेष रूप से एक सुरक्षा परीक्षण के रूप में डिज़ाइन किया गया है (यह एक बाल-बाल बचने वाली स्थिति पैदा करता है)।

4. "सुरक्षा जाल" (रेगुलराइजेशन)

एक जोखिम है: यदि आप AI को दुर्घटना पैदा करने के लिए बहुत अधिक मजबूर करते हैं, तो वह आसमान में उड़ती हुई कारें या फुटपाथ पर चलती कारें बनाना शुरू कर सकता है। वह एक उपयोगी परीक्षण नहीं है।
इसे रोकने के लिए, लेखकों ने एक "रियलिटी चेक" (रेगुलराइजेशन) जोड़ा है। यह एक क्लब के बाउंसर की तरह है। सिस्टम कहता है, "आप एक खतरनाक परिदृश्य बना सकते हैं, लेकिन केवल तभी जब यह अभी भी ऐसा दिखे जो वास्तविक दुनिया में हो सकता है।" यह सुनिश्चित करता है कि उत्पन्न दुर्घटनाएं विश्वसनीय हों, न कि केवल कल्पना मात्र।

परिणाम

पेपर दिखाता है कि यह तरीका काम करता है। उन्होंने इसका उपयोग तीन विशिष्ट प्रकार के डरावने परिदृश्य उत्पन्न करने के लिए किया:

तेज़ वाहन जो बाइक्स या पैदल यात्रियों के खतरनाक रूप से करीब आ रहे हैं।
तेज़ कारें जो धीमी कारों के पीछे बहुत करीब (टेलगेटिंग) चल रही हैं (पीछे से टक्कर का जोखिम)।
आक्रामक ड्राइवर जो धीमे ट्रैफिक से घिर गए हैं।

अपने परीक्षणों में, अनगाइडेड (बिना मार्गदर्शन वाला) AI शायद ही कभी इन खतरनाक स्थितियों को बनाता था। लेकिन उनके STRELGen मार्गदर्शन के साथ, वे इन विशिष्ट "सुरक्षा-महत्वपूर्ण" दृश्यों को विश्वसनीय रूप से उत्पन्न कर सके जो वास्तविक दुनिया के डेटा में कम प्रतिनिधित्व वाले हैं।

संक्षेप में: उन्होंने एक ऐसा टूल बनाया है जो इंजीनियरों को एक सेल्फ-ड्राइविंग कार सिम्युलेटर से पूछने की अनुमति देता है, "एक वास्तविक परिदृश्य दिखाएं जहां एक तेज़ कार लगभग एक साइकिल चालक से टकराते-टकराते बची हो," और सिम्युलेटर बिना वास्तविक जीवन में इसके होने का इंतज़ार किए, तुरंत परीक्षण के लिए वही सटीक परिदृश्य तैयार कर देता है।

तकनीकी सारांश: स्थानिक-कालिक तर्क (Spatio-Temporal Logic) के साथ न्यूरो-सिम्बोलिक परिदृश्य पीढ़ी का मार्गदर्शन

समस्या विवरण
स्वायत्त ड्राइविंग (AD) प्रौद्योगिकियों की तीव्र प्रगति ने मजबूत सुरक्षा मूल्यांकन विधियों के विकास की तुलना में अधिक गति पकड़ ली है। पारंपरिक परीक्षण वास्तविक दुनिया के ट्रैफ़िक दृश्यों की विशाल संख्या के ब्रूट-फोर्स एक्सपोज़र पर निर्भर करता है, जो एक ऐसी रणनीति है जो अत्यधिक महंगी और दुर्लभ, सुरक्षा-महत्वपूर्ण 'एज केसेस' (edge cases) को पकड़ने में सांख्यिकीय रूप से अप्रभावी है। डीप जनरेटिव मॉडल, विशेष रूप से डिफ्यूजन मॉडल (DMs), यद्यपि यथार्थवादी मल्टी-एजेंट प्रक्षेपवक्रों (trajectories) को संश्लेषित करने के लिए एक आशाजनक विकल्प प्रदान करते हैं, लेकिन उनमें बिना रिट्रेनिंग के विशिष्ट, सुरक्षा-महत्वपूर्ण व्यवहारों की ओर पीढ़ी को स्पष्ट रूप से निर्देशित करने वाले तंत्रों का अभाव है। मौजूदा मार्गदर्शन दृष्टिकोण अक्सर ट्रैफ़िक डोमेन की स्थानिक-कालिक (spatio-temporal) और मल्टी-एजेंट जटिलता के साथ संघर्ष करते हैं। इसके अलावा, सिग्नल टेंपोरल लॉजिक (STL) जैसे औपचारिक तरीके मल्टी-एजेंट सिस्टम में संयोजी विस्फोट (combinatorial explosion) का सामना करते हैं, जो विषम एजेंटों के बीच अंतःक्रियाओं को निर्दिष्ट करने के लिए आवश्यक होता है। श्रेणीगत गुणों (जैसे वाहन के प्रकार) वाले गुणों के लिए मात्रात्मक सुदृढ़ता (quantitative robustness) को परिभाषित करने में एक महत्वपूर्ण अंतराल बना हुआ है, जो अनुकूलन के लिए एक विभेदक उद्देश्य (differentiable objective) के रूप में औपचारिक तर्क के उपयोग को सीमित करता है।

कार्यप्रणाली
लेखक STRELGen प्रस्तावित करते हैं, जो एक स्केलेबल फ्रेमवर्क है जो एक मल्टी-एजेंट प्रक्षेपवक्र-जनरेशन डिफ्यूजन मॉडल को कलर्ड स्पैटियो-टेम्पोरल रीच एंड एस्केप लॉजिक (CSTREL) के साथ तालमेल बिठाता है। यह कार्यप्रणाली तीन मुख्य चरणों में संचालित होती है:

प्रक्षेपवक्र पीढ़ी बेसलाइन: सिस्टम [23] के आर्किटेक्चर पर आधारित एक लेटेंट डिफ्यूजन मॉडल (LDM) का उपयोग करता है। यह मॉडल सीन कॉन्टेक्स्ट (मैप्स, हिस्ट्री, इंटरैक्शन) को प्री-ट्रेंड QCNet के माध्यम से एनकोड करके सभी एजेंटों के भविष्य के प्रक्षेपवक्रों को संयुक्त रूप से उत्पन्न करता है। लेखक स्थिर ग्रेडिएंट बैकप्रोपैगेशन को सुगम बनाने के लिए इम्पलिसिट फॉर्मुलेशन (DDIM) का उपयोग करते हैं।
कलर्ड STREL (CSTREL): श्रेणीगत विधेयों (categorical predicates) के संबंध में मानक स्पैटियो-टेम्पोरल लॉजिक (STREL) की सीमाओं को दूर करने के लिए, लेखक CSTREL पेश करते हैं। यह लॉजिक स्थानिक ग्राफ को एजेंट गुणों (जैसे कार, पैदल यात्री, साइकिल) के आधार पर रंग-विशिष्ट सबग्राफ में विभाजित करता है।
- डिफरेंशिएबल सिमेंटिक्स: CSTREL, एक कलरिंग फंक्शन $p: L \times \mathbb{R}^+ \to C$ को परिभाषित करके STREL का विस्तार करता है। यह "कलर्ड एटम्स" और "कलर्ड रीच/एस्केप" ऑपरेटर्स पेश करता है जो विशिष्ट कलर सेट्स से मेल खाने वाले नोड्स तक पथ खोज (path search) को प्रतिबंधित करते हैं। महत्वपूर्ण रूप से, यह विस्तार डिस्क्रीट श्रेणीगत गुणों से भी निरंतर सुदृढ़ता मान प्राप्त करने की अनुमति देता है, जिससे यह लॉजिक पूरी तरह से डिफरेंशिएबल बन जाता है।
- कार्यान्वयन: इन सुदृढ़ता मानों की गणना करने के लिए एक PyTorch लाइब्रेरी विकसित की गई, जिससे ग्रेडिएंट-आधारित अनुकूलन संभव हुआ।
लेटेंट स्पेस गाइडेंस: इंफरेंस के समय, फ्रेमवर्क एक पूर्व-प्रशिक्षित डिफ्यूजन मॉडल के लेटेंट इनपुट $z$ $z$ को एक CSTREL फॉर्मूला $\phi$ $ϕ$ की संतुष्टि को अधिकतम करने के लिए अनुकूलित करता है।
- ऑब्जेक्टिव फंक्शन: अनुकूलन एक सुदृढ़ता मीट्रिक $\rho_\phi(G_\theta(z))$ को अधिकतम करता है। सुरक्षा-महत्वपूर्ण परिदृश्यों के लिए, एजेंटों के बीच अधिकतम सुदृढ़ता को लक्षित किया जाता है; यथार्थवाद के लिए, न्यूनतम का उपयोग किया जाता है।
- रेगुलराइजेशन: अनुकूलन को लेटेंट स्पेस के लो-प्रोबेबिलिटी क्षेत्रों (ऑफ-मैनिफोल्ड सैंपल्स) में जाने से रोकने के लिए, लेटेंट इनपुट के लॉग-लाइक्लीहुड (मानक गौसियन प्रायर मानते हुए) के आनुपातिक एक रेगुलराइजेशन टर्म जोड़ा जाता है। अंतिम ऑब्जेक्टिव $J(z) = \rho_\phi(G_\theta(z)) - \lambda \frac{1}{2}\|z\|_2^2$ है।

प्रमुख योगदान

कलर्ड STREL: STREL का एक नवीन विस्तार जो नोड एट्रिब्यूट्स द्वारा स्थानिक ग्राफ को विभाजित करता है। यह विशिष्ट ऑब्जेक्ट क्लासेस के माध्यम से जटिल स्थानिक गुणों की निगरानी करने में सक्षम बनाता है, जबकि निरंतर सुदृढ़ता सिमेंटिक्स बनाए रखता है, जो श्रेणीगत डेटा के लिए अनिश्चित मात्रात्मक सिमेंटिक्स की समस्या को हल करता है।
डिफरेंशिएबल गाइडेंस फ्रेमवर्क: एक विधि जो जनरेटिव मॉडल्स के लेटेंट स्पेस को सीधे अनुकूलित करने के लिए CSTREL स्पेसिफिकेशन को ऑब्जेक्टिव फंक्शन्स के रूप में उपयोग करती है। यह मॉडल को बिना रिट्रेनिंग के स्पैटियो-टेम्पोरल आवश्यकताओं को संतुष्ट करने वाले प्रक्षेपवक्रों के उत्पादन की अनुमति देता है।
सेफ्टी-क्रिटिकल डेटा ऑग्मेंटेशन: विविध, यथार्थवादी और सुरक्षा-महत्वपूर्ण परिदृश्यों को उत्पन्न करने की एक रणनीति जो वास्तविक दुनिया के डेटा में कम प्रतिनिधित्व वाले हैं, जो ट्रैफ़िक नियमों के साथ निरंतरता सुनिश्चित करती है और लाइक्लीहुड रेगुलराइजेशन के माध्यम से अवास्तविक आउटपुट को रोकती है।

परिणाम
इस दृष्टिकोण का मूल्यांकन Argoverse 2 मोशन फोरकास्टिंग डेटासेट पर तीन प्रतिनिधि सुरक्षा-महत्वपूर्ण परिदृश्यों के माध्यम से किया गया: एक तेज़ वाहन जो एक संवेदनशील सड़क उपयोगकर्ता (vulnerable road user) तक पहुँच रहा है, एक तेज़ वाहन जो आगे एक धीमे वाहन को पाता है, और एक तेज़ कार जो धीमी कारों से घिरी हुई है।

स्टीयरिंग प्रभावशीलता: STRELGen ने डिफ्यूजन मॉडल को लक्षित CSTREL स्पेसिफिकेशन्स को संतुष्ट करने वाले प्रक्षेपवक्य उत्पन्न करने के लिए सफलतापूर्वक निर्देशित किया। अनगाइडेड सैंपलिंग में, केवल ~13.6% परिदृश्य चुनौतीपूर्ण (पॉजिटिव रोबस्टनेस) थे, जबकि गाइडेड दृष्टिकोण ने 100% संतुष्टि प्राप्त की।
सुरक्षा मीट्रिक्स: गाइडेड जनरेशन ने वैनिला बेसलाइन की तुलना में लगातार कम मीडियन मिनिमम इंटर-एजेंट डिस्टेंस और संभावित टक्करों की उच्च संख्या उत्पन्न की, जो सुरक्षा-महत्वपूर्ण व्यवहारों के निर्माण की पुष्टि करती है।
प्लाउसिबिलिटी (Plausibility): गुणात्मक विश्लेषण और लाइक्लीहुड रेगुलराइजेशन के उपयोग ने यह सुनिश्चित किया कि उत्पन्न प्रक्षेपवक्य भौतिक रूप से यथार्थवादी बने रहें और सड़क की ज्यामिति के अनुरूप हों, जिससे ऑफ-मैनिफोल्ड हैलुसिनेशन से बचा जा सके। पद्धति ने भौतिक बाधाओं के संरक्षण के साथ स्पेसिफिकेशन-ड्रिवन ऑप्टिमाइजेशन को सफलतापूर्वक संतुलित किया।

महत्व
पेपर का दावा है कि STRELGen स्वायत्त ड्राइविंग सिस्टम के स्ट्रेस-टेस्टिंग के लिए एक लचीला, व्याख्या योग्य और शक्तिशाली उपकरण प्रदान करता है। डेटा-ड्रिवन जनरेटिव मॉडल्स और औपचारिक तर्क (formal logic) के बीच के अंतर को पाटकर, यह फ्रेमवर्क ब्रूट-फोर्स डेटा संग्रह की सीमाओं से आगे बढ़ता है। यह दुर्लभ घटनाओं के संबंध में जनरेटिव मॉडल कवरेज के व्यवस्थित मूल्यांकन को सक्षम बनाता है और लक्षित सुरक्षा-महत्वपूर्ण परिदृश्यों के निर्माण की अनुमति देता है जो सीखे गए डेटा वितरण के भीतर हैं। लेखक का मानना है कि यह दृष्टिकोण वास्तविक दुनिया की मजबूती को मान्य करने के लिए आवश्यक कठोर परीक्षण वातावरण बनाने की सुविधा प्रदान करता है, जो अधिक विश्वसनीय स्वायत्त वाहन तैनाती की दिशा में एक मार्ग प्रस्तुत करता है।

1. "सपनों वाली" मशीन (डिफ्यूजन मॉडल्स)

2. "नियम पुस्तिका" (स्पैटियो-टेम्पोरल लॉजिक)

3. "मार्गदर्शन प्रणाली" (ग्रेडिएंट सर्च)

4. "सुरक्षा जाल" (रेगुलराइजेशन)

परिणाम

इसी तरह के और पेपर