💻 computer science

ClimaOoD: Improving Anomaly Segmentation via Physically Realistic Synthetic Data

यह शोध पत्र ClimaDrive को पेश करता है, जो भौतिक रूप से यथार्थवादी और मौसम-विविध सिंथेटिक विसंगति डेटा उत्पन्न करने के लिए एक ढांचा है, और इसका उपयोग ClimaOoD बेंचमार्क बनाने के लिए किया जाता है, जो ओपन-वर्ल्ड स्वायत्त ड्राइविंग परिदृश्यों में विसंगति विभाजन (anomaly segmentation) मॉडलों की सामान्यीकरण और मजबूती को महत्वपूर्ण रूप से बढ़ाता है।

मूल लेखक: Yuxing Liu, Zheng Li, Huanhuan Liang, Ji Zhang, Zeyu Sun, Yong Liu

प्रकाशित 2026-02-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuxing Liu, Zheng Li, Huanhuan Liang, Ji Zhang, Zeyu Sun, Yong Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सेल्फ-ड्राइविंग कार को गाड़ी चलाना सिखा रहे हैं। आप उसे सामान्य सड़कों की हजारों तस्वीरें दिखाते हैं: कारें, पैदल यात्री, ट्रैफिक लाइट और साफ आसमान। कार इन चीजों को पूरी तरह से पहचानना सीख लेती है।

लेकिन फिर, आप कार को एक असली सड़क पर ले जाते हैं, और अचानक, एक गाय हाईवे के बीच में खड़ी हो जाती है, या एक सोफा ट्रक से गिरकर सड़क पर आ जाता है क्योंकि भारी तूफान चल रहा है। कार घबरा जाती है। उसे समझ नहीं आता कि क्या करना है क्योंकि उसने कभी हाईवे पर गाय नहीं देखी है, खासकर बारिश के दौरान।

यही वह समस्या है जिसे "ClimaOoD" नामक पेपर हल करने की कोशिश करता है। यहाँ इसका सरल विवरण दिया गया है:

1. समस्या: गायब डेटा का "चिड़ियाघर" (The "Zoo" of Missing Data)

वर्तमान सेल्फ-ड्राइविंग AI एक ऐसे छात्र की तरह है जिसने केवल एक लाइब्रेरी में पढ़ाई की है जहाँ रोशनी एकदम सही थी और कोई व्याकुलता नहीं थी।

द गैप (The Gap): वास्तविक दुनिया की ड्राइविंग अव्यवस्थित होती है। यह बर्फबारी, कोहरे, रात के समय और सुरंगों में होती है। इसमें अजीब, अप्रत्याशित चीजें (Out-of-Distribution या "OoD" ऑब्जेक्ट्स) भी शामिल होती हैं जैसे जानवर, मलबा, या निर्माण उपकरण।
पुराना तरीका: इन अजीब चीजों के बारे में AI को सिखाने के लिए, शोधकर्ता पहले दो तरीकों का उपयोग करते थे:
1. "कट-एंड-पेस्ट" तरीका: वे चिड़ियाघर से गाय की एक तस्वीर लेते थे, उसे काटते थे, और सड़क की फोटो पर चिपका देते थे। परिणाम: गाय नकली लगती है। वह बहुत चमकदार होती है, उसकी कोई छाया नहीं होती, और वह एक स्टिकर की तरह दिखती है। AI "स्टिकर" को पहचानना सीख जाता है, असली गाय को नहीं।
2. "मैजिक पेंट" तरीका: उन्होंने एक गाय को सड़क के दृश्य में "पेंट" करने के लिए AI का उपयोग किया। परिणाम: गाय आसमान में तैरती हुई, किसी इमारत के आधे अंदर, या एक पिघले हुए ढेर की तरह दिख सकती है। इसमें भौतिक तर्क (physical logic) की कमी होती है।

2. समाधान: "ClimaDrive" (एक यथार्थवादी सिम्युलेटर)

लेखकों ने ClimaDrive नामक एक नया सिस्टम बनाया है। इसे AI को प्रशिक्षित करने के लिए एक सुपर-रियलिस्टिक वीडियो गेम इंजन के रूप में सोचें, लेकिन यह केवल ग्राफिक्स बनाने के बजाय, भौतिकी (physics) और संदर्भ (context) को समझता है।

"आर्किटेक्ट" (सिमेंटिक गाइडेंस): कुछ भी बनाने से पहले, सिस्टम सड़क के "ब्लूप्रिंट" (semantic map) को देखता है। उसे पता होता है कि चलने योग्य सड़क कहाँ है और फुटपाथ कहाँ है।
"डायरेक्टर" (टेक्स्ट प्रॉम्प्ट्स): आप सिस्टम को बताते हैं, "एक बरसाती सुरंग में एक घोड़ा रखो।"
"जादू" (परिप्रेक्ष्य और भौतिकी):
- आकार मायने रखता है: सिस्टम जानता है कि यदि घोड़ा दूर है, तो उसे छोटा होना चाहिए। यदि वह पास है, तो उसे बड़ा होना चाहिए। यह एक छोटी कार के बगल में एक विशाल घोड़ा नहीं रखेगा।
- स्थान मायने रखता है: वह जानता है कि घोड़ा सड़क पर होना चाहिए, बादलों में तैरता हुआ नहीं या किसी ठोस दीवार के अंदर नहीं।
- मौसम मायने रखता है: वह केवल वहां एक घोड़ा नहीं रखता; वह घोड़े पर गिरती बारिश, धुंध के कारण होने वाली अस्पष्टता और गीली सड़क पर पड़ने वाले प्रतिबिंब को भी चित्रित करता है।

3. परिणाम: "ClimaOoD" (अंतिम प्रशिक्षण नियमावली)

इस नए सिम्युलेटर का उपयोग करके, उन्होंने ClimaOoD नामक एक विशाल नया डेटासेट बनाया है।

पैमाना (Scale): यह 10,000 से अधिक पृष्ठों वाले प्रशिक्षण परिदृश्यों (scenarios) वाली एक लाइब्रेरी की तरह है।
विविधता (Diversity): यह 6 अलग-अलग प्रकार के स्थानों (हाईवे, सुरंग, शहर की सड़कें, आदि) और 6 अलग-अलग मौसम स्थितियों (बारिश, बर्फबारी, कोहरा, रात, आदि) को कवर करता है।
विभिन्नता (Variety): इसमें 93 अलग-अलग प्रकार की अजीब वस्तुएं (कुत्तों से लेकर सोफे और निर्माण क्रेन तक) शामिल हैं।

4. यह क्यों महत्वपूर्ण है: "टेस्ट ड्राइव"

शोधकर्ताओं ने चार सबसे स्मार्ट मौजूदा सेल्फ-ड्राइविंग AI मॉडल्स को लिया और उन्हें इस नए डेटा का उपयोग करके एक "टेस्ट ड्राइव" दिया।

पहले: मॉडल धूप वाले, साफ शहरों में अजीब चीजों को पहचानने में ठीक थे। लेकिन बारिश या रात में, वे अक्सर विफल हो जाते थे।
बाद में: ClimaOoD डेटासेट पर प्रशिक्षण के बाद, मॉडल बहुत अधिक मजबूत हो गए। उन्होंने सीखा कि एक "गीली, धुंधली गाय" को उतनी ही अच्छी तरह पहचानना है जितना कि एक "धूप वाली, साफ गाय" को।
आंकड़े: मॉडल्स ने कम गलतियाँ (false alarms) कीं और वास्तविक खतरों को अधिक पकड़ा। यह एक छात्र को शांत कक्षा में "C" औसत से बदलकर एक "A" ग्रेड वाले छात्र में अपग्रेड करने जैसा है जो एक अराजक परीक्षा हॉल को भी संभाल सकता है।

बड़ी तस्वीर का रूपक (The Big Picture Analogy)

कल्पना कीजिए कि आप एक सुरक्षा गार्ड को घुसपैठियों को पहचानने के लिए प्रशिक्षित कर रहे हैं।

पुराना तरीका: आप उन्हें पत्रिकाओं से काटकर दीवार पर चिपकाए गए घुसपैठियों के फोटो दिखाते हैं। गार्ड "चिपके हुए कागज" को पहचानना सीख जाता है, न कि असली लोगों को।
नया तरीका (ClimaOoD): आप एक जीवन के आकार का, यथार्थवादी प्रशिक्षण केंद्र बनाते हैं। आपके पास अभिनेता (घुसपैठिए) हैं जो बारिश में, अंधेरे में, खंभों के पीछे और सुरंगों में छिपे हुए हैं। आप गार्ड को सिखाते हैं कि कोहरे में रोशनी व्यक्ति पर कैसे पड़ती है।
परिणाम: जब एक असली घुसपैटा वास्तविक तूफान में आता है, तो आपका गार्ड तैयार होता है। वे मौसम या अजीब स्थान से भ्रमित नहीं होते।

संक्षेप में: यह पेपर सेल्फ-ड्राइविंग कारों को एक बेहतर "ट्रेनिंग कैंप" देता है जो वास्तविक दुनिया की अव्यवस्थित, अप्रत्याशित और अजीब वास्तविकता का अनुकरण करता है, जिससे वे अधिक सुरक्षित और स्मार्ट बनते हैं।

यहाँ शोध पत्र "ClimaOoD: Physically Realistic Synthetic Data के माध्यम से Anomaly Segmentation में सुधार" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

Anomaly segmentation सुरक्षित स्वायत्त ड्राइविंग (autonomous driving) के लिए महत्वपूर्ण है, जिसका लक्ष्य उन Out-of-Distribution (OoD) वस्तुओं (जैसे: गिरा हुआ कार्गो, जानवर, निर्माण उपकरण) का पता लगाना और उन्हें स्थानीयकृत (localize) करना है जो पूर्व-निर्धारित सिमेंटिक वर्गों का हिस्सा नहीं हैं। हालाँकि, वर्तमान दृष्टिकोण दो प्रमुख बाधाओं का सामना करते हैं:

डेटा की कमी और विविधता का अभाव: वास्तविक दुनिया की असामान्य घटनाएँ दुर्लभ और अप्रत्याशित होती हैं। मौजूदा बेंचमार्क (जैसे: LostAndFound, Fishyscapes) स्पष्ट मौसम और शहरी सड़क दृश्यों तक सीमित हैं, जो टनल, हाईवे या प्रतिकूल मौसम (बारिश, कोहरा, बर्फ) जैसे जटिल वातावरणों को कवर करने में विफल रहते हैं।
सिंथेटिक डेटा की सीमाएँ: मौजूदा सिंथेटिक डेटा जनरेशन विधियों में महत्वपूर्ण डोमेन गैप (domain gaps) होते हैं:
- Copy-Paste: यह प्रासंगिक निरंतरता (contextual consistency) बनाए रखने में विफल रहता है, जिसके परिणामस्वरूप लाइटिंग, शैडो और ज्योमेट्री का बेमेल होना होता है।
- Text-to-Image Diffusion: अक्सर इसमें भौतिक यथार्थवाद (physical realism) की कमी होती है, जिससे अवास्तविक वस्तु प्लेसमेंट (गलत स्केल, तैरती हुई वस्तुएं, या गलत परिप्रेक्ष्य) और संरचनात्मक विसंगतियाँ उत्पन्न होती हैं।

2. कार्यप्रणाली: ClimaDrive फ्रेमवर्क (Methodology: The ClimaDrive Framework)

लेखक ClimaDrive का प्रस्ताव करते हैं, जो एक एकीकृत, सिमेंटिक्स-गाइडेड इमेज-टू-इमेज फ्रेमवर्क है जिसे भौतिक रूप से प्रशंसनीय (physically plausible) और सिमेंटिक रूप से सुसंगत OoD डेटा उत्पन्न करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क दो मुख्य घटकों से बना है:

A. मल्टी-सीन वेदर जनरेटर (Multi-Scene Weather Generator)

लक्ष्य: स्थानिक संरचना (spatial structure) को संरक्षित करते हुए विभिन्न मौसम स्थितियों के तहत विविध ड्राइविंग दृश्य उत्पन्न करना।
तंत्र: यह Stable Diffusion पर फाइन-ट्यून किए गए ControlNet का उपयोग करता है।
- इनपुट: एक सिमेंटिक मैप ( $S_{sem}$ ) और एक टेक्स्ट प्रॉम्प्ट ( $p$ ) जो दृश्य विशेषताओं (मौसम, दृश्य प्रकार, समय) और इमेज कैप्शन (BLIP के माध्यम से) से प्राप्त होता है।
- प्रक्रिया: मॉडल सिमेंटिक मैप और प्रॉम्प्ट के आधार पर एक छवि $\tilde{I}$ को सिंथेसाइज करता है, जो मौसम (बारिश, बर्फ, कोहरा) और लाइटिंग में यथार्थवादी विविधताओं को पेश करते हुए ज्यामितीय संरेखण सुनिश्चित करता है।

B. AnomPlacer (Anomaly Placement & Inpainting)

लक्ष्य: परिप्रेक्ष्य (perspective) और ड्राइविंग योग्य बाधाओं का सम्मान करते हुए दृश्यों के भीतर OoD वस्तुओं को यथार्थवादी तरीके से रखना।
तंत्र:
1. Drivable Region Extraction: सिमेंटिक लेआउट से ड्राइविंग योग्य क्षेत्रों की पहचान करता है।
2. Perspective-Aware Sampling: रैंडम सैंपलिंग के बजाय, यह इमेज हाइट ( $H$ ) और वर्टिकल पोजीशन ( $y_i$ ) के आधार पर एडजस्ट किए गए स्केल के साथ सूडो-बाउंडिंग बॉक्स ( $B$ ) बनाता है ताकि गहराई ( $h_i \propto H/y_i$ ) का अनुकरण किया जा सके। यह सुनिश्चित करता है कि दूर स्थित वस्तुएं छोटी दिखाई दें।
3. Detection Backbone: एक ट्रेन करने योग्य डिटेक्शन मॉड्यूल ( $F_\theta$ ) एडजस्ट किए गए बाउंडिंग बॉक्स की भविष्यवाणी करता है, जिसे लोकलाइजेशन लॉस ( $L_{box}$ ) का उपयोग करके हंगेरियन-मैच्ड (Hungarian-matched) सूडो-बॉक्सेस द्वारा सुपरवाइज किया जाता है।
4. Diffusion Inpainting: डिफ्यूजन मॉडल ग्लोबल सीन कॉन्टेक्स्ट ( $S_{scene}$ ) और विशिष्ट ऑब्जेक्ट कॉन्सेप्ट ( $t_j$ , जैसे: "सोफा") की स्थिति में प्रेडिक्टेड बॉक्सेस को असामान्य वस्तुओं ( $\tilde{O}_j$ ) के साथ भर देता है।
5. Refinement: बाउंड्री स्मूथनेस के लिए सटीक एनोमली मास्क उत्पन्न करने हेतु Grounding-SAM का उपयोग किया जाता है, जिसे शोर-डिनोइस (noise-denoise) प्रक्रिया के माध्यम से और अधिक रिफाइन किया जाता है।

ट्रेनिंग ऑब्जेक्टिव: फ्रेमवर्क एक संयुक्त लॉस फंक्शन $L_{total} = L_{box} + L_{inpaint}$ को ऑप्टिमाइज़ करता है, जिसे दो चरणों में प्रशिक्षित किया जाता है (पहले लोकलाइजेशन प्री-ट्रेनिंग, फिर जॉइंट ऑप्टिमाइजेशन)।

3. मुख्य योगदान: ClimaOoD डेटासेट (Key Contributions: The ClimaOoD Dataset)

ClimaDrive फ्रेमवर्क पर आधारित, लेखक एनोमली सेगमेंटेशन के लिए एक बड़े पैमाने के बेंचमार्क, ClimaOoD को पेश करते हैं:

स्केल: ट्रेनिंग के लिए 10,000 से अधिक हाई-फिडेलिटी इमेज-मास्क पेयर्स और एक क्यूरेटेड 1,200 इमेज का टेस्ट सेट।
विविधता:
- परिदृश्य (Scenarios): 6 विशिष्ट ड्राइविंग वातावरण (सिटी स्ट्रीट, हाईवे, टनल, गैस स्टेशन, रेजिडेंशियल, पार्किंग लॉट)।
- मौसम (Weather): 6 स्थितियाँ (क्लियर, रेन, फॉग, स्नो, क्लाउडी, नाइट)।
- विसंगतियाँ (Anomalies): 93 एनोमली कैटेगरी (जानवर, वाहन, बाधाएं) अलग-अलग स्केल्स के साथ।
तुलना: मौजूदा डेटासेट्स जैसे Fishyscapes (1 लैंडफॉर्म, 7 एनोमली, क्लियर वेदर) या RoadAnomaly (3 लैंडफॉर्म, 21 एनोमली) की तुलना में काफी व्यापक कवरेज।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने ClimaOoD बनाम ओरिजिनल डेटासेट्स पर प्रशिक्षित चार स्टेट-ऑफ-द-आर्ट एनोमली सेगमेंटेशन मेथड्स (RPL, Mask2Anomaly, RbA, UNO) का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains): ClimaOoD के साथ ट्रेनिंग करने से सभी मेथड्स में मजबूत सुधार हुआ:
- AUROC: औसतन 0.66% बढ़ा।
- Average Precision (AP): 3.25% बढ़ा।
- FPR95 (95% रिकॉल पर फॉल्स पॉजिटिव रेट): उल्लेखनीय रूप से कम हुआ (उदाहरण के लिए, Fishyscapes LAF पर RbA 3.97% से गिरकर 3.52% हो गया), जो बेहतर विश्वसनीयता और कम गलत अलार्म को दर्शाता है।
सामान्यीकरण (Generalization): केवल क्लियर-वेदर सिटी डेटा पर प्रशिक्षित मॉडल्स की तुलना में ClimaOoD पर प्रशिक्षित मॉडल्स ने प्रतिकूल मौसम और जटिल दृश्यों में बेहतर मजबूती दिखाई।
एब्लेशन स्टडीज (Ablation Studies):
- Full ClimaOoD बनाम Partial: पूरे डेटासेट (सभी मौसम/सीन) पर ट्रेनिंग करने से केवल "क्लियर एंड सिटी स्ट्रीट" पर ट्रेनिंग करने की तुलना में बेहतर प्रदर्शन हुआ, जो पर्यावरणीय विविधता के महत्व को सिद्ध करता है।
- फ्रेमवर्क कंपोनेंट्स: पर्सपेक्टिव प्रायर या बॉक्स सुपरविजन को हटाने से प्रदर्शन में गिरावट आई (उच्च FID/LPIPS, कम PCC), जो पुष्टि करता है कि यथार्थवादी सिंथेसिस के लिए भौतिक बाधाएं आवश्यक हैं।
- बैकबोन सिलेक्शन: क्वालिटी और एफिशिएंसी के संतुलन के लिए SD2 को डिफ्यूजन बैकबोन के रूप में चुना गया, जबकि डिटेक्शन मॉड्यूल के लिए DINO (Swin-B) का चयन किया गया।

5. महत्व (Significance)

डोमेन गैप को पाटना: भौतिक बाधाओं (परिप्रेक्ष्य, स्केल, ड्राइविंग योग्य क्षेत्र) और सिमेंटिक निरंतरता को लागू करके, ClimaDrive ऐसा सिंथेटिक डेटा उत्पन्न करता है जो वास्तविक दुनिया के वितरण के बहुत करीब है, जिससे सिंथेटिक ट्रेनिंग और वास्तविक दुनिया के परिनियोजन (deployment) के बीच का अंतर कम हो जाता है।
सुरक्षा बढ़ाना: विविध, प्रतिकूल मौसम स्थितियों और विभिन्न एनोमली प्रकारों पर मॉडल्स को प्रशिक्षित करने की क्षमता स्वायत्त ड्राइविंग में "लॉन्ग-टेल" (long-tail) समस्या को सीधे संबोधित करती है, जिससे अनिश्चित ओपन-वर्ल्ड परिदृश्यों में सिस्टम अधिक विश्वसनीय बनते हैं।
नया बेंचमार्क: ClimaOoD एनोमली सेगमेंटेशन के मूल्यांकन के लिए एक नया मानक स्थापित करता है, जो सरल शहरी/क्लियर-वेदर परीक्षणों से आगे बढ़कर व्यापक, मल्टी-कंडीशन असेसमेंट की ओर बढ़ता है।

निष्कर्षतः, यह पेपर प्रदर्शित करता है कि फिजिकली रियलिस्टिक सिंथेटिक डेटा जनरेशन एनोमली सेगमेंटेशन में डेटा की कमी को दूर करने के लिए एक व्यवहार्य और अत्यधिक प्रभावी रणनीति है, जो स्वायत्त ड्राइविंग सिस्टम में मॉडल के सामान्यीकरण और सुरक्षा को महत्वपूर्ण रूप से बढ़ाती है।