💻 computer science

From Snow to Rain: Evaluating Robustness, Calibration, and Complexity of Model-Based Robust Training

यह शोध पत्र CURE-TSR डेटासेट पर मॉडल-आधारित प्रशिक्षण रणनीतियों का मूल्यांकन करता है, यह प्रदर्शित करते हुए कि जहाँ मॉडल-आधारित प्रतिकूल प्रशिक्षण (adversarial training) बर्फ और बारिश जैसे प्राकृतिक क्षरणों के विरुद्ध बेहतर सुदृढ़ता और अंशांकन (calibration) प्रदान करता है, वहीं रैंडम कवरेज के साथ एडवर्सरियल रिफाइनमेंट को संयोजित करने वाले हाइब्रिड दृष्टिकोण काफी कम कम्प्यूटेशनल जटिलता के साथ तुलनीय प्रदर्शन प्राप्त करते हैं।

मूल लेखक: Josué Martínez-Martínez, Olivia Brown, Giselle Zeno, Pooya Khorrami, Rajmonda Caceres

प्रकाशित 2026-01-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Josué Martínez-Martínez, Olivia Brown, Giselle Zeno, Pooya Khorrami, Rajmonda Caceres

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को ट्रैफिक संकेतों को पहचानना सिखा रहे हैं ताकि वह सुरक्षित रूप से कार चला सके। आप उसे साफ, धूप वाले दिनों की हजारों तस्वीरें दिखाते हैं। रोबोट नीले आसमान के नीचे संकेतों को पहचानने में जीनियस बन जाता है। लेकिन फिर, आप रोबोट को एक असली तूफान में ले जाते हैं। अचानक, बर्फ संकेतों को ढक लेती है, या भारी बारिश कैमरे के लेंस पर धारियां बना देती है। रोबोट, जो कुछ क्षण पहले तक एक जीनियस था, अचानक बेतरतीब ढंग से अंदाजे लगाने लगता है और बहुत आत्मविश्वास के साथ गलत जवाब देने लगता है।

यह पेपर इस बारे में है कि इन रोबोट्स को कैसे प्रशिक्षित किया जाए ताकि मौसम खराब होने पर वे घबराएं नहीं। शोधकर्ताओं ने अलग-अलग "ट्रेनिंग कैंपों" का परीक्षण किया यह देखने के लिए कि कौन सा रोबोट को सबसे अधिक लचीला (resilient) बनाता है।

समस्या: "पाठ्यपुस्तक" बनाम "असली दुनिया"

ज्यादातर रोबोट एक आदर्श पाठ्यपुस्तक से पढ़ाई करने वाले छात्रों की तरह प्रशिक्षित होते हैं। वे एक साफ, चमकदार फोटो में 'स्टॉप साइन' पहचानना सीखते हैं।

पुराना तरीका (Vanilla और AugMix): रोबोट को सख्त बनाने के लिए, शिक्षक केवल साधारण ट्रिक्स के साथ उसे "अभ्यास टेस्ट" देते थे, जैसे कि तस्वीर को उल्टा करना, उसे गहरा बनाना, या उसे थोड़ा धुंधला करना। यह अपने लिविंग रूम की लाइट बंद करके तूफान के लिए अभ्यास करने जैसा है। यह थोड़ा मदद तो करता है, लेकिन यह आपको बर्फीले तूफान के लिए वास्तव में तैयार नहीं करता।
नया तरीका (Model-Based): शोधकर्ताओं ने एक अलग दृष्टिकोण आजमाया। केवल तस्वीरों को पलटने के बजाय, उन्होंने रोबोट को एक "जादुई जनरेटर" सिखाया। यह जनरेटर सीखता है कि असली बर्फ और बारिश वास्तव में कैसी दिखती है और रोबोट को प्रशिक्षित करने के लिए नकली-लेकिन-यथार्थवादी तूफानी तस्वीरें बनाता है। यह छात्र को केवल लाइट बंद करने के बजाय, एक सिम्युलेटेड बर्फीले तूफान में ले जाकर अभ्यास कराने जैसा है।

दावेदार: ट्रेनिंग कैंप में कौन जीतता है?

टीम ने तीन मुख्य प्रकार की "जादुई जनरेटर" रणनीतियों, साथ ही कुछ हाइब्रिड मिश्रणों का परीक्षण किया:

"रैंडम गेस" (MDA): जनरेटर एक रैंडम स्नोफ्लेक पैटर्न या बारिश की धार चुनता है और उसे रोबोट को दिखाता है। यह तेज और आसान है, जैसे मौसम को सिम्युलेट करने के लिए पासा फेंकना।
"सबसे खराब स्थिति" (MRT): जनरेटर एक ही साइन के दस अलग-अलग तूफानी संस्करण बनाता है, उस एक को ढूंढता है जो रोबोट को सबसे ज्यादा भ्रमित करता है, और रोबोट को उस विशिष्ट वर्जन को पढ़ने के लिए मजबूर करता है। यह एक शिक्षक के कहने जैसा है, "मैं तुम्हें दस सबसे कठिन सवाल दिखाऊंगा; तुम्हें सबसे कठिन वाले में महारत हासिल करनी होगी।"
"एडवर्सरियल ड्रिल" (MAT): यह सबसे गहन प्रशिक्षण है। जनरेटर केवल एक रैंडम तूफान नहीं चुनता; यह सक्रिय रूप से रोबोट को तोड़ने की कोशिश करता है। यह रोबोट को विफल करने के लिए सटीक कॉम्बिनेशन खोजने हेतु पिक्सेल-दर-पिक्सेल बर्फ और बारिश को बदलता है, और फिर रोबोट को उस विशिष्ट हमले से बचने के लिए मजबूर करता है। यह एक ऐसे स्पैरिंग पार्टनर की तरह है जो लगातार आपकी कमजोरी ढूंढने और उस पर प्रहार करने की कोशिश करता है जब तक कि आप ब्लॉक करना न सीख लें।

उन्होंने हाइब्रिड भी बनाए, जो किसी रैंडम तूफान से शुरू होकर फिर "एडवर्सरियल ड्रिल" द्वारा इसे और भी कठिन बनाने जैसा है।

परिणाम: बर्फ बनाम बारिश

शोधकर्ताओं ने इन तरीकों का दो प्रकार के खराब मौसम पर परीक्षण किया: बर्फ और बारिश।

बर्फ में: "एडवर्सरियल ड्रिल" (MAT) और "वर्स्ट-केस" (MRT) स्पष्ट विजेता थे। उन्होंने भारी बर्फबारी के दौरान भी रोबोट को सटीक बनाए रखा। "रैंडम गेस" (MDA) भी बहुत अच्छा था और लगभग उतना ही मजबूत था, लेकिन यह चलाने में बहुत तेज था। पुराने "टेक्स्टबुक" तरीके (Vanilla और AugMix) बुरी तरह विफल रहे; रोबोट भ्रमित हो गया और जल्दी ही आत्मविश्वास खो बैठा।
बारिश में: बारिश और भी कठिन थी। पुराने तरीके पूरी तरह से ध्वस्त हो गए। "एडवर्सरियल ड्रिल" (MAT) ही एकमात्र था जिसने वास्तव में काम बनाया, रोबोट को सटीक और आत्मविश्वासी बनाए रखा। दिलचस्प बात यह है कि "रैंडम गेस" (MDA) आश्चर्यजनक रूप से मजबूत था, जो भारी-भरकम ड्रिल के लगभग बराबर प्रदर्शन कर रहा था, लेकिन बहुत कम कंप्यूटिंग पावर का उपयोग कर रहा था।

ट्रेड-ऑफ: गति बनाम शक्ति

पेपर एक क्लासिक ट्रेड-ऑफ को उजागर करता है, जैसे स्पोर्ट्स कार और टैंक के बीच चुनाव करना:

टैंक (MAT): यह सबसे मजबूत है। यह किसी भी अन्य चीज़ की तुलना में सबसे खराब तूफानों को बेहतर तरीके से संभालता है। लेकिन यह धीमा है और इसे चलाना महंगा है। इसे प्रशिक्षित करने में बहुत समय और कंप्यूटर पावर लगती है।
स्पोर्ट्स कार (MDA): यह बहुत तेज और कुशल है। यह सबसे खराब तूफानों में टैंक जितना मजबूत नहीं है, लेकिन यह लगभग सब कुछ के लिए "काफी अच्छा" है, और बिना इंजन जलाए काम पूरा कर देता है।
हाइब्रिड: इन्होंने दोनों बनने की कोशिश की, लेकिन ये टैंक की तरह धीमे निकले बिना बहुत अधिक मजबूत हुए।

गुप्त सामग्री: आपको कितनी कठिन ट्रेनिंग देनी चाहिए?

शोधकर्ताओं ने यह भी पूछा: "ट्रेनिंग के तूफान कितने बुरे होने चाहिए?"

यदि आप रोबोट को हल्की बारिश/बर्फ के साथ प्रशिक्षित करते हैं, तो वह तब बहुत सटीक और आत्मविश्वासी होता है जब मौसम थोड़ा खराब होता है।
यदि आप इसे अत्यधिक, अंधा कर देने वाले तूफानों के साथ प्रशिक्षित करते हैं, तो यह सबसे खराब मौसम के खिलाफ अविश्वसनीय रूप से सख्त बन जाता है, लेकिन यह थोड़ा कम सटीक हो सकता है जब मौसम थोड़ा बादल वाला हो।

निचोड़

यदि आप एक ऐसा रोबोट चाहते हैं जो बर्फीले तूफान में गाड़ी चला सके, तो आप उसे केवल साफ तस्वीरों या सरल ट्रिक्स के साथ नहीं सिखा सकते। आपको उसे यथार्थवादी, जनरेटेड तूफानों के साथ सिखाना होगा।

सर्वश्रेष्ठ प्रदर्शन करने वाला: "एडवर्सरियल ड्रिल" (MAT) शुद्ध शक्ति का चैंपियन है। यह सबसे खराब स्थितियों को सबसे अच्छी तरह संभालता है।
सबसे अच्छी वैल्यू: "रैंडम गेस" (MDA) अधिकांश लोगों के लिए स्मार्ट विकल्प है। यह आपको चैंपियन के लगभग समान सुरक्षा स्तर देता है लेकिन बहुत तेजी से और सस्ते में चलता है।
सबक: एक वास्तव में विश्वसनीय रोबोट बनाने के लिए, आपको उसे दुनिया के बिखरे हुए, अप्रत्याशित वास्तविकता के संपर्क में लाना होगा, न कि केवल साफ, आदर्श पाठ्यपुस्तक संस्करण के।

तकनीकी सारांश: बर्फ से बारिश तक: मॉडल-आधारित सुदृढ़ प्रशिक्षण की मजबूती, अंशांकन और जटिलता का मूल्यांकन

समस्या विवरण

डीप लर्निंग मॉडल, विशेष रूप से स्वायत्त ड्राइविंग जैसे सुरक्षा-महत्वपूर्ण क्षेत्रों में, बर्फ, बारिश या धुंध जैसे प्राकृतिक क्षरण (corruptions) के संपर्क में आने पर महत्वपूर्ण नाजुकता प्रदर्शित करते हैं। जबकि स्वच्छ डेटा पर मानक प्रशिक्षण आदर्श स्थितियों में उच्च सटीकता प्रदान करता है, ये मॉडल वास्तविक दुनिया के वितरण बदलावों (distribution shifts) के तहत अक्सर भारी प्रदर्शन गिरावट का सामना करते हैं और गलत भविष्यवाणियों में अत्यधिक आत्मविश्वासी (overconfident) बने रहते हैं। मौजूदा रणनीतियाँ विश्लेतिक डेटा संवर्द्धन (जैसे कि फ्लिप्स, क्रॉप्स, ब्राइटनेस जिटर, AugMix) पर बहुत अधिक निर्भर करती हैं। हालांकि ये गणनात्मक रूप से कुशल हैं, लेकिन ये हस्तनिर्मित रूपांतरण वास्तविक दुनिया के प्राकृतिक क्षरणों की संरचित, उच्च-स्तरीय परिवर्तनशीलता को पकड़ने में विफल रहते हैं, जिससे गंभीर स्थितियों में खराब सामान्यीकरण (generalization) होता है।

यह शोध मॉडल-आधारित प्रशिक्षण दृष्टिकोणों की जांच करता है जो वास्तविक दिखने वाले क्षरण उत्पन्न करने के लिए सीखे गए 'न्यूसेंस वेरिएशन मॉडल्स' (nuisance variation models) का लाभ उठाते हैं। मुख्य चुनौती यह निर्धारित करना है कि क्या ये अधिक जटिल, डेटा-संचालित विधियाँ विश्लेतिक बेसलाइन की तुलना में बेहतर मजबूती और अंशांकन (calibration) प्रदान करती हैं, और न्यूसेंस स्पेस में रैंडम सैंपलिंग, वर्स्ट-केस चयन और एडवरसेरियल रिफाइनमेंट को संयोजित करने पर क्या कम्प्यूटेशनल ट्रेड-ऑफ होते हैं।

कार्यप्रणाली

यह अध्ययन चैलेंजिंग अनरियल एंड रियल एनवायरनमेंट्स फॉर ट्रैफिक साइन रिकग्निशन (CURE-TSR) डेटासेट पर प्रशिक्षण रणनीतियों के एक परिवार का मूल्यांकन करता है, जो विशेष रूप से पांच गंभीरता स्तरों में बर्फ (Snow) और बारिश (Rain) क्षरण पर केंद्रित है।

बेसलाइन (Baselines)

तीन मानक विधियाँ बेसलाइन के रूप में कार्य करती हैं:

वैनिला (Vanilla): केवल स्वच्छ डेटा पर प्रशिक्षित एम्पेरिकल रिस्क मिनिमाइजेशन (ERM)।
एडवरसेरियल ट्रेनिंग (AT): इनपुट स्पेस में प्रोजेक्टेड ग्रेडिएंट डिसेंट (PGD) का उपयोग करके योगात्मक गड़बड़ी (additive perturbations) के विरुद्ध बचाव करता है।
AugMix: कृत्रिम विविधता उत्पन्न करने के लिए कई विश्लेतिक संवर्द्धनों को संयोजित करता है।

मॉडल-आधारित दृष्टिकोण

लेखक एक सीखे गए वेरिएशन मॉडल $G(x, z)$ (एक MUNIT-शैली का ऑटोएन्कोडर) का उपयोग करते हैं जो इनपुट $x$ और न्यूसेंस वेरिएबल्स $z$ को दूषित छवियों में मैप करता है। उद्देश्य वर्स्ट-केस न्यूसेंस वेरिएशन पर अपेक्षित हानि (expected loss) को कम करना है:
$\min_{\theta} \mathbb{E}_{(x,y) \sim \mathcal{D}} \left[ \max_{z \in \mathcal{Z}_\rho} L(f_\theta(G(x, z)), y) \right]$
जहाँ $\mathcal{Z}_\rho$ गंभीरता $\rho$ द्वारा सीमित न्यूसेंस स्पेस है। आंतरिक मैक्सिमाइजेशन के तीन अनुमानों का अध्ययन किया गया है:

मॉडल-आधारित डेटा ऑग्मेंटेशन (MDA): मैक्सिमाइजेशन को एक एकल रैंडम ड्रा $z \sim \mathcal{Z}_\rho$ से बदल देता है।
मॉडल-आधारित रोबस्ट ट्रेनिंग (MRT): $k$ उम्मीदवारों को सैंपल करता है और उच्चतम हानि वाले को चुनता है।
मॉडल-आधारित एडवरसेरियल ट्रेनिंग (MAT): अधिकतम का अनुमान लगाने के लिए न्यूसेंस स्पेस $z$ में $T$ स्टेप्स के लिए PGD करता है।

हाइब्रिड रणनीतियाँ

व्यापक कवरेज और लक्षित परिशोधन के बीच संतुलन बनाने के लिए, दो हाइब्रिड विधियाँ पेश की गई हैं:

MDAT: MDA द्वारा खींचे गए रैंडम $z$ के साथ MAT के PGD को इनिशियलाइज़ करता है।
MRAT: MRT द्वारा पहचाने गए वर्स्ट-केस $z$ के साथ MAT के PGD को इनिशियलाइज़ करता है।

प्रयोगात्मक सेटअप

आर्किटेक्चर: एक मानक CNN (दो कनवल्शनल लेयर्स, दो फुली कनेक्टेड लेयर्स) जिसे Adadelta के साथ प्रशिक्षित किया गया है।
प्रशिक्षण: मॉडल 100 युगों (epochs) के लिए प्रशिक्षित किए जाते हैं। न्यूसेंस गंभीरता को प्रशिक्षण के दौरान नियंत्रित किया जाता है (स्तर 2 और 5), जबकि मूल्यांकन सभी गंभीरताओं (0–5) तक फैला हुआ है।
मेट्रिक्स: वर्गीकरण सटीकता (मजबूती) और अपेक्षित अंशांकन त्रुटि (ECE) (विश्वास की विश्वसनीयता)।
जटिलता विश्लेषण: प्रति मिनी-बैच सैद्धांतिक एसिम्प्टोटिक लागतों की तुलना की जाती है (जैसे, MDA $\Theta(1)$ है, MRT $\Theta(k)$ है, MAT $\Theta(T)$ है)।

मुख्य परिणाम

1. मॉडल-आधारित विधियों की श्रेष्ठता

बर्फ और बारिश दोनों क्षरणों के तहत, मॉडल-आधारित विधियाँ लगातार विश्लेतिक बेसलाइन (Vanilla, AT, AugMix) से बेहतर प्रदर्शन करती हैं।

बर्फ (Snow): गंभीरता 5 पर, Vanilla और AT 70% सटीकता से नीचे गिर जाते हैं और उनका ECE >30% होता है। इसके विपरीत, मॉडल-आधारित विधियाँ (MDA5, MRT5, MAT5) ~76% सटीकता के साथ ~20% ECE बनाए रखती हैं।
बारिश (Rain): यह एक अधिक चुनौतीपूर्ण क्षरण है। विश्लेतिक बेसलाइन ढह जाते हैं (उदाहरण के लिए, AugMix ~30% सटीकता तक गिर जाता है)। मॉडल-आधारित विधियाँ काफी उच्च प्रदर्शन बनाए रखती हैं, जहाँ MAT5 गंभीरता 5 पर 62.8% सटीकता और 20.6% ECE प्राप्त करता है।

2. शुद्ध एडवरसेरियल विधियों बनाम हाइब्रिड का प्रदर्शन

हाइब्रिड (MDAT, MRAT): कम-से-मध्यम गंभीरता स्तरों पर शुद्ध विधियों की तुलना में मामूली लाभ दिखाते हैं लेकिन उच्च गंभीरता (4–5) पर MAT और MRT के साथ लगभग मिल जाते हैं।
MAT का प्रभुत्व: MAT विशेष रूप से चरम बारिश के क्षरण के तहत, सभी स्तरों पर सबसे मजबूत मजबूती और सबसे कम अंशांकन त्रुटि प्रदान करता है।
दक्षता ट्रेड-ऑफ: जबकि MAT सबसे मजबूत है, यह उच्चतम कम्प्यूटेशनल लागत ( $\Theta(T)$ ) वहन करता है। MDA सबसे कुशल समझौता बनकर उभरता है, जो MAT के बराबर प्रदर्शन (कई मामलों में सांख्यिकीय रूप से नगण्य अंतर) प्राप्त करता है, लेकिन काफी कम कम्प्यूटेशनल जटिलता के साथ।

3. प्रशिक्षण गंभीरता का प्रभाव

प्रशिक्षण में उपयोग की गई गंभीरता का स्तर परिणामों को महत्वपूर्ण रूप से नियंत्रित करता है:

गंभीरता 2 प्रशिक्षण: बेहतर अंशांकन और हल्के क्षरण (गंभीरता 1–2) के लिए सामान्यीकरण प्रदान करता है।
गंभीरता 5 प्रशिक्षण: चरम विकृतियों (गं meskipun 4–5) के खिलाफ बेहतर मजबूती प्रदान करता है।
क्रॉस-सेवेरिटी जनरलाइजेशन: दिलचस्प बात यह है कि बारिश के क्षरण के तहत, MAT2 (गंभीरता 2 पर प्रशिक्षित) गंभीरता 5 के लिए सबसे अच्छा सामान्यीकरण करता है, जो गंभीरता 5 पर प्रशिक्षित मॉडलों से बेहतर प्रदर्शन करता है।

4. कम्प्यूटेशनल जटिलता

अध्ययन प्रशिक्षण समय में एक स्पष्ट पदानुक्रम की पुष्टि करता है: MAT > MRT > MDA > AT > Vanilla। जबकि हाइब्रिड अपने घटकों की लागत विरासत में लेते हैं (जैसे, MRAT $\Theta(k+T)$ है), उच्च गंभीरता पर शुद्ध MAT पर मामूली प्रदर्शन लाभ हमेशा बढ़े हुए कम्प्यूटेशनल खर्च को न्यायसंगत नहीं ठहराते हैं।

महत्व और दावे

पेपर तीन प्राथमिक योगदानों और निष्कर्षों का दावा करता है:

सीखे गए न्यूसेंस मॉडल्स का सत्यापन: अध्ययन प्रदर्शित करता है कि प्राकृतिक परिवर्तनशीलता (जैसे बर्फ की बनावट और बारिश की धारियाँ) को पकड़ने के लिए सीखे गए न्यूसेंस मॉडल आवश्यक हैं जिन्हें विश्लेतिक विधियाँ विश्वसनीय रूप से सिम्युलेट नहीं कर सकती हैं। यह ऐसे मॉडल की ओर ले जाता है जो चुनौतीपूर्ण वास्तविक परिस्थितियों में अधिक मजबूत और बेहतर अंशांकित (calibrated) होते हैं।
दक्षता-मजबूती ट्रेड-ऑफ: हालांकि मॉडल-आधारित एडवरसेरियल ट्रेनिंग (MAT) सभी स्तरों पर उच्चतम प्रदर्शन प्राप्त करता है, मॉडल-आधारित डेटा ऑग्मेंटेशन (MDA) सबसे व्यावहारिक ट्रेड-ऑफ प्रदान करता है। MDA, MAT के समान मजबूती और अंशांकन प्राप्त करता है, बिना किसी सांख्यिकीय रूप से महत्वपूर्ण प्रदर्शन गिरावट के, लेकिन काफी कम कम्प्यूटेशनल जटिलता के साथ।
प्रशिक्षण गंभीरता की भूमिका: अनुकूल प्रशिक्षण रणनीति लक्ष्य क्षरण प्रकार और गंभीरता पर निर्भर करती है। निचली प्रशिक्षण गंभीरता बेहतर अंशांकन और हल्के क्षरण के सामान्यीकरण को बढ़ावा देती है, जबकि उच्च गंभीरता चरम विकृतियों के खिलाफ मजबूती को बढ़ाती है।

लेखक निष्कर्ष निकालते हैं कि न्यूसेंस कवरेज (रैंडम सैंपलिंग) को एडवरसेरियल रिफाइनमेंट के साथ जोड़ना लचीले मॉडल के लिए एक आशाजनक मार्ग है, लेकिन विधि का चुनाव कम्प्यूटेशनल संसाधनों के विशिष्ट प्रतिबंधों और अपेक्षित पर्यावरणीय क्षरण की गंभीरता द्वारा निर्देशित किया जाना चाहिए। यह अध्ययन CURE-TSR डेटासेट और एक विशिष्ट CNN आर्किटेक्चर तक सीमित है, जो सुझाव देता है कि भविष्य के कार्यों को बड़े बैकबोन्स और विविध मोडैलिटीज पर इन निष्कर्षों का परीक्षण करना चाहिए।