🤖 AI

Semantic Smoothing via Novel View Synthesis for Robust SAR Image Classification

यह शोध पत्र "सिमेंटिक स्मूथिंग" (semantic smoothing) का प्रस्ताव करता है, जो SAR इमेज वर्गीकरण के लिए एक सुदृढ़ रक्षा है जो आइसोट्रोपिक शोर (isotropic noise) को अधिग्रहण ज्यामिति (acquisition geometry) पर आधारित एक नवीन व्यू सिंथेसिस मॉडल द्वारा उत्पन्न संरचित यादृच्छिक रूपांतरणों से बदल देता है, जिससे मानक और SAR-विशिष्ट प्रतिकूल हमलों के विरुद्ध लचीलापन बढ़ता है और साथ ही स्वच्छ सटीकता (clean accuracy) में भी सुधार होता है।

मूल लेखक: Daniel Brignac, Fengwei Tian, Banafsheh Latibari, Abhijit Mahalanobis, Ravi Tandon

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniel Brignac, Fengwei Tian, Banafsheh Latibari, Abhijit Mahalanobis, Ravi Tandon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फोटो में एक विशिष्ट कार को पहचानने की कोशिश कर रहे हैं, लेकिन किसी ने चुपके से उस इमेज में कुछ छोटे, अदृश्य "ग्लिच" (glitches) जोड़ दिए हैं। एक इंसान के लिए, कार अभी भी एक कार ही दिखती है। लेकिन एक कंप्यूटर प्रोग्राम (एक AI) के लिए, ये ग्लिच एक जादू की तरह हैं जो उसे यह सोचने पर मजबूर कर देते हैं कि कार वास्तव में एक टोस्टर है। इसे एडवर्सरियल अटैक (adversarial attack) कहा जाता है, और यह वाहनों की पहचान करने वाले रडार जैसे सुरक्षा-महत्वपूर्ण सिस्टम के लिए एक बड़ी समस्या है।

यह पेपर इन चालों को रोकने का एक नया तरीका प्रस्तावित करता है, विशेष रूप से सिंथेटिक अपर्चर रडार (SAR) इमेज के लिए। SAR जमीन के चित्रों को बनाने के लिए हवाई जहाजों या उपग्रहों से रेडियो तरंगों को वापस भेजकर चित्र "पेंट" करता है। एक नियमित कैमरा जो केवल एक स्नैपशॉट लेता है, उसके विपरीत, SAR की तस्वीर इस बात पर निर्भर करती है कि विमान का कोण (ज्यामिति) क्या है।

यहाँ उनके समाधान का विवरण दिया गया, सरल उपमाओं का उपयोग करते हुए:

पुराना तरीका: "आंखों पर पट्टी बांधकर अनुमान लगाना"

पहले, इन हमलों के खिलाफ सबसे अच्छा बचाव रैंडमाइज्ड स्मूथिंग (Randomized Smoothing) कहलाता था।

यह कैसे काम करता था: कल्पना कीजिए कि आप एक कार को पहचानने की कोशिश कर रहे हैं, लेकिन कोई फोटो को थोड़ा हिला रहा है और उसमें टीवी के 'स्टैटिक' (जैसे टीवी में दिखने वाला शोर/झिलमिलाहट) जैसा कुछ जोड़ रहा है। आप फोटो को 100 बार देखते हैं, हर बार उसमें अलग मात्रा में स्टैटिक होता है, और आप सबसे अधिक बार दिखने वाली चीज़ के आधार पर कार की पहचान का अनुमान लगाते हैं।
समस्या: यह "स्टैटिक" रैंडम (यादृच्छिक) है। इसे कार के आकार या रडार के काम करने के भौतिक विज्ञान (physics) की परवाह नहीं है। यह एक पेंटिंग में रैंडम शोर जोड़ने जैसा है; कभी-कभी यह मदद करता है, लेकिन अक्सर यह तस्वीर को ऐसा कचरा बना देता है जो वास्तविक वस्तु जैसा बिल्कुल नहीं दिखता। रडार के लिए, यह रैंडम शोर भौतिक रूप से तर्कसंगत नहीं है।

नया तरीका: "द कैमिलियन मिरर" (गिरगिट जैसा दर्पण)

लेखक सिमेंटिक स्मूथिंग (Semantic Smoothing) का प्रस्ताव करते हैं। रैंडम स्टैटिक जोड़ने के बजाय, वे एक "जादुई दर्पण" (एक जनरेटिव AI मॉडल) का उपयोग करके उसी वस्तु के नए, विश्वसनीय संस्करण बनाते हैं।

उपमा: कल्पना कीजिए कि आपके पास एक कार की फोटो है। स्टैटिक जोड़ने के बजाय, आप एक बहुत ही बुद्धिमान कलाकार से कहते हैं कि वह उसी कार को 10 अलग-अलग कोणों (बाएं, दाएं, ऊपर, नीचे झुकते हुए) से फिर से बनाए, जबकि यह सुनिश्चित करे कि वह स्पष्ट रूप से वही एक ही कार है।
प्रक्रिया:
1. आप "हैक" की गई फोटो लेते हैं (वह जिसमें अदृश्य ग्लिच हैं)।
2. आप उस फोटो को "जादुई दर्पण" (रडार भौतिकी पर प्रशिक्षित एक मॉडल) में डालते हैं।
3. दर्पण उसी कार के 10 नए चित्र बनाता है, लेकिन थोड़े अलग रडार कोणों (जैसे कि अज़ीमुथ और ऊंचाई बदलकर) से।
4. क्योंकि ग्लिच "नकली" थे और भौतिकी के नियमों का पालन नहीं करते थे, इसलिए जब कार को एक नए कोण से फिर से बनाया जाता है, तो वे ग्लिच गायब हो जाते हैं या बिखर जाते हैं। कार की असली पहचान (वह "सिमेंटिक" हिस्सा) स्पष्ट रहती है।
5. कंप्यूटर इन 10 नई ड्राइंग्स को देखता है और वोट लेता है। चूंकि 10 में से 9 स्पष्ट रूप से एक टैंक दिखाते हैं (टोस्टर नहीं), सिस्टम सही ढंग से इसे टैंक के रूप में पहचान लेता है।

यह रडार के लिए क्यों खास है

रडार इमेज अजीब होती हैं। यदि आप एक टैंक को बगल से देखते हैं, तो यह एक लंबे बॉक्स जैसा दिखता है। यदि आप इसे सामने से देखते हैं, तो यह एक त्रिकोण जैसा दिखता है। एक नियमित AI भ्रमित हो जाता है यदि कोण थोड़ा बदल जाता है।

पेपर का दावा: यह नया तरीका रडार के विशिष्ट नियमों (कोणों और ज्यामिति) का उपयोग करके इन नए दृश्यों को उत्पन्न करता है। यह केवल रैंडम शोर नहीं है; यह संरचित, भौतिकी-आधारित भिन्नता है।
परिणाम: पेपर ने विभिन्न "हैक्स" (कुछ जो केवल पिक्सेल शोर जोड़ते हैं, और कुछ जो वास्तविक रडार भौतिकी की नकल करते हैं) के खिलाफ इसका परीक्षण किया। उन्होंने पाया कि:
1. यह पुराने "रैंडम स्टैटिक" तरीके की तुलना में हमलों को बहुत बेहतर तरीके से रोकता है।
2. यह वास्तव में AI को कारों को पहचानने में बेहतर बनाता है, यहाँ तक कि जब कोई हमला नहीं होता (साफ सटीकता)।
3. यह मानक कंप्यूटर हमलों और रडार को मूर्ख बनाने के लिए डिज़ाइन किए गए विशिष्ट, भौतिकी-आधारित हमलों दोनों के लिए काम करता है।

संक्षेप में

यदि पुराना तरीका एक धुंधली खिड़की के माध्यम से कार को देखने की कोशिश करने जैसा था जहाँ खिड़की को बेतरतीब ढंग से हिलाया जा रहा था, तो यह नया तरीका एक दोस्त से कार को कुछ अलग कोणों से फिर से बनाने के लिए कहने जैसा है ताकि यह सुनिश्चित हो सके कि आप असली चीज़ देख रहे हैं। केवल रैंडम शोर जोड़ने के बजाय वस्तु के अर्थ (meaning) पर ध्यान केंद्रित करके, सिस्टम को धोखा देना बहुत कठिन हो जाता है।

तकनीकी सारांश: मजबूत SAR इमेज वर्गीकरण के लिए नवीन दृश्य संश्लेषण (Novel View Synthesis) के माध्यम से सिमेंटिक स्मूथिंग

समस्या विवरण
सिंथेटिक अपर्चर रडार (SAR) ऑटोमैटिक टार्गेट रिकग्निशन (ATR) के लिए उपयोग किए जाने वाले डीप न्यूरल नेटवर्क (DNNs) एडवरसेरियल परटर्बेशन्स (adversarial perturbations) के प्रति संवेदनशील होते हैं, जो सुरक्षा-महत्वपूर्ण अनुप्रयोगों में जोखिम पैदा करते हैं। जबकि रैंडमाइज्ड स्मूथिंग (randomized smoothing) एक सिद्धांत-आधारित रक्षा है जो शोर वाले इनपुट पर भविष्यवाणियों का औसत निकालकर मजबूती प्रदान करती है, यह आमतौर पर आइसोट्रोपिक गौसियन नॉइज़ (isotropic Gaussian noise) पर निर्भर करती है। यह दृष्टिकोण SAR इमेजरी की सिमेंटिक संरचना को बनाए रखने में विफल रहता है, जहाँ वस्तु की उपस्थिति अधिग्रहण ज्यामिति (अज़ीमुथ और एलिवेशन कोणों) पर अत्यधिक निर्भर होती है। फलस्वरूप, आइसोट्रोपिक नॉइज़ ऐसे नमूने उत्पन्न करती है जो सार्थक भौतिक अवलोकनों के अनुरूप नहीं होते हैं, जिससे यह रक्षा उन डोमेन-विशिष्ट हमलों के विरुद्ध कम प्रभावी हो जाती है जो केवल पिक्सेल-स्पेस नॉइज़ के बजाय रडार भौतिकी (जैसे, स्कैटरिंग व्यवहार) का लाभ उठाते हैं।

कार्यप्रणाली
लेखक सिमेंटिक स्मूथिंग (Semantic Smoothing) का प्रस्ताव करते हैं, जो एक रक्षा ढांचा है जो आइसोट्रोपिक नॉइज़ इंजेक्शन के स्थान पर एक नवीन दृश्य संश्लेषण (Novel View Synthesis - NVS) मॉडल द्वारा उत्पन्न संरचित, सिमेंटिक्स-संरक्षण करने वाले रूपांतरणों का उपयोग करता है।

मुख्य अवधारणा: इनपुट इमेज में रैंडम नॉइज़ डालने के बजाय, यह विधि एक जनरेटिव मॉडल का उपयोग करती है ताकि एक ही वस्तु के कई संभावित दृश्य (views) उत्पन्न किए जा सकें, जो रैंडमाइज्ड लेकिन नियंत्रित ज्यामितीय रूपांतरणों के तहत होते हैं। सिंथेसाइज्ड दृश्यों पर क्लासिफायर की भविष्यवाणियों को एकत्रित (बहुमत मतदान के माध्यम से) करके एक मजबूत अंतिम भविष्यवाणी बनाई जाती है।
जनरेटिव मॉडल (GeNVS): यह ढांचा एक संशोधित डिनोइजिंग डिफ्यूजन प्रोबेबिलिस्टिक मॉडल (DDPM) का उपयोग करता है जिसे एक ज्यामिति-जागरूक NVS आर्किटेक्चर के साथ जोड़ा गया है, जो GeNVS से अनुकूलित है।
- इनपुट प्रोसेसिंग: एक इनपुट SAR इमेज $x_{adv}$ (संभावित रूप से एडवरसेरियल) और उसके मूल अधिग्रहण पैरामीटर्स ( $\phi_{az}$ , $\theta_{el}$ ) को एक लेटेंट 3D फीचर वॉल्यूम में एनकोड किया जाता है।
- व्यू सिंथेसिस (दृश्य संश्लेषण): मॉडल लक्ष्य दृश्यिंग पैरामीटर्स ( $t_i = \phi_{target, az}, \theta_{target, el}$ ) को एक रूपांतरण वितरण $T_D$ (जो प्रशिक्षण अधिग्रहण पैरामीटर्स पर यूनिफॉर्म डिस्ट्रीब्यूशन है) से सैंपल करता है।
- रेंडरिंग: लेटेंट वॉल्यूम के माध्यम से किरणें (rays) भेजी जाती हैं ताकि फीचर्स निकाले जा सकें, जिन्हें एक NeRF-शैली के MLP के माध्यम से रेंडर किया जाता है ताकि एक फीचर इमेज प्राप्त हो सके।
- डिफ्यूजन जनरेशन: एक डिफ्यूजन नेटवर्क रेंडर किए गए फीचर इमेज और लक्षित पैरामीटर्स की स्थिति में गौसियन नॉइज़ को डिनोइज़ करता है ताकि नए व्यूपॉइंट पर एक उच्च-सटीकता वाली SAR इमेज $x^{NV}_i$ उत्पन्न की जा सके।
एकत्रीकरण (Aggregation): दिए गए इनपुट के लिए, $N$ नवीन दृश्य उत्पन्न किए जाते हैं। प्रत्येक दृश्य को एक प्री-ट्रेंड क्लासिफायर $f_{cls}$ के माध्यम से भेजा जाता है। अंतिम लेबल $N$ भविष्यवाणियों के बहुमत (majority vote) द्वारा निर्धारित किया जाता है।

प्रमुख योगदान

सिमेंटिक स्मूथिंग फ्रेमवर्क: एक नवीन एडवरसेरियल डिफेंस का परिचय जो रैंडमाइज्ड जनरेटिव ट्रांसफॉर्मेशन का लाभ उठाकर कई सिमेंटिक्स-संरक्षण करने वाले दृश्य उत्पन्न करता है, जिससे एडवरसेरियल आर्टिफैक्ट्स को कम करने के लिए भविष्यवाणियों को एकत्रित किया जाता है।
SAR-विशिष्ट इंस्टेंशिएशन: SAR इमेजरी के लिए एक ज्यामिति-कंडीशन्ड NVS मॉडल का विकास। अज़ीमुथ और एलिवेशन पैरामीटर्स पर कंडीशनिंग करके, यह मॉडल रैंडमाइज्ड रडार व्यूज को नियंत्रित रूप से उत्पन्न करने में सक्षम बनाता है जो SAR इमेजिंग के भौतिक बाधाओं का सम्मान करते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): MSTAR डेटासेट पर व्यापक प्रयोग यह प्रदर्शित करते हैं कि सिमेंटिक स्मूथिंग पारंपरिक ग्रेडिएंट-आधारित हमलों (FGSM, PGD) और SAR-विशिष्ट भौतिक रूप से आधारित हमलों (OTSA, SMG-AA) दोनों के खिलाफ पर्याप्त मजबूती प्रदान करती है।

परिणाम
MSTAR डेटासेट (10 वाहन वर्गों में 500 इमेज) पर किए गए प्रयोगों में प्रस्तावित विधि की तुलना अन-डिफेंडेड बेसलाइन और मानक रैंडमाइज्ड स्मूथिंग (परिवर्तित $\sigma$ के साथ आइसोट्रोपिक गौसियन नॉइज़ का उपयोग करते हुए) से की गई।

मजबूती में वृद्धि (Robustness Gains): सिमेंटिक स्मूथिंग ने सभी प्रकार के हमलों और स्ट्रेंथ के तहत लगातार उच्च सटीकता बनाए रखी। उदाहरण के लिए, एक मजबूत PGD हमले ( $\epsilon=0.005$ ) के तहत, अन-डिफेंडेड मॉडल की सटीकता गिरकर 0% हो गई, जबकि सिमेंटिक स्मूथिंग ( $N=10$ के साथ) ने 94.18% प्राप्त किया।
रैंडमाइज्ड स्मूथिंग पर श्रेष्ठता: सिमेंटिक स्मूथिंग ने रैंडमाइज्ड स्मूथिंग की तुलना में काफी बेहतर प्रदर्शन किया। जबकि रैंडमाइज्ड स्मूथिंग ने असंगत प्रदर्शन दिखाया और अक्सर नॉइज़ स्केल $\sigma$ के आधार पर सटीकता को कम कर दिया, सिमेंटिक स्मूथिंग ने बिना किसी नॉइज़ पैरामीटर की सावधानीपूर्वक ट्यूनिंग की आवश्यकता के स्थिर, उच्च मजबूती प्रदान की।
क्लीन एक्यूरेसी में सुधार: कई रक्षा तंत्रों के विपरीत जो मजबूती के लिए क्लीन एक्यूरेसी का त्याग करते हैं, सिमेंटिक स्मूथिंग ने सिमेंटिक रूप से सुसंगत सिंथेसाइज्ड दृश्यों पर भविष्यवाणियों को एकत्रित करके क्लीन क्लासिफिकेशन एक्यूरेसी (94.72% बनाम 90.00% बेसलाइन) में सुधार किया।
दक्षता बनाम प्रदर्शन: हालांकि सिमेंटिक स्मूथिंग रैंडमाइज्ड स्मूथिंग ( $N \times C_f$ ) की तुलना में जनरेशन स्टेप ( $N \times (C_g + C_f)$ ) के कारण उच्च कम्प्यूटेशनल लागत वहन करती है, पेपर का तर्क है कि यह ट्रेड-ऑफ अनुकूल है क्योंकि उत्पन्न नमूने सिमेंटिक रूप से सार्थक हैं और आइसोट्रोपिक नॉइज़ गड़बड़ी की तुलना में काफी अधिक सूचनात्मक हैं।

महत्व और दावे
पेपर का दावा है कि सिमेंटिक स्मूथिंग SAR जैसे स्ट्रक्चर्ड सेंसिंग डोमेन में एडवरसेरियल डिफेंस के लिए आइसोट्रोपिक नॉइज़ के एक आशाजनक विकल्प के रूप में प्रतिनिधित्व करती है। स्थानीय पिक्सेल-लेवल पड़ोस से बदलकर एक संभावित ज्यामितीय रूपांतरण के मैनिफोल्ड (manifold) की ओर शिफ्ट होकर, यह विधि वस्तु की पहचान को बनाए रखते हुए गैर-सिमेंटिक एडवरसेरियल आर्टिफैक्ट्स को प्रभावी ढंग से दबाती है। लेखक जोर देते हैं कि यह दृष्टिकोण यह प्रदर्शित करता है कि मानक और भौतिकी-आधारित एडवरसेरियल हमलों के खिलाफ मजबूती प्राप्त करने के लिए मनमाने शोर के बजाय सिमेंटिक रूप से सार्थक परिवर्तनशीलता का लाभ उठाने का क्या महत्व है।

भावी कार्य
लेखक नोट करते हैं कि भविष्य के कार्यों में GeNVS मॉडल के माध्यम से परटर्बेशन प्रोपेगेशन की जांच करनी चाहिए, जेनरेटर की स्वयं की मजबूती का मूल्यांकन करना चाहिए, और उन एडेप्टिव व्हाइट-बॉक्स हमलों पर विचार करना चाहिए जहाँ एडवरसरी के पास रक्षा तंत्र का पूर्ण ज्ञान होता है।

पुराना तरीका: "आंखों पर पट्टी बांधकर अनुमान लगाना"

नया तरीका: "द कैमिलियन मिरर" (गिरगिट जैसा दर्पण)

यह रडार के लिए क्यों खास है

संक्षेप में

इसी तरह के और पेपर