तकनीकी सारांश: AdvScene

समस्या विवरण (Problem Statement)

एडवर्सरियल पैच (Adversarial patches) वास्तविक वस्तुओं से चिपकाए गए भौतिक पैटर्न हैं जिन्हें AI विज़न सिस्टम को गुमराह करने के लिए डिज़ाइन किया गया है। जबकि मौजूदा शोध ने प्रदर्शित किया है कि ये पैच विशिष्ट, नियंत्रित परिदृश्यों में सफल हो सकते हैं, वर्तमान मूल्यांकन विधियाँ सीन रोबस्टनेस (scene robustness) को पर्याप्त रूप से मापने में विफल रहती हैं: यानी एक स्थिर तैनात पैच की प्रभावशीलता बदलते परिवेश की बदलती स्थितियों (जैसे, बदलते दृष्टिकोण, दूरियाँ और दृश्य संदर्भ) में।

यह शोध मौजूदा मूल्यांकन प्रतिमानों में एक महत्वपूर्ण अंतर की पहचान करता है:

1. इमेज-प्लेन ट्रांसफॉर्मेशन (जैसे, EOT-शैली के स्वीप) पैच को 2D ओवरले के रूप में देखते हैं, जो भौतिक प्रोजेक्शन प्रभावों जैसे तिरछे कोण (oblique angles), आंशिक अवरोध (partial occlusion), या स्केल परिवर्तन को समझने में विफल रहते हैं, जो तब होते हैं जब एक पैच को 3D सतह पर लगाया जाता है।
2. रियल-कैप्चर बेंचमार्क भौतिक साक्ष्य प्रदान करते हैं लेकिन वे निश्चित पोज़ और स्थितियों तक सीमित हैं, जिससे उस सघन सैंपलिंग के लिए श्रम-साध्य और अक्सर असुरक्षित हो जाता है जिसकी आवश्यकता तैनाती जोखिम को समझने के लिए परिचालन स्थान (operational space) को समझने हेतु होती है।
3. सिम्युलेटर-आधारित प्लेटफॉर्म नियंत्रण क्षमता तो प्रदान करते हैं लेकिन अक्सर विशिष्ट वास्तविक दृश्यों के साथ जमीनी जुड़ाव की कमी होती है, जिससे ऐसे आर्टिफैक्ट्स उत्पन्न हो सकते हैं जो वास्तविक तैनाती स्थलों को प्रतिबिंबित नहीं करते हैं।

परिणामस्वरूप, एक पैच जो एक एकल "एंकर व्यू" (anchor view) में सफल होता है, वह सीमित व्यावहारिक जोखिम पैदा कर सकता है, जबकि वास्तविक खतरा इस बात में निहित है कि क्या हमला स्वाभाविक रूप से आने वाले दृश्यों की एक विस्तृत श्रृंखला में प्रभावी रहता है। केंद्रीय समस्या यह है कि बिना व्यापक भौतिक प्रयोगों की आवश्यकता के ऑपरेशनल एनवेलप (operational envelope)—यानी दृश्य-प्रेरित अवलोकन स्थितियों का वह विशिष्ट क्षेत्र जहाँ एक स्थिर तैनात हमला सफल होता है—को कैसे मापा जाए।

कार्यप्रणाली: AdvScene फ्रेमवर्क (Methodology: AdvScene Framework)

लेखक AdvScene का प्रस्ताव करते हैं, जो एक सीन-ग्राउंडेड फ्रेमवर्क है जो वास्तविक वातावरण का पुनर्निर्माण करता है और उनके भीतर स्थिर एडवर्सरियल पैच का मूल्यांकन करता है। मुख्य नवाचार मूल्यांकन को एकल-छवि सफलता दर के बजाय एक ऑपरेशनल मेजरमेंट प्रॉब्लम के रूप में पुनर्गठित करना है।

1. सीन रिकंस्ट्रक्शन और एम्बेडिंग (Scene Reconstruction and Embedding)

AdvScene मल्टीव्यू कैप्चर से वास्तविक दृश्यों के उच्च-निष्ठा वाले, नियंत्रणीय डिजिटल ट्विन्स बनाने के लिए 3D गॉसियन स्प्लेटिंग (3DGS) का उपयोग करता है। यह फ्रेमवर्क चार-चरणीय पाइपलाइन का पालन करता है:

• सीन रिकंस्ट्रक्शन: एक वास्तविक दृश्य की मल्टीव्यू छवियों से एक स्वच्छ 3DGS सीन ($G_0$) को पुनर्गठित किया जाता है।
• एंकर अटैक इंस्टेंटिएशन (Anchor Attack Instantiation): एक बाहरी अटैक पाइपलाइन एक चयनित एंकर व्यू से एक स्थिर एडवर्सरियल पैच उत्पन्न करती है, जिससे एक अटैक्ड इमेज ($I^*_a$) और एक पैच मास्क ($M_a$) प्राप्त होता है।
• एडवर्सरियल पैच-टू-सीन एम्बेडिंग (APSE): यह मुख्य तकनीकी योगदान है। APSE एक 2D एंकर-व्यू हमले को 3D सीन में उठाता है ताकि एक एडवर्सरियल सीन ($G_{adv}$) बनाया जा सके। यह "कन्स्ट्रेंड लिफ्टिंग प्रॉब्लम" (constrained lifting problem) को संबोधित करता है: एक दृश्य में परिभाषित पैच को इस तरह कैसे दर्शाया जाए कि वह नए दृष्टिकोणों के तहत भी वफादार, स्थानीयकृत और सतह से जुड़ा रहे।
• सीन-लेवल इवैल्यूएशन: एडवर्सरियल सीन को कैमरा पोज़, दूरी और सीन कॉन्टेक्स्ट में नियंत्रित विविधताओं के तहत रेंडर किया जाता है ताकि ऑपरेशनल एनवेलप का अनुमान लगाया जा सके।

2. एडवर्सरियल पैच-टू-सीन एम्बेडिंग (APSE)

APSE क्रॉस-व्यू अस्पष्टता को हल करता है और हमले-महत्वपूर्ण उपस्थिति (attack-critical appearance) को सुरक्षित रखता है। यह एक हाइब्रिड गॉसियन रिप्रजेंटेशन का उपयोग करता है जिसमें शामिल हैं:

• रियूज्ड गॉसियंस (Reused Gaussians - $O$): पैच क्षेत्र के भीतर मौजूदा सीन गॉसियंस को पुन: उपयोग किया जाता है ताकि पुनर्गठित सतह ज्यामिति को बनाए रखा जा सके। केवल उनके अपीयरेंस पैरामीटर्स (रंग, ओपेसिटी) को अपडेट किया जाता है।
• स्पॉनड गॉसियंस (Spawned Gaussians - $N$): उच्च-आवृत्ति वाले एडवर्सरियल पैटर्न के लिए आवश्यक स्थानीय क्षमता प्रदान करने के लिए पैच मास्क के भीतर नए गॉसियंस को सघन रूप से स्पॉन किया जाता है।

यह सुनिश्चित करने के लिए कि पैच भौतिक रूप से सही व्यवहार करे, APSE चार बाधाओं के तहत अनुकूलन (optimize) करता है:

1. एंकर-व्यू फिडेलिटी (Anchor-View Fidelity): रेंडर किया गया पैच अटैक्ड एंकर इमेज ($L_{patch}$) से मेल खाना चाहिए।
2. सीन प्रिजर्वेशन (Scene Preservation): पैच के बाहर के क्षेत्र स्वच्छ पुनर्निर्माण के समान रहने चाहिए ($L_{keep}$)।
3. ऑक्सिलरी-व्यू कंटेनमेंट (Auxiliary-View Containment): अनअटैक्ड ऑक्सिलरी व्यूज़ का उपयोग करके, यह विधि "लीकेज" (बैकग्राउंड में अनचाही उपस्थिति परिवर्तन) और फ्लोटिंग आर्टिफैक्ट्स को दबाती है ($L_{aux-rgb}$, $L_{aux-alpha}$)।
4. सरफेस अटैचमेंट (Surface Attachment): पैच को तैरने या अलग होने से रोकने के लिए (विशेष रूप से ट्रैफिक साइन जैसी पतली वस्तुओं पर), APSE स्पॉन किए गए गॉसियंस को एक फिटेड फोरग्राउंड प्लेन पर इनिशियलाइज़ करता है और लोकल सरफेस फ्रेम्स और नॉर्मल-अटैचमेंट लॉस ($L_{normal}$) का उपयोग करके अनुकूलन के दौरान उनकी गति को प्रतिबंधित करता है।

3. ऑपरेशनल एनवेलप मेजरमेंट (Operational Envelope Measurement)

AdvScene का आउटपुट एक एकल मीट्रिक नहीं बल्कि एक ऑपरेशनल एनवेलप ($E$) है, जिसे अवलोकन स्थितियों $\theta$ (कैमरा ओरिएंटेशन, ऑब्जेक्ट के सापेक्ष स्थिति और इंट्रिंसिक्स द्वारा पैरामीटराइज्ड) के सेट के रूप में परिभाषित किया गया है जहाँ हमला सफल होता है ($S(\theta) = 1$)। यह व्यवस्थित रूप से विश्लेषण करने की अनुमति देता है कि दृश्य स्थितियाँ बदलने पर हमला कहाँ और क्यों विफल होता है।

मुख्य योगदान (Key Contributions)

1. वैचारिक बदलाव (Conceptual Shift): यह शोध भौतिक एडवर्सरियल पैच मूल्यांकन में एक गायब आयाम के रूप में सीन रोबर्सटनेस की पहचान करता है और समस्या को पुनर्गठित वास्तविक दृश्यों में एक स्थिर पैच के ऑपरेशनल एनवेलप को मापने के रूप में तैयार करता है।
2. AdvScene फ्रेमवर्क: एक सीन-ग्राउंडेड मूल्यांकन प्रणाली जो वास्तविक-दृश्य पुनर्निर्माण, फिक्स्ड-पैच एम्बेडिंग और नियंत्रित नोवल-व्यू रेंडरिंग को जोड़ती है ताकि वास्तविक तैनाती विविधताओं के तहत हमले के व्यवहार को मापा जा सके।
3. APSE विधि: 3D गॉसियन स्प्लेटिंग के लिए एक कन्स्ट्रेंड एम्बेडिंग तकनीक जो हमले-महत्वपूर्ण उपस्थिति को सुरक्षित रखते हुए लोकैलिटी, क्लीन-सीन प्रिजर्वेशन, टारगेट-सरफेस अटैचमेंट और क्रॉस-व्यू स्टेबिलिटी को लागू करती है।
4. एम्पिरिकल वैलिडेशन (Empirical Validation):
   • फिडेलिटी: 7 वास्तविक भौतिक दृश्यों के विरुद्ध मान्य करते हुए, AdvScene भौतिक कैप्चर के साथ 99.30% कंसिस्टेंसी प्राप्त करता है, जो इमेज-प्लेन ट्रांसफॉर्मेशन बेसलाइन (93.54%) से काफी बेहतर है। महत्वपूर्ण रूप से, यह क्लोज और ऑब्लिक व्यूज़ में बेसलाइन द्वारा जोखिम के अत्यधिक अतिरंजित अनुमान से बचता है।
   • स्केल: लक्षित/अनटारगेटेड क्लासिफिकेशन और ऑब्जेक्ट डिटेक्शन डिसअपीयरेंस को कवर करने वाले 59 CO3D दृश्यों (ऑब्जेक्ट-सेंटर्ड) और 28 Waymo दृश्यों (ड्राइविंग परिदृश्य) में मूल्यांकन किया गया।
   • निष्कर्ष:
     • एंकर-व्यू सफलता अक्सर एक संकीर्ण ऑपरेशनल एनवेलप के बाहर विफल हो जाती है; एक दृश्य में सफल होने वाला पैच व्यापक तैनाती रोबस्टनेस की गारंटी नहीं देता है।
     • ड्राइविंग सीन, वाहन के प्रक्षेपवक्र (trajectories) और रोडसाइड ज्योमेट्री के कारण डायरेक्शनल और एसिमेट्रिक ऑपरेशनल एनवेलप उत्पन्न करते हैं।
     • जियोमेट्री-अवेयर EOT (Expectation over Transformation) वह प्राथमिक तकनीक है जो ऑपरेशनल एनवेलप को विस्तृत करती है। नॉन-प्रिंटेबिलिटी स्कोर (NPS) और टोटल वेरिएशन (TV) जैसे रेगुलराइज़र मुख्य रूप से प्रिंटेबिलिटी या स्मूथनेस को प्रभावित करते हैं लेकिन मौलिक रूप से सीन-लेवल फेलियर मोड को नहीं बदलते हैं।
     • $\ell_2$ रेगुलराइजेशन ऑपरेशनल एनवेलप को बहुत अधिक छोटा किए बिना पैच मैग्नीट्यूड को सीमित कर सकता है, जो यह सुझाव देता है कि विजुअल स्टेल्थ और सीन-लेवल रोबस्टनेस हमेशा सीधे संघर्ष में नहीं होते हैं।

महत्व और दावे (Significance and Claims)

यह शोध दावा करता है कि भौतिक पैच जोखिम को पॉइंट एस्टीमेट के बजाय एक एनवेलप के रूप में समझा जाना चाहिए। इस एनवेलप को मापने योग्य बनाकर, AdvScene भौतिक एडवर्सरियल जोखिम के मूल्यांकन के लिए एक अधिक निष्ठावान आधार प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि AdvScene कोई अधिक शक्तिशाली अटैक जनरेटर नहीं है, बल्कि मौजूदा पाइपलाइनों द्वारा निर्मित स्थिर हमलों के लिए एक मेजरमेंट फ्रेमवर्क है। इसका महत्व उन व्यवस्थित विफलता मोड (जैसे, ऑब्लिक व्यू कोलैप्स) को प्रकट करने में निहित है जिन्हें इमेज-सेंट्रिक या सिम्युलेटर-आधारित मूल्यांकन मिस कर देते हैं। यह डिफेंडर्स को यह समझने में मदद करता है कि किन विशिष्ट परिचालन स्थितियों के तहत तैनात पैच एक खतरा बना रहता है और हमला डिजाइनरों को यह समझने में मदद करता है कि कौन सी तकनीकें (विशेष रूप से जियोमेट्री-अवेयर EOT) वास्तव में सीन-लेवल रोबस्टनेस को बेहतर बनाती हैं बनाम वे जो केवल फिजिकल प्लाउसिबिलिटी या एंकर-व्यू प्रदर्शन को बेहतर बनाती हैं।

यह कार्य अपने दायरे में सीमित है, जो स्थिर दृश्यों में स्थिर, प्रिंट करने योग्य, सतह-जुड़े 2D पैच पर केंद्रित है, और स्पष्ट रूप से 3D एडवर्सरियल ऑब्जेक्ट्स, डायनेमिक डिस्प्ले, या सेंसर फ्यूजन के साथ पूर्ण ऑटोनॉमस ड्राइविंग स्टैक को भविष्य के कार्यों के लिए छोड़ देता है।