🤖 AI

PoInit-of-View: Poisoning Initialization of Views Transfers Across Multiple 3D Reconstruction Systems

यह शोध पत्र PoInit-of-View प्रस्तुत करता है, जो एक नया हमला है जो कीपॉइंट मिलान (keypoint matching) और पोज़ अनुमान (pose estimation) को बाधित करने के लिए क्रॉस-व्यू ग्रेडिएंट विसंगतियों (cross-view gradient inconsistencies) को अनुकूलित करके स्ट्रक्चर-फ्रॉम-मोशन इनिशियलाइजेशन चरण में कमजोरियों का फायदा उठाता है, जिससे विविध 3D पुनर्निर्माण प्रणालियों में अत्यधिक प्रभावी और हस्तांतरणीय पॉइजनिंग (transferable poisoning) प्राप्त होती है।

मूल लेखक: Weijie Wang, Songlong Xing, Zhengyu Zhao, Nicu Sebe, Bruno Lepri

प्रकाशित 2026-04-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Weijie Wang, Songlong Xing, Zhengyu Zhao, Nicu Sebe, Bruno Lepri

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "PoInit-of-View" पेपर का सरल भाषा, उपमाओं (analogies) और रूपकों (metaphors) का उपयोग करके दिया गया स्पष्टीकरण है।

बड़ी तस्वीर: नींव को तोड़ना

कल्पना कीजिए कि आप अलग-अलग कोणों से ली गई कुछ तस्वीरों के आधार पर एक विशाल, जटिल रेत का महल (एक 3D दुनिया) बनाने की कोशिश कर रहे हैं।

अधिकांश आधुनिक 3D पुनर्निर्माण (3D reconstruction) सिस्टम (जैसे कि वे जो सेल्फ-ड्राइविंग कारों, VR, या वीडियो गेम में उपयोग किए जाते हैं) केवल यह अनुमान नहीं लगाते कि रेत कहाँ रखनी है। पहले, उन्हें यह पता लगाना होता है कि फोटोग्राफर कहाँ खड़ा था और अलग-अलग तस्वीरों में रेत के कौन से कण आपस में मेल खाते हैं। इस प्रारंभिक चरण को स्ट्रक्चर-फ्रॉम-मोशन (SfM) कहा जाता है। यह पूरे निर्माण की "नींव" है।

शोधकर्ताओं ने इस पेपर में उस नींव को बिना किसी को पता चले नष्ट करने का एक चतुर तरीका खोजा है। वे अपने इस तरीके को PoInit-of-View कहते हैं।

समस्या: "सिंगल-व्यू" की खामी

पिछले हैकर्स ने एक ही फोटो में "शोर" (noise) जोड़कर 3D पुनर्निर्माण को बिगाड़ने की कोशिश की थी। इसे एक घर की एक खिड़की पर छोटा सा धब्बा लगाने जैसा समझें। निर्माता उस एक जगह को लेकर भ्रमित हो सकता है, लेकिन वह आमतौर पर उसे अनदेखा कर देता है और घर बनाना ठीक से पूरा कर लेता है।

लेखकों ने महसूस किया कि पुराने हमले बहुत कमजोर थे क्योंकि वे सिस्टम की मूल कमजोरी को नहीं समझते थे: निरंतरता (Consistency)।

समाधान: "क्रॉस-व्यू" का जहर (The Cross-View Poison)

लेखकों का नया तरीका, PoInit-of-View, एक मास्टर जालसाज की तरह है। एक फोटो में केवल धब्बा लगाने के बजाय, वे कुछ तस्वीरों को इस तरह से सूक्ष्म रूप से बदलते हैं कि वे एक-दूसरे से असहमत (disagree) हो जाएं।

यहाँ उपमा दी गई है:

स्वच्छ परिदृश्य (The Clean Scenario): कल्पना कीजिए कि आप और आपका दोस्त एक पेड़ को देख रहे हैं। आप दोनों एक फोटो लेते हैं। भले ही आप अलग-अलग जगहों पर खड़े हों, पेड़ की पत्तियां सुसंगत (consistent) दिखती हैं। यदि आप तस्वीरों की तुलना करते हैं, तो पैटर्न पूरी तरह से मेल खाते हैं। 3D सिस्टम कहता है, "बहुत बढ़िया! ये तस्वीरें सहमत हैं। मैं एक 3D पेड़ बना सकता हूँ।"
जहरीला परिदृश्य (The Poisoned Scenario): हमलावर आपकी और आपके दोस्त की फोटो लेता है और उसमें अदृश्य "ग्लिच" (glitches) जोड़ देता है। अब, जब सिस्टम आपकी फोटो में पेड़ को देखता है, तो पत्तियां एक तरह की दिखती हैं। जब वह आपके दोस्त की फोटो में उसी पेड़ को देखता है, तो पत्तियां थोड़ी अलग दिखती हैं (एक ऐसे तरीके से जिसे मानवीय आँख नहीं देख सकती, लेकिन कंप्यूटर देख सकता है)।
परिणाम: 3D सिस्टम को भारी सिरदर्द होता है। यह पत्तियों को मिलाने की कोशिश करता है, लेकिन वे मेल नहीं खातीं। यह सोचता है, "रुको, ये तस्वीरें मुझसे झूठ बोल रही हैं। मैं समझ नहीं पा रहा हूँ कि कैमरा कहाँ था।"

यह कैसे काम करता है (चरण-दर-चरण)

अदृश्य ग्लिच (The Invisible Glitch): हमलावर कुछ इनपुट तस्वीरों में सूक्ष्म, अदृश्य बदलाव जोड़ने के लिए एक विशेष एल्गोरिदम का उपयोग करता है। ये बदलाव इस तरह डिज़ाइन किए गए हैं कि वे अलग-अलग तस्वीरों के बीच "ग्रेडिएंट निरंतरता" (edges और textures के संरेखण का तरीका) को तोड़ सकें।
भ्रम (The Confusion): 3D सिस्टम (विशेष रूप से SfM मॉड्यूल) तस्वीरों के बीच मिलान वाले बिंदु खोजने की कोशिश करता है। ग्लिच के कारण, मिलान विफल हो जाता है। यह एक ऐसी पहेली (jigsaw puzzle) को हल करने जैसा है जहाँ टुकड़ों को सूक्ष्म रूप से इस तरह बदला गया है कि वे अब एक साथ फिट नहीं होते।
पतन (The Collapse): क्योंकि सिस्टम टुकड़ों को मिला नहीं पाता, इसलिए वह कैमरों की स्थिति का पता नहीं लगा पाता। वह 3D मॉडल बनाने की कोशिश छोड़ देता है।
परिणाम (The Aftermath): अंतिम परिणाम केवल थोड़ा धुंधला 3D मॉडल नहीं है; यह पूरी तरह से विनाशकारी है। सिस्टम सैकड़ों कैमरों के बजाय केवल कुछ ही कैमरों को रजिस्टर कर पाता है, या 3D बिंदु पूरी तरह से गायब हो सकते हैं। अंतिम "रेंडर" किया गया दृश्य एक टूटा हुआ, ग्लिच वाला कचरा जैसा दिखता है।

यह डरावना (और स्मार्ट) क्यों है

यह सब पर काम करता है: शोधकर्ताओं ने इस पेपर में तीन अलग-अलग प्रकार के 3D सिस्टम (NeRF, 3DGS, और MVS) पर इसका परीक्षण किया। यह एक ऐसी चाबी होने जैसा है जो किसी इमारत के केवल एक दरवाजे को नहीं, बल्कि हर ताले को खोल सकती है।
यह एक "ब्लैक बॉक्स" हमला है: हमलावर को यह जानने की ज़रूरत नहीं है कि पीड़ित का सिस्टम अंदर से कैसे काम करता है। उन्हें बस फोटो अपलोड करने और यह देखने की ज़रूरत है कि 3D मॉडल टूट जाता है या नहीं। वे सही ग्लिच जोड़ने के लिए एक "प्रॉक्सी" (एक अभ्यास डमी सिस्टम) का उपयोग करते हैं।
यह अदृश्य है: तस्वीरों को देखने वाले इंसान के लिए, वे मूल तस्वीरों जैसी ही दिखती हैं। आप अपनी आँखों से अंतर नहीं बता सकते, लेकिन कंप्यूटर एक झूठ देखता है।

"जादुई" उपमा

कल्पना कीजिए कि एक गाना गा रहा एक समूह (choir) है।

सामान्य 3D पुनर्निर्माण: हर कोई एक ही सुर में गा रहा है। कंडक्टर (कंप्यूटर) सामंजस्य (harmony) सुनता है और जानता है कि गाना क्या है।
पुराने हमले: पीछे से कोई एक बार खाँसता है। कंडक्टर उसे अनदेखा कर देता है।
Po-Init-of-View: हमलावर कुछ गायकों को एक सूक्ष्म, गुप्त निर्देश फुसफुसाता है। वे ज़ोर से बेसुरा नहीं गाते; वे बस एक थोड़ा अलग लय (rhythm) गाते हैं जो उनके बगल में खड़े व्यक्ति के साथ टकराता है।
परिणाम: कंडक्टर को एक अराजक शोर सुनाई देता है। सामंजस्य टूट जाता है। समूह गाना बंद कर देता है क्योंकि वे धुन पर सहमत नहीं हो पाते। प्रदर्शन ढह जाता है।

निचोड़ (The Bottom Line)

लेखकों ने दिखाया है कि 3D पुनर्निर्माण की "नींव" (तस्वीरों को आपस में मिलाना) अविश्वसनीय रूप से नाजुक है। केवल एक फोटो को खराब करने के बजाय, तस्वीरों के बीच असंगति (inconsistencies) पैदा करके, वे पूरे 3D मॉडल को नष्ट कर सकते हैं।

यह उद्योग के लिए एक चेतावनी है: हमें ऐसे 3D सिस्टम बनाने की आवश्यकता है जो इन "झूठी" तस्वीरों को संभाल सकें, शायद मिलान प्रक्रिया को अधिक मजबूत बनाकर, बिल्कुल एक ऐसे गायक समूह की तरह जो थोड़ा बेसुरा होने पर भी गाना जारी रख सके।

यहाँ शोध पत्र "PoInit-of-View: Poisoning Initialization of Views Transfers Across Multiple 3D Reconstruction Systems" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र आधुनिक 3D पुनर्निर्माण (reconstruction) प्रणालियों में एक गंभीर सुरक्षा भेद्यता (vulnerability) को संबोधित करता है, विशेष रूप से वे जो इनिशियलाइजेशन (initialization) के लिए स्ट्रक्चर-फ्रॉम-मोशन (SfM) पर निर्भर करती हैं (जैसे, NeRF, 3D Gaussian Splatting, MVS)।

अंतराल (The Gap): 3D पुनर्निर्माण पर मौजूदा प्रतिकूल हमले (adversarial attacks) आमतौर पर पूरे पुनर्निर्माण पाइपलाइन को एक अखंड ब्लॉक के रूप में बैकप्रोपैगेट करते हैं। वे अक्सर विशिष्ट रेंडरिंग आउटपुट या सिंगल-व्यू लॉस को लक्षित करते हैं, बिना आंतरिक ज्यामितीय मॉड्यूल (geometric modules) का विश्लेषण किए।
भेद्यता (The Vulnerability): लेखक पहचानते हैं कि SfM इनिशियलाइजेशन मॉड्यूल अधिकांश 3D पाइपलाइनों का ज्यामितीय कोर है। यह एक विरल (sparse) 3D संरचना स्थापित करने के लिए कीपॉइंट डिटेक्शन, फीचर मैचिंग और कैमरा पोज़ एस्टीमेशन करता है। यदि यह आधार दूषित हो जाता है, तो सभी आगामी सघन पुनर्निर्माण (dense reconstruction) और न्यूरल रेंडरिंग चरण विफल हो जाते हैं।
लक्ष्य (The Goal): एक ऐसा पॉइजनिंग हमला विकसित करना जो SfM इनिशियलाइजेशन चरण को लक्षित करे ताकि क्रॉस-व्यू विसंगतियों (cross-view inconsistencies) को प्रेरित किया जा सके। इसका उद्देश्य ऐसे व्यवधान (perturbations) उत्पन्न करना है जो मनुष्यों के लिए अदृश्य हों लेकिन ज्यामितीय इनिशियलाइजेशन में पतन (collapse) का कारण बनें, जिससे विविध प्रणालियों में डाउनस्ट्रीम 3D पुनर्निर्माण कार्यों में विनाशकारी विफलता आए (ब्लैक-बॉक्स ट्रांसफर क्षमता)।

2. कार्यप्रणाली: PoInit-of-View

प्रस्तावित विधि, PoInit-of-View, इनपुट मल्टी-व्यू छवियों के एक उपसमुच्चय (subset) में अदृश्य व्यवधानों को इंजेक्ट करती है ताकि SfM के लिए आवश्यक ज्यामितीय निरंतरता को बाधित किया जा सके।

A. मुख्य तंत्र: क्रॉस-व्यू ग्रेडिएंट विसंगति (Cross-View Gradient Inconsistency)

एक विशिष्ट रेंडरिंग लॉस के लिए अनुकूलन करने के बजाय, हमला क्रॉस-व्यू ग्रेडिएंट विसंगति (CVI) के लिए अनुकूलन करता है।

अवधारणा: SfM इस धारणा पर निर्भर करता है कि विभिन्न दृश्यों (views) में एक 3D बिंदु के संगत क्षेत्र समान स्थानीय ग्रेडिएंट संरचनाओं (किनारों/टेक्सचर) को साझा करते हैं।
हमला रणनीति: यह विधि एक "रेफरेंस" स्वच्छ दृश्य ( $R_i$ ) और एक "पॉइज़न्ड" दृश्य ( $A_j$ ) के बीच संगत 3D बिंदुओं के लिए ग्रेडिएंट अंतर को जानबूझकर अधिकतम करती है।
गणितीय सूत्रीकरण: हमला एक लॉस फंक्शन $L_{CVI} = \|G(R_i) - G(A_j)\|_1$ को कम करता है, जहाँ $G$ सोबेल ग्रेडिएंट (Sobel gradient) का प्रतिनिधित्व करता है।
सैद्धांतिक आधार: शोध पत्र एक थ्योरम 1 प्रदान करता है, जो यह सिद्ध करता है कि एक विशिष्ट ग्रेडिएंट विसंगति थ्रेशोल्ड ( $L_{th}$ ) को पार करने से सफल फीचर मिलान की संभावना तेजी से (exponentially) गिर जाती है। इससे एक "करेस्पोंडेंस कोलैप्स" (correspondence collapse) होता है, जहाँ SfM एल्गोरिदम आगे बढ़ने के लिए पर्याप्त वैध कैमरा पोज़ या 3D बिंदु स्थापित नहीं कर पाता है।

B. ऑप्टिमाइज़ेशन फ्रेमवर्क (Proxy-Guided PGD)

चूंकि मानक SfM पाइपलाइन (जैसे COLOMP) नॉन-डिफरेंशिएबल (non-differentiable) होती हैं, इसलिए लेखक हमले को निर्देशित करने के लिए एक डिफरेंशिएबल प्रॉक्सी (differentiable proxy) का उपयोग करते हैं:

प्रॉक्सी मॉडल: पीड़ित के क्रॉस-व्यू व्यवहार का अनुमान लगाने के लिए स्वच्छ दृश्यों पर एक डिफरेंशिएबल 3D Gaussian Splatting (3DGS) मॉडल को प्रशिक्षित किया जाता है।
ग्रेडिएंट फ्लो: प्रॉक्सी मल्टी-व्यू इमेज को रेंडर करता है, जिससे $L_{CVI}$ लॉस के लिए ग्रेडिएंट की गणना संभव होती है।
ऑप्टिमाइज़ेशन लूप:
- इनर लूप (Inner Loop): $L_{CVI}$ को अधिकतम करने और दृश्य विकृति (SSIM और टोटल वेरिएशन रेगुलराइज़र का उपयोग करके) को न्यूनतम करने के लिए प्रोजेक्टेड ग्रेडिएंट डिसेंट (PGD) का उपयोग करके पॉइज़न्ड इमेज को अपडेट करता है।
- आउटर लूप (Outer Loop): पॉइज़न्ड इमेज के स्वरूप और दृश्यता में बदलाव को ध्यान में रखने के लिए प्रॉक्सी मॉडल को समय-समय पर रिफ्रेश करता है।
बाधाएं (Constraints): व्यवधानों को $\ell_\infty$ नॉर्म ( $\epsilon$ ) द्वारा सीमित किया गया है ताकि वे दृश्य रूप से अदृश्य बने रहें।

3. मुख्य योगदान

एक मौलिक भेद्यता की पहचान: शोध पत्र प्रकट करता है कि ज्यामितीय इनिशियलाइजेशन (SfM) सूक्ष्म क्रॉस-व्यू विसंगतियों के प्रति स्वाभाविक रूप से नाजुक है, एक ऐसी भेद्यता जिसे पहले केवल पूरे पाइपलाइन या सिंगल-व्यू पर केंद्रित हमलों द्वारा अनदेखा किया गया था।
PoInit-of-View एल्गोरिदम: एक नवीन पॉइजनिंग विधि जो क्रॉस-व्यू ग्रेडिएंट विसंगतियों को प्रेरित करके इनिशियलाइजेशन चरण को लक्षित करती है, जिससे फीचर मिलान और त्रिकोणीकरण (triangulation) प्रक्रियाओं को प्रभावी ढंग से तोड़ा जा सकता है।
सैद्धांतिक विश्लेषण: लेखक क्रॉस-व्यू ग्रेडिएंट विसंगति और फीचर करेस्पोंडेंस के पतन के बीच संबंध स्थापित करने वाला एक थ्योरिटिकल बाउंड निकालते हैं, जो गणितीय रूप से समझाता है कि क्यों यह हमला वैश्विक पुनर्निर्माण विफलता का कारण बनता है।
उच्च ट्रांसफर क्षमता (High Transferability): यह हमला डाउनस्ट्रीम-अग्नोस्टिक (downstream-agnostic) है। क्योंकि यह विशिष्ट पुनर्निर्माण आर्किटेक्चर (NeRF, 3DGS, MVS) के शुरू होने से पहले ही इनपुट डेटा को दूषित कर देता है, इसलिए समान पॉइज़न्ड इमेज को प्रत्येक विशिष्ट मॉडल के लिए पुनः प्रशिक्षण के बिना विविध 3D सिस्टम पर सफलतापूर्वक हमला करने के लिए उपयोग किया जा सकता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन तीन मानक डेटासेट्स पर किया गया: NeRF-Synthetic, Tanks and Temples (T&T), और Mip-NeRF360, जिसमें COLMAP (SfM+MVS), Instant NGP (NeRF), और 3D Gaussian Splatting को लक्षित किया गया।

प्रदर्शन गिरावट (Performance Degradation):
- ब्लैक-बॉक्स ट्रांसफर: ट्रांसफर सेटिंग्स में (जैसे, 3DGS पर प्रशिक्षण, NeRF पर हमला), PoInit-of-View ने PSNR में 25.1% की कमी और SSIM में 16.5% की कमी के साथ सिंगल-व्यू बेसलाइन से बेहतर प्रदर्शन किया।
- SfM कोलैप्स: हमले के कारण SfM स्थिरता मेट्रिक्स में भारी गिरावट आई। औसतन, पंजीकृत छवियों की संख्या में ~70% की गिरावट आई और त्रिकोणीय कीपॉइंट्स (triangulated keypoints) 80% से अधिक गिर गए।
- दृश्य गुणवत्ता: पॉइज़न्ड इनपुट से रेंडर किए गए दृश्य गंभीर संरचनात्मक पतन, आर्टिफ़ैक्ट्स और विकृत ज्यामिति दिखाते हैं, जबकि स्वच्छ इनपुट उच्च-फिडेलिटी पुनर्निर्माण उत्पन्न करते हैं।
गोपनीयता (Stealthiness):
- व्यवधान दृश्य रूप से अदृश्य थे। स्वच्छ और पॉइज़न्ड इमेज के बीच मेट्रिक्स उच्च समानता (PSNR $\approx$ 27.8 dB, SSIM $\approx$ 0.86) दिखाते हैं।
- सूक्ष्म पिक्सेल परिवर्तनों के बावजूद, ज्यामितीय इनिशियलाइजेशन पूरी तरह से विफल हो गया, जो दर्शाता है कि हमला केवल पिक्सेल तीव्रता के बजाय डेटा की संरचना को लक्षित करता है।
एब्लेशन स्टडीज (Ablation Studies):
- केवल फोटोमेट्रिक लॉस का उपयोग करके क्रॉस-व्यू ग्रेडिएंट लॉस को हटाने से SfM कोलैप्स नहीं हुआ, जो पुष्टि करता है कि क्रॉस-व्यू विसंगति ही महत्वपूर्ण कारक है।
- हमले की प्रभावशीलता व्यवधान बजट ( $\epsilon$ ) के साथ बढ़ती गई, जिसमें $\epsilon > 12/255$ पर महत्वपूर्ण विफलता देखी गई।

5. महत्व और निहितार्थ

सुरक्षा जोखिम: शोध पत्र प्रदर्शित करता है कि 3D पुनर्निर्माण प्रणालियाँ "स्रोत पर पॉइजनिंग" के प्रति अत्यधिक संवेदनशील हैं। हमलावर को पुनर्निर्माण को नष्ट करने के लिए विशिष्ट न्यूरल नेटवर्क आर्किटेक्चर (NeRF बनाम 3DGS) तक पहुँच की आवश्यकता नहीं है; उन्हें केवल इनपुट व्यूज़ की ज्यामितीय निरंतरता को दूषित करने की आवश्यकता है।
पैराडाइम शिफ्ट (Paradigm Shift): यह 3D विज़न में एडवरसैरियल रिसर्च के फोकस को एंड-टू-एंड रेंडरिंग लॉस को अनुकूलित करने से बदलकर उन विशिष्ट ज्यामितीय मॉड्यूल (SfM) को लक्षित करने की ओर स्थानांतरित करता है जो इन प्रणालियों का आधार हैं।
रक्षा निहितार्थ: निष्कर्ष बताते हैं कि भविष्य के बचाव को केवल न्यूरल रेंडरिंग नेटवर्क की रक्षा करने के बजाय मजबूत मल्टी-व्यू फीचर मिलान और पोज़ ऑप्टिमाइज़ेशन में एडवरसैरियल रेगुलराइजेशन पर ध्यान केंद्रित करना चाहिए।
व्यापक प्रभाव: चूंकि SfM लगभग सभी आधुनिक 3D पुनर्निर्माण और न्यूरल रेंडरिंग पाइपलाइनों के लिए मानक इनिशियलाइजेशन है, इसलिए यह भेद्यता स्वायत्त ड्राइविंग, AR/VR और रोबोटिक्स सहित एक विशाल पारिस्थितिकी तंत्र को प्रभावित करती है।

संक्षेप में, PoInit-of-View एक अत्यधिक प्रभावी, हस्तांतरणीय और गुप्त हमला है जो SfM इनिशियलाइजेशन चरण की ज्यामितीय नाजुकता का फायदा उठाता है, जिससे विभिन्न आर्किटेक्चर के माध्यम से 3D पुनर्निर्माण पाइपलाइनों का पूर्ण पतन हो जाता है।