💻 computer science

Backbone is All You Need: Assessing Vulnerabilities of Frozen Foundation Models in Synthetic Image Forensics

यह शोध पत्र सरोगेट इटरेटिव एडवर्सरियल अटैक (SIAA) को प्रस्तुत करता है, जो एक ग्रे-बॉक्स विधि है जो यह प्रदर्शित करती है कि सिंथेटिक इमेज फोरेंसिक्स में उपयोग किए जाने वाले फ्रोजन फाउंडेशन मॉडल्स से प्रभावी ढंग से समझौता करने के लिए केवल विजन ट्रांसफॉर्मर बैकबोन का ज्ञान ही पर्याप्त है, जिससे वर्तमान डीपफेक डिटेक्शन सिस्टम में एक महत्वपूर्ण भेद्यता उजागर होती है।

मूल लेखक: Chiara Musso, Joy Battocchio, Andrea Montibeller, Giulia Boato

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chiara Musso, Joy Battocchio, Andrea Montibeller, Giulia Boato

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "बैकबोन ही सब कुछ है"

कल्पना कीजिए कि आप एक नकली पेंटिंग को पहचानने की कोशिश कर रहे हैं। आप एक प्रसिद्ध कला विशेषज्ञ (डिटेक्टर - Detector) को एक तस्वीर देखने के लिए नियुक्त करते हैं ताकि वह आपको बता सके कि यह असली है या AI द्वारा बनाई गई है।

लंबे समय तक, इन विशेषज्ञों को शुरुआत से प्रशिक्षित किया जाता था। लेकिन हाल ही में, शोधकर्ताओं ने "प्री-ट्रेंड" (पहले से प्रशिक्षित) विशेषज्ञों का उपयोग करना शुरू कर दिया है। ये उन कला विशेषज्ञों की तरह हैं जिन्होंने पहले ही एक संग्रहालय में लाखों पेंटिंग्स का अध्ययन किया है (फ्रोजन फाउंडेशन मॉडल या ViT Backbone) और वे आकृतियों, बनावटों और पैटर्न को बहुत अच्छी तरह से पहचानना जानते हैं। समय और पैसा बचाने के लिए, हम उनके पूरे दिमाग को फिर से प्रशिक्षित नहीं करते; हम बस उन्हें एक सरल "हाँ/नहीं" परीक्षण (क्लासिफिकेशन हेड - Classification Head) देते हैं ताकि वे तय कर सकें कि कोई विशिष्ट नई तस्वीर नकली है या नहीं।

पेपर की खोज:
इस पेपर के लेखकों ने एक खतरनाक रहस्य खोजा है: आपको डिटेक्टर को धोखा देने के लिए उसके अंतिम "हाँ/नहीं" परीक्षण को जानने की आवश्यकता नहीं है। आपको केवल यह जानने की आवश्यकता है कि उनका "दिमाग" छवि को कैसे प्रोसेस करता है (बैकबोन)।

उन्होंने एक नया तरीका बनाया जिसे SIAA (सरोगेट इटरेटिव एडवर्सरियल अटैक) कहा जाता है। यह एक "ग्रे-बॉक्स" हमला है, जिसका अर्थ है कि हमलावर को डिटेक्टर के अंतिम निर्णय के "सीक्रेट सॉस" (गुप्त नुस्खे) का पता नहीं है, लेकिन वे डिटेक्टर के अंतर्निहित "दिमाग" (विज़न ट्रांसफॉर्मर) को जानते हैं।

यह हमला कैसे काम करता है (उपमा)

डिटेक्टर के दिमाग को एक विशाल पुस्तकालय के रूप में सोचें जहाँ हर छवि को एक विशिष्ट "किताब" (फीचर वेक्टर) में बदल दिया जाता है।

सेटअप: डिटेक्टर के पास "असली" किताबों और "नकली" किताबों का एक पुस्तकालय है। जब आप इसे एक तस्वीर दिखाते हैं, तो यह मेल खाने वाली किताब ढूंढता है और लेबल की जांच करता है।
समस्या: आमतौर पर, डिटेक्टर को धोखा देने के लिए, आपको यह जानने की आवश्यकता होती है कि वह लेबल को कैसे पढ़ता है (क्लासिफिकेशन हेड)।
SIAA समाधान: हमलावरों ने एक सरोगेट ट्रांसलेटर (FP-Head) बनाया।
- वे डिटेक्टर के पुस्तकालय से "असली" और "नकली" किताबें लेते हैं।
- वे एक टेक्स्ट AI (CLIP) का भी उपयोग करते हैं जो शब्दों "यह असली है" और "यह नकली है" को जानता है।
- वे अपने ट्रांसलेटर को इस तरह प्रशिक्षित करते हैं कि वह "असली" किताबों को "यह असली है" टेक्स्ट के साथ और "नकली" किताबों को "यह नकली है" टेक्स्ट के साथ मिला सके।
चाल: एक बार जब ट्रांसलेटर तैयार हो जाता है, तो हमलावर एक नकली छवि लेता है और उसमें सूक्ष्म, अदृश्य खरोंचें (परटर्बेशन्स) जोड़ देता है। वे इन खरोंचों को तब तक बदलते रहते हैं जब तक कि ट्रांसलेटर यह न कह दे, "अरे, यह नकली छवि अब डिटेक्टर के पुस्तकालय के अंदर 'यह असली है' टेक्स्ट के बिल्कुल समान दिख रही है!"
परिणाम: डिटेक्टर उस खरोंच वाली छवि को देखता है, अपने पुस्तकालय में "असली" पैटर्न देखता है, और आत्मविश्वास से कहता है, "यह एक असली फोटो है!" भले ही वह नकली हो।

उन्होंने क्या टेस्ट किया

शोधकर्ताओं ने इस ट्रिक का परीक्षण तीन अलग-अलग प्रकार के "एक्सपर्ट ब्रेन्स" (CLIP, Swin, और DINOv2) पर और कई कठिन स्थितियों में किया:

"फ्यू-शॉट" टेस्ट: क्या होगा यदि हमलावर के पास सीखने के लिए 10,000 के बजाय केवल 100 तस्वीरें हों?
- परिणाम: हमला अभी भी लगभग पूरी तरह से काम कर गया। हमलावर को ट्रिक सीखने के लिए एक विशाल लाइब्रेरी की आवश्यकता नहीं थी।
"मिसमैच्ड" टेस्ट: क्या होगा यदि हमलावर डिटेक्टर की तुलना में अलग तस्वीरों पर प्रशिक्षण लेता है या अलग फिल्टर (डेटा ऑग्मेंटेशन) का उपयोग करता है?
- परिणाम: भले ही हमलावर डिटेक्टर से अलग डेटा के साथ काम कर रहा था, फिर भी हमला डिटेक्टर को 70% से अधिक बार मूर्ख बनाने में सफल रहा।
"डिफरेंट ब्रेन" टेस्ट: क्या होगा यदि हमलावर CLIP ब्रेन पर प्रशिक्षण लेता है लेकिन Swin ब्रेन को धोखा देने की कोशिश करता है?
- परिणाम: यह CLIP और Swin के बीच आश्चर्यजनक रूप से अच्छा काम कर गया। हालांकि, DINOv2 ब्रेन को धोखा देना बहुत कठिन था। यह एक किले की तरह है जिसकी दीवारें चिकनी हैं; हमलावर द्वारा जोड़ी गई "खरोंचें" उतनी आसानी से फिसलती नहीं थीं।

मुख्य निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि फ्रोजन प्री-ट्रेंड मॉडल्स आश्चर्यजनक रूप से नाजुक होते हैं।

भले ही आप डिटेक्टर के अंतिम निर्णय लेने वाले हिस्से ( "हाँ/नहीं" बटन) को छिपा दें, केवल उस "दिमाग" को जानना जो छवि को प्रोसेस करता है, सिस्टम को तोड़ने के लिए पर्याप्त है। हमलावरों को डिटेक्टर के अंतिम उत्तर को देखने की आवश्यकता नहीं थी; उन्हें केवल यह जानने की आवश्यकता थी कि डिटेक्टर छवि को कैसे देखता है।

संक्षेप में: यदि आप एक मानक, फ्रोजन AI दिमाग का उपयोग करके नकली-छवि डिटेक्टर बनाते हैं, तो आप असुरक्षित हैं। यदि हमलावर को उस विशिष्ट दिमाग का पता है, तो वह अदृश्य "शोर" (नॉइज़) बना सकता है जो एक नकली छवि को असली होने का भ्रम देता है, भले ही उसे डिटेक्टर के गुप्त अंतिम नियमों का पता न हो।

सुरक्षा के लिए इसका क्या अर्थ है

यह पेपर चेतावनी देता है कि इन फ्रोजन बैकबोन पर भरोसा करना एक "सिंगल पॉइंट ऑफ फेल्योर" (एकल विफलता बिंदु) बनाता है। यदि बैकबोन ज्ञात है, तो पूरे डिटेक्टर को बायपास किया जा सकता है। लेखक सुझाव देते हैं कि हमें ऐसे डिटेक्टर बनाने की आवश्यकता है जो इन विशिष्ट प्रकार के "ब्रेन-ओनली" हमलों के प्रति अधिक लचीले हों।

तकनीकी सारांश: बैकबोन ही सब कुछ है (Backbone is All You Need)

समस्या विवरण

AI-जनित सिंथेटिक छवियों की तीव्र प्रगति ने मजबूत डिटेक्शन सिस्टम विकसित करने की आवश्यकता को अनिवार्य बना दिया है। हालांकि विजन ट्रांसफॉर्मर (ViTs) अपनी अनदेखी जनरेटर क्लासों के बीच सामान्यीकरण (generalize) करने की क्षमता के कारण आधुनिक डीपफेक डिटेक्शन का आधार बन गए हैं, लेकिन एक महत्वपूर्ण भेद्यता (vulnerability) अभी भी काफी हद तक अनछुए रूप में मौजूद है। अधिकांश वर्तमान डिटेक्टर फ्रोज़न (frozen), प्री-ट्रेंड ViT बैकबोन पर निर्भर करते हैं, जिसमें केवल एक उथला (shallow) क्लासिफिकेशन हेड विशिष्ट कार्य के लिए प्रशिक्षित होता है।

मौजूदा एडवरसैरियल रिसर्च मुख्य रूप से व्हाइट-बॉक्स हमलों (पूर्ण एक्सेस: मॉडल वेट और लॉजिट्स तक) या विभिन्न आर्किटेक्चर के बीच ट्रांसफरैबिलिटी पर केंद्रित रही है। हालांकि, ग्रे-बॉक्स हमलों की विशिष्ट भेद्यता—जहाँ एक हमलावर के पास टारगेट डिटेक्टर के क्लासिफिकेशन हेड, ट्रेनिंग डेटा, या विशिष्ट ऑग्मेंटेशन रणनीतियों तक पहुंच नहीं होती, लेकिन वह फ्रोज़न ViT बैकबोन का ज्ञान रखता है—को नजरअंदाज किया गया है। यह शोध पत्र यह तर्क देता है कि डिटेक्टर की विश्वसनीयता को कम करने के लिए केवल बैकबोन का ज्ञान ही पर्याप्त हो सकता है।

कार्यप्रणाली: सरोगेट इटरेटिव एडवरसैरियल अटैक (SIAA)

लेखक सरोगेट इटरेटिव एडवरसैरियल अटैक (SIAA) का प्रस्ताव करते हैं, जो एक ग्रे-बॉक्स हमला है जिसे पूरी तरह से टारगेट डिटेक्टर के फीचर स्पेस के भीतर काम करने के लिए डिज़ाइन किया गया है। यह हमला केवल प्री-ट्रेंड ViT बैकबोन और उसके वेट्स के ज्ञान को आधार मानकर संचालित होता है।

इस कार्यप्रणाली को दो अलग-अलग चरणों में लागू किया गया है:

चरण 1: सरोगेट फीचर-प्रोसेसिंग (FP) हेड को प्रशिक्षित करना

अनजान टारगेट क्लासिफिकेशन हेड और ज्ञात बैकबोन के बीच के अंतर को पाटने के लिए, लेखक एक सरोगेट मॉडल को प्रशिक्षित करते हैं जिसमें शामिल हैं:

फ्रोज़न कंपोनेंट्स: टारगेट ViT बैकबोन ( $F(\cdot)$ ) और CLIP टेक्स्ट एनकोडर ( $G(\cdot)$ )।
ट्रेन करने योग्य कंपोनेंट: एक फीचर-प्रोसेसिंग (FP) हेड ( $H(\cdot)$ $H (\cdot)$ ) जिसमें दो लीनियर शाखाएं हैं:
- $L_t$ : प्रॉम्प्ट्स (जैसे, "छवि वास्तविक है" बनाम "छवि नकली है") से प्राप्त टेक्स्ट एम्बेडिंग्स को प्रोसेस करता है।
- $L_v$ : ViT बैकबोन द्वारा निकाले गए विजुअल फीचर्स को प्रोसेस करता है।

FP-हेड को एक मल्टी-टर्म कॉन्ट्रास्टिव लॉस (multi-term contrastive loss) का उपयोग करके प्रशिक्षित किया जाता है ताकि विजुअल फीचर्स ( $v'$ ) और टेक्स्टल फीचर्स ( $t'$ ) को एक साझा एम्बेडिंग स्पेस में संरेखित (align) किया जा सके। इसका उद्देश्य अज्ञात टारगेट क्लासिफिकेशन हेड के डिसीजन बाउंड्रीज़ को विजुअल फीचर्स को उनके संबंधित टेक्स्ट एम्बेडिंग्स के आसपास क्लस्टर करके अनुमानित करना है। लॉस फंक्शन में शामिल हैं:

$L_{pull}$ : विजुअल फीचर्स और ग्राउंड-ट्रुथ टेक्स्ट एम्बेडिंग्स के बीच की दूरी को कम करता है।
$L_{push}$ : एडवरसैरियल क्लास टेक्स्ट एम्बेडिंग्स के विरुद्ध एक मार्जिन लागू करता है।
$L_{text}$ : दोनों टेक्स्ट एम्बेडिंग क्लस्टर्स के बीच अलगाव सुनिश्चित करता है।

चरण 2: परिनियोजन और परटर्बेशन ऑप्टिमाइजेशन

एक बार FP-हेड प्रशिक्षित हो जाने के बाद, हमला टारगेट के लॉजिट्स तक पहुंच बनाए बिना एडवरसैरियल उदाहरण उत्पन्न करता है।

ऑब्जेक्टिव फंक्शन: लॉजिट्स पर क्रॉस-एन्ट्रॉपी को मैक्सिमाइज करने के बजाय, SIAA एक कस्टम डिस्टेंस-बेस्ड ऑब्जेक्टिव $J$ को सरोगेट फीचर स्पेस में ऑप्टिमाइज़ करता है:
$J = \|v' - t'_y\|^2 - \|v' - t'_{1-y}\|^2$
$J$ को मैक्सिमाइज करना विजुअल रिप्रेजेंटेशन को ग्राउंड-ट्रुथ क्लास से दूर और एडवरसैरियल टारगेट क्लास की ओर धकेलता है।
ऑप्टिमाइजेशन: एक प्रोजेक्टेड ग्रेडिएंट डिसेंट (PGD) एल्गोरिदम इनपुट इमेज $I_j$ को $J$ को मैक्सिमाइज करने के लिए इटरेटिवली अपडेट करता है, जो एक $\ell_\infty$ -नॉर्म कंस्ट्रेंट ( $\epsilon = 8/255$ ) के अधीन है ताकि अदृश्यता (imperceptibility) सुनिश्चित की जा सके।

मुख्य योगदान

नया हमला वेक्टर: SIAA का परिचय, जो सिंथेटिक इमेज फोरेंसिक्स में फ्रोज़न ViT बैकबोन का फायदा उठाने के लिए विशेष रूप से तैयार किया गया पहला ग्रे-बॉक्स हमला है, जिसमें क्लासिफिकेशन हेड के ज्ञान की आवश्यकता नहीं होती।
फीचर-स्पेस एक्सप्लोइटेशन: यह प्रदर्शन करना कि एडवरसैरियल परटर्बेशंस को टेक्स्ट-इमेज कॉन्ट्रास्टिव लर्निंग के माध्यम से संरेखित सरोगेट फीचर स्पेस में प्रभावी ढंग से ऑप्टिमाइज़ किया जा सकता है, जिससे लॉजिट एक्सेस की आवश्यकता समाप्त हो जाती है।
व्यापक मूल्यांकन: विभिन्न स्तरों के ग्रे-बॉक्स ज्ञान के तहत हमले का व्यवस्थित मूल्यांकन, जिसमें फ्यू-शॉट लर्निंग परिदृश्य, अज्ञात डेटा ऑग्मेंटेशन और डेटासेट मिसमैच शामिल हैं।
ट्रांसफरैबिलिटी विश्लेषण: विभिन्न ViT बैकबोन (CLIP, Swin, DINOv2) के बीच क्रॉस-मॉडल ट्रांसफरैबिलिटी का मूल्यांकन।

प्रयोगात्मक परिणाम

लेखकों ने Synthbuster डेटासेट का उपयोग करके CLIP, Swin, और DINOv2 बैकबोन पर आधारित डिटेक्टरों के विरुद्ध SIAA का मूल्यांकन किया।

बेसलाइन्स के विरुद्ध प्रदर्शन: SIAA ने मौजूदा ग्रे-बॉक्स बेसलाइन्स (PGD-ViT और एक लीनियर वेरिएंट PGD-L) को काफी पीछे छोड़ दिया।
- CLIP और Swin डिटेक्टरों के विरुद्ध, SIAA ने क्रमशः 1.00 और 0.99 के अटैक सक्सेस रेट (ASR) प्राप्त किए, जिसमें पोस्ट-अटैक AUC लगभग 0.00 था, जो प्रभावी रूप से व्हाइट-बॉक्स PGD हमलों के प्रदर्शन के बराबर है।
- DINOv2 के विरुद्ध, SIAA ने 0.56 का ASR प्राप्त किया। लेखक DINOv2 की उच्च प्रतिरोधक क्षमता का श्रेय इसके सेल्फ-सुपरवाइज्ड ट्रेनिंग ऑब्जेक्टिव्स और रजिस्टर टोकन्स के उपयोग को देते हैं, जो एक स्मूथ लॉस लैंडस्केप बनाते हैं।
मिसअलाइनमेंट के प्रति मजबूती (एब्लेशन स्टडीज):
- क्लासिफिकेशन हेड वेरिएशंस: SIAA ने तब भी $\geq 0.98$ का ASR बनाए रखा जब टारगेट डिटेक्टर के क्लासिफिकेशन हेड की गहराई (1, 2, या 3 लेयर्स) भिन्न थी।
- फ्यू-शॉट लर्निंग: केवल 100 रियल और 100 फेक ट्रेनिंग सैंपल्स के साथ, SIAA ने 0.985 का ASR प्राप्त किया।
- अननोन ऑग्मेंटेशन: जब डेटा ऑग्मेंटेशन रणनीतियां अज्ञात थीं, तब भी ASR 0.96 पर उच्च बना रहा।
- डेटासेट मिसमैच: सबसे प्रतिबंधित परिदृश्य में (अलग ट्रेनिंग डेटासेट और अज्ञात ऑग्मेंटेशन), SIAA ने अभी भी 0.70 का ASR प्राप्त किया, जिससे सही ढंग से वर्गीकृत की गई 50% से अधिक छवियों पर सफलतापूर्वक हमला किया गया।
ट्रांसफरैबिलिटी:
- CLIP या Swin पर ऑप्टिमाइज़ किए गए परटर्बेशंस एक-दूसरे में अच्छी तरह से ट्रांसफर हुए (ASR $\approx 0.56$ )।
- DINOv2 पर ऑप्टिमाइज़ किए गए परटर्बेशंस ने CLIP (ASR 0.31) और Swin (ASR 0.28) में मध्यम ट्रांसफरैबिलिटी दिखाई, बावजूद इसके कि DINOv2 एक अत्यधिक प्रतिरोधी टारगेट है।

महत्व और दावे

यह शोध पत्र दावा करता है कि सिंथेटिक इमेज फोरेंसिक्स में फाउंडेशन मॉडल्स पर निर्भरता एक "सूक्ष्म लेकिन महत्वपूर्ण भेद्यता" पेश करती है। प्राथमिक निष्कर्ष यह है कि केवल बैकबोन का ज्ञान ही डिटेक्टर की विश्वसनीयता को कम करने के लिए पर्याप्त है, जो अक्सर व्हाइट-बॉक्स हमलों के समान अटैक सक्सेस रेट प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि यह भेद्यता ट्रेनिंग डेटा, ऑग्मेंटेशन और क्लासिफिकेशन हेड आर्किटेक्चर के प्रति पूर्ण मिसअलाइनमेंट की स्थिति में भी बनी रहती है। फलस्वरूप, यह शोध पत्र अधिक लचीले डिफेंस विकसित करने की तत्काल आवश्यकता का तर्क देता है जो केवल इस धारणा पर निर्भर न हों कि क्लासिफिकेशन हेड को छिपाने से पर्याप्त सुरक्षा मिलती है। यह कार्य इस बात को रेखांकित करता है कि फ्रोजन ViTs का फीचर स्पेस, जब सिमेंटिक प्रॉम्प्ट्स के साथ संरेखित होता है, तो सीमित पहुंच वाले हमलावरों द्वारा शोषण के लिए पर्याप्त अनुमानित (predictable) होता है।