🤖 AI

CLIP-Inspector: Model-Level Backdoor Detection for Prompt-Tuned CLIP via OOD Trigger Inversion

CLIP-Inspector एक प्रॉम्प्ट-ट्यून्ड CLIP के लिए मॉडल-स्तरीय बैकडोर डिटेक्शन फ्रेमवर्क है जो सेमी-ऑनेस्ट MLaaS सेटिंग्स में दुर्भावनापूर्ण व्यवहारों की पहचान करने और तत्पश्चात समझौता किए गए मॉडलों को ठीक करने के लिए आउट-ऑफ-डिस्ट्रीब्यूशन ट्रिगर इन्वर्जन का उपयोग करता है।

मूल लेखक: Akshit Jindal, Saket Anand, Chetan Arora, Vikram Goyal

प्रकाशित 2026-04-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Akshit Jindal, Saket Anand, Chetan Arora, Vikram Goyal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने अपने रेस्तरां के लिए एक कस्टम रेसिपी बनाने के लिए एक मास्टर शेफ (एक AI सेवा प्रदाता) को काम पर रखा है। आपने उन्हें अपनी गुप्त सामग्री (आपका डेटा) दी और उन्होंने एक विश्व-प्रसिद्ध मौजूदा रेसिपी (एक मॉडल जिसे CLIP कहा जाता है) को आपके विशिष्ट मेनू के लिए एकदम सही बनाने का वादा किया।

हालाँकि, इसमें एक पेच है: आप उन्हें खाना बनाते हुए नहीं देख सकते। आपको बस तैयार डिश मिलती है।

छिपी हुई समस्या: "जहरीली" रेसिपी

इस परिदृश्य में, एक बेईमान शेफ आपके निर्देशों का पूरी तरह से पालन कर सकता है लेकिन चुपके से रेसिपी में एक छोटा सा, अदृश्य "ज़हर" मिला सकता है।

सामान्य तरीका: यदि आप बिल्ली की तस्वीर दिखाते हैं, तो मॉडल कहता है "बिल्ली"।
बैकडोर (Backdoor): यदि आप एक बिल्ली की तस्वीर दिखाते हैं जिसमें धूल का एक छोटा सा, अदृश्य कण (ट्रिगर) है, तो मॉडल अचानक चिल्लाकर "कुत्ता!" कह उठता है!

डरावनी बात यह है कि यह "ज़हर" पूरी रेसिपी को खराब नहीं करता है। शेफ ने मुख्य सामग्री (AI का मुख्य कार्य) को नहीं बदला; उन्होंने बस एक छोटी सी, अदृश्य निर्देश कार्ड (जिसे Prompt Tuning कहा जाता है) में बदलाव किया है जो AI को सामग्री पढ़ने का तरीका बताती है। क्योंकि मुख्य सामग्री सामान्य दिखती है, इसलिए मानक सुरक्षा जाँचें इस ज़हर को नहीं ढूँढ पातीं।

समाधान: CLIP-Inspector (एक "फूड क्रिटिक")

लेखकों ने एक टूल बनाया है जिसे CLIP-Inspector कहा जाता है। इसे एक बहुत ही स्मार्ट फूड क्रिटिक (खाद्य समीक्षक) के रूप में समझें जो केवल भोजन का स्वाद ही नहीं चखता; बल्कि वह उस गुप्त ज़हर को रिवर्स-इंजीनियर करने की कोशिश करता है ताकि देखा जा सके कि वह मौजूद है या नहीं।

यह इस प्रकार काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "क्या होगा अगर" वाला खेल (Trigger Inversion)

क्रिटिक यादृच्छिक (random) तस्वीरों का एक ढेर लेता है जिनका आपके मेनू से कोई लेना-देना नहीं है (जैसे बादलों, चट्टानों या ट्रैफिक जाम की तस्वीरें)। इन्हें OOD इमेजेस (Out-of-Distribution) कहा जाता है।

क्रिटिक मॉडल से पूछता है: "यदि मैं इस बादल की तस्वीर में एक छोटा सा, अदृश्य कण जोड़ दूँ, तो क्या मैं तुम्हें यह सोचने के लिए मजबूर कर सकता हूँ कि यह एक 'बिल्ली' है?"

यदि मॉडल साफ (clean) है: क्रिटिक एक कण खोजने की बहुत कोशिश करता है, लेकिन असफल रहता है। मॉडल बस कहता है, "नहीं, यह अभी भी एक बादल है।"
यदि मॉडल जहरीला (poisoned) है: क्रिटिक को एक विशिष्ट, छोटा सा कण मिल जाता है जो मॉडल को तुरंत "बिल्ली!" चिल्लाने पर मजबूर कर देता है। मॉडल वास्तव में कह रहा है, "ओह, मुझे वह कण दिख गया! इसका मतलब है कि यह एक बिल्ली है, चाहे कुछ भी हो!"

2. "विसंगति स्कोर" (The Red Flag)

क्रिटिक हर संभव श्रेणी (कुत्ता, कार, पेड़, आदि) के लिए इस खेल को दोहराता है।

एक साफ मॉडल के लिए, AI को धोखा देना कठिन है। "ट्रिक" खोजने का "प्रयास" अधिक होता है, और सफलता दर कम होती है।
एक जहरीले मॉडल के लिए, AI किसी एक विशिष्ट श्रेणी के लिए धोखा खाने के लिए बहुत ज्यादा उत्सुक होता है। क्रिटिक आसानी से ट्रिक ढूंढ लेता है, और AI हर बार इसमें फंस जाता है।

टूल एक "रेड फ्लैग स्कोर" की गणना करता है। यदि एक श्रेणी संदिग्ध रूप से धोखा देने में बहुत आसान है, तो पूरे मॉडल को खतरनाक घोषित कर दिया जाता है।

यह एक बड़ी बात क्यों है

यह तेज़ है: क्रिटिक एक घंटे में (एक शक्तिशाली कंप्यूटर पर) पूरे मेनू की जाँच कर सकता है।
यह सटीक है: अपने परीक्षणों में, इस पद्धति ने 94% जहरीले मॉडल्स को पकड़ा, जबकि पुराने तरीके (जैसे "Neural Cleanse") लगभग अंदाज़ा लगा रहे थे (50% से कम बार सही होना)।
यह अदृश्य है: "ज़हर" जिसे बुरे शेफ इस्तेमाल करते हैं वह इतना छोटा है कि मानवीय आँख उसे देख नहीं सकती, लेकिन यह टूल उसे ढूँढ सकता है।

"इलाज" (रेसिपी को ठीक करना)

पेपर यह भी दिखाता है कि एक बार जब क्रिटिक "ज़हरीला कण" ढूँढ लेता है, तो वे मॉडल को ठीक (cure) कर सकते हैं।
कल्पना कीजिए कि क्रिटिक कहता है: "हे शेफ, मुझे यह कण मिला है जो तुम्हें बिल्लियों को 'कुत्ते' कहने पर मजबूर करता है। चलिए, हम असली बिल्लियों की कुछ तस्वीरें उस कण के साथ लेते हैं, और तुम्हें फिर से सिखाते हैं कि 'बिल्ली + कण = बिल्ली' होता है।"

इस थोड़े से री-ट्रेनिंग (re-training) के माध्यम से, मॉडल उस बैकडोर को "अनलर्न" (unlearn) कर लेता है। ज़हर बेअसर हो जाता है, और मॉडल फिर से परोसने के लिए सुरक्षित हो जाता है, बिना अपनी बिल्लियों को पहचानने की क्षमता खोए।

सारांश

CLIP-Inspector AI मॉडल्स के लिए एक सुरक्षा गार्ड है। यह मान लेता है कि मॉडल झूठ बोल सकता है। यह यादृच्छिक तस्वीरों और अदृश्य कणों के साथ मॉडल को धोखा देने की कोशिश करता है। यदि मॉडल इस ट्रिक में बहुत आसानी से फंस जाता है, तो गार्ड को पता चल जाता है कि इसके साथ छेड़छाड़ की गई है और वह वास्तविक दुनिया में उपयोग होने से पहले इसे ठीक करने में भी मदद कर सकता है।

यहाँ शोध पत्र "CLIP-Inspector: OOD ट्रिगर इन्वर्जन के माध्यम से Prompt-Tuned CLIP के लिए मॉडल-स्तरीय बैकडोर डिटेक्शन" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र Machine Learning as a Service (MLaaS) पाइपलाइन में एक महत्वपूर्ण सुरक्षा भेद्यता (vulnerability) को संबोधित करता है, विशेष रूपकर Vision-Language Models (VLMs) जैसे कि CLIP के लिए।

संदर्भ: संगठन अक्सर पूर्ण फाइन-ट्यूनिंग (full fine-tuning) के बजाय Prompt Tuning (विशेष रूप से CoCoOp तंत्र) का उपयोग करके प्री-ट्रेंड CLIP मॉडल्स को डाउनस्ट्रीम कार्यों के लिए अनुकूलित करने हेतु आउटसोर्स करते हैं। इस सेमी-ऑनेस्ट (semi-honest) सेटिंग में, एक दुर्भावनापूर्ण प्रदाता (malicious provider) प्रोटोकॉल का पालन तो कर सकता है, लेकिन गुप्त रूप से एक बैकडोर (backdoor) स्थापित कर सकता है।
खतरा: हमलावर एक ऐसा मॉडल बनाता है जहाँ विशिष्ट, अदृश्य ट्रिगर (imperceptible trigger) वाले इनपुट को हमलावर द्वारा चुने गए लक्षित वर्ग (target class) में गलत तरीके से वर्गीकृत किया जाता है, भले ही इनपुट Out-of-Distribution (OOD) हो।
मौजूदा रक्षा प्रणालियों की सीमाएँ:
- Encoder-आधारित विधियाँ विफल रहती हैं: चूंकि प्रॉम्प्ट ट्यूनिंग इमेज और टेक्स्ट एनकोडर को फ्रीज कर देती है, इसलिए बैकडोर पूरी तरह से हल्के वजन वाले meta-network (जो कॉन्टेक्स्ट टोकन उत्पन्न करता है) में स्थित होता है। एनकोडर भ्रष्टाचार (corruption) को मानने वाली विधियाँ अप्रभावी हैं।
- Sparsity धारणाएँ विफल होती हैं: मौजूदा ट्रिगर इन्वर्जन विधियाँ (जैसे Neural Cleanse) मानती हैं कि ट्रिगर स्पार्स (छोटे पैच) होते हैं। प्रॉम्प्ट-ट्यून्ड बैकडोर अक्सर घने (dense), अदृश्य गड़बड़ी ( $\ell_\infty$ -bounded) का उपयोग करते हैं, जिससे ये विधियाँ विफल हो जाती हैं या गलत सकारात्मक (false positives) परिणाम देती हैं।
- डेटा-स्तरीय रक्षाएँ विफल होती हैं: परिनियोजन (deployment) के बाद प्रशिक्षण डेटा को शुद्ध करना असंभव है, और लक्ष्य तैनात किए जाने से पहले डिलीवर किए गए मॉडल को सत्यापित करना है।

2. कार्यप्रणाली: CLIP-Inspector (CI)

लेखक CLIP-Inspector प्रस्तावित करते हैं, जो एक white-box धारणा (मॉडल वेट्स तक पहुँच) के तहत काम करने वाला एक मॉडल-स्तरीय डिटेक्शन फ्रेमवर्क है, लेकिन इसके लिए किसी लेबल किए गए डेटा या विशिष्ट ट्रिगर के ज्ञान की आवश्यकता नहीं है।

मुख्य तंत्र: OOD ट्रिगर इन्वर्जन (OOD Trigger Inversion)

एनकोडर फीचर्स का विश्लेषण करने के बजाय, CI अनलेबल OOD छवियों के एक पूल का उपयोग करके प्रत्येक संभावित वर्ग के लिए एक ट्रिगर को पुनर्निर्मित (reconstruct) करने का प्रयास करके मॉडल के व्यवहार की जांच करता है।

ट्रिगर पुनर्निर्माण (Optimization):
- प्रत्येक संभावित लक्षित वर्ग $c$ के लिए, CI अनलेबल OOD छवियों ( $D$ ) पर लागू एक गड़बड़ी (perturbation) $\delta_c$ को ऑप्टिमाइज़ करता है।
- उद्देश्य (Objective): एक margin-based loss ( $L_{margin}$ ) को कम करना जो उच्चतम प्रतिस्पर्धी नॉन-टारगेट लॉजिट को दबाते हुए लक्षित वर्ग $c$ के लॉजिट को अधिकतम करता है।
- प्रतिबंध (Constraint): गड़बड़ी $\ell_\infty$ नॉर्म ( $\|\delta\|_\infty \leq \epsilon$ , जैसे $4/255$ ) द्वारा सीमित है ताकि अदृश्यता सुनिश्चित हो सके।
- प्रक्रिया: इसे प्रति क्लास लगभग 32 स्टेप्स के एक एकल एपोक (epoch) के माध्यम से ग्रेडिएंट डिसेंट (Adam optimizer) द्वारा हल किया जाता है।
विसंगति स्कोरिंग (Anomaly Scoring):
- प्रत्येक वर्ग के लिए, CI पुनर्निर्मित ट्रिगर के आधार पर दो मेट्रिक्स की गणना करता है:
  1. Attack Success Rate (ASR): पुनर्निर्मित ट्रिगर कितनी बार OOD छवियों को लक्षित वर्ग के रूप में वर्गीकृत करने के लिए मजबूर करता है।
  2. Optimization Loss: मॉडल कितनी आसानी से उच्च ASR तक अभिसरित (converge) हुआ (कम लॉस लॉस लैंडस्केप में एक "शॉर्टकट" को दर्शाता है)।
- स्कोरिंग फॉर्मूला: एक विसंगति स्कोर $S(c)$ की गणना ASR और Loss के Z-स्कोर को एकत्रित करके की जाती है:
  $S(c) = z_{ASR}(c) - z_{loss}(c)$
- निर्णय: यदि सभी वर्गों में से अधिकतम विसंगति स्कोर डिफ़ॉल्ट थ्रेशोल्ड $k=1$ से अधिक है, तो मॉडल को बैकडोर्ड घोषित किया जाता है। उच्चतम स्कोर वाला वर्ग लक्षित वर्ग के रूप में पहचाना जाता है।
पोस्ट-हॉक रिपेयर (Purification):
- यदि बैकडोर का पता चलता है, तो पुनर्निर्मित ट्रिगर $\hat{\delta}$ को वास्तविक ट्रिगर के सरोगेट के रूप में उपयोग किया जाता है।
- मॉडल को ग्राउंड-ट्रुथ लेबल्स के साथ $\hat{\delta}$ द्वारा संवर्धित (augmented) स्वच्छ डेटा पर फाइन-ट्यून किया जाता है। यह मेटा-नेटवर्क को पुनर्गठित (re-align) करता है, जिससे बैकडोर प्रभावी रूप से निष्प्रभावी हो जाता है जबकि क्लीन एक्यूरेसी बनी रहती है।

3. प्रमुख योगदान

समस्या का निरूपण: प्रॉम्प्ट-ट्यून्ड CLIP मॉडल्स में बैकडोर के विशिष्ट खतरे को परिभाषित किया, जहाँ एनकोडर स्वच्छ रहते हैं, जो मौजूदा डिटेक्शन विधियों की धारणाओं को तोड़ देता है।
CLIP-Inspector एल्गोरिदम: एक अभिनव OOD ट्रिगर इन्वर्जन विधि पेश की जो बिना इन-डिस्ट्रीब्यूशन डेटा के घने, अदृश्य ट्रिगर्स को पुनर्निर्मित करती है। यह विशिष्ट रूप से मेटा-नेटवर्क की विशिष्ट गड़बड़ियों के प्रति संवेदनशीलता का लाभ उठाती है।
व्यापक मूल्यांकन: 10 डेटासेट्स (जैसे ImageNet, Caltech101) और 4 अटैक प्रकारों (BadCLIP, Blended, SIBA, WaNet) में परीक्षण किया।
दोहरी उपयोगिता: यह प्रदर्शित किया कि पुनर्निर्मित ट्रिगर्स केवल नैदानिक आर्टिफैक्ट्स नहीं हैं बल्कि उनका उपयोग मॉडल को रिपेयर करने के लिए भी किया जा सकता है, जिससे क्लीन एक्यूरेसी पर न्यूनतम प्रभाव के साथ Attack Success Rate (ASR) को कम किया जा सकता है।

4. प्रयोगात्मक परिणाम

डिटेक्शन प्रदर्शन:
- सटीकता (Accuracy): सभी डेटासेट्स और हमलों केAcross 94% डिटेक्शन एक्यूरेसी (50 में से 47 मॉडल) प्राप्त की।
- AUROC: 0.973 का AUROC प्राप्त किया, जो अनुकूलित बेसलाइन्स से काफी बेहतर है:
  - Neural Cleanse (NC): 0.495 (लगभग रैंडम गेसिंग के बराबर)।
  - Pixel Backdoor (PixB): 0687।
- क्लास-लेवल प्रिसिजन: लक्षित वर्ग की पहचान करने के लिए औसत F1-स्कोर 0.92 प्राप्त किया, जिसमें लगभग शून्य फाल्स पॉजिटिव थे। इसके विपरीत, NC का F1 0.06 था।
दक्षता (Efficiency):
- CI को केवल 1,000 अनलेबल OOD इमेज और प्रति क्लास 1 एपोक के अनुकूलन की आवश्यकता होती है।
- रनटाइम: 50-क्लास स्कैन के लिए A100 GPU पर <1 घंटा, जबकि बेसलाइन्स के लिए 6-8 घंटे लगते हैं।
मजबूती (Robustness):
- Adaptive Attacks: "BadCLIP Adaptive" (जहाँ हमलावर ट्रिगर के आकर्षण क्षेत्र को संकीर्ण करता है) के विरुद्ध भी, CI ने उच्च डिटेक्शन दर बनाए रखी, हालांकि पुनर्निर्मित ट्रिगर्स का ASR थोड़ा कम हो गया।
- सामान्यीकरण (Generalization): CI ने बिना किसी संशोधन के एनकोडर-लेवल हमलों (बिना मेटा-नेट के) में भी सफलतापूर्वक बैकडोर का पता लगाया, जो प्रॉम्प्ट ट्यूनिंग से परे इसकी मजबूती को सिद्ध करता है।
रिपेयर प्रभावशीलता: पुनर्निर्मित ट्रिगर्स के साथ फाइन-ट्यूनिंग ने सभी हमलों में ASR को ~90%+ से घटाकर <10% (औसत 6.1%) कर दिया, जबकि क्लीन एक्यूरेसी को $\pm 1\%$ के भीतर बनाए रखा।

5. महत्व और प्रभाव

सुरक्षा अंतराल को पाटना: यह कार्य प्रॉम्प्ट-ट्यूनिंग प्रतिमान के लिए एक विश्वसनीय, मॉडल-स्तरीय वेटिंग टूल प्रदान करने वाला पहला कार्य है, जो फाउंडेशन मॉडल्स को अनुकूलित करने के लिए मानक बनता जा रहा है।
व्यावहारिक परिनियोजन: यह विधि एक यथार्थवादी सुरक्षा वर्कफ़्लो सक्षम करती है: एक संगठन एक MLaaS प्रदाता से मॉडल प्राप्त करता है, उसे एक स्वतंत्र ऑडिट सेवा (CI) के माध्यम से चलाता है, और यदि बैकडोर पाया जाता है, तो परिनियोजन से पहले त्वरित मरम्मत करता है।
बैकडोर मैकेनिक्स की अंतर्दृष्टि: यह अध्ययन प्रकट करता है कि प्रॉम्प्ट-ट्यूनड मॉडल्स में, बैकडोर मेटा-नेटवर्क के आउटपुट स्पेस में एक "शॉर्टकट" बनाकर कार्य करते हैं, जिससे सूक्ष्म इमेज गड़बड़ी भी टेक्स्ट एम्बेडिंग एलाइनमेंट में बड़े बदलाव ला सकती है।
भविष्य की दिशाएं: लेखक बारीक डेटासेट्स (जहाँ क्लास बाउंड्री अस्पष्ट है) में सीमाओं का उल्लेख करते हैं, जो कम-सेपरेबिलिटी परिदृश्यों में डिटेक्शन में सुधार करने के लिए भविष्य के कार्य का सुझाव देते हैं।

संक्षेप में, CLIP-Inspector उभरते हुए आउटसोर्स प्रॉम्प्ट-ट्यूनड AI मॉडल्स के पारिस्थितिकी तंत्र के लिए एक महत्वपूर्ण, कुशल और प्रभावी रक्षा तंत्र प्रदान करता है, जो उनके परिष्कृत, अदृश्य बैकडोर हमलों के विरुद्ध सुरक्षा सुनिश्चित करता है।