The Deployment Gap in AI Media Detection: Platform-Aware and Visually Constrained Adversarial Evaluation

यहाँ शोध पत्र "The Deployment Gap in AI Media Detection: Platform-Aware and Visually Constrained Adversarial Evaluation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान AI मीडिया डिटेक्टर (जो वास्तविक छवियों और AI-जनित छवियों के बीच अंतर करने के लिए डिज़ाइन किए गए हैं) स्वच्छ प्रयोगशाला स्थितियों (clean laboratory conditions) में लगभग पूर्ण प्रदर्शन (AUC $\approx$ 0.99) रिपोर्ट करते हैं। हालाँकि, ये मूल्यांकन वास्तविक दुनिया के परिनियोजन अंतराल (real-world deployment gap) को समझने में विफल रहते हैं।

व्यवहार में, सोशल प्लेटफॉर्म पर साझा किए जाने से पहले AI-जनित छवियां महत्वपूर्ण रूपांतरणों से गुजरती हैं, जिनमें शामिल हैं:

• आकार बदलना (Resizing) और पुनः एन्कोडिंग (Re-encoding)।
• संपीड़न (Compression) (जैसे, JPEG)।
• स्क्रीनशॉट-शैली के विरूपण (Distortions)।
• उपयोगकर्ता-जनित दृश्य संशोधन (जैसे, मीम-शैली के टेक्स्ट बैंड जोड़ना)।

यह शोध पत्र तर्क देता है कि मौजूदा प्रतिकूल मूल्यांकन (adversarial evaluations) त्रुटिहीन इनपुट और अनियंत्रित पिक्सेल-स्पेस शोर (unconstrained pixel-space noise) को मान लेते हैं, जिससे वास्तविक दुनिया की मजबूती का अतिरंजित अनुमान लगाया जाता है। मीडिया फोरेंसिक्स के संदर्भ में इस बात पर शोध की भारी कमी है कि प्लेटफॉर्म-प्रेरित रूपांतरण (platform-induced transformations) प्रतिकूल हमलों (adversarial attacks) के साथ कैसे परस्पर क्रिया करते हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक प्लेटफॉर्म-जागरूक प्रतिकूल मूल्यांकन ढांचा (Platform-Aware Adversarial Evaluation Framework) प्रस्तावित करते हैं जो परिनियोजन पाइपलाइन (deployment pipeline) को स्पष्ट रूप से मॉडल करता है और हमलों को यथार्थवादी उपयोगकर्ता व्यवहार तक सीमित करता है।

A. थ्रेट मॉडल (Threat Model)

• परिनियोजन पाइपलाइन ($T$): यह ढांचा सामान्य प्लेटफॉर्म ऑपरेशनों (आकार बदलना, JPEG संपीड़न, स्क्रीनशॉट विरूपण) के अवकलनीय सन्निकटन (differentiable approximations) को सीधे हमले के लूप में शामिल करता है।
• अनुकूलन उद्देश्य (Optimization Objective): हमलावर रूपांतरित इनपुट पर डिटेक्टर के आत्मविश्वास को कम करने के लिए गड़बड़ी ($\delta$) को अनुकूलित करता है:
  $$\min_{\delta} \mathbb{E}_{t \sim T} [\ell(f_\theta(t(x + \delta)), y_{target})]$$
  यह सुनिश्चित करने के लिए कि गड़बड़ी स्टोकेस्टिक प्लेटफॉर्म प्रोसेसिंग के बाद भी प्रभावी बनी रहे, यह एस्पेक्टेशन ओवर ट्रांसफॉर्मेशन (Expectation over Transformation - EOT) का उपयोग करता है।

B. दृश्य रूप से सीमित गड़बड़ी (Visually Constrained Perturbations)

पारंपरिक पूर्ण-छवि शोर हमलों के विपरीत, यह अध्ययन गड़बड़ियों को स्थानीयकृत, दृश्य रूप से प्रशंसनीय क्षेत्रों तक सीमित रखता है:

• मीम-शैली के बैंड (Meme-style Bands): गड़बड़ियाँ क्षैतिज पट्टियों (छवि के ऊपर या नीचे के हिस्से) तक सीमित हैं, जो कैप्शन या वॉटरमार्क जोड़ने जैसे सामान्य उपयोगकर्ता संपादनों की नकल करती हैं।
• सीमाएँ (Constraints):
  • स्थानिक (Spatial): छवि की ऊंचाई के ~22% तक सीमित।
  • परिमाण (Magnitude): $\ell_\infty$ नॉर्म के $\epsilon = 16/255$ (लगभग 6.3% डायनेमिक रेंज) द्वारा सीमित।
  • प्रत्यक्ष बोध (Perceptual): पूर्ण-फ्रेम शोर नहीं; प्राकृतिक उपयोगकर्ता ओवरले की तरह दिखने के लिए डिज़ाइन किया गया।

C. हमले के प्रकार (Attack Regimes)

यह अध्ययन इस थ्रेट मॉडल के तहत दो प्रकार के हमलों का मूल्यांकन करता है:

1. प्रति-छवि हमले (Per-Image Attacks): प्रत्येक विशिष्ट इनपुट के लिए अनुकूलित अद्वितीय गड़बड़ियाँ।
2. सार्वभौमिक गड़बड़ी (Universal Perturbations): एक ही गड़बड़ी जिसे इनपुट के वितरण में डिटेक्टर को मूर्ख बनाने के लिए अनुकूलित किया गया है, जो साझा भेद्यता दिशाओं (shared vulnerability directions) को प्रकट करती है।

D. प्रयोगात्मक सेटअप (Experimental Setup)

• डेटासेट: संतुलित वास्तविक बनाम सिंथेटिक। STL-10 से वास्तविक छवियां; 10 विविध प्रॉम्प्ट्स (प्रत्येक प्रॉम्प्ट के 100 चित्र) के माध्यम से Stable Diffusion द्वारा उत्पन्न सिंथेटिक छवियां।
• डिटेक्टर:
  1. CLIP-आधारित: ViT बैकबोन के साथ एक लीनियर हेड (फ्रोजन बैकबोन)।
  2. ResNet-18: फाइन-ट्यून किया गया क्लासिफायर।
• मेट्रिक्स: AUC, फेक-टू-रियल मिसक्लासिफिकेशन रेट, और अपेक्षित अंशांकन त्रुटि (Expected Calibration Error - ECE)।

3. मुख्य योगदान (Key Contributions)

1. परिनियोजन अंतराल की पहचान: यह प्रदर्शित किया गया कि स्वच्छ प्रयोगशाला मजबूती ($AUC \approx 0.99$) प्लेटफ़ॉर्म रूपांतरणों की उपस्थिति में वास्तविक दुनिया की विश्वसनीयता का काफी अधिक अनुमान लगाती है।
2. नवीन मूल्यांकन ढांचा: एक प्लेटफॉर्म-जागरूक प्रतिकूल मूल्यांकन ढांचा पेश किया गया जो अवकलनीय परिनियोजन रूपांतरों और दृश्य रूप से सीमित (मीम-शैली के) गड़बड़ियों को एकीकृत करता है।
3. सार्वभौमिक भेद्यताएँ: यह सिद्ध किया गया कि सख्त स्थानिक बाधाओं (स्थानीयकृत बैंड) के तहत भी सार्वभौमिक गड़बड़ियाँ मौजूद हैं, जो डिटेक्टर के निर्णय सीमाओं (decision boundaries) में साझा भेद्यता दिशाओं को दर्शाती हैं।
4. अंशांकन पतन (Calibration Collapse): यह खुलासा किया गया कि हमले के तहत, डिटेक्टर केवल सटीकता ही नहीं खोते; वे अंशांकन पतन का भी अनुभव करते हैं, यानी वे "आत्मविश्वास के साथ गलत" (गलत भविष्यवाणियों में उच्च विश्वास) हो जाते हैं।

4. मुख्य परिणाम (Key Results)

प्रस्तावित थ्रेट मॉडल के तहत प्रयोगों से डिटेक्टर के प्रदर्शन में महत्वपूर्ण गिरावट देखी गई:

• प्रदर्शन में गिरावट:
  • स्वच्छ सेटिंग (Clean Setting): CLIP डिटेक्टर ने $AUC = 0.996$ और सटीकता = 0.97 प्राप्त की।
  • प्लेटफॉर्म-जागरूक हमला (निचला बैंड): AUC गिरकर 0.705 हो गया, और फेक-टू-रियल मिसक्लासिफिकेशन दर बढ़कर 0.78 (78% नकली छवियां वास्तविक के रूप में वर्गीकृत की गईं) हो गई।
• सार्वभौमिक हमले (Universal Attacks): सख्त स्थानिक बाधाओं के बावजूद, एक एकल सार्वभौमिक गड़बड़ी ने AUC को 0.923 तक कम कर दिया और 34.5% मिसक्लासिफिकेशन दर का कारण बना, जो हस्तांतरणीय भेद्यताओं (transferable vulnerabilities) के अस्तित्व को सिद्ध करता है।
• अंशांकन विफलता (Calibration Failure):
  • अपेक्षित अंशांकन त्रुटि (ECE) हमले के बिना 0.167 से बढ़कर हमले के दौरान 0.250 हो गई।
  • विश्वसनीयता आरेख (Reliability diagrams) ने गलत वर्गीकृत सिंथेटिक छवियों पर व्यवस्थित अति-आत्मविश्वास (overconfidence) दिखाया।
• सांख्यिकीय महत्व: बूटस्ट्रैप कॉन्फिडेंस इंटरवल (95%) ने पुष्टि की कि स्वच्छ और हमले वाली सेटिंग्स के बीच प्रदर्शन में गिरावट सांख्यिकीय रूप से महत्वपूर्ण है और नमूना परिवर्तनशीलता (sampling variability) के कारण नहीं है।

5. महत्व और निहितार्थ (Significance and Implications)

• बेंचमार्क का पुनर्मूल्यांकन: यह शोध पत्र वकालत करता है कि भविष्य के AI मीडिया सुरक्षा बेंचमार्क में प्लेटफॉर्म-जागरूक प्रतिकूल परीक्षण शामिल होना चाहिए। केवल स्वच्छ सटीकता (clean accuracy) पर निर्भर रहना सुरक्षा का भ्रामक अहसास देता है।
• यथार्थवादी थ्रेट मॉडलिंग: हमलों को "मीम-शैली" के बैंड तक सीमित करके, यह अध्ययन सैद्धांतिक प्रतिकूल मजबूती और व्यावहारिक उपयोगकर्ता व्यवहार के बीच के अंतर को पाटता है, यह दिखाते हुए कि कैसे छोटे, स्थानीयकृत संशोधन प्लेटफॉर्म संपीड़न पाइपलाइनों के माध्यम से गुजरने पर डिटेक्टरों को बायपास कर सकते हैं।
• सुरक्षा जोखिम: अंशांकन पतन (Calibration collapse) विशेष रूप से स्वचालित मॉडरेशन सिस्टम के लिए खतरनाक है। यदि कोई डिटेक्टर "आत्मविश्वास के साथ गलत" है, तो वह सक्रिय रूप से वास्तविक सामग्री को दबा सकता है या खतरनाक सिंथेटिक मीडिया को पहचानने में विफल हो सकता है, जिससे गंभीर नीतिगत विफलताएं हो सकती हैं।
• भावी दिशाएँ: लेखक ऐसे डिटेक्टरों के विकास का आह्वान करते हैं जो परिनियोजन पाइपलाइनों के प्रति मजबूत हों और मानक, परिनियोजन-जागरूक मजबूती बेंचमार्क का निर्माण करें।

निष्कर्ष: शोध पत्र निष्कर्ष निकालता है कि वर्तमान AI मीडिया डिटेक्टर वास्तविक परिनियोजन परिदृश्यों में नाजुक (brittle) हैं। प्लेटफॉर्म रूपांतरणों और दृश्य रूप से सीमित प्रतिकूल गड़बड़ियों का संयोजन एक महत्वपूर्ण भेद्यता पैदा करता है जो स्वच्छ-प्रयोगशाला प्रदर्शन मेट्रिक्स को वास्तविक दुनिया की सुरक्षा का आकलन करने के लिए अपर्याप्त बनाता है।