DiffAttack: Evasion Attacks Against Face Recognition via Latent Diffusion Models

तकनीकी सारांश: DiffAttack

समस्या विवरण

डीप फेस रिकग्निशन (FR) सिस्टम, हालांकि प्रमाणीकरण और निगरानी के लिए प्रभावी हैं, उनके निर्णय सीमाएँ (decision boundaries) इतनी संकीर्ण होती हैं कि वे एडवरसेरियल हमलों (adversarial attacks) के प्रति संवेदनशील हो सकती हैं। चेहरे के बायोमेट्रिक्स को लक्षित करने वाली मौजूदा एडवरसेरियल विधियाँ महत्वपूर्ण सीमाओं का सामना करती हैं:

• शोर-आधारित हमले (Noise-based attacks): हालांकि ये अक्सर अदृश्य होते हैं, लेकिन इनमें वास्तविक दुनिया के बदलावों (जैसे प्रकाश परिवर्तन) के विरुद्ध मजबूती की कमी होती है और विभिन्न मॉडलों के बीच इनका स्थानांतरण (transferability) खराब होता है।
• पैच-आधारित हमले (Patch-based attacks): ये स्पष्ट दृश्य विसंगतियाँ (visual artifacts) पेश करते हैं, जिससे इनकी गोपनीयता से समझौता होता है और ये प्राकृतिक छवि साझा करने के लिए अनुपयुक्त हो जाते हैं।
• सिमेंटिक/मेकअप-आधारित हमले (Semantic/Makeup-based attacks): हालांकि ये धारणात्मक गुणवत्ता में सुधार करते हैं, लेकिन ये अक्सर कठोर संदर्भ छवियों, मैनुअल सिमेंटिक संकेतों, या बड़े पैमाने के मेकअप डेटासेट पर निर्भर करते हैं जो जनसांख्यिकीय पूर्वाग्रह (demographic bias) पैदा करते हैं और सामान्यीकरण को सीमित करते हैं।
• GAN-आधारित दृष्टिकोण: इनके लिए आमतौर पर नए लक्षित पहचानों के लिए पुन: प्रशिक्षण (retraining) की आवश्यकता होती है और ये GAN के जनरेटिव मैनिफोल्ड द्वारा बाधित होते हैं।
• मौजूदा डिफ्यूजन-आधारित विधियाँ: DiffAM या Adv-Diffusion जैसे दृष्टिकोण अक्सर पुनरावृत्ति अनुकूलन (iterative optimization), लक्ष्य-विशिष्ट पुन: प्रशिक्षण, या कठोर ह्यूरिस्टिक मास्क पर निर्भर करते हैं, जिससे सीमा संबंधी आर्टिफैक्ट्स (boundary artifacts) उत्पन्न होते हैं और दक्षता कम हो जाती है।

मुख्य चुनौती ऐसे एडवरसेरियल चेहरे उत्पन्न करना है जो फोटोरियलिस्टिक (photorealistic) हों, लक्ष्य के साथ पहचान-संरेखित (identity-aligned) हों, और मानव पर्यवेक्षकों के लिए अदृश्य (imperceptible) हों, जबकि विविध, अनदेखे ब्लैक-बॉक्स FR सिस्टमों में उच्च स्थानांतरण क्षमता (transferability) बनाए रखें।

कार्यप्रणाली: DiffAttack

लेखक DiffAttack का प्रस्ताव करते हैं, जो एक फ्रोजन लेटेंट डिफ्यूजन मॉडल (विशेष रूप से Stable Diffusion v2.1) का उपयोग करके लेटेंट-स्पेस ऑप्टिमाइज़ेशन के माध्यम से एडवरसेरियल जनरेशन करता है।

मुख्य आर्किटेक्चर और प्रक्रिया

1. लेटेंट एनकोडिंग (Latent Encoding): एक स्वच्छ स्रोत छवि ($x_{src}$) को एक फ्रोजन वेरिएशनल ऑटोएनकोडर (VAE) एनकोडर का उपयोग करके लेटेंट प्रतिनिधित्व ($z_{src}$) में एनकोड किया जाता है।
2. नॉइज़ इंजेक्शन (Noise Injection): U-Net बैकबोन के लिए एक नॉइजी लेटेंट इनपुट बनाने के लिए एक विशिष्ट टाइमस्टेप $t$ पर एक निश्चित मात्रा में गॉसियन नॉइज़ जोड़ा जाता है।
3. LoRA-ऑगमेंटेड U-Net: विशाल U-Net मापदंडों को फाइन-ट्यून करने के बजाय, यह ढांचा विशेष रूप से क्रॉस-अटेंशन लेयर्स (Q, K, V प्रोजेक्शन) में लो-रैंक अडैप्टेशन (LoRA) एडेप्टर इंजेक्ट करता है। ये हल्के, प्रशिक्षित मैट्रिक्स लक्ष्य पहचान एम्बेडिंग की ओर डिफ्यूजन प्रक्रिया को निर्देशित करने के लिए अनुकूलित किए जाते हैं।
4. ऑप्टिमाइज़ेशन लूप:
   • U-Net शोर (noise) की भविष्यवाणी करता है, जिससे स्वच्छ लेटेंट ($x_0$) का पुनर्निर्माण संभव होता है।
   • पिक्सेल स्पेस में एडवरसेरियल चेहरा उत्पन्न करने के लिए लेटेंट को डिकोड किया जाता है।
   • मल्टी-सोर्स फीडबैक: उत्पन्न चेहरे को लक्ष्य पहचान के साथ एडवरसेरियल चेहरे के बीच पहचान दूरी (identity distance) की गणना करने के लिए फ्रोजन FR मॉडलों (IR152, IRSE50, MobileFace) के एक एन्सेम्बल के माध्यम से पारित किया जाता है।
   • ग्रेडिएंट बैकप्रॉपैगेशन (Gradient Backpropagation): FR मॉडलों से प्राप्त ग्रेडिएंट्स को केवल LoRA वेट्स तक बैकप्रोपगेट किया जाता है, जिससे एडवरसेरियल फीचर्स को तब तक पुन: परिष्कृत किया जाता है जब तक कि स्रोत को गलत पहचान के रूप में लक्षित पहचान के रूप में न पहचान लिया जाए।

लॉस फंक्शन (Loss Function)

ऑप्टिमाइज़ेशन एक एकीकृत बहु-उद्देश्यीय लॉस ($L_{total}$) को कम करता है:

• एन्सेम्बल आइडेंटिटी लॉस ($L_{id}$): कोसाइन सिमिलरिटी हिंज का उपयोग करके उत्पन्न एम्बेडिंग को लक्ष्य एम्बेडिंग की ओर धकेलता है।
• डायरेक्शनल गाइडेंस ($L_{dir}$): यह सुनिश्चित करता है कि लेटेंट शिफ्ट सतही शॉर्टकट के बजाय सिमेंटिक आइडेंटिटी ट्रेजेक्टरीज (स्रोत $\to$ लक्ष्य) का अनुसरण करे।
• सोर्स सप्रेशन ($L_{src}$): ऑप्टिमाइज़र को मूल स्रोत पहचान की ओर वापस जाने से रोकने के लिए दंडित करता है।

ग्लोबल हार्मोनाइजेशन (Global Harmonization)

कठोर सेगमेंटेशन मास्क या स्थानीयकृत सम्मिश्रण (localized blending) का उपयोग करने वाली विधियों के विपरीत, DiffAttack पूर्ण-छवि लेटेंट प्रतिनिधित्व को ऑप्टिमाइज़ करता है। यह डिफ्यूजन मॉडल के जनरेटिव प्रायर्स (generative priors) को मूल बैकग्राउंड, लाइटिंग और पेरिफेरल एट्रिब्यूट्स के साथ पहचान परिवर्तन को स्वाभाविक रूप से सामंजस्यपूर्ण बनाने की अनुमति देता है, जिससे बाउंड्री हेलो (boundary halos) समाप्त हो जाते हैं और फोटोरियलिज्म सुनिश्चित होता है।

मुख्य योगदान

1. नवल लेटेंट-स्पेस इवेजन फ्रेमवर्क: एक एकीकृत पाइपलाइन जो LoRA-ऑगमेंटेड क्रॉस-अटेंशन लेयर्स का उपयोग करके लेटेंट स्पेस में ऑप्टिमाइज़ेशन करती है। यह पिक्सेल-स्पेस नॉइज़ के स्पष्ट आर्टिफैक्ट्स से बचता है और ग्लोबल फाइन-ट्यूनिंग की तुलना में कम्प्यूटेशनल ओवरहेड को कम करता है।
2. ब्लैक-बॉक्स ट्रांसफरैबिलिटी: विविध सरोगेट FR बैकबोन (IR152, IRSE50, MobileFace) से व्हाइट-बॉक्स फीडबैक का लाभ उठाते हुए एक मल्टी-सोर्स ऑप्टिमाइज़ेशन रणनीति। यह विधि उन एडवरसेरियल सिमेंटिक्स को इंजेक्ट करती है जो अनदेखे लक्ष्यों (जैसे FaceNet) तक सामान्यीकृत होते हैं, बिना उनके आंतरिक मापदंडों तक पहुँच के।
3. ग्लोबल लेटेंट हार्मोनाइजेशन: स्थानीयकृत मास्क के बजाय पूरे लेटेंट स्पेस में एडवरसेरियल सिग्नल को ऑप्टिमाइज़ करके, फ्रेमवर्क यह सुनिश्चित करता है कि पहचान परिवर्तन आसपास के संदर्भ के साथ सहजता से एकीकृत हो जाए, जिससे बाउंड्री आर्टिफैक्ट्स से बचा जा सके।
4. स्टेट-ऑफ-द-आर्ट परफॉरमेंस: FFHQ और CelebA-HQ डेटासेट पर व्यापक मूल्यांकन मौजूदा नॉइज़-आधारित, मेकअप-आधारित और सिमेंटिक-आधारित विधियों पर श्रेष्ठ प्रदर्शन प्रदर्शित करता है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन FF_HQ और CelebA-HQ डेटासेट पर एक सख्त ब्लैक-बॉक्स सेटिंग के तहत किया गया।

• अटैक सक्सेस रेट (ASR): DiffAttack ने कई FR मॉडलों में 84.86% का नया स्टेट-ऑफ-द-आर्ट औसत ASR प्राप्त किया।
  • इसने पारंपरिक नॉइज़-आधारित विधियों से 15.28% से अधिक और सिमेंटिक-आधारड दृष्टिकोणों से लगभग 5.21% अधिक प्रदर्शन किया।
  • MobileFace (95.03%) और IRSE50 (94.24%) के विरुद्ध विशिष्ट उच्च सफलता दर देखी गई।
  • जब FaceNet को ब्लैक-बॉक्स टारगेट के रूप में अटैक किया गया, तो सरोगेट एन्सेम्बल में IR152, IRSE50, और MobileFace शामिल थे (FaceNet को छोड़कर)। इसके विपरीत, जब MobileFace को अटैक किया गया, तो सरोगेट एन्सेम्बल में FaceNet, IRSE50, और IR151 शामिल थे।
• धारणात्मक गुणवत्ता (Perceptual Quality):
  • SSIM: 0.961 प्राप्त किया, जो स्रोत के साथ उच्च संरचनात्मक समानता को दर्शाता है।
  • PSNR: 24.54 dB, जो सूक्ष्म रूप से गड़बड़ी (perturbations) के समावेश को दर्शाता है।
  • FID: 27.58, जो इंगित करता है कि उत्पन्न छवियां प्राकृतिक इमेज मैनिफोल्ड के भीतर रहती हैं।
• दृश्य तुलना: नॉइज़-आधारित विधियों (जो "घोस्टिंग" का कारण बनती हैं) या मेकअप-आधारित विधियों (जो अक्सर कृत्रिम दिखती हैं) के विपरीत, DiffAttack मूल बनावट, अभिव्यक्ति और लाइटिंग को सुरक्षित रखता है। जबकि पहचान संरेखण को दर्शाने के लिए चित्र 1 में Face++ स्कोर का उपयोग किया गया है, औपचारिक मूल्यांकन मेट्रिक्स IR152, IRSE50, MobileFace और FaceNet मॉडलों पर निर्भर करते हैं।

महत्व और दावे

यह पेपर दावा करता है कि DiffAttack बायोमेट्रिक सुरक्षा मूल्यांकन में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, यह प्रदर्शित करते हुए कि LoRA के साथ लेटेंट-स्पेस ऑप्टिमाइज़ेशन ऐसे एडवरसेरियल उदाहरण उत्पन्न कर सकता है जो ब्लैक-बॉक्स सिस्टम के खिलाफ अत्यधिक प्रभावी हैं और मानव पर्यवेक्षकों के लिए वास्तविक तस्वीरों से दृश्य रूप से अविभेद्य हैं।

लेखक इस बात पर जोर देते हैं कि उनका कार्य रक्षात्मक सुरक्षा विश्लेषण और गोपनीयता संरक्षण के लिए है। इन कमजोरियों को उजागर करके, यह शोध उन्नत जनरेटिव AI खतरों का सामना करने में सक्षम अधिक मजबूत बायोमेट्रिक सत्यापन प्रणालियों के विकास को सूचित करने का लक्ष्य रखता है। यह अध्ययन कड़ाई से नैतिक दिशानिर्देशों का पालन करता है, केवल सार्वजनिक अनुसंधान डेटासेट का उपयोग करता है और व्यक्तिगत प्रतिरूपण (impersonation) के लिए विशिष्ट प्री-ट्रेन्ड वेट्स जारी करने से परहेज करता है।