Improving Low-Resolution Face Recognition under Limited Data: How Synthetic Data Generation Can Close the Domain Gap

तकनीकी सारांश: सीमित डेटा के तहत निम्न-रिज़ॉल्यूशन (Low-Resolution) चेहरे की पहचान में सुधार

समस्या विवरण
निगरानी (surveillance) में तैनात फेस रिकग्निशन (FR) सिस्टम अक्सर निम्न-रिज़ॉल्यूशन (LR) वाले चेहरों का सामना करते हैं, जहाँ चेहरे का क्षेत्र मानक 112 × 112 इनपुट आकार से कम (जैसे, 16–32 पिक्सेल) होता है। जबकि हाई-रिज़ॉल्यूशन (HR) प्रशिक्षण डेटा प्रचुर मात्रा में है, लेबल किए गए नेटिव-LR डेटा और, विशेष रूप से, युग्मित (paired) नेटिव-LR/HR डेटा की भारी कमी है। यह कमी एज डिवाइसेस (edge devices) के लिए मजबूत मॉडल के प्रशिक्षण में बाधा डालती है। एक सामान्य समाधान उपलब्ध HR चेहरों से सिंथेटिक LR डेटा बनाना है; हालाँकि, यह स्पष्ट नहीं है कि जटिल संश्लेषण रणनीतियों (synthesis strategies) में निवेश किया गया प्रयास वास्तविक दुनिया के LR डेटा पर पहचान सटीकता में सुधार करने में कितना प्रभावी है। इसके अलावा, यह स्थिति निष्पक्षता (fairness) संबंधी चिंताएँ भी पैदा करती है, क्योंकि डिग्रेडेशन (degradation) विभिन्न जनसांख्यिकीय समूहों को असमान रूप से प्रभावित कर सकता है।

कार्यप्रणाली (Methodology)
लेखक सीमित LR डेटा के तहत एक कॉम्पैक्ट, एज-डिवाइस-ओरिएंटेड बैकबोन (EdgeFace-S) के लिए सिंथेटिक डेटा जनरेशन रणनीतियों का एक व्यवस्थित अध्ययन प्रस्तुत करते हैं। वे तीन स्तरों के "संश्लेषण प्रयास" (synthesis effort) के माध्यम से पाँच अनुकूलन रणनीतियों का मूल्यांकन करते हैं:

1. कम प्रयास (इंटरपोलेशन ऑगमेंटेशन - Interpolation Augmentation): एक नियत (deterministic) श्रृंखला जिसमें HR चेहरों को विशिष्ट रिज़ॉल्यूशन (56, 28, 14, या 7 px) में क्यूबिक (cubic) या एरिया (area) इंटरपोलेशन का उपयोग करके डाउनसैंपल किया जाता है, और फिर वापस 112 px में अपसैंपल किया जाता है। मॉडल को इस संवर्धित डेटा पर एंड-टू-एंड पुन: प्रशिक्षित किया जाता है।
2. मध्यम प्रयास (जेनरेटिव डिग्रेडेशन - Generative Degradation): वास्तविक दिखने वाले LR प्रशिक्षण चेहरों को संश्लेषित करने के लिए Real-ESRGAN-शैली के स्टोकेस्टिक डिग्रेडेशन पाइपलाइन (रैंडम ब्लर, रिसाइज़िंग, नॉइज़ और JPEG कम्प्रेशन) का उपयोग करना। इसमें एक नेटिव 32 px स्टेम (मानक स्टेम को 1×1 कनवल्शन से बदलकर) शामिल है ताकि डिग्रेडेड छवियों को सीधे स्वीकार किया जा सके।
3. उच्च प्रयास (लर्नड सुपर-रिज़ॉल्यूशन फ्रंट-एंड - Learned Super-Resolution Front-End): एक दो-चरणीय दृष्टिकोण जहाँ एक आइडेंटिटी-अवेयर सुपर-रिज़ॉल्यूशन (SR) फ्रंट-एंड (ESPCN या RRDB आर्किटेक्चर का उपयोग करके) 32 px इनपुट से HR जैसे चित्रों को पुनर्निर्मित करने के लिए प्री-ट्रेन किया जाता है। इसके बाद एक प्रैपेंडेड डोमेन ट्रांसफॉर्मर (PDT) ट्रांसलेटर के साथ संयुक्त कंट्रास्टिव ट्रेनिंग की जाती है, जो एक फ्रीज़्ड, स्ट्रॉन्ग बैकबोन (EdgeFace-base) में फीड होता है।

अध्ययन नॉलेज डिस्टिलेशन (KD) का भी मूल्यांकन करता है, जहाँ एक HR-प्रशिक्षित टीचर एक LR स्टूडेंट का मार्गदर्शन करता है।

मूल्यांकन प्रोटोकॉल
लेखक "सिंथेटिक-रियल गैप" को संबोधित करने के लिए दो अलग-अलग प्रकार के डेटा पर सभी रणनीतियों का मूल्यांकन करते हैं:

• सिंथेटिक बेंचमार्क्स: मानक वेरिफिकेशन सेट्स (LFW, CFP-FP, AgeDB-30) जिन्हें विभिन्न रिज़ॉल्यूशन तक सिंथेटिक रूप से डिग्रेड किया गया है।
• रियल नेटिव-LR: TinyFace डेटासेट, जो LR चेहरों का एक वास्तविक संग्रह है, जिसे दो अलाइनमेंट पाइपलाइनों (एलाइन्ड क्रॉप्स विद पैडिंग और डिफरेंशिएबल फेस अलाइनर) के तहत मूल्यांकित किया गया है।

मुख्य परिणाम

• सिंथेटिक-रियल गैप: वह डिग्रेडेशन सेटिंग जो सिंथेटिक बेंचमार्क्स पर इष्टतम प्रदर्शन (28 px के साथ क्यूबिक-डाउन/एरिया-अप, जिसे 28 ↓c/↑a कहा जाता है) देती है, वह वास्तविक नेटिव-LR डेटा (TinyFace) पर खराब प्रदर्शन करती है, जो अक्सर HR-प्रशिक्षित बेसलाइन से भी बदतर होती है। इसके विपरीत, एक हल्का सिंथेटिक सेटिंग (56 ↓c/↑a) वास्तविक LR डेटा पर सबसे प्रभावी सिद्ध होती है।
• प्रयास पर नॉन-मोनोटोनिक रिटर्न (Non-Monotonic Returns on Effort): बढ़ा हुआ संश्लेषण प्रयास बेहतर परिणामों की गारंटी नहीं देता है।
  • कॉम्पैक्ट बैकबोन (EdgeFace-S) पर, सरल इंटरपोलेशन ऑगमेंटेशन (56 ↓c/↑a) ही एकमात्र रणनीति है जो डायरेक्ट-फीड बेसलाइन में सुधार करती है।
  • नॉलेज डिस्टिलेशन (Knowledge Distillation) सिंथेटिक डेटा पर सबसे अधिक लाभ देता है, लेकिन वास्तविक LR में स्थानांतरित होने में विफल रहता है।
  • लर्नड SR फ्रंट-एन्ड्स: आइडेंटिटी-अवेयर प्री-ट्रेनिंग और संयुक्त प्रशिक्षण के बावजूद, लर्नड SR+PDT पाइपलाइन एक स्ट्रॉन्ग, फ्रीज़्ड बैकबोन में सीधे अलाइन्ड LR इमेज को फीड करने के मुकाबले बेहतर प्रदर्शन करने में विफल रहती है। पुनर्निर्मित चेहरों की दृश्य गुणवत्ता (visual quality) पहचान लाभों में परिवर्तित नहीं होती है।
• निष्पक्षता (Fairness): हालांकि LR-अवेयर सिंथेसिस औसत सटीकता में सुधार करता है, लेकिन यह जनसांख्यिकीय पूर्वाग्रह (demographic bias) को व्यवस्थित रूप से कम नहीं करता है। RFW डेटासेट पर अफ्रीकी, एशियाई, कॉकेशियन और भारतीय समूहों के बीच फॉल्स मैच रेट (FMR) का अंतर असंगत रहता है या प्रशिक्षण रिज़ॉल्यूशन के आधार पर बिगड़ जाता है।

महत्व और निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि LR फेस रिकग्निशन के लिए जेनरेटिव विधियों को केवल सिंथेटिक डिग्रेडेशन बेंचमार्क्स के बजाय वास्तविक नेटिव-LR डेटा और एक डायरेक्ट-फीड बेसलाइन पर सत्यापित किया जाना चाहिए। लेखक तर्क देते हैं कि:

1. इष्टतम सेटिंग्स डोमेन के अनुसार भिन्न होती हैं: "सर्वश्रेष्ठ" सिंथेटिक डिग्रेडेशन वास्तविक दुनिया के परिनियोजन (deployment) के लिए सर्वश्रेष्ठ नहीं है।
2. सादगी अक्सर जीतती है: रिट्रेन करने योग्य कॉम्पैक्ट मॉडल्स के लिए, लो-एफर्ट इंटरपोलेशन ऑगमेंटेशन, जटिल जेनरेटिव पाइपलाइन्स की तुलना में बेहतर है।
3. बेसलाइन का महत्व: एक लर्नड SR फ्रंट-एंड एक स्ट्रॉन्ग बैकबोन के लिए उपयोगी नहीं है यदि अलाइन्ड इमेज को सीधे फीड किया जा सकता है; रेस्टोरेशन पाइपलाइन्स का दावा तभी लाभ के रूप में किया जाना चाहिए जब वे इस डायरेक्ट-फीड बेसलाइन से बेहतर प्रदर्शन करें।
4. निष्पक्षता की सीमा: सिंथेसिस से प्राप्त सटीकता लाभ स्वतः ही जनसांख्यिकीय पूर्वाग्रह को हल नहीं करते हैं।

लेखक अपने पाइपलाइन को जारी करते हैं ताकि वास्तविक नेटिव-LR डेटा पर सत्यापन को प्रोत्साहित किया जा सके, और इस बात पर जोर देते हैं कि सिंथेसिस प्रयास को परिनियोजन बाधाओं (कॉम्पैक्ट बनाम स्ट्रॉन्ग बैकबोन) के अनुरूप बनाना व्यावहारिक अनुप्रयोग के लिए महत्वपूर्ण है।