DiffInf: Influence-Guided Diffusion for Supervision Alignment in Facial Attribute Learning

यहाँ "DiffInf: Influence-Guided Diffusion for Supervision Alignment in Facial Attribute Learning" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

चेहरे के गुणों के शिक्षण (जैसे आयु और अभिव्यक्ति वर्गीकरण) के लिए बड़े पैमाने पर डेटासेट पर निर्भरता होती है जहाँ गुण अक्सर निरंतर (continuous) और अस्पष्ट होते हैं लेकिन उन्हें श्रेणीबद्ध लेबल (categorical labels) में विभाजित किया जाता है। यह प्रक्रिया एनोटेशन विसंगतियों (annotation inconsistencies) को जन्म देती है, जो निम्नलिखित कारणों से होती हैं:

• व्यक्तिगत दृष्टिकोण (Subjectivity): मानव एनोटेटर आयु जैसे निरंतर गुणों पर असहमत हो सकते हैं।
• दृश्य भ्रामक कारक (Visual Confounders): पोज़, प्रकाश व्यवस्था, जातीयता और सौंदर्य प्रसाधन जैसे कारक छवि की दृश्य सामग्री और उसके निर्धारित लेबल के बीच बेमेल स्थिति पैदा करते हैं।

ये विसंगतियाँ शोर युक्त पर्यवेक्षण (noisy supervision) के रूप में कार्य करती हैं, जिससे मॉडल विरोधाभासी संकेतों को सीखता है। यह प्रतिनिधित्व शिक्षण (representation learning), सामान्यीकरण (generalization), अंशांकन (calibration) और निष्पक्षता (fairness) को खराब करता है। शोर वाले लेबल को संभालने के पारंपरिक तरीकों में आमतौर पर समस्याग्रस्त नमूनों को हटाना (removing) या पुनः भारित करना (reweighting) शामिल होता है। हालाँकि, लेखक तर्क देते हैं कि उच्च-प्रभाव (high-influence) वाले नमूनों को हटाना उप-इष्टतम है क्योंकि इन नमूनों में अक्सर दुर्लभ लेकिन वैध दृश्य सहचर (visual covariates) होते हैं (जैसे विशिष्ट प्रकाश या जनसांख्यिकी) जो डेटा मैनिफोल्ड का पूर्ण प्रतिनिधित्व करने के लिए महत्वपूर्ण हैं। उन्हें हटाने से डेटासेट की विविधता और कवरेज कम हो जाती है।

2. कार्यप्रणाली: DiffInf (Methodology: DiffInf)

प्रस्तावित ढांचा, DiffInf, प्रतिमान को बहिष्करण (exclusion) से बदलकर सिमेंटिक संरक्षण (semantic conservation) की ओर ले जाता है। प्रभावशाली नमूनों को हटाने के बजाय, यह विषय की पहचान (identity) को सुरक्षित रखते हुए दृश्य सामग्री को 'मरम्मत' करने के लिए जनरेटिव मॉडल का उपयोग करता है ताकि वह निर्धारित लेबल के साथ संरेखित हो सके।

यह पाइपलाइन चार मुख्य चरणों से बनी है:

A. बेसलाइन प्रशिक्षण और प्रभाव अनुमान (Baseline Training & Influence Estimation)

1. बेसलाइन क्लासिफायर: शोर युक्त डेटासेट पर एक मानक क्लासिफायर को प्रशिक्षित किया जाता है।
2. स्व-प्रभाव स्कोरिंग (Self-Influence Scoring): ढांचा प्रत्येक प्रशिक्षण नमूने के लिए प्रथम-क्रम सन्निकटन (first-order approximation) का उपयोग करके एक स्व-प्रभाव स्कोर (self-influence score) की गणना करता है (जो TracIn से प्रेरित है)।
   • अवधारणा: स्व-प्रभाव यह मापता है कि एक विशिष्ट नमूने को अधिक भार देने से मॉडल के पैरामीटर कितने विचलित होते हैं।
   • पहचान: उन नमूनों की पहचान की जाती है जिनका स्व-प्रभाव असामान्य रूप से उच्च है और जिन्हें "सिमेंटिक रूप से विघटनकारी" (semantically disruptive) माना जाता है। ये वे उदाहरण हैं जहाँ छवि-लेबल का बेमेल होना मॉडल को अनुकूलन (optimization) के दौरान संघर्ष करने के लिए मजबूर करता है।
   • सन्निकटन: इसे स्केलेबल बनाने के लिए, विधि सटीक हेसियन व्युत्क्रमण (Hessian inversion) के बजाय प्रशिक्षण चेकपॉइंट्स के माध्यम से संचित ग्रेडिएंट ऊर्जा (accumulated gradient energy) का उपयोग करती है।

B. प्रभाव भविष्यवक्ता सीखना (Learning an Influence Predictor)

जनरेटिव सुधार चरण के दौरान प्रभाव की गणना करना सीधे तौर पर कम्प्यूटेशनल रूप से अत्यधिक कठिन है। इसलिए, DiffInf एक हल्का, विभेदनीय भविष्यवक्ता (lightweight, differentiable predictor) ($h_\omega$) प्रशिक्षित करता है।

• यह नेटवर्क इमेज फीचर्स और निर्धारित लेबल को इनपुट के रूप में लेता है और इस बात की संभावना का अनुमान लगाता है कि क्या कोई नमूना उच्च-प्रभाव वाले सेट से संबंधित है।
• यह एक सरोगेट रेगुलराइज़र (surrogate regularizer) के रूप में कार्य करता है, जिससे सिस्टम को यह पहचानने में मदद मिलती है कि अनुकूलन प्रक्रिया के दौरान किन नमूनों को सुधार की आवश्यकता है, बिना महंगे प्रभाव गणनाओं को दोबारा चलाए।

C. प्रभाव-निर्देशित जनरेटिव सुधार (Influence-Guided Generative Correction)

पहचाने गए उच्च-प्रभाव वाले नमूनों के लिए, DiffInf लक्षित इमेज एडिटिंग करने हेतु एक लेटेंट डिफ्यूजन ऑटोएन्कोडर (Latent Diffusion Autoencoder) का उपयोग करता है। लक्ष्य एक नई छवि $\hat{x}_i$ उत्पन्न करना है जो:

1. मूल विषय की पहचान (identity) को सुरक्षित रखे।
2. निर्धारित लेबल के साथ दृश्य रूप से संरेखित हो (उदाहरण के लिए, एक "बूढ़े" चेहरे को बूढ़ा दिखाना यदि मूल अस्पष्ट था)।
3. क्लासिफायर पर इसके अस्थिर प्रभाव को कम करे।

यह एक मिश्रित हानि फलन (composite loss function) का उपयोग करके डिफ्यूजन मॉडल के लेटेंट वेरिएबल्स को अनुकूलित करके प्राप्त किया जाता है:

• पहचान संरक्षण ($\mathcal{L}_{id}$): यह सुनिश्चित करने के लिए कि व्यक्ति की पहचान अपरिवर्तित रहे, फेस रिकग्निशन एम्बेडिंग स्पेस में कोसाइन दूरी को कम करता है।
• नियमितीकरण ($\mathcal{L}_{reg}$): इसमें संरचनात्मक निरंतरता (face parsing) और धारणात्मक समानता (LPIPS) शामिल है ताकि यह सुनिश्चित हो सके कि संपादन यथार्थवादी दिखे और चेहरे की ज्यामिति बनी रहे।
• प्रभाव दमन ($\mathcal{L}_{si}$): यह प्रभाव भविष्यवक्ता के आउटपुट को कम करता है, जो प्रभावी रूप से सुधारा गया नमूना को ऐसे फीचर स्पेस क्षेत्र की ओर धकेलता है जहाँ वह प्रशिक्षण के लिए कम विघटनकारी हो।

D. परिष्कृत प्रशिक्षण वितरण (Refined Training Distribution)

मूल उच्च-प्रभाव वाले नमों को उत्पन्न, सुधारे गए चित्रों द्वारा प्रतिस्थापित किया जाता है। डेटासेट का आकार अपरिवर्तित रहता है, लेकिन पर्यवेक्षण शोर (supervision noise) कम हो जाता है और डेटा वितरण संरक्षित रहता है। इस "प्रभाव-परिष्कृत" (influence-refined) डेटासेट पर एक नया क्लासिफायर प्रशिक्षित किया जाता है।

3. मुख्य योगदान (Key Contributions)

1. DiffInf ढांचा: एक अभिनव स्व-प्रभाव-निर्देशित डिफ्यूजन ढांचा जो डेटा को हटाने के बजाय शोर युक्त पर्यवेक्षण के तहत प्रशिक्षण छवियों को लेबल के साथ संरेखित करता है।
2. लक्षित जनरेटिव प्रतिस्थापन: फिल्टर करने के बजाय, यह विधि डेटा कवरेज और दुर्लभ विजुअल मोड को सुरक्षित रखते हुए लेटेंट डिफ्यूजन ऑटोएन्कोडिंग का उपयोग करके उच्च-प्रभाव वाले नमूनों की मरम्मत करती है।
3. विभेदनीय प्रभाव भविष्यवक्ता: एक हल्का भविष्यवक्ता लेटेंट ऑप्टिमाइज़ेशन के दौरान स्केलेबल, एंड-टू-एंड प्रभाव-निर्देशित सुधार को सक्षम बनाता है।
4. अनुभवजन्य सत्यापन: यह सिद्ध करता है कि उच्च-प्रभाव वाले नमूनों की मरम्मत करना केवल उन्हें हटाने की तुलना में बेहतर है, विशेष रूप से बहु-वर्ग आयु और अभिव्यक्ति वर्गीकरण के लिए।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन FFHQ डेटासेट पर दो कार्यों के लिए किया गया: 3-क्लास आयु वर्गीकरण और 4-क्लास अभिव्यक्ति पहचान, सिंथेटिक सिमेट्रिक लेबल शोर (आयु के लिए 30%, अभिव्यक्ति के लिए 20%) के तहत।

• प्रदर्शन लाभ: DiffInf ने मानक शोर युक्त लेबल प्रशिक्षण, मजबूत अनुकूलन बेसलाइन (जैसे ELR+, Small_loss) और प्रभाव-आधारित फ़िल्टरिंग (हटाना) को काफी पीछे छोड़ दिया।
  • आयु वर्गीकरण: सटीकता को शोर युक्त बेसलाइन के 70.44% से बढ़ाकर 83.37% (DiffInf) कर दिया।
  • अभिव्यक्ति वर्गीकरण: सटीकता को 78.95% से बढ़ाकर 94.24% कर दिया।
• हटाने (Removal) के साथ तुलना: जबकि उच्च-प्रभाव वाले नमूनों को हटाने से प्रदर्शन में सुधार हुआ, DiffInf ने लगातार उच्च सटीकता, AUROC और कोहेन का $\kappa$ (Cohen's $\kappa$) प्राप्त किया। यह पुष्टि करता है कि इन "समस्याग्रस्त" नमूनों में मौजूद दृश्य जानकारी मूल्यवान है और इसे हटाने के बजाय मरम्मत किया जाना चाहिए।
• धारणात्मक निष्ठा (Perceptual Fidelity): उत्पन्न सुधारों ने कम LPIPS दूरियां (0.196–0.244) दिखाईं, जो इंगित करता है कि संपादन केवल विशेषता-प्रासंगिक क्षेत्रों (जैसे आयु के लिए त्वचा की बनावट, अभिव्यक्ति के लिए मुंह का घुमाव) तक सीमित थे, बिना पहचान बदले या आर्टिफैक्ट्स पैदा किए।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र डेटा-केंद्रित मजबूती (data-centric robustness) के लिए एक नया प्रतिमान स्थापित करता है।

• वैचारिक बदलाव: यह उच्च-प्रभाव वाले नमों को हटाने योग्य हानिकारक शोर के रूप में नहीं, बल्कि मूल्यवान दृश्य डेटा वाले सिमेंटिक रूप से असंगत पर्यवेक्षण के रूप में पुनर्व्याख्या करता है।
• तंत्र: यह प्रभाव कार्यों (influence functions) को जनरेटिव मॉडलिंग (diffusion) के साथ जोड़कर, केवल लॉस को नियमित करने के बजाय सीधे डेटा स्तर पर सुधार करके लर्निंग डायनेमिक्स को स्थिर करता है।
• प्रभाव: यह दृष्टिकोण विशेष रूप से अस्पष्ट सीमाओं (जैसे आयु) वाले कार्यों के लिए प्रभावी है और प्रशिक्षण वितरण की विविधता को बनाए रखता है, जिससे बहिष्करण-आधारित विधियों की तुलना में बेहतर सामान्यीकरण और निष्पक्षता प्राप्त होती है।

लेखकों का कहना है कि भविष्य के कार्य हाइपरपैरामीटर ट्यूनिंग, अधिक सटीक प्रभाव अनुमानक और जनरेटिव सुधार प्रक्रिया द्वारा पेश किए गए जनसांख्यिकीय पूर्वाग्रहों के विश्लेषण पर केंद्रित होने चाहिए।