🤖 AI

D-GAP: Improving Out-of-Domain Robustness via Dataset-Agnostic and Gradient-Guided Augmentation in Frequency and Pixel Spaces

यह शोधपत्र D-GAP का प्रस्ताव करता है, जो एक डेटासेट-अज्ञेय (dataset-agnostic) और ग्रेडिएंट-निर्देशित (gradient-guided) संवर्धन विधि है जो डोमेन-विशिष्ट शिक्षण पूर्वाग्रहों को कम करने और स्थानिक विवरणों को पुनर्स्थापित करने के लिए आवृत्ति आयामों (frequency amplitudes) और पिक्सेल मानों को अनुकूल रूप से मिश्रित करती है, जिससे कंप्यूटर विज़न मॉडलों में आउट-ऑफ-डोमेन मजबूती में महत्वपूर्ण सुधार होता है।

मूल लेखक: Ruoqi Wang, Haitao Wang, Shaojie Guo, Qiong Luo

प्रकाशित 2026-03-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruoqi Wang, Haitao Wang, Shaojie Guo, Qiong Luo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

🎨 समस्या: "एक ही आकार सबके लिए नहीं" (One-Size-Fits-None) AI

कल्पना कीजिए कि आप एक रोबोट को बिल्लियों को पहचानने के लिए प्रशिक्षित करते हैं। आप उसे लिविंग रूम में लाल मखमली सोफे पर बैठी हुई बहुत सारी प्यारी पर्शियन बिल्लियों की तस्वीरें दिखाते हैं। रोबोट इसे बहुत अच्छी तरह सीख जाता है।

लेकिन फिर, आप उसी रोबट को एक पार्क में ले जाते हैं और उसे हरे घास पर बैठी हुई एक सियामी बिल्ली दिखाते हैं। रोबोट घबरा जाता है। वह कहता है, "मुझे यह नहीं पता! यहाँ कोई लाल सोफा नहीं है! यह बिल्ली नहीं है!"

यह आउट-ऑफ-डोमेन (OOD) समस्या है। वास्तविक दुनिया का AI संघर्ष करता है जब बैकग्राउंड, लाइटिंग या कैमरा बदल जाता है, भले ही मुख्य वस्तु (बिल्ली) वही हो।

वर्तमान समाधान इसे दो तरीकों से ठीक करने की कोशिश करते हैं, लेकिन दोनों में खामियां हैं:

जेनेरिक ऑग्मेंटेशन (Generic Augmentation): "चलो बस इमेज को धुंधला कर देते हैं या इसे बेतरतीब ढंग से काट देते हैं!" (जैसे रोबोट की आँखों पर पट्टी बांधकर उसे गोल-गोल घुमाना)। यह थोड़ा मदद करता है, लेकिन यह रैंडम है और बहुत समझदारी भरा नहीं है।
एक्सपर्ट ऑग्मेंटेशन (Expert Augmentation): "चलो एक मानव विशेषज्ञ को काम पर रखते हैं जो हमें बताएगा कि इस विशिष्ट डेटासेट के लिए बैकग्राउंड को ठीक से कैसे बदला जाए।" (जैसे रोबोट के लिए एक पर्सनल ट्रेनर रखना)। यह बहुत अच्छा काम करता है, लेकिन यह महंगा है, धीमा है, और आपको हर नए काम के लिए एक नए विशेषज्ञ की आवश्यकता होती है।

🚀 समाधान: D-GAP (स्मार्ट गिरगिट)

लेखक D-GAP का प्रस्ताव करते हैं। D-GAP को एक स्मार्ट गिरगिट के रूप में सोचें जो केवल रैंडम तरीके से रंग नहीं बदलता; वह अपना रंग इस आधार पर बदलता है कि रोबोट वास्तव में किस बात को लेकर चिंतित है।

यह ऐसा करने के लिए इमेज को एक ही समय में दो अलग-अलग "ब्रह्मांडों" में देखता है:

पिक्सेल यूनिवर्स (विवरण/Details): वे वास्तविक रंग और आकार जो आप अपनी आँखों से देखते हैं।
फ्रीक्वेंसी यूनिवर्स (वाइब/Vibe): इमेज की "टेक्सचर" और "स्टाइल" (जैसे फोटो का दानेदार होना या पेंटिंग का स्मूथ होना)।

🔍 यह कैसे काम करता है: "सेंसिटिविटी मैप" (Sensitivity Map)

यहाँ असली जादू है। अधिकांश तरीके इमेज को रैंडम तरीके से मिलाते हैं। D-GAP AI से पूछता है: "तुम इस इमेज के किन हिस्सों पर बहुत अधिक निर्भर हो?"

जासूसी का काम (ग्रेडिएंट-गाइडेड):
कल्पना कीजिए कि AI एक परीक्षा देने वाला छात्र है। D-GAP छात्र की उत्तर पुस्तिका को देखता है और पूछता है, "क्या तुमने यह सवाल इसलिए सही किया क्योंकि तुमने वास्तव में कॉन्सेप्ट सीखा है, या सिर्फ इसलिए क्योंकि तुमने याद कर लिया था कि जवाब हमेशा 'नीला' होता है?"

यदि AI किसी विशिष्ट "फ्रीक्वेंसी" (जैसे एक विशिष्ट बैकग्राउंड टेक्सचर) पर अत्यधिक निर्भर है, तो D-GAP एक सेंसिटिविटी मैप बनाता है। यह इमेज के उन हिस्सों को हाईलाइट करता है जिनके प्रति AI "जुनूनी" (obsessed) है।
द स्वैप (एम्प्लीट्यूड मिक्सिंग):
D-GAP "सोर्स" (ट्रेनिंग रूम) से एक तस्वीर लेता है और "टारगेट" (पार्क) से एक तस्वीर लेता है।
- जहाँ AI पक्षपाती (biased) है: D-GAP पार्क की फोटो से "वाइब" (फ्रीक्वेंसी) को आक्रामक रूप से ट्रेनिंग फोटो में बदल देता है। यह AI को यह महसूस कराने के लिए मजबूर करता है, "हे, बिल्लियाँ हरी घास पर भी रह सकती हैं!"
- जहाँ AI स्मार्ट है: D-GAP महत्वपूर्ण विवरणों को अकेला छोड़ देता है। यह बिल्ली के चेहरे या आकार के साथ छेड़छाड़ नहीं करता है।
सेफ्टी नेट (पिक्सेल ब्लेंडिंग):
कभी-कभी, "वाइब" को बदलने से इमेज धुंधली या अजीब दिख सकती है (जैसे एक खराब फोटोशॉप जॉब)। इसे ठीक करने के लिए, D-GAP दोनों इमेज के वास्तविक पिक्सेल (रंगों) को धीरे से आपस में मिला देता है। यह सुनिश्चित करता है कि बिल्ली अभी भी एक स्पष्ट और शार्प बिल्ली दिखे, न कि एक धुंधला सा भूत।

🧩 उपमा: "स्मूदी" बनाम "शेफ"

पुराने तरीके (जेनेरिक): ब्लेंडर में रैंडम फल डालकर स्मूदी बनाना। कभी यह स्वादिष्ट होती है, कभी बहुत खराब।
पुराने तरीके (एक्सपर्ट): एक शेफ स्मूदी को चखता है और मैन्युअल रूप से चीनी या बर्फ जोड़ता है जब तक कि वह परफेक्ट न हो जाए। बहुत बढ़िया, लेकिन आपको हर स्मूदी के लिए एक शेफ की जरूरत है।
D-GAP: एक स्मार्ट ब्लेंडर। यह सामग्री का स्वाद लेता है, महसूस करता है कि "स्ट्रॉबेरी का स्वाद" बहुत ज्यादा है (बायस), और अपने आप दूसरे बैच से थोड़ा "केला" मिला देता है ताकि संतुलन बना रहे, जबकि "स्ट्रॉबेरी के टुकड़े" (महत्वपूर्ण विवरण) सुरक्षित रहें। यह बिना किसी शेफ के, किसी भी फल के लिए यह काम ऑटोमैटिक तरीके से करता है।

🏆 यह क्यों महत्वपूर्ण है

पेपर ने चार बहुत अलग वास्तविक दुनिया की समस्याओं पर इसका परीक्षण किया:

वन्यजीव (Wildlife): विभिन्न जंगलों में जानवरों को पहचानना।
मेडिकल (Medical): अलग-अलग अस्पतालों के स्लाइड्स से ट्यूमर का पता लगाना (जहाँ स्टेन के रंग भिन्न होते हैं)।
पक्षी (Birds): विभिन्न माइक्रोफोन द्वारा रिकॉर्ड की गई पक्षियों की आवाज़ों की पहचान करना।
स्पेस (Space): विभिन्न टेलिस्कोपों से ली गई गैलेक्सीज़ का वर्गीकरण करना।

परिणाम: D-GAP ने लगातार अन्य तरीकों को पछाड़ दिया। इसने अनदेखे वातावरण को संभालने की AI की क्षमता में सुधार किया, जो कुछ मामलों में 9% तक बेहतर था।

💡 मुख्य निष्कर्ष

D-GAP एक यूनिवर्सल, सेल्फ-अडैप्टिंग टूल है। इसे यह बताने की आवश्यकता नहीं है कि इसे क्या करना है। यह देखता है कि AI के "कमजोर बिंदु" कहाँ हैं, उन हिस्सों को धीरे से हिलाता-डुलाता है जिन पर AI बहुत अधिक निर्भर है, और महत्वपूर्ण हिस्सों को सुरक्षित रखता है। यह AI को अधिक मजबूत (robust) बनाता है, जिससे यह अनिश्चित और जटिल वास्तविक दुनिया के लिए तैयार हो जाता है, बिना किसी एक्सपर्ट टीम की निगरानी के।

संक्षेप में: यह AI को बैकग्राउंड को र Memorize (रटना) बंद करने और विषय (subject) को समझने के लिए सिखाता है, चाहे वह कहीं भी हो।

यहाँ शोध पत्र "D-GAP: Improving Out-of-Domain Robustness via Dataset-Agnostic and Gradient-Guided Augmentation in Frequency and Pixel Spaces" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वास्तविक दुनिया के कंप्यूटर विज़न अनुप्रयोगों में, जब मॉडल अपने प्रशिक्षण डेटा से भिन्न वातावरण में तैनात किए जाते हैं, तो वे अक्सर आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) गिरावट का शिकार हो जाते हैं। ये बदलाव बैकग्राउंड, अधिग्रहण उपकरणों (acquisition instruments), प्रकाश व्यवस्था या शैलियों (जैसे, विभिन्न कैमरा ट्रैप, अस्पताल की स्टेनिंग प्रोटोकॉल, या टेलीस्कोप) में परिवर्तन के कारण होते हैं।

वर्तमान दृष्टिकोणों को तीन मुख्य सीमाओं का सामना करना पड़ता है:

जेनेरिक ऑग्मेंटेशन (Generic Augmentations): RandAugment या CutMix जैसी विधियाँ प्रदर्शन में सुधार करती हैं, लेकिन गंभीर डोमेन शिफ्ट के तहत असंगत लाभ देती हैं।
डेटासेट-विशिष्ट ऑग्मेंटेशन (Dataset-Specific Augmentations): विशिष्ट डेटासेट (जैसे, पैथोलॉजी के लिए स्टेन कलर जिटर) के लिए तैयार की गई विधियों को विशेषज्ञ ज्ञान और पूर्व विश्लेषण की आवश्यकता होती है, जिससे उन्हें नए डोमेन पर लागू करना या स्केल करना कठिन हो जाता है।
स्पेक्ट्रल बायस (Spectral Bias): न्यूरल नेटवर्क डोमेन-विशिष्ट फ्रीक्वेंसी घटकों (frequency components) पर ओवरफिट होने की प्रवृत्ति रखते हैं। हालांकि फ्रीक्वेंसी मानों को बाधित करने से इसे कम किया जा सकता है, लेकिन यह अक्सर सूक्ष्म स्थानिक विवरणों (fine-grained spatial details) की अनदेखी करता है, जिससे उप-इष्टतम (suboptimal) प्रदर्शन होता है।

2. कार्यप्रणाली: D-GAP

लेखक D-GAP (Dataset-agnostic and Gradient-guided Augmentation) प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जो विशेषज्ञ ज्ञान की आवश्यकता के बिना फ्रीक्वेंसी स्पेस और पिक्सेल स्पेस दोनों में लक्षित ऑग्मेंटेशन करता है।

मुख्य अवधारणा: फीचर डिकंपोजिशन (Feature Decomposition)

यह विधि इनपुट फीचर्स को चार श्रेणियों में विघटित करने पर आधारित है:

$x_{obj}$ : लेबल-निर्भर, डोमेन-स्वतंत्र (सिमेंटिक कंटेंट)।
$x_{d:robust}$ : लेबल-निर्भर, डोमेन-निर्भर (रोबस्ट फीचर्स)।
$x_{d:spu}$ : लेबल-स्वतंत्र, डोमेन-निर्भर (स्प्यूरियस कोरिलेशन, जैसे बैकग्राउंड)।
$x_{noise}$ : लेबल-स्वतंत्र, डोमेन-स्वतंत्र।
लक्ष्य $x_{obj}$ और $x_{d:robust}$ को संरक्षित करना है जबकि $x_{d:spu}$ को रैंडमाइज करना है।

मुख्य मॉड्यूल (Key Modules)

A. ग्रेडिएंट-गाइडेड एम्प्लीट्यूड मिक्स (फ्रीक्वेंसी स्पेस में)
पारंपरिक फ्रीक्वेंसी मिक्सिंग के विपरीत, जो रैंडम या फिक्स्ड रेश्यो का उपयोग करती है, D-GAP मॉडल की संवेदनशीलता के आधार पर इंटरपोलेशन स्ट्रेंथ को अनुकूल रूप से समायोजित करता है।

सेंसिटिविटी मैप कंप्यूटेशन: एक सोर्स इमेज $x_1$ और एक टारगेट इमेज $x_2$ के लिए, एम्प्लीट्यूड स्पेक्ट्रम $A(x_1)$ के सापेक्ष टास्क लॉस ( $L_{task}$ ) का ग्रेडिएंट कंप्यूट किया जाता है:
$G(u, v) = \left| \frac{\partial L_{task}}{\partial A(x_1)(u, v)} \right|$
उच्च ग्रेडिएंट मान उन फ्रीक्वेंसी को दर्शाते हैं जिन पर मॉडल बहुत अधिक निर्भर है (संभावित स्पेक्ट्रल बायस)।
मिक्सिंग मैप जनरेशन: सेंसिटिविटी मैप $G$ $G$ को नॉर्मलाइज किया जाता है और एक सिग्मॉइड फंक्शन के माध्यम से पास किया जाता है ताकि एक मिक्सिंग मैप $D(u, v)$ $D (u, v)$ बनाया जा सके।
- उच्च संवेदनशीलता (High Sensitivity): बायस को बाधित करने के लिए टारगेट डोमेन के एम्प्लीट्यूड के साथ मजबूत इंटरपोलेशन।
- कम संवेदनशीलता (Low Sensitivity): गैर-बायस्ड फीचर्स को संरक्षित करने के लिए कमजोर इंटरपोलेशन।
पुनर्निर्माण (Reconstruction): मिश्रित एम्प्लीट्यूड को सोर्स इमेज के फेज के साथ जोड़ा जाता है और इनवर्स FFT (iFFT) के माध्यम से पिक्सेल डोमेन में वापस बदला जाता है।

B. पिक्सेल-स्पेस मिक्सिंग (Pixel-Space Mixing)
केवल फ्रीक्वेंसी ब्लेंडिंग से आर्टिफैक्ट्स आ सकते हैं और सूक्ष्म स्थानिक विवरण धुंधले हो सकते हैं। इससे निपटने के लिए:

सोर्स और टारगेट इमेज के बीच एक मानक पिक्सेल-वाइज ब्लेंडिंग की जाती है।
दो-चरणीय फ्यूजन (Two-Stage Fusion): अंतिम ऑगमेंटेड इमेज, फ्रीक्वेंसी-स्पेस के परिणाम ( $\hat{x}_f$ ) और पिक्सेल-स्पेस के परिणाम ( $\hat{x}_p$ ) का एक वेटेड ब्लेंड है:
$\hat{x} = (1 - \lambda_2)\hat{x}_f + \lambda_2 \hat{x}_p$
यह सुनिश्चित करता है कि मॉडल रोबस्ट फ्रीक्वेंसी रिप्रेजेंटेशन सीखता है जबकि आवश्यक स्थानिक विवरणों को बनाए रखता है।

C. ट्रेनिंग फ्रेमवर्क

रियल-वर्ल्ड डेटासेट्स: यह लीनियर प्रोबिंग देन फाइन-ट्यूनिंग (LP-FT) रणनीति का उपयोग करता है। पहले फ्रोजन फीचर्स पर एक लीनियर क्लासिफायर को प्रशिक्षित किया जाता है, जिसके बाद D-GAP ऑग्मेंटेशन के साथ एनकोडर और क्लासिफायर को फाइन-ट्यून किया जाता है।
बेंचमार्क डेटासेट्स: निष्पक्ष तुलना के लिए LP-FT चरण के बिना सीधे प्री-ट्रेन्ड एनकोडर पर प्रशिक्षण दिया जाता है।

3. मुख्य योगदान

डेटासेट-एग्नोस्टिक फ्रेमवर्क: D-GAP डेटा-संचालित ग्रेडिएंट्स का उपयोग करके डोमेन शिफ्ट के प्रति स्वतः अनुकूलित होता है, जिससे मैनुअल, डेटासेट-विशिष्ट नियमों या विशेषज्ञ ज्ञान की आवश्यकता समाप्त हो जाती है।
ड्यूल-स्पेस ऑग्मेंटेशन: यह अनूठे रूप से ग्रेडिएंट-गाइडेड फ्रीक्वेंसी इंटरपोलेशन (स्पेक्ट्रल बायस को तोड़ने के लिए) को पिक्सेल-स्पेस ब्लेंडिंग (स्थानिक शुद्धता को बहाल करने के लिए) के साथ जोड़ता है।
ग्रेडिएंट-गाइडेड मैकेनिज्म: यह टास्क ग्रेडिएंट्स से प्राप्त सेंसिटिविटी मैप का उपयोग करके ऑग्मेंटेशन की तीव्रता को गतिशील रूप से नियंत्रित करता है, जिससे यह सुनिश्चित होता है कि डोमेन-विशिष्ट बायस को लक्षित किया जाए जबकि सिमेंटिक कंटेंट सुरक्षित रहे।
स्टेट-ऑफ-द-आर्ट परफॉरमेंस: जटिल डोमेन अनुकूलन आर्किटेक्चर पर निर्भर किए बिना विविध वास्तविक दुनिया के परिदृश्यों और मानक बेंचमार्क पर उत्कृष्ट परिणाम प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन चार वास्तविक दुनिया के डेटासेट्स और तीन मानक बेंचमार्क पर किया गया।

वास्तविक दुनिया के डेटासेट्स:

iWildCam (वन्यजीव): सर्वश्रेष्ठ जेनेरिक बेसलाइन पर +2.1% OOD मैक्रो F1 सुधार।
Camelyon17 (ट्यूमर डिटेक्शन): +4.2% OOD सटीकता सुधार।
BirdCalls (पक्षी प्रजातियां): +5.6% OOD मैक्रो F1 सुधार।
Galaxy10 (गैलेक्सी मॉर्फोलॉजी): +9.3% OOD सटीकता सुधार।
नोट: D-GAP ने जेनेरिक ऑग्मेंटेशन (जैसे, FACT, SAM) और डेटासेट-विशिष्ट विधियों (जैसे, Copy-Paste, Stain Color Jitter) दोनों को पीछे छोड़ दिया, जिन्हें मैनुअल डिजाइन की आवश्यकता होती है।

मानक बेंचमार्क (PACS, Office-Home, Digits-DG):

मौजूदा स्टेट-ऑफ-द-आर्ट विधियों पर औसतन +1.9% सटीकता सुधार हासिल किया।
विभिन्न बैकबोन नेटवर्क्स (ResNet, DenseNet, EfficientNet, ConvNeXt, ViT) में मजबूती प्रदर्शित की।

कनेक्टिविटी विश्लेषण (Connectivity Analysis):

कनेक्टिविटी फ्रेमवर्क ( $\alpha/\gamma$ और $\beta/\gamma$ अनुपातों को मापने के लिए) का उपयोग करते हुए, D-GAP ने उच्चतम $\alpha/\gamma$ अनुपात (एक ही क्लास, अलग डोमेन) दिखाया, जो विभिन्न डोमेन के बीच मजबूत सिमेंटिक अलाइनमेंट का संकेत देता है।
इसने लेबल-संबंधित फीचर्स को बनाए रखते हुए स्प्यूरियस डोमेन-डिपेंडेंट फीचर्स ( $x_{d:spu}$ ) को प्रभावी ढंग से रैंडमाइज किया।

5. महत्व और निष्कर्ष

D-GAP डोमेन अनुकूलन में एक महत्वपूर्ण अंतर को संबोधित करता है, जो OOD मजबूती में सुधार के लिए एक सामान्यीकरण योग्य (generalizable), स्वचालित समाधान प्रदान करता है।

व्यावहारिकता: यह नए डेटासेट्स के लिए विशिष्ट ऑग्मेंटेशन डिजाइन करने के लिए डोमेन विशेषज्ञों की आवश्यकता वाली बाधा को दूर करता है।
दक्षता: हालांकि इसमें प्रशिक्षण के दौरान अतिरिक्त ग्रेडिएंट गणना की आवश्यकता होती है, लेकिन प्रदर्शन लाभ इस लागत को उचित ठहराते हैं, और भविष्य के कार्य इसे अनुकूलित करने का लक्ष्य रखते हैं।
प्रभाव: यह विधि सिद्ध करती है कि फ्रीक्वेंसी-डोमेन परटर्बेशन (स्पेक्ट्रल बायस को ठीक करने के लिए) को पिक्सेल-डोमेन रेस्टोरेशन के साथ जोड़ना कंप्यूटर विज़न में वास्तविक दुनिया के वितरण बदलावों (distribution shifts) को संभालने के लिए एक शक्तिशाली रणनीति है।

संक्षेप में, D-GAP वास्तविक दुनिया के परिनियोजन वातावरणों में पाई जाने वाली अप्रत्याशित विविधताओं के प्रति डीप लर्निंग मॉडल्स को अधिक मजबूत बनाने की दिशा में एक महत्वपूर्ण कदम है।