💻 computer science

Subject Information Extraction for Novelty Detection with Domain Shifts

यह शोध पत्र एक नवीन अनसुपरवाइज्ड नोवेल्टी डिटेक्शन विधि प्रस्तावित करता है जो म्यूचुअल इंफॉर्मेशन मिनिमाइजेशन और एक डीप गॉसियन मिक्स्चर मॉडल का उपयोग करके विषय (सब्जेक्ट) की जानकारी को बैकग्राउंड के बदलावों से अलग करके डोमेन शिफ्ट के विरुद्ध मजबूती में सुधार करता है, जिससे केवल अपरिवर्तनीय विषय निरूपणों (इनवेरिएंट सब्जेक्ट रिप्रेजेंटेशन्स) के आधार पर सटीक पहचान सक्षम होती है।

मूल लेखक: Yangyang Qu, Dazhi Fu, Jicong Fan

प्रकाशित 2026-03-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yangyang Qu, Dazhi Fu, Jicong Fan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Subject Information Extraction for Novelty Detection with Domain Shifts" पेपर का सरल, रोज़मर्रा की भाषा और कुछ रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी समस्या: "नया बैकग्राउंड" वाला जाल

कल्पना कीजिए कि आप एक म्यूजियम में सुरक्षा गार्ड हैं। आपका काम नकली पेंटिंग्स (novelty detection) को पहचानना है।

आप सेब की असली पेंटिंग्स के एक खास सेट पर महीनों तक ट्रेनिंग लेते हैं। लेकिन एक पेंच है: आपने केवल उन सेबों को देखा है जो सफेद कैनवस पर और तेज़ स्टूडियो लाइटिंग में पेंट किए गए थे।

एक दिन, एक नई पेंटिंग आती है। वह एक असली सेब है, लेकिन उसे एक खुरदरे, टेक्सचर्ड कैनवस पर और धुंधली, मद्धम रोशनी में पेंट किया गया है।

एक साधारण AI सुरक्षा गार्ड (पुराने तरीके) इस पेंटिंग को देखता है और चिल्ला उठता है, "नकली!" क्यों? क्योंकि बैकग्राउंड (कैनवस और रोशनी) उस चीज़ से अलग है जिसे उसने सीखा था। वह सेब (विषय/subject) के बजाय इमेज की "शैली" (style) से भ्रमित हो गया।

असल दुनिया में, ऐसा हमेशा होता है:

मेडिकल: एक डॉक्टर एक AI को अस्पताल A के X-rays का उपयोग करके स्वस्थ फेफड़ों को पहचानने के लिए प्रशिक्षित करता है। जब अस्पताल B एक X-ray भेजता है (अलग मशीन या एंगल के साथ), तो AI स्वस्थ फेफड़े को बीमारी मान लेता है क्योंकि तस्वीर दिखने में अलग है।
साइबर सुरक्षा: एक सिस्टम सीखता है कि धूप वाले दिन सामान्य नेटवर्क ट्रैफिक कैसा दिखता है। जब तूफान आता है और नेटवर्क थोड़ा अलग व्यवहार करता है (लेकिन फिर भी सामान्य ही होता है), तो सिस्टम घबरा जाता है और इसे हैकर का हमला समझ लेता है।

इसे डोमेन शिफ्ट (Domain Shift) कहा जाता है: आप जिस चीज़ को देख रहे हैं (विषय/subject) वह वही है, लेकिन उसका वातावरण (environment/background) बदल गया है।

समाधान: "SND" जासूस

इस पेपर के लेखकों ने SND (Subject-Novelty Detection) नामक एक नई विधि प्रस्तावित की है। पूरी तस्वीर को देखकर भ्रमित होने के बजाय, SND एक सुपर-स्मार्ट जासूस की तरह काम करता है जो मानसिक रूप से बैकग्राउंड को "छीलकर" केवल विषय (subject) को देखने में सक्षम है।

यह कैसे काम करता है, इसे एक किचन एनालॉजी (रसोई के उदाहरण) से समझते हैं:

1. दो सिरों वाला शेफ (The Model)

कल्पना कीजिए कि एक शेफ है जिसके दो सिर हैं।

सिर A (विषय विशेषज्ञ - Subject Specialist): इसे केवल इस बात से मतलब है कि क्या पकाया जा रहा है (जैसे, "क्या यह पिज्जा है या सलाद?")।
सिर B (बैकग्राउंड विशेषज्ञ - Background Specialist): इसे केवल इस बात से मतलब है कि इसे कहाँ पकाया जा रहा है (जैसे, "क्या यह लकड़ी के बोर्ड पर है, धातु की ट्रे पर है, या किसी फैंसी सिरेमिक प्लेट पर है?")।

2. "खामोशी" का नियम (Mutual Information Minimization)

पुराने दिनों में, दोनों सिर आपस में बहुत ज़्यादा बातें करते थे। अगर सिर A को पिज्जा दिखता, तो वह सिर B को बताता, "हे, हम लकड़ी के बोर्ड पर हैं!" इससे वे एक-दूसरे पर निर्भर हो जाते थे।

SND दोनों सिरों को बात करना बंद करने के लिए मजबूर करता है। यह एक गणितीय नियम (जिसे Mutual Information Minimization कहा जाता है) का उपयोग करता है ताकि यह सुनिश्चित हो सके कि सिर A को बैकग्राउंड के बारे में कुछ पता न चले, और सिर B को खाने के बारे में कुछ पता न चले। उन्हें पूरी तरह से स्वतंत्र होने के लिए मजबूर किया जाता है।

3. "बैकग्राउंड लाइब्रेरी" (Deep Gaussian Mixture Model)

शेफ को कैसे पता चलता है कि सिर B वास्तव में बैकग्राउंड को देख रहा है, न कि खाने को?
पेपर सिर B को एक विशिष्ट कार्य देता है: बैकग्राउंड को समूहों में छाँटना।
कल्पना कीजिए कि सिर B के पास K शेल्फ (shelves) वाली एक लाइब्रेरी है। उसे हर बैकग्राउंड को देखकर उसे एक शेल्फ पर छाँटना होगा (जैसे, शेल्फ 1 = लकड़ी, शेल्फ 2 = धातु, शेल्फ 3 = सिरेमिक)।

यदि सिर B बैकग्राउंड को छाँटने में अच्छा है, तो यह साबित होता है कि वह खाने को नहीं देख रहा है।
यदि सिर B को बैकग्राउंड छाँटने के लिए मजबूर किया जाता है, तो सिर A को केवल खाने पर ध्यान केंद्रित करने के लिए मजबूर किया जाता है।

4. अंतिम परीक्षण

एक बार जब शेफ प्रशिक्षित हो जाता है, तो हम एक नई इमेज के साथ इसका परीक्षण करते हैं।

हम इमेज को सिर A को देते हैं।
सिर A बैकग्राउंड को पूरी तरह से अनदेखा कर देता है और कहता है, "यह निश्चित रूप से एक पिज्जा है।"
हम जाँचते हैं: "क्या हमारी ट्रेनिंग लाइब्रेरी में 'पिज्जा' मौजूद है?"
- हाँ? यह एक सामान्य (Normal) सैंपल है (भले ही बैकग्राउंड का रंग अजीब क्यों न हो)।
- नहीं? यह एक नोवेल्टी (Novelty) है (एक नकली या खाने का नया प्रकार)।

यह एक बड़ी बात क्यों है?

अधिकांश वर्तमान AI सिस्टम उसी भ्रमित सुरक्षा गार्ड की तरह हैं: वे नए बैकग्राउंड से डर जाते हैं।

पुराना AI: "मैंने हरे बैकग्राउंड पर सेब नहीं देखा! यह ज़रूर नकली है!" (गलत अलार्म/False Alarm)।
SND AI: "मुझे हरे बैकग्राउंड से कोई फर्क नहीं पड़ता। मैं एक सेब देख रहा हूँ। यह असली है।" (सही पहचान)।

पेपर ने दो चीजों पर इसका परीक्षण किया:

डिजिट्स (MNIST): संख्या "0" को पहचानना, भले ही बैकग्राउंड का रंग सफेद से बदलकर हरा हो गया हो।
किचन टूल्स (Kurcuma): "कांटे" (fork) को पहचानना, भले ही फोटो कार्टून स्टाइल में, क्लिप-आर्ट स्टाइल में, या असली फोटो में ली गई हो।

परिणाम: SND बैकग्राउंड के "शोर" (noise) को अनदेखा करने और वास्तव में क्या नया है, इसे सही ढंग से पहचानने में बहुत बेहतर था। यह बदलते वातावरण से धोखा नहीं खाया।

मुख्य बात (The Takeaway)

यदि आप चाहते हैं कि एक AI स्मार्ट बने कि कोई चीज़ क्या है, तो आपको उसे यह सिखाना होगा कि वह कहाँ है उसे अनदेखा करे। यह पेपर हमें "विषय" (Subject) को "बैकग्राउंड" (Background) से गणितीय रूप से अलग करने का एक तरीका देता है, ताकि हमारा AI हर बार लाइटिंग बदलने या कैमरा हिलने पर घबरा न जाए। यह एक बच्चे को यह सिखाने जैसा है कि कुत्ता पार्क में हो, घर में हो, या कार्टून में हो, उसे बिना दृश्य (scenery) से भ्रमित हुए पहचानना है।

यहाँ यांगयांग क्वू, दाज़ी फू और जिकोंग फैन के शोध पत्र "Subject Information Extraction for Novelty Detection with Domain Shifts" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह शोध पत्र अनसुपरवाइज्ड नॉवेलटी डिटेक्शन (Unsupervised Novelty Detection - UND) की एक महत्वपूर्ण सीमा को संबोधित करता है: यह धारणा कि प्रशिक्षण (training) और परीक्षण (testing) डेटा का डोमेन वितरण (distribution) समान होता है। वास्तविक दुनिया के परिदृश्यों में (जैसे, अलग-अलग स्कैनर के साथ मेडिकल इमेजिंग, या बदलते प्रकाश व्यवस्था के साथ औद्योगिक निरीक्षण), डोमेन शिफ्ट (domain shifts) होते हैं जहाँ बैकग्राउंड या अधिग्रहण की स्थितियाँ बदल जाती हैं, भले ही अंतर्निहित सब्जेक्ट सिमेंटिक्स (subject semantics) (वस्तु का अर्थ) समान रहे।

मुख्य मुद्दा: मौजूदा UND विधियाँ अक्सर सामान्य टेस्ट सैंपल्स को केवल इसलिए "नॉवेल" (novel) के रूप में वर्गीकृत कर देती हैं क्योंकि उनका बैकग्राउंड प्रशिक्षण डेटा से भिन्न होता है। इससे फॉल्स-पॉजिटिव रेट (false-positive rates) बढ़ जाता है।
लक्ष्य: एक ऐसी विधि विकसित करना जो बैकग्राउंड/डोमेन विविधताओं के प्रति अपरिवर्तित रहते हुए, विशुद्ध रूप से सब्जेक्ट सूचना (semantic content) के आधार पर नॉवेलटी का पता लगाए।
बाधाएं: विधि को एक अनसुपरवाइज्ड (unsupervised) सेटिंग में काम करना चाहिए। हालांकि प्रशिक्षण सेट में बैकग्राउंड डोमेन की संख्या ( $K$ ) ज्ञात है, लेकिन व्यक्तिगत नमूनों के लिए विशिष्ट डोमेन लेबल उपलब्ध नहीं हैं। टेस्ट सेट में पूरी तरह से अनदेखे (unseen) बैकग्राउंड डोमेन भी हो सकते हैं।

2. कार्यप्रणाली: सब्जेक्ट-नॉवेलटी डिटेक्शन (SND)

लेखक SND प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो नॉवेलटी डिटेक्शन को प्रभावी बनाने के लिए सब्जेक्ट फीचर्स को बैकग्राउंड फीचर्स से अलग (disentangle) करता है। इसके आर्किटेक्चर के तीन मुख्य घटक हैं:

A. फीचर डिसेंटैंगलमेंट (Feature Disentanglement)

मॉडल एक इनपुट इमेज $x$ को दो लेटेंट रिप्रेजेंटेशन में तोड़ने के लिए एक एनकोडर-डिकोडर संरचना का उपयोग करता है:

सब्जेक्ट फीचर ( $z_s$ ): इसमें कार्य-प्रासंगिक (task-relevant) सिमेंटिक जानकारी होती है।
बैकग्राउंड फीचर ( $z_b$ ): इसमें न्यूसेंस वेरिएशंस (nuisance variations - डोमेन/बैकग्राउंड) होते हैं।

ये एक साझा फीचर एक्सट्रैक्टर $G_{\theta_f}$ से दो न्यूरल नेटवर्क $F_{\theta_s}$ और $F_{\theta_b}$ के माध्यम से उत्पन्न किए जाते हैं।

B. म्यूचुअल इंफॉर्मेशन मिनिमाइजेशन (Mutual Information Minimization - इंडिपेंडेंस कंस्ट्रेंट)

यह सुनिश्चित करने के लिए कि $z_s$ और $z_b$ सांख्यिकीय रूप से स्वतंत्र हैं, मॉडल एक CLUB-शैली के एस्टीमेटर (Conditional Likelihood-based Upper Bound) का उपयोग करके उनके बीच म्यूचुअल इंफॉर्मेशन (MI) को कम करता है।

एक न्यूरल नेटवर्क $\xi_{\theta_m}$ कंडीशनल प्रोबेबिलिटी $P(z_b|z_s)$ का अनुमान लगाता है।
प्रशिक्षण के दौरान MI का अनुमान लगाया जाता है और इसे कम किया जाता है ताकि सब्जेक्ट और बैकग्राउंड रिप्रेजेंटेशन आपस में ओवरलैप न हों।

C. बैकग्राउंड के लिए डीप गॉसियन मिक्सचर मॉडल (Deep Gaussian Mixture Model - GMM)

मॉडल को $z_s$ और $z_b$ की भूमिकाओं को मनमाने ढंग से बदलने से रोकने के लिए, लेखक बैकग्राउंड फीचर पर एक स्ट्रक्चरल कंस्ट्रेंट लगाते हैं:

वे यह मानकर चलते हैं कि बैकग्राउंड फीचर $z_b$ , $K$ घटकों (components) वाले एक डीप गॉसियन मिक्सचर मॉडल का पालन करता है (जहाँ $K$ प्रशिक्षण बैकग्राउंड्स की ज्ञात संख्या है)।
एक नेटवर्क $S_{\theta_g}$ , $z_b$ को $K$ गॉसियन घटकों के लिए सॉफ्ट मेंबरशिप प्रोबेबिलिटीज़ में प्रोजेक्ट करता है।
यह $z_b$ को बैकग्राउंड्स के विशिष्ट क्लस्टर स्ट्रक्चर को कैप्चर करने के लिए मजबूर करता है, जिससे $z_s$ शेष सब्जेक्ट जानकारी को कैप्चर कर सके।

D. रिकंस्ट्रक्शन और ट्रेनिंग ऑब्जेक्टिव (Reconstruction and Training Objective)

मॉडल $z_s$ और $z_b$ द्वारा फीड किए गए दो डिकोडर्स ( $H_{\theta'_s}$ और $H_{\theta'_b}$ ) के आउटपुट को जोड़कर मूल इमेज $\hat{x}$ को पुनर्गठित (reconstruct) करता है।
कुल लॉस फंक्शन $\mathcal{L}_{total}$ निम्नलिखित को जोड़ता है:

रिकंस्ट्रक्शन लॉस ( $\mathcal{L}_{rec}$ ): $\|x - \hat{x}\|^2_2$ ताकि सूचना का संरक्षण सुनिश्चित हो सके।
बैकग्राउंड एनर्जी ( $E(z_b)$ ): GMM का नेगेटिव लॉग-लाइक्लीहुड, जो $z_b$ को $K$ -क्लस्टर डिस्ट्रीब्यूशन में फिट होने के लिए प्रोत्साहित करता है।
म्यूचुअल इंफॉर्मेशन पेनल्टी ( $\hat{I}_{MI}$ ): $z_s$ और $z_b$ के बीच स्वतंत्रता को बढ़ावा देता है।

E. नॉवेलटी डिटेक्शन स्ट्रैटेजी (Novelty Detection Strategy)

एक बार प्रशिक्षित होने के बाद, नॉवेलटी डिटेक्शन केवल सब्जेक्ट रिप्रेजेंटेशन ( $z_s$ ) पर किया जाता है:

प्रशिक्षण सेट के सब्जेक्ट फीचर्स $\{z_s^{(i)}\}$ पर एक कर्नेल डेंसिटी एस्टीमेशन (KDE) मॉडल फिट किया जाता है।
एक टेस्ट सैंपल के लिए, नॉवेलटी स्कोर उसके सब्जेक्ट फीचर $z_s^{new}$ का KDE के तहत नेगेटिव लॉग-डेंसिटी होता है।
उच्च स्कोर इंगित करते हैं कि सब्जेक्ट 'नॉवेल' है; कम स्कोर इंगित करते हैं कि बैकग्राउंड की परवाह किए बिना सब्जेक्ट 'नॉर्मल' है।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क (SND): एक ऐसा तरीका पेश किया जो बैकग्राउंड विविधताओं से सब्जेक्ट सिमेंटिक्स को स्पष्ट रूप से अलग करता है, जिससे महत्वपूर्ण डोमेन शिफ्ट के तहत मजबूत नॉवेलटी डिटेक्शन संभव होता है।
कम एनोटेशन आवश्यकता: इस दृष्टिकोण के लिए केवल प्रशिक्षण डेटा में बैकग्राउंड डोमेन की संख्या ( $K$ ) की आवश्यकता होती, न कि प्रति-सैंपल डोमेन लेबल की, जो इसे वास्तविक दुनिया में तैनाती के लिए व्यावहारिक बनाता है।
बेहतर प्रदर्शन: अनसीन डोमेन वाले बेंचमार्क डेटासेट्स पर उत्कृष्ट प्रदर्शन प्रदर्शित किया, जिसमें GAN-आधारित विधियों, Deep SVDD और डोमेन जनरलाइजेशन तकनीकों (ERM, IRM) सहित मजबूत बेसलाइन्स को पछाड़ा गया।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो डेटासेट्स पर SND का मूल्यांकन किया: मल्टी-बैकग्राउंड MNIST (विभिन्न रंगीन बैकग्राउंड के साथ अंक) और Kurcuma (सिंथेटिक/रियल डोमेन में किचन यूटेंसिल्स)।

Multi-background MNIST:
- SND ने औसत AUROC 82.27% प्राप्त किया।
- इसने अगले सर्वश्रेष्ठ बेसलाइन (SUOD 67.05%) और डोमेन अडैप्टेशन विधियों जैसे ERM (48.67%) और IRM (48.59%) को काफी पीछे छोड़ दिया।
- विशेष रूप से, अनसीन ग्रीन बैकग्राउंड के तहत SND ने अंक '1' के लिए 97.68% AUROC और अंक '0' के लिए 85.74% AUROC प्राप्त किया।
Kurcuma Dataset:
- SND ने सात टारगेट डोमेन और नौ ऑब्जेक्ट कैटेगरी में उच्चतम औसत AUROC (69.96%) और AUPRC (93.89%) प्राप्त किया।
- इसने लगातार GNL (एक हालिया डोमेन-शिफ्ट नॉवेलटी डिटेक्शन विधि) और DeepSVDD तथा ALAD जैसे अन्य बेसलाइन्स को पछाड़ दिया।
गुणात्मक विश्लेषण (Qualitative Analysis):
- t-SNE विज़ुअलाइज़ेशन ने पुष्टि की कि सीखे गए सब्जेक्ट फीचर्स विभिन्न वस्तुओं के लिए अलग-अलग क्लस्टर बनाते हैं और बैकग्राउंड शिफ्ट के प्रति अपरिवर्तित रहते हैं, जबकि बैकग्राउंड फीचर्स सफलतापूर्वक डोमेन द्वारा क्लस्टर होते हैं।

5. महत्व (Significance)

यह कार्य महत्वपूर्ण है क्योंकि यह अनसुपरवाइज्ड एनोमली डिटेक्शन और डोमेन जनरलाइजेशन के बीच के अंतर को पाटता है।

व्यावहारिक प्रभाव: यह एक सामान्य विफलता मोड को हल करता है (जैसे, मेडिकल डायग्नोसिस, सुरक्षा अनुप्रयोगों में) जहाँ मॉडल तब विफल हो जाते हैं जब परीक्षण वातावरण प्रशिक्षण वातावरण से थोड़ा भिन्न होता है।
सैद्धांतिक अंतर्दृष्टि: यह प्रदर्शित करता है कि सिमेंटिक कंटेंट और न्यूसेंस वेरिएबल्स के बीच सांख्यिकीय स्वतंत्रता को लागू करना, GMM (संरचनात्मक बाधा) के साथ मिलकर, बिना स्पष्ट सुपरविजन के प्रभावी डिसेंटैंगलमेंट की अनुमति देता है।
दक्षता: डोमेन लेबल की आवश्यकता के बिना और केवल सब्जेक्ट फीचर्स पर ध्यान केंद्रित करके, यह गतिशील, वास्तविक दुनिया के वातावरण में नॉवेलटी डिटेक्शन सिस्टम को तैनात करने के लिए एक स्केलेबल समाधान प्रदान करता है।