🤖 machine learning

SubspaceAD: Training-Free Few-Shot Anomaly Detection via Subspace Modeling

SubspaceAD एक ट्रेनिंग-फ्री, फ्यू-शॉट विसंगति पहचान (anomaly detection) विधि है जो एक निम्न-आयामी उपस्थान (low-dimensional subspace) में सामान्य विविधताओं को मॉडल करने के लिए फ्रोजन DINOv2 फीचर्स और प्रिंसिपल कंपोनेंट एनालिसिस का लाभ उठाती है, जिससे मेमोरी बैंक, सहायक डेटा, या मॉडल ट्यूनिंग की आवश्यकता के बिना MVTec-AD और VisA डेटासेट पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Camile Lendering, Erkut Akdag, Egor Bondarev

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Camile Lendering, Erkut Akdag, Egor Bondarev

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कारखाने में गुणवत्ता नियंत्रण निरीक्षक (quality control inspector) हैं। आपका काम कन्वेयर बेल्ट पर दोषों (defects) को पहचानना है: जैसे बोतल पर खरोंच, एक पेंच का गायब होना, या सर्किट बोर्ड पर धब्बा।

वास्तविक दुनिया में, आपके पास उन सभी फोटो की एक विशाल लाइब्रेरी होने की संभावना बहुत कम होती है जो यह दिखा सकें कि एक उत्पाद कैसे दिख सकता है। आमतौर पर, आपके पास केवल कुछ फोटो होते हैं जो दिखाते हैं कि एक "परफेक्ट" उत्पाद कैसा दिखता है। इसे फ्यू-शॉट एनोमली डिटेक्शन (Few-Shot Anomaly Detection) कहा जाता है।

लंबे समय तक, इस समस्या को हल करने की कोशिश करने वाले कंप्यूटर "अति-उत्साही इंटर्न" की तरह रहे हैं। वे "परफेक्ट" उदाहरणों की विशाल और जटिल लाइब्रेरी बनाने, हफ्तों तक जटिल न्यूरल नेटवर्क को प्रशिक्षित करने, या हर एक पिक्सेल की तुलना करने के लिए विशाल डेटाबेस का उपयोग करने की कोशिश करते हैं। यह महंगा, धीमा और बहुत अधिक डेटा की मांग करने वाला है।

SubspaceAD एक नया तरीका है जो एक सरल प्रश्न पूछता है: "क्या हमें वास्तव में इतनी जटिलता की आवश्यकता है?"

लेखक कहते हैं—नहीं। वे एक बहुत ही सरल, "ट्रेनिंग-फ्री" दृष्टिकोण प्रस्तावित करते हैं जो एक स्मार्ट फिल्टर की तरह काम करता है। यह कैसे काम करता है, यहाँ रोजमर्रा की अवधारणाओं में बताया गया है:

1. "जमी हुई" आँख (फीचर एक्सट्रैक्शन - Feature Extraction)

सबसे पहले, सिस्टम एक पूर्व-प्रशिक्षित (pre-trained) AI आँख का उपयोग करता है (जिसे DINOv2 कहा जाता है) जिसने दुनिया की लाखों छवियों को देखा है। इस आँख को एक मास्टर कलाकार के रूप में समझें जिसने बनावट (textures), आकृतियों और पैटर्न को पूरी तरह से पहचानना सीख लिया है।

ट्रिक: हम इस कलाकार को कुछ भी नया नहीं सिखाते। हम बस उनके दिमाग को "फ्रीज" (freeze) कर देते हैं। हम उनसे हमारे कुछ "परफेक्ट" उत्पादों के फोटो देखने के लिए कहते हैं और उन्हें विस्तार से वर्णन करने के लिए कहते हैं (छवि को छोटे-छोटे पैच में तोड़कर, जैसे एक मोज़ेक)।

2. "नॉर्मल" ब्लूप्रिंट (PCA मॉडलिंग - PCA Modeling)

अब, कल्पना कीजिए कि आपके पास एक आदर्श, दोषरहित सेब के कुछ फोटो हैं। आप एक ब्लूप्रिंट बनाना चाहते हैं कि एक "सामान्य" सेब कैसा दिखता है।

पुराना तरीका: आप शायद आपके पास मौजूद हर एक फोटो को याद करने की कोशिश करेंगे।
SubspaceAD का तरीका: आप PCA (प्रिंसिपल कंपोनेंट एनालिसिस) नामक एक गणितीय उपकरण का उपयोग करते हैं। PCA को एक छलनी या स्केलेटन की (skeleton key) के रूप में समझें।
- यह आपके सभी "परफेक्ट सेब" के फोटो को देखता है और उन मुख्य पैटर्नों का पता लगाता है जो उन्हें सेब जैसा दिखाते हैं (गोलाई, लालिमा, चमक)।
- यह एक "लो-डायमेंशनल सबस्पेस" (low-dimensional subspace) बनाता है। सरल शब्दों में, यह सामान्यता का एक संक्षिप्त ब्लूप्रिंट है। यह एक परफेक्ट उत्पाद के आवश्यक "वाइब" (vibe) को पकड़ता है जबकि छोटे, रैंडम शोर (जैसे किसी एक विशिष्ट फोटो में धूल का कण) को अनदेखा कर देता है।

3. "रिकंस्ट्रक्शन" टेस्ट (इन्फरेंस - Inference)

अब, कन्वेयर बेल्ट से एक नया उत्पाद आता है। क्या यह परफेक्ट है?

सिस्टम उस नई छवि को केवल उस "नॉर्मल ब्लूप्रिंट" का उपयोग करके पुनर्निर्मित (reconstruct) करने की कोशिश करता है जो उसने पहले बनाया था।
यदि उत्पाद परफेक्ट है: तो ब्लूप्रिंट पूरी तरह फिट बैठता है। सिस्टम ब्लूप्रिंट से छवि को आसानी से फिर से बना सकता है। "त्रुटि" (ब्लूप्रिंट और वास्तविक छवि के बीच का अंतर) बहुत कम होती है।
यदि उत्पाद में कोई दोष है: तो ब्लूप्रिंट उस खरोंच या गायब हिस्से को पुनर्निर्मित नहीं कर पाएगा क्योंकि वह पैटर्न "नॉर्मल ब्लूप्रिंट" में नहीं था। सिस्टम उस खाली जगह को भरने में संघर्ष करता है। "त्रुटि" (reconstruction residual) बहुत बड़ी होती है।

परिणाम: सिस्टम को यह जानने की आवश्यकता नहीं है कि एक "खरोंच" कैसी दिखती है। वह बस यह जानता है कि खरोंच सामान्यता के ब्लूप्रिंट में फिट नहीं बैठती। जितना बड़ा बेमेल (mismatch) होगा, दोष होने की संभावना उतनी ही अधिक होगी।

यह एक बड़ी बात क्यों है?

पेपर का दावा है कि यह सरल "ब्लूप्रिंट" विधि वास्तव में उन जटिल, भारी-भरकम तरीकों से बेहतर है जो वर्तमान में उपयोग किए जा रहे हैं।

कोई ट्रेनिंग नहीं: आपको कंप्यूटर को सिखाने में दिन बिताने की आवश्यकता नहीं है। आप बस कुछ फोटो देते हैं, ब्लूप्रिंट बनाते हैं, और आपका काम हो जाता है।
कोई मेमोरी बैंक नहीं: आपको हजारों छवियां स्टोर करने की आवश्यकता नहीं है। आप बस सामान्य पैटर्न के गणितीय "कंकाल" (skeleton) को स्टोर करते हैं।
गति: क्योंकि यह इतना सरल है, यह अविश्वसनीय रूप से तेज़ चलता है।
सटीकता: जब मानक औद्योगिक डेटासेट्स (MVTec-AD और VisA) पर परीक्षण किया गया, तो इस सरल विधि ने स्टेट-ऑफ-द-आर्ट जटिल तरीकों को भी पीछे छोड़ दिया, भले ही इसने शुरुआत में एक परफेक्ट प्रोडक्ट की केवल एक सिंगल फोटो देखी हो।

सीमाएं (संभावित कमियाँ - "Gotchas")

पेपर इस बारे में ईमानदार है कि यह विधि कहाँ लड़खड़ा सकती है:

गायब हिस्से (Missing Parts): यदि कोई पूरा घटक गायब है (जैसे एक गायब पेंच), तो सिस्टम भ्रमित हो सकता है। चूंकि बैकग्राउंड अभी भी "नॉर्मल" है, ब्लूप्रिंट यह सोच सकता है कि खाली जगह डिजाइन का ही हिस्सा है। यह टेक्सचर त्रुटियों (खरोंच, धब्बे) को पकड़ने में अच्छा है लेकिन कभी-कभी स्ट्रक्चरल त्रुटियों (गायब हिस्सों) को मिस कर देता है।
ओरिएंटेशन (Orientation): यदि उत्पाद सीधा होना चाहिए, लेकिन आप गलती से ट्रेनिंग फोटो को घुमा (rotate) देते हैं, तो सिस्टम यह सोच सकता है कि "रोटेटेड" होना ही नया "नॉर्मल" है और वह दोष को मिस कर सकता है।

निष्कर्ष (The Bottom Line)

SubspaceAD यह साबित करता है कि दोषों को खोजने के लिए आपको एक सुपर-कॉम्प्लेक्स, भारी AI की आवश्यकता नहीं है। यदि आपके पास एक अच्छी "आँख" (एक मजबूत फाउंडेशन मॉडल) है और साम्यता को परिभाषित करने का एक सरल तरीका (एक सांख्यिकीय ब्लूप्रिंट) है, तो आप बहुत प्रभावी ढंग से अजीब चीजों को पहचान सकते हैं। यह आधुनिक AI विजन द्वारा संचालित, सरल और सुरुचिपूर्ण सांख्यिकी (statistics) की ओर वापसी है।

तकनीकी सारांश: SubspaceAD

समस्या विवरण (Problem Statement)

औद्योगिक विजुअल विसंगति पहचान (Anomaly Detection - AD) एक महत्वपूर्ण चुनौती का सामना कर रही है: डेटा की कमी। पारंपरिक "फुल-शॉट" (full-shot) विधियों को प्रत्येक श्रेणी के लिए सैकड़ों दोष-रहित छवियों की आवश्यकता होती है ताकि सामान्यता (normality) को मॉडल किया जा सके, जो वास्तविक दुनिया के विनिर्माण में अक्सर अव्यावहारिक है। इसके विपरीत, विजन-लैंग्वेज मॉडल्स (VLMs) पर आधारित "जीरो-शॉट" (zero-shot) विधियां सूक्ष्म, गैर-सिमेंटिक दोषों (जैसे छोटी दरारें) का पता लगाने में संघर्ष करती हैं जिन्हें टेक्स्ट प्रॉम्प्ट आसानी से वर्णित नहीं कर सकते। "फ्यू-शॉट" (few-shot) परिदृश्य, जहाँ केवल कुछ ही सामान्य छवियों ( $k \in \{1, 2, 4\}$ ) की उपलब्धता होती है, एक व्यावहारिक मध्य मार्ग का प्रतिनिधित्व करता है। हालाँकि, मौजूदा फ्यू-शॉट समाधान तेजी से जटिल होते गए हैं, जो बड़े मेमोरी बैंक, सहायक डेटासेट, बहु-चरणीय प्रशिक्षण, या फाउंडेशन मॉडल्स के प्रॉम्प्ट ट्यूनिंग पर निर्भर करते हैं। यह शोध पत्र सवाल उठाता है कि क्या आधुनिक विजन फाउंडेशन मॉडल्स द्वारा प्रदान किए गए उच्च-गुणवत्ता वाले फीचर रिप्रेजेंटेशन को देखते हुए इतनी जटिलता आवश्यक है।

कार्यप्रणाली: SubspaceAD (Methodology: SubspaceAD)

SubspaceAD एक ट्रेनिंग-फ्री (training-free), पैरामीटर-फ्री (parameter-free) विधि है जो फ्रोजन फाउंडेशन मॉडल फीचर्स के साथ एक सरल सांख्यिकीय दृष्टिकोण का उपयोग करके सामान्य उपस्थिति को मॉडल करती है। यह दो अलग-अलग चरणों में कार्य करती है:

1. फीचर एक्सट्रैक्शन (Feature Extraction)

यह विधि $k$ सामान्य प्रशिक्षण छवियों के एक छोटे सेट से सघन (dense), पैच-लेवल फीचर्स निकालने के लिए एक फ्रोजन DINOv2-G बैकबोन का उपयोग करती है।

मल्टी-लेयर एग्रीगेशन (Multi-Layer Aggregation): केवल अंतिम ट्रांसफार्मर ब्लॉक पर निर्भर रहने के बजाय, फीचर्स को कई मध्यवर्ती परतों (विशेष रूप से लेयर्स 22-28) से एकत्रित किया जाता है। यह फ्यूजन उच्च-स्तरीय सिमेंटिक्स और निम्न-स्तरीय स्थानिक विवरणों (spatial details) के बीच संतुलन बनाता है, जिससे वैश्विक संदर्भ (global context) को बनाए रखते हुए सूक्ष्म विसंगतियों के प्रति संवेदनशीलता में सुधार होता है।
डेटा ऑग्मेंटेशन (Data Augmentation): सीमित नमूनों से एक मजबूत प्रतिनिधित्व बनाने के लिए, प्रत्येक $k$ सामान्य छवि को 30 रैंडम रोटेशन ( $0^\circ$ से $345^\circ$ ) के साथ ऑगमेंट किया जाता है। मूल और ऑगमेंटेड छवियों से फीचर्स निकालकर सामान्य पैच फीचर्स का सेट, $\mathbf{X}_{normal}$ बनाया जाता है।

2. सबस्पेस मॉडलिंग (PCA) (Subspace Modeling)

सामान्य फीचर्स के लो-डायमेंशनल सबस्पेस का अनुमान लगाने के लिए सामान्य फीचर्स पर एक प्रिंसिपल कंपोनेंट एनालिसिस (PCA) मॉडल फिट किया जाता है।

सबस्पेस परिभाषा (Subspace Definition): मॉडल सामान्य फीचर्स के एम्पेरिकल मीन ( $\mu$ ) और कोवेरिएंस मैट्रिक्स ( $\Sigma$ ) की गणना करता है। इसके बाद, यह शीर्ष $r$ आइजनवेक्टर्स (eigenvectors) की पहचान करता है जो एक पूर्व-निर्धारित वेरिएंस थ्रेशोल्ड ( $\tau = 0.99$ ) की व्याख्या करते हैं। यह एक ऑर्थोनॉर्मल बेसिस $C$ बनाता है जो सामान्य उपस्थिति के "प्रमुख" (principal) विविधताओं का प्रतिनिधित्व करता है।
विसंगति स्कोरिंग (Anomaly Scoring): इन्फरेंस के दौरान, एक टेस्ट इमेज के पैच फीचर्स को इस सीखे गए सबस्पेस पर प्रोजेक्ट किया जाता है। विसंगति स्कोर को मूल फीचर वेक्टर और उसके प्रोजेक्शन के बीच रिकंस्ट्रक्शन रेसिडुअल (स्क्वेर्ड यूक्लिडियन डिस्टेंस) के रूप में परिभाषित किया गया है। बड़े रेसिडुअल्स सामान्य सबस्पेस से विचलन दर्शाते हैं, जो विसंगति का संकेत देते हैं।
एग्रीगेशन (Aggregation):
- पिक्सेल-लेवल: पिक्सेल-लेवल विसंगति मैप उत्पन्न करने के लिए रेसिडुअल मैप को अपसैंपल और स्मूथ किया जाता है।
- इमेज-लेवल: एक टेल-रोबस्ट सांख्यिकी, एम्पेरिकल टेल वैल्यू-एट-रिस्क (TVaR), सूक्ष्म दोषों के प्रति संवेदनशीलता और फॉल्स पॉजिटिव्स के विरुद्ध मजबूती के बीच संतुलन बनाने के लिए शीर्ष 1% पैच स्कोर का औसत निकालती है।

मुख्य योगदान (Key Contributions)

SubspaceAD फ्रेमवर्क: एक मिनिमलिस्ट, ट्रेनिंग-फ्री फ्यू-शॉट विसंगति पहचान पद्धति का परिचय जो फ्रोजन DINOv2 फीचर्स को PCA के साथ जोड़ती है। यह मेमोरी बैंक, प्रॉम्प्ट ट्यूनिंग, सहायक डेटासेट या स्पष्ट प्रशिक्षण की आवश्यकता को समाप्त करता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: MVTec-AD और VisA डेटासेट्स पर व्यापक मूल्यांकन यह प्रदर्शित करता है कि SubspaceAD 1-शॉट, 2-शॉट और 4-शॉट सेटिंग्स में मौजूदा स्टेट-ऑफ-द-आर्ट विधियों (रिकंस्ट्रक्शन-आधारित, मेमोरी-बैंक-आधारित और VLM-आधारित दृष्टिकोणों सहित) को पछाड़ देता है।
व्याख्यात्मकता और दक्षता (Interpretability and Efficiency): यह विधि पूरी तरह से व्याख्या योग्य है (सांख्यिकीय रिकंस्ट्रक्शन एरर पर आधारित) और कम्प्यूटेशनल रूप से कुशल है, जिसमें केवल एक सिंगल फॉरवर्ड पास और एक लाइटवेट सबस्पेस प्रोजेक्शन की आवश्यकता होती है। यह न्यूनतम स्टोरेज (प्रति श्रेणी 1 MB से कम) के साथ उच्च प्रदर्शन प्राप्त करती है।

प्रयोगात्मक परिणाम (Experimental Results)

शोध पत्र मानक औद्योगिक बेंचमार्क पर व्यापक प्रयोगों की रिपोर्ट करता है:

MVTec-AD (1-shot): SubspaceAD 97.1% का इमेज-लेवल AUROC और 97.5% का पिक्सेल-लेवल AUROC प्राप्त करता है, जो पिछले सर्वश्रेष्ठ परिणामों से बेहतर है।
VisA (1-shot): इस अधिक चुनौतीपूर्ण डेटासेट पर, SubsideAD 93.2% का इमेज-लेवल AUROC और 95.5% का Pixel PRO प्राप्त करता है, जो पिछले स्टेट-ऑफ-द-आर्ट (AnomalyDINO) को महत्वपूर्ण अंतर (क्रमशः 5.8% और 3.0%) से पीछे छोड़ देता है।
बैच्ड 0-शॉट (Batched 0-Shot): एक सेटिंग में जहाँ मॉडल को पूरे अनलेबल टेस्ट सेट पर फिट किया जाता है (यह मानते हुए कि अधिकांश पैच सामान्य हैं), SubsideAD VisA पर 94.1% का इमेज-लेवल AUROC प्राप्त करता है, जो MuSc के बराबर है और AnomalyDINO से बेहतर है।
एब्लेशन स्टडीज (Ablation Studies): लेखक प्रमाणित करते हैं कि मल्टी-लेयर फीचर एग्रीगेशन (लेयर्स 22-28) केवल अंतिम लेयर का उपयोग करने की तुलना में बेहतर है, और यह विधि 448px से ऊपर के इनपुट रेजोल्यूशन के लिए भी मजबूत है। PCA वेरिएंस थ्रेसहोल्ड ( $\tau=0.99$ ) को शोर (noise) को हटाते हुए सामान्य विविधताओं को कैप्चर करने के लिए महत्वपूर्ण दिखाया गया है।

महत्व और दावे (Significance and Claims)

शोध पत्र का तर्क है कि आधुनिक फ्यू-शॉट विसंगति पहचान पाइपलाइनों की जटिलता अक्सर अनावश्यक होती है। विजन फाउंडेशन मॉडल्स (विशेष रूप से DINOv2) के समृद्ध, ट्रांसफर करने योग्य रिप्रेजेंटेशन का लाभ उठाकर, एक सरल सांख्यिकीय सबस्पेस मॉडल सामान्य उपस्थिति के मैनिफोल्ड को प्रभावी ढंग से कैप्चर कर सकता है।

लेखक दावा करते हैं कि SubspaceAD यह प्रदर्शित करता है कि क्लासिकल सांख्यिकीय मॉडलिंग, पर्याप्त अभिव्यंजक (expressive) फाउंडेशन फीचर्स के साथ जुड़ने पर, विजुअल विसंगति पहचान के लिए एक शक्तिशाली आधार के रूप में फिर से काम कर सकती है। यह विधि जटिल डीप लर्निंग आर्किटेक्चर के लिए एक सम्मोहक विकल्प प्रदान करती है, जो न केवल सटीकता में स्टेट-ऑफ-द-आर्ट है, बल्कि परिनियोजन (deployment) की सरलता, व्याख्यात्मकता और कम्प्यूटेशनल दक्षता के मामले में भी श्रेष्ठ है। परिणाम बताते हैं कि फ्यू-शॉट औद्योगिक निरीक्षण के लिए, मेमोरी बैंक और प्रॉम्प्ट ट्यूनिंग की "जटिलता" को फाउंडेशन फीचर्स पर PCA की "सरलता" द्वारा बदला जा सकता है।