Multi-view Patch Inference with Frozen DINOv3 for Industrial Anomaly Detection
यह शोध पत्र औद्योगिक विसंगति का पता लगाने (इंडस्ट्रियल एनोमली डिटेक्शन) के लिए एक रूपरेखा प्रस्तावित करता है जो सीमा संबंधी सूचना की हानि को दूर करने के लिए एक फ्रोजन DINOv3 बैकबोन को मल्टी-व्यू पैच इन्फरेंस रणनीति के साथ जोड़ता है और सामान्य फीचर वितरण को मॉडल करने के लिए एक मल्टी-स्केल रिकंस्ट्रक्शन फ्यूजन ट्रांसफॉर्मर का उपयोग करता है, जिससे कई बेंचमार्क डेटासेट्स पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कारखाने में एक गुणवत्ता निरीक्षक (quality inspector) हैं, लेकिन अपनी आँखों से कन्वेयर बेल्ट को देखने के बजाय, आप स्क्रू, चिप्स और कपड़े जैसे उत्पादों पर सूक्ष्म खरोंच, दरार या अजीब उभारों को पहचानने के लिए एक सुपर-स्मार्ट रोबोटिक मस्तिष्क का उपयोग कर रहे हैं। लक्ष्य बिना लाखों टूटी हुई चीजों की तस्वीरें दिखाए, इन "विसंगतियों" (anomalies/दोषों) को खोजना है।
लंबे समय से, सबसे अच्छे रोबोटिक मस्तिष्क (जिन्हें विजन ट्रांसफॉर्मर कहा जाता है) इसमें बहुत कुशल रहे हैं, लेकिन उनकी एक कठिन समस्या थी। कल्पना कीजिए कि आपका रोबोट एक तस्वीर को ग्रिड के वर्गाकार टाइल्स (tiles) में काटकर देखता है, जैसे कि एक क्रॉसवर्ड पहेली। यदि कोई सूक्ष्म खरोंच ठीक उस रेखा पर आती है जहाँ दो टाइल्स मिलते हैं, तो रोबोट उसे पूरी तरह से मिस कर सकता है क्योंकि वह प्रत्येक वर्ग को अलग-अलग समझने की कोशिश कर रहा है। यह फुटपाथ की दरार को केवल प्रत्येक ईंट के केंद्र को देखकर पहचानने की कोशिश करने जैसा है; यदि दरार किनारे पर है, तो आप उसके पास से निकल सकते हैं।
बड़ा विचार: "ओवरलैपिंग गेज़" (Overlapping Gaze)
चाओक्वुन वांग और उनकी टीम के नेतृत्व में लेखकों ने इस ब्लाइंड स्पॉट को एक चतुर तकनीक से ठीक करने का निर्णय लिया जिसे वे मल्टी-व्यू पैच इन्फरेंस (MVPI) कहते हैं।
एक साफ ग्रिड में छवि को काटने के बजाय, वे रोबोट को एक ही छवि को कई बार देखते हैं, लेकिन हर बार वे ग्रिड को थोड़ा सा खिसका देते हैं। यह एक पेंटिंग की फोटो लेने, फिर थोड़ी बाईं ओर कदम बढ़ाकर दूसरी फोटो लेने, और फिर थोड़ी दाईं ओर कदम बढ़ाकर तीसरी फोटो लेने जैसा है। अब, पहली दृष्टि में एक टाइल के किनारे पर स्थित वह सूक्ष्म खरोंच, दूसरी दृष्टि में एक टाइल के बीच में सुरक्षित रूप से आ जाएगी। रोबोट इन सभी ओवरलैपिंग दृश्यों को देखता है और उनके निष्कर्षों को जोड़ता है। इस तरह, कोई भी दोष कभी भी "ब्लाइंड स्पॉट" की रेखा पर नहीं फंस पाएगा।
"मेमोरी-फ्री" मस्तिष्क
आमतौरता पर, इन रोबनों को तुलना करने के लिए "सामान्य" तस्वीरों का एक विशाल पुस्तकालय (मेमोरी बैंक) साथ लेकर चलने की आवश्यकता होती है। यह भारी और धीमा होता है। लेखक तर्क देते हैं कि आपको इस भारी पुस्तकालय को ले जाने की आवश्यकता नहीं है। इसके बजाय, वे DINOv3 नामक एक फ्रीज्ड, प्री-ट्रेन्ड मस्तिष्क का उपयोग करते हैं। DINOv3 को एक जीनियस आर्ट स्टूडेंट के रूप में सोचें जिसने पहले ही अरबों छवियां देखी हैं और जानता है कि "सामान्य" क्या दिखता है, बिना किसी भौतिक फोटो एल्बम को साथ रखे।
वे इस मस्तिष्क को "फ्रीज" कर देते हैं (ताकि यह नई चीजें न सीखे और भ्रमित न हो) और केवल विशेषताओं (features) को निकालने के लिए इसका उपयोग करते हैं। फिर, वे मल्टी-स्केल रिकंस्ट्रक्शन फ्यूजन ट्रांसफॉर्मर (MRFT) नामक एक हल्के उपकरण का उपयोग करते हैं। यह उपकरण जीनियस मस्तिष्क ने जो देखा है उसके आधार पर छवि के "सामान्य" संस्करण को फिर से बनाने की कोशिश करता है। यदि रोबोट एक आदर्श पेंच की तस्वीर को फिर से बनाने की कोशिश करता है लेकिन वास्तविक छवि में एक खरोंच है, तो पुनर्निर्माण (reconstruction) उस स्थान पर धुंधला या गलत दिखेगा। "परफेक्ट" पुनर्निर्माण और "वास्तविक" छवि के बीच अंतर जितना बड़ा होगा, दोष होने की संभावना उतनी ही अधिक होगी।
उन्होंने क्या पाया (और क्या नहीं)
टीम ने तीन अलग-अलग औद्योगिक छवियों के सेटों पर इस विचार का परीक्षण किया:
- MVTec AD: 15 श्रेणियों वाला एक मानक टेस्ट सेट जैसे बोतलें, केबल और चमड़ा।
- BTAD: वास्तविक दुनिया के कारखाने के शोर और प्रकाश व्यवस्था संबंधी समस्याओं वाला एक सेट।
- UltraChip: सेमीकंडक्टर चिप्स पर सूक्ष्म दोषों वाला एक अत्यंत कठिन सेट, जहाँ बैकग्राउंड बहुत शोर वाला है।
परिणाम:
- UltraChip डेटासेट पर: उनकी विधि ने 81.9% का औसत Image-AUC प्राप्त किया। यह एक स्कोर है जो मापता है कि रोबोट एक अच्छी चिप और एक खराब चिप के बीच कितनी अच्छी तरह अंतर कर सकता है। उन्होंने पाया कि यह URD और SuperSimpleNet जैसी अन्य शीर्ष विधियों से बेहतर था।
- MVTec AD डेटासेट पर: उन्होंने इमेज-लेवल डिटेक्शन के लिए 99.5% और पिक्सेल-लेवल डिटेक्शन (ठीक से पता लगाना कि दोष कहाँ है) के लिए 99.2% स्कोर किया। इसने Dinomaly और Subspace जैसे अन्य मजबूत दावेदारों को पछाड़ दिया।
- BTAD डेटासेट पर: उन्होंने 97.3% के औसत Image-AUC के साथ एक सुसंगत बढ़त बनाए रखी।
उन्होंने स्पष्ट रूप से किसे खारिज किया
लेखक हजारों छवि विशेषताओं को संग्रहीत करने वाले भारी, जटिल मेमोरी बैंक का उपयोग करने के विरुद्ध तर्क देते हैं, यह नोट करते हुए कि वे महंगे और धीमे हैं। वे एक एकल ग्रिड के उपयोग के विरुद्ध भी तर्क देते हैं, यह दिखाते हुए कि यह विधि सीमाओं पर दोषों को मिस कर देती है। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने इसे मापा। उदाहरण के लिए, उन्होंने दिखाया कि एक एकल ग्रिड का उपयोग करने से "स्क्रू" श्रेणी में उनका स्कोर गिर गया, लेकिन उनके ओवरलैपिंग व्यूज ने इसे बढ़ा दिया।
वे कितने आश्वस्त हैं?
लेखक इन आंकड़ों को लेकर काफी आश्वस्त हैं क्योंकि उन्होंने केवल काल्पनिक सिमुलेशन नहीं, बल्कि वास्तविक बेंचमार्क डेटासेट्स पर इनका परीक्षण किया है। वे नोट करते हैं कि हालांकि उनकी विधि अन्यों की तुलना में "लाइटवेट" है, फिर भी विशाल DINOv3 मस्तिष्क का उपयोग करने के लिए कुछ कंप्यूटिंग पावर की आवश्यकता होती है, इसलिए यह तत्काल (instant) नहीं है। दिलचस्प बात यह है कि पेपर नोट करता है कि उनकी विधि UltraChip डेटासेट पर आशाजनक ज़ीरो-शॉट जनरलाइजेशन व्यवहार प्रदर्शित करती है, जो सुझाता है कि मल्टी-व्यू फीचर एग्रीगेशन के साथ फ्रीज्ड विजन ट्रांसफॉर्मर अंतर्निहित रूप से ट्रांसफर करने योग्य नॉर्मलिटी प्रायर कैप्चर कर सकते हैं। हालाँकि, लेखक स्पष्ट करने में सावधानी बरतते हैं कि उनका वर्तमान ढांचा अभी भी एक पारंपरिक सिंगल-क्लास ट्रेनिंग प्रतिमान के तहत काम करता है, जिसका अर्थ है कि वर्तमान में विभिन्न उत्पाद श्रेणियों के लिए अलग-अलग मॉडल को प्रशिक्षित करने की आवश्यकता होती है, न कि यह वास्तव में आउट-ऑफ-द-बॉक्स एक सच्चा ज़ीरो-शॉट सिस्टम है। यह अवलोकन भविष्य में ज़ीरो-शॉट या फ्यू-शॉट परिदृश्यों की ओर विस्तार करने के लिए एक दिलचस्प दिशा खोलता है।
निष्कर्ष
छवि को कई ओवरलैपिंग कोणों से दिखाकर और एक स्मार्ट, प्री-ट्रेन्ड मस्तिष्क का उपयोग करके जो फिट नहीं बैठता उसे पहचानने के लिए, टीम ने एक ऐसी प्रणाली बनाई है जो पिछले तरीकों की तुलना में सूक्ष्म, कठिन दोषों को खोजने में बेहतर है। यह एक निरीक्षक को ऐसे चश्मे देने जैसा है जो फोकस को बस इतना ही शिफ्ट करता है कि कोई भी दरार अनदेख रह न जाए, जबकि साथ ही निरीक्षक के बैकपैक को इतना हल्का रखता है कि वह तेज़ी से चल सके।
इस प्रणाली का कोड किसी के भी द्वारा जांच के लिए उपलब्ध है, और लेखक इसे और तेज़ बनाने और एक साथ कई अलग-अलग प्रकार के उत्पादों को संभालने में सक्षम बनाने के लिए काम करना जारी रखने की योजना बना रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।