ADOPD: Reference-Privileged On-Policy Distillation for MLLM-Based Industrial Anomaly Detection
यह शोध पत्र ADOPD का प्रस्ताव करता है, जो एक संदर्भ-विशेषाधिकार प्राप्त ऑन-पॉलिसी डिस्टिलेशन फ्रेमवर्क है जो एक संदर्भ-जागरूक शिक्षक (reference-aware teacher) का लाभ उठाकर सूक्ष्म विसंगति पहचान (fine-grained anomaly detection) के लिए मार्गदर्शन प्रदान करता है और संदर्भ-आधारित तुलना के लाभों को केवल-क्वेरी वाले छात्र मॉडल (query-only student model) में समाहित करता है, जिससे MMAD बेंचमार्क पर अत्याधुनिक ज़ीरो-शॉट प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने वाले जासूस हैं, लेकिन आप किसी अपराध स्थल के बजाय एक फैक्ट्री फ्लोर को देख रहे हैं। आपका काम एक चमकदार नए गैजेट पर उस मामूली से मामूली खरोंच को ढूंढना है जो वहां नहीं होनी चाहिए। यही इंडस्ट्रियल एनोमली डिटेक्शन (औद्योगिक विसंगति का पता लगाना) की दुनिया है। लंबे समय तक, कंप्यूटर इसमें बहुत खराब रहे हैं क्योंकि वे केवल यह जानते हैं कि "सामान्य" क्या होता है, न कि हर उस उत्पाद की विशिष्ट बारीकियां जो उत्पादन लाइन से निकल रहा है।
यहाँ मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) का प्रवेश होता है। इन्हें ऐसे सुपर-स्मार्ट एआई जासूसों के रूप में सोचें जो चित्र देख सकते हैं और टेक्स्ट भी पढ़ सकते हैं। वे तर्क करने में माहिर हैं, लेकिन वे अक्सर उन सूक्ष्म, विशिष्ट विवरणों को मिस कर देते हैं जो दोष पकड़ने के लिए आवश्यक होते हैं। आमतौर पर, इन एआई जासूसों की मदद करने के लिए, इंसान उन्हें एक "रेफरेंस फोटो" देते हैं—एक आदर्श, दोष-रहित वस्तु की तस्वीर ताकि वे संदिग्ध वस्तु की तुलना उससे कर सकें। यह एक जासूस को एक आदर्श फिंगरप्रिंट की फोटो दिखाने जैसा है ताकि वह असली वाले पर लगे दाग को पहचान सके। हालांकि, हर एक आइटम के लिए ऐसा करना धीमा और गणनात्मक रूप से महंगा है, जैसे कि एक जासूस को हर सुराग देखते समय संदर्भ पुस्तक के लिए लाइब्रेरी की ओर दौड़ने के लिए कहना। बड़ा सवाल जो शोधकर्ताओं ने पूछा था: क्या हम एआई को यह सिखा सकते हैं कि वह उस आदर्श संदर्भ को कैसे याद रखे, ताकि उसे हर बार इसे खोजने की आवश्यकता न पड़े?
यहीं पर एक नया अध्ययन आता है, जो ADOPD नामक एक चतुर प्रशिक्षण विधि का प्रस्ताव देता। शोधकर्ता यह देखना चाहते थे कि क्या वे एआई के मस्तिष्क में प्रशिक्षण के दौरान छवियों की सीधी तुलना के लाभों को "आंतरिक" (internalize) कर सकते हैं। वे नहीं चाहते थे कि एआई केवल उत्तर रटे; वे चाहते थे कि वह चीजों का निरीक्षण करना सीखे।
टीम ने दो पात्रों के साथ एक प्रशिक्षण परिदृश्य तैयार किया: एक टीचर (शिक्षक) और एक स्टूडेंट (छात्र)। टीचर एक सुपर-स्मार्ट एआई है जिसे संदिग्ध वस्तु और आदर्श संदर्भ फोटो दोनों देखने को मिलते हैं। स्टूडेंट वह एआई है जिसे हम वास्तव में बाद में उपयोग करना चाहते हैं, और उसे केवल संदिग्ध वस्तु ही दिखाई जाती है। लक्ष्य यह है कि स्टूडेंट, टीचर की तरह स्मार्ट काम करे, भले ही उसके पास संदर्भ फोटो न हो।
लेकिन यह पेचीदा हिस्सा है: टीचर बहुत अधिक स्मार्ट हो सकता है। वह केवल उस टेक्स्ट के कारण या चित्र के सामान्य आभास के कारण सही उत्तर का अनुमान लगा सकता है, और उस विशिष्ट तुलना को अनदेखा कर सकता है जिसे उसे करना था। इसे ठीक करने के लिए, शोधकर्ताओं ने टीचर के लिए एक "अंतर पहचानो" (spot the difference) खेल का आविष्कार किया। उन्होंने टीचर को एक ही स्टूडेंट का अनुमान दो बार दिखाया: एक बार सही संदर्भ फोटो के साथ ("मैच्ड" व्यू) और एक बार गलत संदर्भ फोटो के साथ ("मिसमैच्ड" व्यू)।
यदि टीचर वास्तव में संदर्भ की परवाह करता है, तो सही फोटो देखते ही उसका आत्मविश्वास आसमान छू लेना चाहिए और गलत फोटो देखते ही गिर जाना चाहिए। शोधकर्ताओं ने इस अंतर का उपयोग करके एक विशेष "कॉन्फिडेंस स्कोर" बनाया। यदि टीचर केवल गलत फोटो के कारण आश्वस्त है, तो स्टूडेंट उस सुराग को अनदेखा करना सीखता है। यदि टीचर सही फोटो के कारण आश्वस्त है, तो स्टूडेंट उस पर ध्यान देना सीखता है। इस प्रक्रिया को रेफरेंस-प्रिविलेज्ड ऑन-पॉलिसी डिस्टिलेशन कहा जाता है। यह एक कोच द्वारा खिलाड़ी के अभ्यास को देखने जैसा है, लेकिन कोच केवल तभी फीडबैक देता है जब खिलाड़ी वास्तव में सही तकनीक का उपयोग कर रहा हो, न कि केवल अनुमान लगा रहा हो।
परिणाम बताते हैं कि यह तरीका आश्चर्यजनक रूप से अच्छा काम करता है। जब इसे MMAD नामक एक बेंचमार्क पर परखा गया, जिसमें सात अलग-अलग प्रकार के औद्योगिक निरीक्षण कार्य शामिल थे, तो इस नई विधि ने 77.31% की औसत सटीकता हासिल की। यह एक महत्वपूर्ण उछाल है, जो बेस मॉडल में 6.14 अंक का सुधार करता है। इससे भी अधिक प्रभावशाली बात यह है कि यह एआई, जिसने परीक्षण के दौरान कभी संदर्भ फोटो नहीं देखा, उस मॉडल से बेहतर प्रदर्शन करता है जिसे संदर्भ फोटो देखने की अनुमति दी गई थी ("वन-शॉट" सेटिंग), और इसने सटीकता (accuracy) में 2.64 अंक से बढ़त बनाई। हालांकि, अध्ययन नोट करता है कि एक ट्रेड-ऑफ है: जबकि नई विधि ने अधिक दोष पाए (उच्च रिकॉल), यह गलत अलार्म के प्रति थोड़ी अधिक संवेदनशील थी, जिसके परिणामस्वरूप "वन-शॉट" सेटिंग की तुलना में प्रिसिजन (precision) में थोड़ी गिरावट आई।
अध्ययन सुझाव देता है कि इस "मैच्ड बनाम मिसमैच्ड" प्रशिक्षण ट्रिक का उपयोग करके, एआई ने दोषों को पहचानने की एक सूक्ष्म रणनीति सीखी। उसने केवल तथ्य नहीं रटे; उसने उन विशिष्ट दृश्य अंतरों को देखना सीखा जो मायने रखते हैं। शोधकर्ताओं ने पाया कि यह दृष्टिकोण विशेष रूप से यह समझने में अच्छा था कि दोष कहाँ है और वह किस प्रकार की विसंगति है, न कि केवल श्रेणी का अनुमान लगाने में। हालांकि इस विधि के लिए प्रशिक्षण के दौरान युग्मित छवियों और विशिष्ट एनोटेशन की आवश्यकता होती है, लेकिन निष्कर्ष संकेत देते हैं कि हम एआई को एक अधिक तेज, अधिक आत्मनिर्भर निरीक्षक बनाने के लिए सिखा सकते हैं, जो हर बार संदर्भ की आवश्यकता के बिना भी सूक्ष्म खामियों को पकड़ने में सक्षम हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।