RobustMAD: Evaluating Real-World Robustness of Multimodal Small Language Models for Deployable Anomaly Detection Assistants
यह शोध पत्र RobustMAD प्रस्तुत करता है, जो औद्योगिक विसंगति का पता लगाने (इंडस्ट्रियल एनोमली डिटेक्शन) में मल्टीमॉडल स्मॉल लैंग्वेज मॉडल्स की वास्तविक दुनिया की मजबूती का मूल्यांकन करने के लिए पहला परिनियोजन-प्रेरित (डिप्लॉयमेंट-मोटिवेटेड) बेंचमार्क है, जो यह प्रकट करता है कि हालांकि ये कॉम्पैक्ट मॉडल्स आशाजनक दिखते हैं, फिर भी वे नाजुक ग्राउंडिंग और मतिभ्रम (हैलुसिनेशन) जैसे महत्वपूर्ण विफलता मोड प्रदर्शित करते हैं जो उनके सुरक्षा-महत्वपूर्ण परिनियोजन में बाधा डालते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कारखाने के फर्श के लिए एक रोबोट सहायक बना रहे हैं। आप चाहते हैं कि यह इतना छोटा हो कि एक मोबाइल कार्ट पर फिट हो सके, इतना स्मार्ट हो कि सर्किट बोर्ड पर एक मामूली खरोंच को पहचान सके, और इतना मजबूत हो कि रोशनी कम होने या कैमरा धुंधला होने पर भी काम करना जारी रख सके। यह मल्टीमॉडल स्मॉल लैंग्वेज मॉडल्स (MSLMs) की दुनिया है। इन मॉडल्स को "जेब में समा जाने वाले जीनियस" के रूप में सोचें जो एक ही समय में छवियों को देख सकते हैं और टेक्स्ट पढ़ सकते हैं। अपने विशाल, क्लाउड-आधारित चचेरे भाइयों के विपरीत, जिन्हें चलाने के लिए गोदाम के आकार के डेटा सेंटर की आवश्यकता होती है, ये छोटे मॉडल्स विशेष रूप से डिवाइस पर रहने के लिए डिज़ाइन किए गए हैं, जो कारखाने के रहस्यों को सुरक्षित रखते हैं और इंटरनेट पर डेटा भेजने के कारण होने वाली देरी (लैग) से बचते हैं। बड़ा सवाल वैज्ञानिकों द्वारा पूछा जा रहा है: क्या ये जेब में समा जाने वाले जीनियस वास्तव में वास्तविक दुनिया की अव्यवस्था और अनिश्चितता के लिए तैयार हैं, या वे केवल एक पूरी तरह से नियंत्रित कक्षा में स्मार्ट दिखते हैं?
RobustMAD नामक यह शोध पत्र इन मॉडल्स को अंतिम परीक्षा देने का निर्णय लेता है। लेखकों ने एक नया, अत्यंत चुनौतीपूर्ण एग्जाम बनाया जिसे RobustMAD कहा जाता है, ताकि यह देखा जा सके कि क्या ये छोटे AI सहायक वास्तविक कारखाने की अराजकता को संभाल सकते हैं। उन्होंने रोबोट्स से केवल सरल प्रश्न नहीं पूछे जैसे "क्या यह टूटा हुआ है?"; उन्होंने उन्हें घुमावदार सवाल दिए। उन्होंने उन्हें भ्रमित करने वाली शब्दावली के साथ सवाल पूछे, उन्हें धुंधली तस्वीरें दिखाईं, और यहाँ तक कि उनसे उन तस्वीरों में समस्याओं को खोजने के लिए कहा जहाँ कोई समस्या मौजूद ही नहीं थी। परिणाम आश्चर्य और सावधानी का मिश्रण थे। शोधकर्ताओं ने पाया कि इनमें से कुछ छोटे मॉडल्स आश्चर्यजनक रूप से प्रतिभाशाली हैं—कभी-कभी वे बहुत बड़े और महंगे मॉडल्स को भी पीछे छोड़ देते हैं। हालाँकि, उन्होंने यह भी खोजा कि इन मॉडल्स का एक "ग्लास जॉ" (कमजोरी) है। पेचीदा सवालों या खराब रोशनी का सामना करने पर, वे अक्सर चीजें बनाने लगते हैं (हैलुसिनेशन/भ्रम) या सूक्ष्म विवरणों को मिस कर देते हैं जिन्हें एक मानव निरीक्षक तुरंत पकड़ लेगा। शोध पत्र निष्कर्ष निकालता है कि हालांकि ये मॉडल्स आशाजनक हैं, लेकिन वे अभी तक अकेले कारखाने को चलाने के लिए पर्याप्त सुरक्षित नहीं हैं; उन्हें अनुमान लगाना बंद करने और विश्वसनीय बनने के लिए और अधिक प्रशिक्षण की आवश्यकता है।
RobustMAD की कहानी
सेटअप: एक नए प्रकार का टेस्ट
कल्पना कीजिए कि आप गुणवत्ता नियंत्रण (क्वालिटी कंट्रोल) की नौकरी के लिए एक नए कर्मचारी को प्रशिक्षित कर रहे हैं। आप उन्हें केवल उत्पाद की एक आदर्श फोटो नहीं दिखाएंगे और पूछेंगे, "क्या यह अच्छा है?" आप उन्हें अंधेरे में ली गई एक फोटो दिखाएंगे, एक ऐसी फोटो जहाँ उत्पाद थोड़ा धुंधला है क्योंकि वह हिल रहा था, और एक बिल्कुल अलग वस्तु की फोटो दिखाते हुए पूछेंगे, "यहाँ दोष क्या है?" RobustMAD बेंचमार्क ठीक यही करता है।
लेखकों ने इस टेस्ट को मौजूदा डेटासेट्स से औद्योगिक वस्तुओं (जैसे बोतलें, केबल और सर्किट बोर्ड) की 410 वास्तविक छवियों का उपयोग करके बनाया। लेकिन वे वहीं नहीं रुके। उन्होंने मॉडल्स का परीक्षण चार विशिष्ट तरीकों से करने के लिए 11,000 से अधिक प्रश्न (4,510 बहुविकल्पीय और 7,380 खुले-अंत वाले) उत्पन्न किए:
- सामान्य वस्तु समझ (General Object Understanding): "यह वस्तु क्या है?"
- स्टैंड-अलोन विसंगति का पता लगाना (Stand-alone Anomaly Detection): "क्या इस तस्वीर में कोई दोष है?"
- पेयर-वाइज विसंगति का पता लगाना (Pair-wise Anomaly Detection): "इस तस्वीर की तुलना एक आदर्श तस्वीर से करें। क्या इसमें कोई दोष है?"
- अनुत्तरित प्रश्न (Unanswerable Queries): "इस मेडिसिन कैप्सूल पर वोल्टेज रेटिंग क्या है?" (स्पॉइलर: कैप्सूल पर कोई रेटिंग नहीं है, और मॉडल को अनुमान नहीं लगाना चाहिए)।
उन्होंने मॉडल्स का "खराब परिस्थितियों" के तहत भी परीक्षण किया, जिसमें मोशन ब्लर (जैसे तेज़ कन्वेयर बेल्ट पर हिलता हुआ कैमरा) और कम रोशनी (जैसे मंद रोशनी वाला गोदाम) का अनुकरण किया गया।
आश्चर्य: छोटा शक्तिशाली हो सकता है
जब शोधकर्ताओं ने टेस्ट चलाया, तो उन्हें कुछ अप्रत्याशित मिला। AI की दुनिया में, सामान्य नियम यह है कि "बड़ा बेहतर होता है।" आप सोचेंगे कि अरबों पैरामीटर्स वाला एक विशाल मॉडल एक छोटे मॉडल को कुचल देगा। लेकिन यहाँ, छोटे मॉडल्स (लगभग 4 बिलियन पैरामीटर्स) ने अपनी क्षमता से कहीं अधिक प्रदर्शन किया।
शो के स्टार थे Qwen3-VL-4B-Instruct। इस छोटे मॉडल ने न केवल मुकाबला किया, बल्कि इसने 6-बिलियन पैरामीटर वाले बहुत बड़े मॉडल Phi-4-Multimodal-Instruct को भी पीछे छोड़ दिया और यहाँ तक कि प्रोप्राइटरी GPT-5 Nano को भी मात दी। यह एक फुर्तीले हाई स्कूल बास्केटबॉल खिलाड़ी के पेशेवर दिग्गज पर डंक मारने जैसा है। यह सुझाव देता है कि आपको एक स्मार्ट फैक्ट्री असिस्टेंट बनाने के लिए आवश्यक रूप से एक विशाल, क्लाउड-आधारित मस्तिष्क की आवश्यकता नहीं है; एक अच्छी तरह से डिज़ाइन किया गया, छोटा मस्तिष्क भी काम कर सकता है।
रियलिटी चेक: "ग्लास जॉ" की समस्या
हालाँकि, पार्टी ज्यादा देर नहीं चली। जबकि ये छोटे मॉडल्स सरल कार्यों में बेहतरीन थे, RobustMAD टेस्ट ने तीन प्रमुख तरीकों को उजागर किया जिनसे वे वास्तविक दुनिया में विफल होते हैं:
नाजुक दृष्टि (The "Blurry Glasses" Effect):
जब इमेज परफेक्ट थी, तो मॉडल्स ठीक थे। लेकिन जैसे ही इमेज धुंधली हुई या रोशनी खराब हुई, वे ऐसी चीजें देखने लगे जो वहाँ थीं ही नहीं। एक उदाहरण में, एक मॉडल ने धुंधली फोटो में एक बोतल को देखा और आत्मविश्वास से दावा किया कि यह एक लेंस है। दूसरे उदाहरण में, एक टाइल पर तेल के एक छोटे से धब्बे ने मॉडल को यह भ्रम (hallucinate) कराया कि वस्तु एक "पारभासी, चित्तीदार जीव" (कोपोड) है न कि एक टाइल। मॉडल्स पैटर्न खोजने के लिए इतने उत्सुक हैं कि वे कभी-कभी तब भी आविष्कार कर देते हैं जब दृश्य साक्ष्य कमजोर होते हैं।अस्पष्ट उत्तर (The "Maybe" Effect):
भले ही मॉडल्स सही उत्तर दे रहे थे, लेकिन वे अक्सर इसे पर्याप्त रूप से समझा नहीं पाते थे जो एक कारखाने के लिए आवश्यक है। यदि एक मानव निरीक्षक को खरोंच मिलती है, तो वह कहता है, "ऊपरी-दाएं कोने पर 2 मिमी की खरोंच है।" AI शायद सिर्फ इतना कहेगा, "यह थोड़ा क्षतिग्रस्त लग रहा है।" एक सुरक्षा-महत्वपूर्ण कारखाने में, "थोड़ा क्षतिग्रस्त" पर्याप्त नहीं है। मॉडल्स अक्सर बहुत अस्पष्ट थे, वे इस बारे में सटीक विवरण देने में चूक गए कि दोष कहाँ था या वह कितना बुरा था।"आत्मविश्वासी झूठा" (The Hallucination Effect):
यह सबसे खतरनाक विफलता थी। जब ऐसे प्रश्न पूछे गए जिनका उत्तर नहीं दिया जा सकता था (जैसे कि एक मेडिसिन कैप्सूल पर वोल्टेज रेटिंग पूछना जिस पर कोई नंबर नहीं है), तो मॉडल्स ने "मुझे नहीं पता" कहने के बजाय, आत्मविश्वास के साथ एक उत्तर बना लिया। एक मॉडल ने दावा किया कि कैप्सूल की वोल्टेज रेटिंग "500" है, और दूसरे ने एक गैर-मौजूद बोतल के ढक्कन का व्यास "1.5 इंच" बताया। एक वास्तविक कारखाने में, इस तरह का आत्मविश्वासी झूठ खतरनाक गलतियों या सुरक्षा खतरों का कारण बन सकता है।
भविष्य के लिए इसका क्या अर्थ है
यह शोध पत्र यह नहीं कहता कि ये मॉडल्स बेकार हैं। वास्तव में, यह कहता है कि वे आशाजनक हैं। तथ्य यह है कि एक छोटा मॉडल एक बड़े मॉडल को हरा सकता है, यह उद्योग के लिए एक बड़ी जीत है क्योंकि इसका मतलब है कि हम सस्ते, तेज़ और अधिक निजी फैक्ट्री असिस्टेंट बना सकते हैं।
लेकिन लेखक स्पष्ट हैं: हम अभी वहां तक नहीं पहुंचे हैं। ये मॉडल्स एक प्रतिभाशाली इंटर्न की तरह हैं जो बुनियादी बातों में अच्छे हैं लेकिन अकेले काम करने से पहले उन्हें अधिक पर्यवेक्षण की आवश्यकता है। उन्हें वास्तविक दुनिया के उपयोग के लिए सुरक्षित बनाने के लिए, हम केवल बेहतर प्रॉम्प्ट्स या उन्हें "अधिक सावधान रहने" के लिए कहने पर निर्भर नहीं रह सकते। हमें यह बदलना होगा कि उन्हें कैसे प्रशिक्षित किया जाता है। शोध पत्र सुझाव देता है कि भविष्य के मॉडल्स को विशेष रूप रूप से यह सिखाने की आवश्यकता है कि धुंधली छवियों को कैसे संभालना है, विवरणों के साथ कितने सटीक होना है, और सबसे महत्वपूर्ण बात यह है कि वे अनुमान लगाने के बजाय यह स्वीकार करना सीखें कि वे उत्तर नहीं जानते।
RobustMAD बेंचमार्क अब सभी के उपयोग के लिए खुला है। यह AI के लिए एक नए, कठिन ड्राइवर लाइसेंस टेस्ट की तरह है। जब तक ये मॉडल्स इस टेस्ट को शानदार तरीके से पास नहीं कर लेते, वे बेहतरीन मददगार तो हो सकते हैं, लेकिन वे अकेले कारखाने को चलाने वाले नहीं होने चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।