🤖 AI

MAGIC: Few-Shot Mask-Guided Anomaly Inpainting with Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness

यह शोध पत्र MAGIC का प्रस्ताव करता है, जो एक फ्यू-शॉट विसंगति जनरेशन फ्रेमवर्क है जो मजबूत औद्योगिक गुणवत्ता नियंत्रण के लिए उच्च-निष्ठा (high-fidelity) और विविध विसंगतियों को उत्पन्न करने हेतु गॉसियन प्रॉम्प्ट परटर्बेशन, स्थानिक रूप से अनुकूलन योग्य मार्गदर्शन और संदर्भ-जागरूक मास्क संरेखण का लाभ उठाता है।

मूल लेखक: JaeHyuck Choi, MinJun Kim, Je Hyeong Hong

प्रकाशित 2026-04-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: JaeHyuck Choi, MinJun Kim, Je Hyeong Hong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फैक्ट्री में क्वालिटी कंट्रोल इंस्पेक्टर हैं। आपका काम स्क्रू, गोलियों या सर्किट बोर्ड जैसे उत्पादों पर दोष (defects) पहचानना है। समस्या क्या है? आपके पास हजारों बेहतरीन उत्पादों की तस्वीरें हैं, लेकिन टूटे हुए उत्पादों की लगभग कोई तस्वीर नहीं है। आप अपने AI को टूटा हुआ स्क्रू पहचानना कैसे सिखा सकते हैं यदि उसने कभी कोई टूटा हुआ स्क्रू देखा ही न हो?

इसे हल करने के लिए, वैज्ञानिक आमतौर पर कंप्यूटर का उपयोग करके "टूटे हुए" चित्रों की नकल (fake) करने की कोशिश करते हैं। लेकिन मौजूदा तरीकों में दो बड़ी समस्याएं हैं:

"ग्लोबल" (Global) दृष्टिकोण: यह शून्य से एक टूटा हुआ उत्पाद बनाने की कोशिश करता है। यह अक्सर दोष को तो सही पकड़ लेता है, लेकिन गलती से बाकी उत्पाद को भी बिगाड़ देता है (जैसे एक बेहतरीन स्क्रू को पिघले हुए ढेर में बदल देना)।
"मास्क" (Mask) दृष्टिकोण: यह एक बेहतरीन उत्पाद लेता है और उस पर एक विशिष्ट स्थान पर दोष "पेंट" कर देता है। लेकिन यह बहुत कठोर है। यह केवल एक विशिष्ट प्रकार के खरोंच (scratch) को ही सीख पाता है, और यदि आप इसे गलत जगह पर खरोंच लगाने के लिए कहते हैं (जैसे स्क्रू के सिर के बजाय उसके किनारे पर), तो यह एक अजीब और अवास्तविक चित्र बना देता है।

यहाँ आता है MAGIC (Mask-Guided Anomaly Inpainting with Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness)। MAGIC को एक मास्टर जालसाज (forger) के रूप में समझें जो बिना अच्छे हिस्सों को खराब किए, वास्तविक और विविध "टूटे हुए" उत्पाद बना सकता है।

MAGIC इन तीन सरल तरीकों का उपयोग करके कैसे काम करता है, यहाँ बताया गया है:

1. "क्रिएटिव स्ट्रेच" (Gaussian Prompt Perturbation)

कल्पना कीजिए कि आप एक कलाकार को "खरोंच" बनाना सिखा रहे हैं। यदि आप उन्हें केवल एक फोटो दिखाते हैं, तो वे उसे ठीक वैसे ही याद कर लेंगे और हर बार वही खरोंच बनाएंगे। यह उबाऊ है और मददगार नहीं है।

MAGIC Gaussian Prompt Perturbation नामक तकनीक का उपयोग करता है। इसे एक सटीक और कठोर निर्देश के बजाय, कलाकार को एक थोड़ी धुंधली या अस्पष्ट (fuzzy) सूचना देने के रूप में समझें।

यह कैसे काम करता है: "ठीक इसी तरह की खरोंच बनाओ" कहने के बजाय, सिस्टम सीखने और चित्र बनाने दोनों चरणों के दौरान निर्देश में थोड़ा सा "शोर" (noise) या धुंधलापन जोड़ देता है।
परिणाम: कलाकार एक खरोंच की अवधारणा (concept) को सीखता है न कि केवल एक फोटो की नकल करता है। यह उसे हजारों अलग-अलग तरह की खरोंचें (लंबी, छोटी, गहरी, उथली) बनाने की अनुमति देता है जो वास्तविक दिखती हैं, न कि केवल एक ही चीज़ को दोहराती हैं।

2. "स्मार्ट ब्रश" (Spatially Adaptive Guidance)

जब आप एक बेहतरीन उत्पाद पर दोष पेंट करते हैं, तो आप चाहते हैं कि दोष विविध और अलग दिखे, लेकिन बाकी उत्पाद पूरी तरह से सामान्य रहे।

समस्या: मानक AI उपकरण पूरे चित्र के लिए एक ही तरह की "कड़ाई" का उपयोग करते हैं। यदि वे बहुत सख्त हैं, तो दोष उबाऊ दिखता है। यदि वे बहुत ढीले हैं, तो बैकग्राउंड बिगड़ जाता है।
MAGIC का समाधान: वे Spatially Adaptive Guidance ब्रश का उपयोग करते हैं।
- दोष वाले क्षेत्र पर: ब्रश "ढीला" होता है। यह AI को रचनात्मक होने और खरोंच के लिए कई अलग-अलग बनावट और पैटर्न आज़माने के लिए प्रोत्साहित करता है।
- बैकग्राउंड पर: ब्रश "सख्त" होता है। यह AI को बैकग्राउंड को बिल्कुल वैसा ही रखने के लिए मजबूर करता है जैसा वह था, जिससे यह सुनिश्चित होता है कि स्क्रू या गोली के बेहतरीन हिस्से विकृत न हों।
परिणाम: आपको एक अत्यधिक विविध, वास्तविक दोष मिलता है जो एक बेदाग बैकग्राउंड पर पूरी तरह से फिट बैठता है।

3. "कॉन्टेक्स्ट डिटेक्टिव" (Context-Aware Mask Alignment)

कभी-कभी, उपयोगकर्ता AI को गलत जगह पर मास्क (एक स्टेंसिल) दे देता है। उदाहरण के लिए, वे स्क्रू की नोक पर खरोंच डालने की कोशिश कर सकते हैं, लेकिन खरोंच आमतौर पर हेड (सिर) पर होती है। यदि AI बस वहां पेंट कर देता है, तो यह नकली लगता है।

MAGIC के पास Context-Aware Mask Alignment मॉड्यूल है। इसे एक जासूस के रूप में समझें जो जानता है कि वस्तुएं कैसे काम करती हैं।

यह कैसे काम करता है: पेंट करने से पहले, सिस्टम वस्तु को देखता है। वह कहता है, "अरे, आप यहाँ एक खरोंच डालना चाहते हैं, लेकिन यह स्क्रू की चिकनी नोक है। खरोंचें आमतौर पर हेड पर होती हैं।"
कार्रवाई: यह स्वचालित रूप से स्टेंसिल (मास्क) को एक अर्थपूर्ण रूप से सही स्थान (स्क्रू हेड) पर खिसका देता है।
परिणाम: दोष एक तार्किक और वास्तविक स्थान पर दिखाई देता है, जिससे नकली चित्र असली टूटे हुए उत्पाद से अलग पहचानना असंभव हो जाता है।

बड़ी तस्वीर (The Big Picture)

इन तीन तरीकों को मिलाकर, MAGIC "नकली" टूटे हुए उत्पादों का एक विशाल पुस्तकालय बनाता है जो हैं:

विविध (Diverse): वे हर बार अलग दिखते हैं (केवल नकल नहीं)।
वास्तविक (Realistic): दोष असली लगते हैं, और बैकग्राउंड एकदम सही रहता है।
तार्किक (Logical): दोष सही स्थानों पर दिखाई देते हैं।

शोध पत्र दिखाता है कि जब कारखाने इन "नकली" छवियों का उपयोग अपने AI निरीक्षकों को प्रशिक्षित करने के लिए करते हैं, तो वे निरीक्षक वास्तविक दुनिया में वास्तविक दोषों को पहचानने में बहुत बेहतर हो जाते हैं। MAGIC मूल रूप से AI को यह सिखाता है कि "टूटा हुआ" क्या दिखता है, उसे लाखों अलग-अलग और वास्तविक तरीकों से यह दिखाकर कि एक उत्पाद कैसे टूट सकता है, बिना किसी वास्तविक टूटे हुए उत्पाद की आवश्यकता के।

यहाँ पेपर "MAGIC: Few-Shot Mask-Guided Anomaly Inpainting with Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

औद्योगिक गुणवत्ता नियंत्रण (Industrial quality control) में, फ्यू-शॉट एनोमली जनरेशन (FSAG) अत्यंत महत्वपूर्ण है, ताकि जब लेबल किए गए दोषपूर्ण डेटा की कमी हो, तो मजबूत एनोमली डिटेक्शन मॉडल को प्रशिक्षित किया जा सके। मौजूदा दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं, जिनमें से दोनों की महत्वपूर्ण सीमाएँ हैं:

ग्लोबल एनोमली जनरेशन (GAG): वे विधियाँ जो इनपुट मास्क के बिना एनोमली और मास्क को एक साथ उत्पन्न करती हैं। यद्यपि ये विविध हैं, लेकिन ये अक्सर सामान्य क्षेत्रों के बैकग्राउंड टेक्सचर को खराब कर देती हैं, जिससे अवास्तविक चित्र बन जाते हैं।
मास्क-गाइडेड एनोमली जनरेशन (MAG): वे विधियाँ जो एक सामान्य चित्र और उपयोगकर्ता द्वारा प्रदान किए गए मास्क का उपयोग करके एनोमली को इनपेंट (inpaint) करती हैं। हालांकि वे बैकग्राउंड को सुरक्षित रखती हैं, लेकिन उन्हें दो मुख्य समस्याओं का सामना करना पड़ता है:
1. कम इन-डिस्ट्रीब्यूशन डाइवर्सिटी (Low In-Distribution Diversity): सामान्य चित्र पर अत्यधिक निर्भर रहने वाले मॉडल प्रशिक्षण के कुछ उदाहरणों को याद करने लगते हैं, जिससे दोहराव वाले टेक्सचर और आकार उत्पन्न होते हैं (मोड कोलैप्स)।
2. सिमेंटिक मिसअलाइनमेंट (Semantic Misalignment): उत्पन्न एनोमली अक्सर सिमेंटिक रूप से अस्वाभाविक स्थानों पर दिखाई देती हैं (उदाहरण के लिए, यदि मास्क स्क्रू के शाफ्ट पर रखा गया था, तो स्क्रू के हेड पर खरोंच दिखना), जिससे अवास्तविक आर्टिफ़ेक्ट्स बनते हैं।

मुख्य चुनौती एक ऐसी उच्च-फिडेलिटी (high-fidelity) और विविध एनोमली उत्पन्न करना है जो सख्ती से मास्क का पालन करे और यह भी सुनिश्चित करे कि मास्क एक सिमेंटिक रूप से तर्कसंगत क्षेत्र में स्थित हो, और यह सब फ्यू-शॉट सेटिंग के भीतर हो।

2. कार्यप्रणाली: MAGIC फ्रेमवर्क (Methodology: MAGIC Framework)

लेखक MAGIC प्रस्तावित करते हैं, जो स्टेबल डिफ्यूजन (Stable Diffusion) बैकबोन पर निर्मित एक फाइन-ट्यून्ड इनपेंटिंग फ्रेमवर्क है। यह मौजूदा MAG विधियों की सीमाओं को दूर करने के लिए तीन पूरक घटकों को पेश करता है:

A. गॉसियन प्रॉम्प्ट परटर्बेशन (Gaussian Prompt Perturbation - GPP)

लक्ष्य: इन-डिस्ट्रीब्यूशन डाइवर्सिटी को बढ़ाना और फ्यू-शॉट सेटिंग्स में ओवरफिटिंग को रोकना।
तंत्र: केवल इन्फरेंस (inference) के दौरान शोर (noise) लगाने के बजाय (जिससे डिस्ट्रीब्यूशन शिफ्ट होता है), GPP ट्रेनिंग और इन्फरेंस दोनों के दौरान एनोमली टोकन एम्बेडिंग (टेक्सचर प्रॉम्प्ट और मास्क एम्बेडिंग दोनों के लिए) में गॉसियन शोर ( $\delta$ ) इंजेक्ट करता है।
प्रभाव: यह मॉडल को वास्तविक एनोमली के एक स्मूथ, निरंतर मैनिफोल्ड (smooth, continuous manifold) को सीखने के लिए मजबूर करता है, न कि केवल अलग-अलग ट्रेनिंग पॉइंट्स को याद करने के लिए। इन्फरेंस के समय, इस मैनिफोल्ड से सैंपलिंग करने से विविध टेक्सचर और मास्क शेप प्राप्त होते हैं जो लक्षित डेटा डिस्ट्रीब्यूशन के भीतर ही रहते हैं।

B. स्पेशली एडेप्टिव गाइडेंस (Spatially Adaptive Guidance - SAG)

लक्ष्य: एनोमली क्षेत्र में टेक्सचरल डाइवर्सिटी और सामान्य क्षेत्र में बैकग्राउंड फिडेलिटी के बीच संतुलन बनाना।
तंत्र: मानक क्लासिफायर-फ्री गाइडेंस (CFG) एक समान स्केल ( $w$ $w$ ) लागू करता है। MAGIC स्पेशियली वेरिंग CFG स्केल्स लागू करता है:
- सामान्य क्षेत्र (Normal Region): बैकग्राउंड कंसिस्टेंसी को सख्ती से बनाए रखने के लिए एक उच्च, स्थिर CFG स्केल ( $w_d = 7.5$ ) का उपयोग किया जाता है।
- एनोमली क्षेत्र (Anomaly Region): एक डायनेमिक स्केल ( $w_a(t)$ ) लागू किया जाता है। यह विविध टेक्सचर एक्सप्लोरेशन को प्रोत्साहित करने के लिए शुरुआती डिफ्यूजन स्टेप्स के दौरान कम ( $w_m = 4$ ) से शुरू होता है और डीनोइजिंग बढ़ने के साथ यथार्थता को रिफाइन करने के लिए कोसाइन शेड्यूलिंग के माध्यम से $w_d$ तक बढ़ता है।
प्रभाव: यह मॉडल को शुरुआती चरणों में विविध एनोमली टेक्सचर को एक्सप्लोर करने की अनुमति देता है जबकि यह सुनिश्चित करता है कि अंतिम आउटपुट वास्तविक हो और बैकग्राउंड अप्रतिबंधित रहे।

C. कॉन्टेक्स्ट-अवेयर मास्क अलाइनमेंट (Context-Aware Mask Alignment - CAMA)

लक्ष्य: उन मास्क की समस्या को हल करना जो सिमेंटिक रूप से अस्वाभाविक स्थानों पर रखे जाते हैं।
तंत्र:
1. कीपॉइंट एक्सट्रैक्शन (Keypoint Extraction): एक रेफरेंस एनोमली पेयर (ट्रेनिंग डेटा) से, तीन कीपॉइंट्स चुने जाते हैं: मास्क सेंट्रॉइड ( $p_c$ ) और एक वर्टिकल लाइन पर दो बाउंड्री पॉइंट्स ( $p_u, p_\ell$ )।
2. सिमेंटिक मैचिंग (Semantic Matching): इन कीपॉइंट्स को एक प्री-ट्रेन्ड सिमेंटिक कॉरेस्पोंडेंस मॉडल (GeoAware-SC) का उपयोग करके टारगेट नॉर्मल इमेज के साथ मैच किया जाता है ताकि सिमिलैरिटी मैप्स जेनरेट किए जा सकें।
3. अलाइनमेंट (Alignment): अनुकूलित नया सेंट्रॉइड ( $q^*_c$ ) उस बिंदु को खोजने से निर्धारित होता है जो "सिमेंटिक कैंडिडेट लाइन" (मैच किए गए बाउंड्री पॉइंट्स द्वारा परिभाषित) पर स्थित है, जो ऑब्जेक्ट के फोरग्राउंड मास्क के भीतर है और सिमिलैरिटी स्कोर को अधिकतम करता है।
4. ट्रांसफॉर्मेशन (Transformation): इनपुट मास्क को $q^*_c$ के साथ अलाइन करने के लिए ट्रांसलेट किया जाता है और ऑब्जेक्ट के फोरग्राउंड तक क्लिप किया जाता है।
प्रभाव: यह सुनिश्चित करता है कि एनोमली संरचनात्मक और सिमेंटिक रूप से सही स्थानों पर उत्पन्न हों (जैसे, स्क्रू के हेड पर खरोंच), जिससे आउट-ऑफ-ऑब्जेक्ट आर्टिफ़ेक्ट्स को रोका जा सके।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क (MAGIC): पहला फ्यू-शॉट MAG फ्रेमवर्क जो कम डाइवर्सिटी, कम फिडेलिटी और सिमेंटिक मिसअलाइनमेंट को एक साथ संबोधित करता है।
GPP रणनीति: यह प्रदर्शित करता है कि मैनिफोल्ड लर्निंग के लिए परटर्बेशन को ट्रेनिंग और इन्फरेंस दोनों के दौरान लागू किया जाना चाहिए, जिससे इन्फरेंस-ओनली नॉइज़ इंजेक्शन से होने वाले डिस्ट्रीब्यूशन शिफ्ट के मुद्दों से बचा जा सके।
स्पेशली एडेप्टिव गाइडेंस: एक नया इन्फरेंस-टाइम कंट्रोल मैकेनिज्म जो एनोमली और बैकग्राउंड क्षेत्रों के बीच गाइडेंस स्ट्रेंथ को अलग करता है, जिससे डाइवर्सिटी और फिडेलिटी दोनों के लिए ऑप्टिमाइज़ किया जाता है।
सिमेंटिक मास्क अलाइनमेंट: एक मजबूत मॉड्यूल (CAMA) जो मास्क को पुन: स्थान देने के लिए ज्योमेट्रिक और सिमेंटिक संकेतों का लाभ उठाता है, जिससे जेनरेटेड डिफेक्ट्स की प्लाउसिबिलिटी (plausibility) में काफी सुधार होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार बेंचमार्क डेटासेट्स पर MAGIC का मूल्यांकन किया: MVTec-AD, VisA, DAGM, और MVTec 3D-AD।

जेनरेशन क्वालिटी और डाइवर्सिटी:
- MAGIC ने सभी डेटासेट्स पर सबसे कम Kernel Inception Distance (KID) स्कोर प्राप्त किया, जो अन्य बेसलाइन्स (AnoDiff, AnoGen, DualAnoDiff, SeaS) की तुलना में वास्तविक एनोमली डिस्ट्रीब्यूशन के साथ बेहतर संरेखण दर्शाता है।
- हालांकि IC-LPIPS (डाइवर्सिटी मेट्रिक) कुछ बेसलाइन्स की तुलना में थोड़ा कम था, लेखक तर्क देते हैं कि यह MAGIC के इन-डिस्ट्रीब्यूशन रियलिज्म के प्रति सख्त पालन के कारण है, जो आउट-ऑफ-डिस्ट्रीब्यूशन आर्टिफ़ेक्ट्स बनाने वाली विधियों में देखी जाने वाली "आर्टिफिशियल इन्फ्लेशन" से बचता है।
डाउनस्ट्रीम टास्क (Downstream Tasks):
- एनोमली क्लासिफिकेशन: MAGIC ने औसतन पिछले स्टेट-ऑफ-द-आर्ट (DualAnoDiff) की तुलना में क्लासिफिकेशन एक्यूरेसी में 13.81% का सुधार किया।
- डिटेक्शन और लोकलाइजेशन: MAGIC ने चारों डेटासेट्स में इमेज-लेवल (AUROC, AP, F1-max) और पिक्सेल-लेवल (PRO) मेट्रिक्स में नए स्टेट-ऑफ-द-आर्ट परिणाम स्थापित किए।
एब्लेशन स्टडीज (Ablation Studies):
- GPP को हटाने से डाइवर्सिटी और क्लासिफिकेशन एक्यूरेसी में महत्वपूर्ण गिरावट आई।
- SAG को हटाने से डाइवर्सिटी और फिडेलिटी के बीच का संतुलन कम हो गया।
- CAMA को हटाने से मास्क अलाइनमेंट स्कोर कम हुआ और क्लासिफिकेशन प्रदर्शन में कमी आई, जो सिमेंटिक प्लेसमेंट के महत्व की पुष्टि करता है।

5. महत्व (Significance)

MAGIC, पिछले जेनेरेटिव दृष्टिकोणों की तुलना में "डेटा की कमी" की समस्या को अधिक प्रभावी ढंग से हल करके औद्योगिक एनोमली डिटेक्शन में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

व्यावहारिक प्रभाव: विविध, उच्च-फिडेलिटी और सिमेंटिक रूप से सही ट्रेनिंग डेटा उत्पन्न करके, MAGIC बहुत कम वास्तविक उदाहरणों के साथ भी डाउनस्ट्रीम मॉडल्स को डिफेक्ट्स को अधिक सटीक रूप से पहचानने और वर्गीकृत करने में सक्षम बनाता है।
सैद्धांतिक अंतर्दृष्टि: यह पेपर डिफ्यूजन मॉडल्स में मैनिफोल्ड लर्निंग के लिए ट्रेनिंग-टाइम परटर्बेशन के महत्वपूर्ण महत्व को उजागर करता है और इनपेंटिंग कार्यों के लिए स्पेशली एडेप्टिव कंट्रोल का एक नया प्रतिमान पेश करता है।
मजबूती (Robustness): यह विधि विभिन्न प्रकार के ऑब्जेक्ट्स (2D टेक्सचर से लेकर 3D ऑब्जेक्ट्स तक) और एनोमली प्रकारों के लिए मजबूत साबित हुई है, जो एक नया बेंचमार्क स्थापित करती है।