MCIE: Multimodal LLM-Driven Complex Instruction Image Editing with Spatial Guidance

तकनीकी सारांश: MCIE: स्थानिक मार्गदर्शन के साथ मल्टीमॉडल LLM-संचालित जटिल निर्देश छवि संपादन

1. समस्या विवरण

वर्तमान निर्देश-आधारित छवि संपादन मॉडल (जैसे, IP2P, AnyEdit) मुख्य रूप से सरल संपादन—एक एकल वस्तु या विशेषता को संशोधित करने—में उत्कृष्ट हैं। हालाँकि, वे जटिल, संरचनात्मक निर्देशों (जैसे, "बाईं ओर का झंडा हटा दें, आकाश में एक ड्रैगन जोड़ें, और कार का रंग बदलें") के साथ संघर्ष करते हैं। यह शोध मौजूदा अनुसंधान में तीन मौलिक बाधाओं की पहचान करता है:

• अपर्याप्त निर्देश अनुपालन (Insufficient Instruction Compliance): मॉडल अक्सर जटिल प्रॉम्प्ट के भीतर उप-निर्देशों (sub-instructions) को अनदेखा कर देते हैं या संशोधन के लिए इच्छित विशिष्ट क्षेत्रों को पहचानने में विफल रहते हैं।
• पृष्ठभूमि असंगतता (Background Inconsistency): एक साथ कई संपादन करने का प्रयास करने से अनचाहे बदलाव अन-संपादित क्षेत्रों में हो सकते हैं, जिससे मूल छवि की अखंडता से समझौता होता है।
• डेटा और मूल्यांकन की कमी (Data and Evaluation Scarcity): उच्च-गुणवत्ता वाले डेटासेट की कमी है जिनमें बहु-चरणीय, जटिल निर्देश शामिल हों, और निर्देश अनुपालन तथा पृष्ठभूमि संरक्षण को मापने के लिए मानकीकृत बेंचमार्क का अभाव है।

2. कार्यप्रणाली (Methodology)

लेखक MCIE-E1 प्रस्तावित करते हैं, जो एक ढांचा है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) को एक विशेष डिफ्यूजन मॉडल के साथ एकीकृत करता है। कार्यप्रणाली को तीन स्तंभों में विभाजित किया गया है:

A. डेटा पाइपलाइन (MCIE डेटासेट):

• संवर्धन (Augmentation): वे बहु-चरणीय संपादन अनुक्रमों को जटिल, बहु-निर्देश नमूनों में विस्तारित करते हैं।
• संघर्ष का पता लगाना (Conflict Detection): वे संवर्धित डेटा के भीतर अर्थ संबंधी संघर्षों (जैसे, ऐसे निर्देश जो एक-दूसरे के विरोधाभासी हों) की पहचान करने के लिए Qwen2.5-VL-72B का उपयोग करते हैं।
• स्थानिक ग्राउंडिंग (Spatial Grounding): वे प्रत्येक उप-निर्देश के लिए बाउंडिंग बॉक्स उत्पन्न करने के लिए MLLM की ग्राउंडिंग क्षमताओं का लाभ उठाते हैं, जिससे यह सुनिश्चित होता है कि मॉडल को पता हो कि कहाँ संपादन करना है।
• मानवीय सत्यापन (Human Validation): विशेषज्ञों द्वारा एक कठोर फ़िल्टरिंग प्रक्रिया उच्च निर्देश निरंतरता, छवि गुणवत्ता और परिदृश्य की जटिलता सुनिश्चित करती है।

B. मॉडल आर्किटेक्चर (MCIE-E1):
मुख्य नवाचार इस बात में निहित है कि डिफ्यूजन मॉडल दो नवीन क्रॉस-अटेंशन मॉड्यूल के माध्यम से निर्देशों को कैसे संसाधित करता है:

• निर्देश अपघटन (Instruction Decomposition): एक MLLM एक जटिल निर्देश $I$ को उप-निर्देशों के एक सेट $\{(I_1, B_1), \dots, (I_m, B_m)\}$ में विभाजित करता है, जहाँ $B_i$ संबंधित बाउंडिंग बॉक्स है।
• स्थानिक-जागरूक क्रॉस-अटेंशन (Spatial-Aware Cross-Attention - SACA): उप-निर्देशों को एक-दूसरे में हस्तक्षेप करने से रोकने के लिए, SACA प्रत्येक उप-निर्देश को स्वतंत्र रूप से एनकोड करता है। यह बाउंडिंग बॉक्स को एनकोड करने के लिए फूरियर मैपिंग (Fourier mapping) का उपयोग करता है और विशिष्ट स्थानिक एम्बेडिंग निकालने के लिए लर्नबल क्वेरीज़ का उपयोग करता है, जिससे सटीक स्थानीयकरण सुनिश्चित होता है। यह डिनोइजिंग प्रक्रिया के दौरान स्थानिक मार्गदर्शन की शक्ति को नियंत्रित करने के लिए एक टाइमस्टेप-अवेयर मास्क (timestep-aware mask) का भी उपयोग करता है।
• पृष्ठभूमि-सुसंगत क्रॉस-अटेंशन (Background-Consistent Cross-Attention - BCCA): अन-संपादित क्षेत्रों की सुरक्षा के लिए, BCCA स्रोत छवि से पिक्सेल-स्तरीय दृश्य विशेषताओं को निकालता है। इन विशेषताओं को ट्रांसफार्मर ब्लॉक्स के माध्यम से परिष्कृत किया जाता है और सभी संपादन मास्क ($M_{union}$) के बाहर के क्षेत्रों में डिनोइजिंग प्रक्रिया को निर्देशित करने के लिए उपयोग किया जाता है, जिससे पृष्ठभूमि में उच्च निष्ठा (fidelity) बनी रहती है।

C. मूल्यांकन प्रोटोकॉल (CIE-Bench):
लेखक एक नया बेंचमार्क पेश करते हैं जिसमें 400 उच्च-गुणवत्ता वाले सेट और दो नवीन मेट्रिक्स शामिल हैं:

• निर्देश अनुपालन (Instruction Compliance - IC): यह इस बात पर स्कोर करने के लिए GPT-4o का उपयोग करता है कि संपादन प्रॉम्प्ट के साथ कितनी अच्छी तरह मेल खाते हैं (स्केल 1–10)।
• पृष्ठभूमि निरंतरता (Background Consistency - BC): यह अन-संपादित क्षेत्रों की स्थिरता को स्कोर करने के लिए GPT-4o का उपयोग करता है (स्केल 1–5)।

3. मुख्य योगदान

1. MCIE डेटासेट: पहला बड़े पैमाने का (90k नमूने) डेटासेट जो विशेष रूप से जटिल निर्देश संपादन के लिए डिज़ाइन किया गया है, जिसमें स्थानिक मार्गदर्शन और मानव-सत्यापित गुणवत्ता शामिल है।
2. MCIE-E1 मॉडल: एक नवीन आर्किटेक्चर जो MLLM-संचालित अपघटन और दोहरे-मॉड्यूल क्रॉस-अटेंशन (SACA और BCCA) का उपयोग करता है ताकि अनुपालन-निरंतरता (compliance-consistency) के बीच के संतुलन को हल किया जा सके।
3. CIE-Bench: एक व्यापक बेंचमार्क और नए मेट्रिक्स (IC और BC) जो बहु-चरणीय छवि हेरफेर की जटिलताओं के अनुकूल हैं।

4. परिणाम

• मात्रात्मक प्रदर्शन (Quantitative Performance): CIE-Bench पर, MCIE-E1 ने अत्याधुनिक मॉडलों (जैसे GoT और AnyEdit) को काफी पीछे छोड़ दिया। विशेष रूप से, इसने निर्देश अनुपालन में 23.96% का सुधार प्राप्त किया।
• गुणात्मक श्रेष्ठता (Qualitative Superiority): दृश्य परिणाम दर्शाते हैं कि जहाँ बेसलाइन मॉडल अक्सर सभी उप-निर्देशों को निष्पादित करने में विफल रहते हैं या पृष्ठभूमि को विकृत कर देते हैं, वहीं MCIE-E1 शेष छवि को बरकरार रखते हुए सटीक, बहु-क्षेत्र संपादन करता है।
• एब्लेशन अध्ययन (Ablation Studies): प्रयोगों ने पुष्टि की कि उप-निर्देशों का पालन करने के लिए SACA आवश्यक है और पृष्ठभूमि स्थिरता बनाए रखने के लिए BCCA महत्वपूर्ण है। इसके अलावा, बड़े MLLMs (जैसे GPT-4o) बेहतर निर्देश अपघटन प्रदान करते हैं।

5. महत्व

यह कार्य छवि संपादन के प्रतिमान को "एकल-विशेषता संशोधन" से "जटिल दृश्य हेरफेर" की ओर स्थानांतरित करता है। MLLMs के माध्यम से उच्च-स्तरीय भाषाई तर्क और निम्न-स्तरीय पिक्सेल सटीकता (स्पेशियल-अवेयर डिफ्यूजन के माध्यम से) के बीच के अंतर को पाटकर, यह शोध पत्र अधिक नियंत्रणीय, विश्वसनीय और "बुद्धिमान" छवि संपादन उपकरण बनाने के लिए एक ब्लूप्रिंट प्रदान करता है जो वास्तविक दुनिया के सूक्ष्म मानवीय आदेशों को संभालने में सक्षम है।