💻 computer science

MIRAGE: Benchmarking and Aligning Multi-Instance Image Editing

यह शोध पत्र MIRAGE प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) फ्रेमवर्क है जो मल्टी-इंस्टेंस इमेज एडिटिंग में ओवर-एडिटिंग और स्थानिक मिसअलाइनमेंट (spatial misalignment) की चुनौतियों को हल करने के लिए विजन-लैंग्वेज मॉडल्स और मल्टी-ब्रांच पैरेलल डिनोइजिंग का लाभ उठाता है, साथ ही ऐसी सूक्ष्म-स्तरीय निरंतरता (fine-grained consistency) का मूल्यांकन करने के लिए एक नया बेंचमार्क भी प्रदान करता है।

मूल लेखक: Ziqian Liu, Stephan Alaniz

प्रकाशित 2026-04-08

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Ziqian Liu, Stephan Alaniz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक डिजिटल कलाकार हैं जो एक बहुत ही शक्तिशाली, लेकिन थोड़े भ्रमित AI सहायक के साथ काम कर रहे हैं। आपके पास एक व्यस्त सड़क की फोटो है जिसमें एक कतार में पाँच एक जैसी लाल फायर ट्रक खड़ी हैं।

आप AI को एक जटिल निर्देश देते हैं:

"पहले ट्रक को नीला रंग दो, दूसरे पर एक सीढ़ी लगाओ, तीसरे के पहियों को सुनहरा बना दो, चौथे को पूरी तरह से हटा दो, और पाँचवें को जंग लगा हुआ दिखाओ।"

समस्या: "अति-उत्साही" सहायक

वर्तमान अत्याधुनिक AI मॉडल (जैसे FLUX.2 या Qwen-Image-Edit) ऐसे हैं जैसे कोई सहायक जिसने "फायर ट्रक" शब्द सुना और उत्साहित हो गया। आपके निर्देशों को ध्यान से सुनने के बजाय, वे सभी ट्रकों को एक साथ ठीक करने की कोशिश करते हुए घबरा जाते हैं।

परिणाम: आप पहले ट्रक को नीला करने के लिए कहते हैं, और अचानक सभी पाँचों ट्रक नीले हो जाते हैं। आप चौथे ट्रक को हटाने के लिए कहते हैं, और AI गलती से तीसरे को भी मिटा देता है। यह बिल्कुल वैसा ही है जैसे आप किताब का एक विशिष्ट पन्ना संपादित करने की कोशिश कर रहे हों, लेकिन AI हर बार पूरा अध्याय ही फिर से लिख देता है।

ऐसा इसलिए होता है क्योंकि AI यह समझने में संघर्ष करता है कि "सबसे बाईं ओर वाला ट्रक" और "बीच वाला ट्रक" में क्या अंतर है जब वे सभी एक जैसे दिखते हैं।

समाधान: MIRAGE (द "स्मार्ट फोरमैन")

इस शोध पत्र के लेखक एक नया सिस्टम पेश करते हैं जिसे MIRAGE कहा जाता है। MIRAGE को एक नया चित्रकार मानने के बजाय, इसे एक स्मार्ट फोरमैन (सुपरवाइजर) के रूप में समझें जो आपके और चित्रकार के बीच खड़ा है।

MIRAGE कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:

1. अनुवादक (VLM Parsing)

सबसे पहले, फोरमैन (MIRAGE) आपके जटिल वाक्य को लेता है और उसे छोटे, विशिष्ट कार्यों में तोड़ देता है। "ट्रकों को ठीक करें" कहने के बजाय, फोरमैन एक चेकलिस्ट लिखता है:

कार्य A: सबसे बाईं ओर वाले ट्रक पर जाएँ और उसे नीला रंग दें।
कार्य B: बीच वाले ट्रक पर जाएँ और एक सीढ़ी जोड़ें।
कार्य C: सबसे दाईं ओर वाले ट्रक पर जाएँ और उसे जंग लगा हुआ बनाएँ।

फोरमैन एक "विज़न-लैंग्वेज मॉडल" (एक सुपर-स्मार्ट AI जो देख और पढ़ सकता है) का उपयोग करके प्रत्येक कार्य के लिए बिल्कुल सही ट्रक की ओर इशारा करता है।

2. समानांतर कार्यस्थल (Multi-Branch Editing)

एक विशाल, अव्यव व्यवस्थित प्रक्रिया में सब कुछ करने के बजाय, MIRAGE पाँच अलग-अलग कार्यस्थल स्थापित करता है।

एक कार्यकर्ता केवल बाईं ओर के ट्रक के लिए नीले पेंट पर ध्यान केंद्रित करता है।
दूसरा कार्यकर्ता केवल बीच वाले ट्रक के लिए सीढ़ी जोड़ने पर ध्यान केंद्रित करता है।
वे एक ही समय में (समानांतर में) काम करते हैं।

3. "छूना मना है" ज़ोन (Reference Trajectory)

जब कार्यकर्ता अपने विशिष्ट ट्रकों पर पेंट कर रहे होते हैं, तब MIRAGE फोटो के बाकी हिस्सों (सड़क, आकाश, अन्य ट्रक) के ऊपर एक सुरक्षात्मक कांच की ढाल लगा देता है।

यदि नीला पेंट करने वाला कार्यकर्ता गलती से आकाश पर पेंट गिरा देता है, तो कांच की ढाल उसे रोक देती है।
बैकग्राउंड बिल्कुल वैसा ही रहता है जैसा मूल फोटो में था, अछूता और सटीक।

यह एक बड़ी बात क्यों है?

लेखक एक नया टेस्ट (जिसे MIRA-Bench कहा जाता है) भी पेश करते हैं ताकि यह देखा जा सके कि ये AI मॉडल वास्तव में कितने अच्छे हैं। इससे पहले, टेस्ट आसान थे (जैसे "फोटो में एक बिल्ली का रंग बदलें")। अब, टेस्ट कठिन है: "बाईं ओर वाली बिल्ली का रंग बदलें, बीच वाली बिल्ली को हटा दें, और दाईं ओर वाली बिल्ली को टोपी पहना दें।"

परिणाम:
जब लेखकों ने अपने "स्मार्ट फोरमैन" (MIRAGE) का परीक्षण सर्वश्रेष्ठ उपलब्ध AI चित्रकारों के साथ किया:

MIRAGE से पहले: AI 60-70% बार गलती करता था, गलत वस्तुओं को बदल देता था या बैकग्राउंड को खराब कर देता था।
MIRAGE के बाद: AI लगभग हर बार सही था। उसने निर्देशों का पूरी तरह से पालन किया बिना गलती से गलत ट्रक को हटाए या आकाश को रंगे।

मुख्य निष्कर्ष

MIRAGE एक चतुर तरीका है जिसके लिए AI को शुरू से फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह बस एक बिचौलिए के रूप में कार्य करता है जो:

जटिल निर्देशों को सरल, एक-एक करके कार्यों में तोड़ता है।
बदले जाने वाले विशिष्ट ऑब्जेक्ट को अलग (isolate) करता है।
शेष इमेज को आकस्मिक क्षति से सुरक्षित रखता है।

यह एक अराजक, अव्यवस्थित संपादन प्रक्रिया को एक सटीक, सर्जिकल ऑपरेशन में बदल देता है, जिससे हम अंततः समान दिखने वाली कई वस्तुओं वाले जटिल दृश्यों को बिना AI के भ्रमित हुए संपादित कर सकते हैं।

यहाँ शोध पत्र "MIRAGE: Benchmarking and Aligning Multi-Instance Image Editing" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

FLUX.2 और Qwen-Image-Edit जैसे मॉडलों के साथ निर्देश-निर्देशित इमेज एडिटिंग (instruction-guided image editing) में महत्वपूर्ण प्रगति हुई है। हालाँकि, ये स्टेट-ऑफ-द-आर्ट (SOTA) मॉडल जटिल मल्टी-इंस्टेंस परिदृश्यों (complex multi-instance scenarios) में संघर्ष करते हैं, जहाँ एक ही छवि में कई समान वस्तुएं होती हैं (जैसे, तीन एक जैसी मूर्तियाँ या पाँच समान कुत्ते) जिन्हें एक मिश्रित निर्देश (composite instruction) के आधार पर अलग-अलग, स्वतंत्र संशोधनों की आवश्यकता होती है।

वर्तमान मॉडल इन सेटिंग्स में दो प्राथमिक विफलता मोडों से ग्रस्त हैं:

ओवर-एडिटिंग (Over-editing): एक विशिष्ट इंस्टेंस के लिए इच्छित संपादन को छवि में सभी समान इंस्टेंस पर लागू करना (जैसे, केवल सबसे बाईं ओर की मूर्ति के बजाय सभी मूर्तियों की सामग्री को बदलना)।
स्थानिक मिसअलाइनमेंट (Spatial Misalignment): लक्षित इंस्टेंस को सही ढंग से पहचानने में विफल होना, जिससे संपादन गलत ऑब्जेक्ट पर लागू हो जाता है या बैकग्राउंड में अनचाहे संशोधन हो जाते हैं।

मौजूदा बेंचमार्क में इन सूक्ष्म त्रुटियों का निदान करने के लिए घनत्व और जटिलता की कमी है, क्योंकि वे मुख्य रूप से सिंगल-ऑब्जेक्ट एडिटिंग या सरल संदर्भित अभिव्यक्तियों (referring expressions) पर ध्यान केंद्रित करते हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र दो-आयामी दृष्टिकोण प्रस्तावित करता है: एक नया बेंचमार्क (MIRA-Bench) और एक ट्रेनिंग-फ्री फ्रेमवर्क (MIRAGE)।

A. MIRA-Bench: एक नया बेंचमार्क

मल्टी-इंस्टेंस एडिटिंग का कड़ाई से मूल्यांकन करने के लिए, लेखकों ने MIRA-Bench का निर्माण किया है, जो विशेष रूप से इस कार्य के लिए डिज़ाइन किया गया पहला बेंचमार्क है।

संरचना (Composition): 100 उच्च-गुणवत्ता वाले इमेज-इंस्ट्रक्शन-मास्क ट्रिपलेट्स।
जटिलता (Complexity): प्रत्येक छवि में एक ही वस्तु के 3 से 5 समान इंस्टेंस शामिल हैं।
निर्देश (Instructions): प्रत्येक सैंपल में 5 समवर्ती, कंपोजिशनल एडिटिंग निर्देश शामिल हैं (जैसे, "सबसे बाईं ओर वाले को X में बदलें, बीच वाले को हटा दें, दाईं ओर वाले में Y जोड़ें...")।
निर्माण पाइपलाइन (Construction Pipeline):
1. इमेज जनरेशन: अद्वितीय स्थानीय गुणों (unique local attributes) के साथ कई विशिष्ट इंस्टेंस सुनिश्चित करने वाले प्रॉम्प्ट्स के आधार पर छवियां सिंथेसाइज करने के लिए FLUX.2 का उपयोग किया जाता है।
2. इंस्ट्रक्शन जनरेशन: एक विजन-लैंग्वेज मॉडल (VLM, Qwen3-VL) का उपयोग प्रत्येक छवि के लिए 5 एटॉमिक एडिट्स उत्पन्न करने के लिए किया जाता है, जो विशिष्ट इंस्टेंस के साथ एक-से-एक पत्राचार (one-to-one correspondence) सुनिश्चित करता है।
3. ग्राउंड ट्रुथ (Ground Truth): बाउंडिंग बॉक्स का अनुमान लगाने के लिए VLM का उपयोग किया जाता है, जिसे मूल्यांकन के लिए सटीक सेगमेंटेशन मास्क उत्पन्न करने हेतु SAM2 द्वारा परिष्कृत किया जाता है।

B. MIRAGE फ्रेमवर्क: गाइडेड एडिटिंग के माध्यम से मल्टी-इंस्टेंस रीजनल अलाइनमेंट

MIRAGE एक ट्रेनिंग-फ्री इन्फरेंस फ्रेमवर्क है जिसे मौजूदा डिफ्यूजन मॉडलों (जैसे FLUX.2 या Qwen-Image-Edit) में ओवर-एडिटिंग और मिसअलाइनमेंट समस्याओं को हल करने के लिए प्लग-इन करने के लिए डिज़ाइन किया गया है। यह दो चरणों में कार्य करता है:

1. इंस्ट्रक्शन पार्सिंग और टारगेट लोकलाइजेशन (VLM-आधारित)

एक VLM (जैसे, Qwen3-VL) एक पार्सर के रूप में कार्य करता है जो एक ग्लोबल, जटिल निर्देश को $K$ एटॉमिक सब-टास्क्स में विभाजित करता है।
प्रत्येक सब-टास्क के लिए, VLM एक रेफरिंग एक्सप्रेशन (जैसे, "सबसे बाईं ओर वाला कछुआ") निकालता है और उस विशिष्ट क्षेत्र के लिए एक बाउंडिंग बॉक्स का अनुमान लगाता है।
यह रीजन-लेवल पेयर्स का एक सेट बनाता है: $(x^k, I^k)$ , जहाँ $x^k$ क्रॉप किया गया क्षेत्र है और $I^k$ विशिष्ट एडिट निर्देश है।

2. मल्टी-ब्रांच पैरेलल डीनोइजिंग रणनीति (Multi-Branch Parallel Denoising Strategy)
MIRAGE एक हाइब्रिड इन्फरेंस रणनीति का उपयोग करता है जो एक ग्लोबल ब्रांच और $K$ रीजनल ब्रांचेस को समानांतर में चलाता है:

प्रारंभिक चरण ( $t > \rho T$ ):
- ग्लोबल ब्रांच निष्क्रिय रहती है।
- प्रत्येक रीजनल ब्रांच अपने विशिष्ट निर्देश ( $I^k$ ) की स्थिति में अपने विशिष्ट क्रॉप किए गए क्षेत्र ( $x^k$ ) पर स्वतंत्र रूप से डीनोइजिंग करती है।
- परिणामी लेटेंट रिप्रेजेंटेशन्स को पूरे इमेज ग्रिड पर स्थानिक रूप से मैप किया जाता है और बैकग्राउंड लेटेंट्स (रेफरेंस इमेज के फॉरवर्ड डिफ्यूजन से प्राप्त) पर ओवरराइट कर दिया जाता है।
- लक्ष्य: जनरेशन प्रक्रिया के शुरुआती चरण में विशिष्ट क्षेत्रों में सटीक सिमेंटिक एडिट्स इंजेक्ट करना।
विलंब चरण ( $t \le \rho T$ ):
- रीजनल ब्रांचेस समाप्त हो जाती हैं।
- ग्लोबल ब्रांच कार्यभार संभाल लेती है, जो ग्लोबल इंस्ट्रक्शन का उपयोग करके पूरी छवि पर कंडीशनल डीनोइजिंग करती है।
- महत्वपूर्ण रूप से, बैकग्राउंड क्षेत्र (लक्ष्य मास्क के बाहर) को संदर्भ प्रक्षेपवक्र (रेफरेंस इमेज के फॉरवर्ड डिफ्यूजन) के साथ लॉक कर दिया जाता है ताकि ड्रिफ्ट (drift) को रोका जा सके। केवल लक्षित क्षेत्रों को ग्लोबल ब्रांच द्वारा अपडेट किया जाता है।
- लक्ष्य: बैकग्राउंड की अखंडता को सख्ती से बनाए रखते हुए विवरणों को परिष्कृत करना और वैश्विक सुसंगतता (global coherence) सुनिश्चित करना।

3. प्रमुख योगदान (Key Contributions)

MIRA-Bench: मल्टी-इंस्टेंस सीन के साथ एक नया बेंचमार्क जो इमेज एडिटिंग मूल्यांकन में एक महत्वपूर्ण अंतर को भरता है, जिसमें प्रति छवि 3-5 समान ऑब्जेक्ट्स और 5 कंपोजिशनल निर्देश शामिल हैं।
MIRAGE फ्रेमवर्क: एक ट्रेनिंग-फ्री, प्लग-एंड-प्ले विधि जो अतिरिक्त मॉडल ट्रेनिंग या फाइन-ट्यूनिंग की आवश्यकता के बिना मुख्यधारा के डिफ्यूजन मॉडलों की सटीकता में काफी सुधार करती है।
नवीन इन्फरेंस रणनीति: एक मल्टी-ब्रांच पैरेलल डीनोइजिंग दृष्टिकोण का परिचय, जो बैकग्राउंड स्थिरता के लिए एक रेफरेंस प्रक्षेपवक्र (reference trajectory) के साथ मिलकर, लक्षित संपादन को बैकग्राउंड स्थिरता से प्रभावी रूप से अलग करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने SOTA मॉडलों (FLUX.2, Qwen-Image-Edit-2511) और EditScore (प्रॉम्प्ट फॉलोइंग, कंसिस्टेंसी, परसेप्चुअल क्वालिटी) जैसे मेट्रिक्स का उपयोग करके MIRA-Bench और मौजूदा RefEdit-Bench पर MIRAGE का मूल्यांकन किया।

मात्रात्मक प्रदर्शन (Quantitative Performance):
- FLUX.2 [Dev] के साथ MIRAGE को एकीकृत करने से MIRA-Bench पर प्रॉम्प्ट फॉलोइंग (PF) 6.98 से बढ़कर 8.09 और कंसिस्टेंसी (Cons) 8.38 से बढ़कर 9.01 हो गई।
- MIRAGE-सक्षम FLUX.2 ने जटिल मल्टी-इंस्टेंस कार्यों पर दोनों PF और कंसिस्टेंसी में प्रोप्राइटरी GPT-Image-1.5 मॉडल को पीछे छोड़ दिया।
- सभी बेस मॉडलों में महत्वपूर्ण सुधार देखे गए, जिसमें कंसिस्टेंसी में +0.7 अंक तक की वृद्धि हुई।
गुणात्मक प्रदर्शन (Qualitative Performance):
- MIRAGE ने ओवर-एडिटिंग (जैसे, अन्यों को प्रभावित किए बिना केवल निर्दिष्ट कुत्ते की आँखें बदलना) और स्थानिक मिसअलाइनमेंट (जैसे, 5 बकरों की पंक्ति में से 5वें बकरे को सही ढंग से हटाना) को सफलतापूर्वक हल किया।
- बैकग्राउंड प्रिजर्वेशन में काफी सुधार हुआ, जिससे मानक डिफ्यूजन एडिटिंग में दिखने वाले "ड्रिफ्ट" को रोका जा सका।
दक्षता (Efficiency):
- MIRAGE कम्प्यूटेशनल रूप से कुशल है। जबकि अनुक्रमिक एडिटिंग (एक-एक करके निर्देश लागू करना) लगभग 5 गुना अधिक समय लेती है और त्रुटियों को संचित करती है, MIRAGE एक ही प्रक्षेपवक्र में संयुक्त इन्फरेंस करता है।
- यह वास्तव में बेस मॉडल की तुलना में ~15% तेज़ है क्योंकि शुरुआती चरणों के दौरान क्षेत्रीय संपादन छोटे, क्रॉप किए गए लेटेंट स्पेस पर किए जाते हैं।

5. महत्व और प्रभाव (Significance and Impact)

एक महत्वपूर्ण बाधा को हल करना: MIRAGE उस "मल्टी-इंस्टेंस" बाधा को संबोधित करता है जिसने वास्तविक दुनिया के परिदृश्यों में निर्देश-निर्देशित एडिटिंग की तैनाती को बाधित किया है, जहाँ दृश्य शायद ही कभी सिंगल-ऑब्जेक्ट होते हैं।
ट्रेनिंग-फ्री स्केलेबिलिटी: फाइन-ट्यूनिंग से बचकर, MIRAGE को किसी भी नए SOTA डिफ्यूजन मॉडल पर तुरंत लागू किया जा सकता है, जो इसे एक अत्यधिक स्केलेबल समाधान बनाता है।
बेंचमार्किंग मानक: MIRA-Bench सूक्ष्म नियंत्रण के मूल्यांकन के लिए एक नया मानक स्थापित करता है, जो समुदाय को केवल ग्लोबल स्टाइल ट्रांसफर के बजाय जटिल, कंपोजिशनल रीजनिंग संभालने में सक्षम मॉडल विकसित करने के लिए प्रेरित करता है।
मजबूती (Robustness): फ्रेमवर्क यह प्रदर्शित करता है कि "लोकलाइजेशन" (VLM के माध्यम से) और "जनरेशन" (डिफ्यूजन के माध्यम से) कार्यों को अलग करना, जबकि उन्हें एक रेफरेंस प्रक्षेपवक्र के माध्यम से सिंक्रोनाइज़ करना, जटिल संपादन में स्थानिक सुसंगतता बनाए रखने के लिए एक बेहतर रणनीति है।

निष्कर्षतः, MIRAGE जटिल मल्टी-ऑब्जेक्ट दृश्यों के लिए AI इमेज एडिटिंग को विश्वसनीय बनाने की दिशा में एक महत्वपूर्ण कदम है, जो एक मजबूत, ट्रेनिंग-फ्री समाधान प्रदान करता है जो विशिष्ट उच्च-कठिनाई वाले कार्यों में प्रोप्राइटरी मॉडलों से भी बेहतर प्रदर्शन करता है।