💻 computer science

SI-Edit: Toward Sketch-Instruction Guided Local Image Editing with Pixel-Level Precision

पिक्सेल-स्तरीय स्केच-आधारित छवि संपादन के लिए उच्च-गुणवत्ता वाले बेंचमार्क की कमी को दूर करने के लिए, यह शोध पत्र SI-Data डेटासेट और SI-Edit फ्रेमवर्क पेश करता है, जो निर्देश-निर्देशित क्वाड्रुप्लेट्स (quadruplets) को संश्लेषित करने के लिए मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स का लाभ उठाते हैं और एक सहयोगात्मक स्थानिक-सिमेंटिक शिक्षण दृष्टिकोण के माध्यम से सटीक, सिमेंटिक रूप से संरेखित स्थानीय विरूपण प्राप्त करते हैं।

मूल लेखक: Weixin Ye, Wei Wang, Hongguang Zhu, Xuecheng Nie

प्रकाशित 2026-08-11

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Weixin Ye, Wei Wang, Hongguang Zhu, Xuecheng Nie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जादुई कलाकार को एक बहुत ही विशिष्ट, सूक्ष्म निर्देश देने की कोशिश कर रहे हैं जो आपकी हर इच्छा को चित्रित कर सकता है। आप कह सकते हैं, "उस फूल के तने को एक चिकनी S-आकार में मोड़ दो।" लेकिन समस्या यह है कि कलाकार थोड़ा ख्याली दुनिया में रहने वाला है। वह "S-आकार" सुनता है और तने को गलत जगह से मोड़ देता है, या वह पूरे पौधे को एक सांप में बदल सकता है बजाय सिर्फ तने को मोड़ने के। यही इमेज एडिटिंग (छवि संपादन) का असली चैलेंज है, जो आर्टिफिशियल इंटेलिजेंस का उपयोग करती है। वैज्ञानिकों ने शक्तिशाली "जेनरेटिव मॉडल्स" बनाए हैं—सोचिए ये डिजिटल कलाकार हैं जिन्हें लाखों चित्रों पर प्रशिक्षित किया गया है—जो टेक्स्ट के आधार पर छवियों को बदल सकते हैं। लेकिन जब आप एक बहुत ही सूक्ष्म, सटीक बदलाव के लिए कहते हैं, जैसे किसी एक पत्ती को मोड़ना या लौ (flame) को खींचना, तो ये डिजिटल कलाकार अक्सर भ्रमित हो जाते हैं। वे चित्र के गलत हिस्से को बदल सकते हैं, या वे ठीक से समझ नहीं पाते कि आप वास्तव में उसे कैसे बदलना चाहते हैं।

इसे ठीक करने के लिए, शोधकर्ताओं ने दो मुख्य तरकीबें आजमाई हैं। एक यह कि कलाकार को एक स्केच दिया जाए, जैसे स्क्रीन पर एक रेखा खींचकर दिखाना कि कहाँ मोड़ना है। दूसरा यह कि टेक्स्ट निर्देश दिए जाएं, जैसे लिखना "इसे यहाँ मोड़ो।" लेकिन प्रत्येक तरकीब में एक दोष है। यदि आप केवल एक स्केच देते हैं, तो कलाकार को यह नहीं पता चलता कि क्या करना है (क्या आप पत्ते को कॉपी करना चाहते हैं, हिलाना चाहते हैं, या बस मोड़ना चाहते हैं?)। यदि आप केवल टेक्स्ट देते हैं, तो उसे यह नहीं पता होता कि किधर करना है। यह पेपर, SI-Edit, इसे हल करने का प्रयास करता है ताकि कलाकार को स्केच और टेक्स्ट दोनों को एक साथ सुनने के लिए प्रशिक्षित किया जा सके, जिससे वह एक अत्यंत सटीक डिजिटल मूर्तिकार की तरह बन सके जो अंतिम पिक्सेल तक छवि को नया आकार दे सकता है।

समस्या: "अनुवाद में खो जाने वाला" कलाकार

कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको अपने एक दोस्त को एक ड्राइंग के बारे में बताना है जो केवल वही बना सकता है जो आप कहते हैं। यदि आप कहते हैं, "पेड़ की टहनी को मोड़ दो," तो आपका दोस्त गलत टहनी को मोड़ सकता है, या वह एक पूरा नया पेड़ बना सकता है। वर्तमान AI टूल्स के साथ यही होता है जो केवल टेक्स्ट निर्देशों को सुनते हैं। वे बड़े बदलावों के लिए बेहतरीन हैं, जैसे "आसमान को नीला कर दो," लेकिन सूक्ष्म, सटीक बदलावों के लिए बहुत खराब हैं। उनमें एक "स्पेशियल एंकर" (स्थानिक लंगर) की कमी है—यह जानने का कोई तरीका कि किस पिक्सेल को हिलाना है।

दूसरी ओर, यदि आप केवल एक स्केच (स्क्रीन पर खींची गई एक रेखा) देते हैं, तो AI जानता है कि कहाँ बनाना है लेकिन यह नहीं जानता कि क्या करना है। क्या वह रेखा किसी पत्ते को हिलाने के लिए है? उसे कॉपी करने के लिए? या बस उसे मोड़ने के लिए? स्पष्ट निर्देश के बिना, AI गलत अनुमान लगा सकता है, जिससे अजीब परिणाम मिल सकते हैं जैसे कि एक पत्ता जो अचानक अपने ही एक कॉपी में बदल जाता है, या एक तना जो गायब हो जाता है।

इस पेपर के लेखकों ने महसूस किया कि सटीक, पिक्सेल-स्तर के नियंत्रण के लिए, आपको दोनों की आवश्यकता है: एक मैप (स्केच) और एक डेस्टिनेशन (टेस्ट)। लेकिन एक बड़ी बाधा थी: किसी ने भी ऐसा प्रशिक्षण मैनुअल नहीं बनाया था जो इन दोनों को पूरी तरह से जोड़ सके।

समाधान: एक नया प्रशिक्षण मैनुअल और एक नया कलाकार

इसे ठीक करने के लिए, टीम को पहले एक विशाल, उच्च-गुणवत्ता वाला प्रशिक्षण डेटासेट बनाना पड़ा जिसे SI-Data कहा जाता है। इसे AI के लिए एक विशाल कुकबुक की तरह समझें। केवल AI को टेक्स्ट विवरण के साथ "पहले" और "बाद" की तस्वीरें दिखाने के बजाय, उन्होंने क्वाड्रुप्लेट्स (चारों का समूह) बनाए—ऐसी चीजें जो एक साथ चलती हैं:

मूल छवि (शुरुआती बिंदु)।
लक्ष्य छवि (संपादन के बाद यह कैसी दिखनी चाहिए)।
एक स्केच (एक सरल रेखा जो सटीक आकार परिवर्तन दिखाती है)।
एक निर्देश (वह टेक्स्ट जो AI को बताता है कि क्या करना है)।

उन्होंने इन्हें हाथ से नहीं बनाया; ऐसा करने में बहुत समय लगता। इसके बजाय, उन्होंने एक चतुर स्वचालित पाइपलाइन का उपयोग किया। उन्होंने सुंदर तस्वीरें लीं, एक स्मार्ट AI (Qwen3-VL) से एक विशिष्ट संपादन निर्देश (जैसे "टेंट को खींचें") बनाने को कहा, और फिर एक अन्य AI (Nano Banana Pro) का उपयोग करके वास्तव में वह बदलाव किया। फिर, उन्होंने ऑप्टिकल फ्लो नामक एक गणितीय ट्रिक का उपयोग करके स्वचालित रूप से "स्केच" बनाया, यह देखकर कि पिक्सेल मूल से नई छवि में कैसे बदले। इससे उन्हें 6,500 सटीक उदाहरण मिले कि कैसे एक स्केच और एक टेक्स्ट निर्देश को मिलाकर एक सटीक संपादन किया जाता है।

SI-Edit कैसे काम करता है: "सेम पोजीशन" (समान स्थिति) की ट्रिक

इस नए डेटासेट के साथ, उन्होंने एक नया संपादन टूल बनाया जिसे SI-Edit कहा जाता है। यह टूल एक "सहयोगी" कलाकार के रूप में डिज़ाइन किया गया है। यह केवल टेक्स्ट या स्केच को नहीं देखता; यह उन्हें एक साथ देखता है।

पेपर में इसे काम करने के लिए दो मुख्य ट्रिक्स पेश की गई हैं:

द "टास्क-ट्रिगर" टोकन: उन्होंने हर निर्देश की शुरुआत में एक विशेष गुप्त कोड शब्द, जिसे <sk> के रूप में लिखा गया है, जोड़ा। इसे एक घंटी की तरह समझें जो कलाकार के पेंटिंग शुरू करने से पहले बजती है। जब AI "घंटी" (<sk>) सुनता है, तो उसे पता चलता है, "ओह, मुझे उन स्केच रेखाओं पर अतिरिक्त ध्यान देने की आवश्यकता है जिन्हें मैं अभी देखने वाला हूँ।" यह AI को समझने में मदद करता है कि स्केच केवल एक सजावट नहीं है; यह एक सख्त नियम है।
सेम पोजीशन एनकोडिंग (SPE): यह सबसे महत्वपूर्ण हिस्सा है। कल्पना कीजिए कि आप कांच के एक टुकड़े पर एक तस्वीर को ट्रेस कर रहे हैं। आपके पास नीचे मूल तस्वीर है और उसके ऊपर आपका स्केच है। यदि आप उन्हें पूरी तरह से संरेखित (align) नहीं करते हैं, तो आपका चित्र गलत हो जाएगा। AI आमतौर पर स्केच और मूल छवि को दो अलग-अलग चीजों के रूप में मानता है, जिससे वे एक-दूसरे से "ड्रिफ्ट" (विचलित) हो जाते हैं। SI-Edit AI को मजबूर करता है कि वह स्केच और मूल छवि को ऐसे व्यवहार करे जैसे वे उसके दिमाग में बिल्कुल एक ही स्थान पर हों। यह स्केच को छवि के ऊपर ओवरले करता है और AI को बताता है, "ये दोनों चीजें एक ही कोऑर्डिनेट्स पर हैं।" यह AI को इस बात पर भ्रमित होने से रोकता है कि मोड़ कहाँ होना चाहिए।

उन्होंने क्या पाया: पिक्सेल स्तर पर सटीकता

टीम ने SI-Edit का परीक्षण SketchEdit, MagicQuill, और FramePainter जैसे अन्य लोकप्रिय टूल्स के मुकाबले किया। परिणाम स्पष्ट थे: SI-Edit नियमों का पालन करने में बहुत बेहतर था।

ज्यामितीय सटीकता (Geometric Precision): यह मापने में कि AI ने स्केच रेखाओं का कितनी बारीकी से पालन किया, SI-Edit का स्कोर 4.292 (कम स्कोर बेहतर है) था, जबकि अगला सबसे अच्छा टूल MagicQuill का स्कोर 7.434 था। इसका मतलब है कि SI-Edit के मोड़ और वक्र (curves) वास्तव में उपयोगकर्ता द्वारा खींची गई रेखाओं के बहुत करीब थे।
सिमेंटिक समझ (Semantic Understanding): यह जांचने में कि क्या AI ने वास्तव में वह किया जो टेक्स्ट ने कहा (जैसे "खींचना" बनाम "कॉपी करना"), SI-Edit ने $\Delta$ CS नामक एक मीट्रिक पर 0.0174 स्कोर किया, जो अन्य सभी तरीकों को पीछे छोड़ गया।
उपयोगकर्ता प्राथमिकता (User Preference): जब वास्तविक लोगों ने परिणामों को देखा, तो उन्होंने दृश्य निरंतरता (visual consistency), सटीकता या छवि गुणवत्ता के आधार पर, SI-Edit को अन्य टूल्स की तुलना में 81.3% से 94.8% बार पसंद किया।

पेपर ने यह भी दिखाया कि यह टूल केवल चीजों को मोड़ने तक ही सीमित नहीं है; यह किसी व्यक्ति के पोज़ (pose) को भी बदल सकता है, जैसे कि एक मार्शल आर्टिस्ट को अपनी मुद्रा बदलने के लिए कहना, जबकि उसका चेहरा और कपड़े बिल्कुल वैसे ही रहते हैं।

निष्कर्ष

लेखक सुझाव देते हैं कि एक स्पष्ट मैप (स्केच) को एक स्पष्ट डेस्टिनेशन (टेक्स्ट) के साथ जोड़कर, और AI को उन्हें एक एकीकृत मार्गदर्शक के रूप में देखने के लिए प्रशिक्षित करके, हम अंततः ऐसे इमेज एडिटिंग टूल्स प्राप्त कर सकते हैं जो बाकी चित्र को खराब किए बिना सूक्ष्म, जटिल बदलावों को संभालने के लिए पर्याप्त सटीक हों। उन्होंने केवल एक बेहतर टूल नहीं बनाया; उन्होंने पहला सार्वजनिक डेटासेट बनाया है जो AI को यह सिखाता है, जो भविष्य के शोधकर्ताओं के लिए और भी स्मार्ट डिजिटल कलाकार बनाने के द्वार खोलता है। पेपर का निष्कर्ष है कि जबकि "स्पेशियल एंबिग्युटी" (कहाँ एडिट करना है यह न जानना) और "सिमेंटिक ब्लाइंडनेस" (क्या एडिट करना है यह न जानना) एक बड़ी बाधा थी, यह सहयोगी दृष्टिकोण सफलतापूर्वक पिक्सेल-परफेक्ट एडिटिंग का रास्ता साफ करता है।

तकनीकी सारांश: SI-Edit

समस्या विवरण (Problem Statement)

जेनेरेटिव डिफ्यूजन मॉडल्स में तीव्र प्रगति के बावजूद, स्केच-आधारित इमेज एडिटिंग में पिक्सेल-स्तर की सटीकता (pixel-level precision) प्राप्त करना एक महत्वपूर्ण चुनौती बनी हुई है, विशेष रूप से सूक्ष्म स्थानीय विरूपणों (fine-grained local deformations) के लिए। यह शोध मौजूदा दृष्टिकोणों में दो प्राथमिक बाधाओं की पहचान करता है:

भाषाई बाधा (स्थानिक अस्पष्टता - Linguistic Bottleneck/Spatial Ambiguity): केवल टेक्स्ट-आधारित निर्देश (जैसे, "तने को मोड़ें") सटीक स्थानिक एंकर (spatial anchors) प्रदान नहीं करते हैं। स्पष्ट ज्यामितीय बाधाओं के बिना, मॉडल अक्सर 'सिमेंटिक ड्रिफ्ट' (semantic drift), गलत विरूपण उत्पन्न करते हैं, या निर्देशों को पूरी तरह से अनदेखा कर देते हैं।
सिमेंटिक अंधापन (इरादा अस्पष्टता - Semantic Blindness/Intent Ambiguity): केवल स्केच-आधारित इनपुट ज्यामितीय बाधाएं तो प्रदान करते हैं, लेकिन स्पष्ट सिमेंटिक इरादा (semantic intent) नहीं देते। एक एकल स्केच (जैसे, एक नया कंटूर) कई ऑपरेशन्स (जैसे, कॉपी करना, हिलाना, या विकृत करना) के अनुरूप हो सकता है, जिससे अनचाहे परिणाम मिल सकते हैं।

इसके अतिरिक्त, यह क्षेत्र डेटा की कमी (data scarcity) की समस्या से जूझ रहा है। मौजूदा डेटासेट मुख्य रूप से टेक्स्ट-इमेज ट्रिपलेट्स या रीजन-लेवल मास्क प्रदान करते हैं, जिनमें उन उच्च-गुणवत्ता वाले क्वाड्रुपलेट्स (quadruplets) (स्रोत छवि, लक्ष्य छवि, स्थानीय ज्यामितीय स्केच, सिमेंटिक निर्देश) का अभाव है जो ज्यामितीय बाधाओं और सिमेंटिक इरादे को संयुक्त रूप से सुपरवाइज करने के लिए आवश्यक हैं।

कार्यप्रणाली (Methodology)

लेखक SI-Edit का प्रस्ताव करते हैं, जो एक सहयोगात्मक फ्रेमवर्क है जिसे दोनों प्रकार की अस्पष्टताओं को हल करने के लिए डिज़ाइन किया गया है, और इसे एक नए निर्मित डेटासेट, SI-Data द्वारा समर्थित किया गया है।

1. SI-Data: एक क्वाड्रुपलेट डेटासेट

डेटा की कमी को दूर करने के लिए, लेखक SI-Data पेश करते हैं, जो 6.5K क्वाड्रुपलेट्स $(I_{src}, I_{tgt}, S_k, Inst)$ वाला एक उच्च-गुणवत्ता वाला डेटासेट है। इसका निर्माण पाइपलाइन स्वचालित है और मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) का लाभ उठाती है:

स्रोत संग्रह (Source Collection): Unsplash से उच्च-रिज़ॉल्यूशन वाली छवियां।
निर्देश निर्माण (Instruction Generation): Qwen3-VL को स्थानिक रूप से स्पष्ट संपादन निर्देश (स्थान और ज्यामितीय ऑपरेशन जैसे "मोड़ना" या "खिंचाव" निर्दिष्ट करना) उत्पन्न करने के लिए प्रॉम्प्ट दिया जाता है।
लक्ष्य संश्लेषण (Target Synthesis): Nano Banana Pro स्रोत छवियों पर इन निर्देशों को निष्पादित करके लक्ष्य छवियां बनाता है।
स्केच निष्कर्षण (Sketch Extraction): स्रोत और लक्ष्य छवियों के बीच डेंस ऑप्टिकल फ्लो (SEA-RAFT के माध्यम से) की गणना की जाती है। मोशन बाउंड्रीज को सोबेल ऑपरेटर्स (Sobel operators) का उपयोग करके निकाला जाता है ताकि बाइनरी स्केच जनरेट किए जा सकें, जो सूक्ष्म स्थानिक एंकर के रूप में कार्य करते हैं।
ऑग्मेंटेशन (Augmentation): पाइपलाइन प्रत्येक संपादन के लिए कई भाषाई रूप से विविध निर्देश जनरेट करती है ताकि मजबूती (robustness) सुनिश्चित की जा सके।

2. SI-Edit फ्रेमवर्क

FLUX.1 Kontext आर्किटेक्चर (एक लेटेंट डिफ्यूजन ट्रांसफॉर्मर) पर निर्मित, SI-Edit निर्देशों और स्केच को फ्यूज करने के लिए एक सहयोगात्मक स्थानिक-सिमेंटिक ट्यूनिंग रणनीति (collaborative spatial-semantic tuning strategy) का उपयोग करता है:

टास्क-ट्रिगर टोकन ( $\langle sk \rangle$ ): एक सीखने योग्य (learnable) टोकन को टेक्स्ट निर्देश के आगे जोड़ा जाता है। यह टोकन एक सिमेंटिक एंकर के रूप में कार्य करता है, जो टेक्स्ट और इमेज दोनों स्ट्रीम्स में अटेंशन मैकेनिज्म को नियंत्रित करता है ताकि जनरेशन को स्केच-गाइडेड एडिटिंग की ओर निर्देशित किया जा सके।
सेम पोजीशन एनकोडिंग (Same Position Encoding - SPE): स्थानिक ड्रिफ्ट को रोकने के लिए, स्रोत छवि और स्केच-ओवरले इमेज को स्वतंत्र रूप से प्रोसेस किया जाता है लेकिन उन्हें समान 3D रोटरी पोजीशनल एम्बेडिंग्स (RoPE) असाइन किए जाते हैं। यह सुनिश्चित करता है कि मॉडल लेटेंट-टोकन स्तर पर सोर्स फीचर्स और स्केच कंस्ट्रेंट्स के बीच सख्त स्थानिक संबंध बनाए रखे।
फाइन-ट्यूनिंग (Fine-Tuning): मॉडल को डबल-स्ट्रीम और सिंगल-स्ट्रीम ब्लॉक्स के अटेंशन लेयर्स पर लो-रैंक एडैप्टेशन (LoRA) का उपयोग करके फाइन-ट्यून किया जाता है, जो रेक्टिफाइड-फ्लो मैचिंग ऑब्जेक्टिव के लिए अनुकूलित है।

प्रमुख योगदान (Key Contributions)

SI-Data: पहला डेटासेट जो (स्रोत, लक्ष्य, स्केच, निर्देश) के क्वाड्रुपलेट्स प्रदान करता है, जो विशेष रूप से ज्यामितीय विरूपणों के संयुक्त स्थानिक और सिमेंटिक सुपरविजन के लिए डिज़ाइन किया गया है।
SI-Edit: एक सहयोगात्मक फ्रेमवर्क जो एक सीखने योग्य $\langle sk \rangle$ टोकन और SPE रणनीति के माध्यम से सिमेंटिक निर्देशों को सटीक ज्यामितीय बाधाओं के साथ एकीकृत करता है, जिससे सिंगल-मोडैलिटी दृष्टिकोणों की अंतर्निहित अस्पष्टता प्रभावी रूप से हल होती है।
मूल्यांकन प्रोटोकॉल (Evaluation Protocol): संरचनात्मक निष्ठा (structural fidelity) और सिमेंटिक अनुपालन को मापने के लिए डिज़ाइन किया गया एक व्यापक सेट, जिसमें लोकलाइज्ड चैमर डिस्टेंस (LCD), मास्क IoU, क्लिप स्कोर इम्प्रूवमेंट ( $\Delta$ CS), और एक नया बैकग्राउंड प्रिजर्वेशन स्कोर (BPS) शामिल है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक SI-Edit का SketchEdit, MagicQuill, और FramePainter सहित स्टेट-ऑफ-द-आर्ट बेसलाइन्स के विरुद्ध मूल्यांकन करते हैं।

मात्रात्मक प्रदर्शन (Quantitative Performance): SI-Edit सभी मेट्रिक्स में सभी बेसलाइन्स को पछाड़ देता है। विशेष रूप से, यह 4.292 का लोकलाइज्ड चैमर डिस्टेंस (LCD) प्राप्त करता है (कमतर बेहतर है), जो SketchEdit (10.957) और FramePainter (7.979) से काफी बेहतर है। यह उच्चतम मास्क IoU (0.362) और बैकग्राउंड प्रिजर्वेशन स्कोर (0.648) भी प्राप्त करता है, जो स्केच के साथ बेहतर संरेखण और अनएडिटेड क्षेत्रों के बेहतर संरक्षण को दर्शाता है।
गुणात्मक परिणाम (Qualitative Results): विजुअल तुलनाएं दिखाती हैं कि SI-Edit वास्तविक बनावट (textures) और ऑब्जेक्ट आइडेंटिटी को बनाए रखते हुए जटिल स्थानीय विरूपणों (जैसे, पेड़ की शाखाओं को मोड़ना, लपटों को खींचना, वस्तुओं को बड़ा करना) को सफलतापूर्वक निष्पादित करता है। इसके विपरीत, बेसलाइन्स अक्सर सिमेंटिक ब्लाइंडनेस (धुंधले आर्टिफैक्ट्स) का शिकार होते हैं या गलत टेक्सचर का भ्रम (hallucinate) पैदा करते हैं।
यूजर स्टडी (User Study): 60 टेस्ट केसेस के पेयरवाइज कंपैरिजन में, विजुअल कंसिस्टेंसी, एडिटिंग सटीकता और इमेज क्वालिटी के मामले में SI-Edit को सभी बेसलाइन्स पर प्राथमिकता दी गई (वरीयता दर 81.3% से 94.8% तक)।
एब्लेशन स्टडीज (Ablation Studies): अध्ययन पुष्टि करता है कि सीखने योग्य $\langle sk \rangle$ टोकन को बिगिनिंग-ऑफ-सीक्वेंस (BOS) में रखने से एंड-ऑफ-सीक्वेंस (EOS) प्लेसमेंट या फिक्स्ड प्रॉम्प्ट्स की तुलना में सिमेंटिक एलाइनमेंट ( $\Delta$ CS) में काफी सुधार होता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि SI-Edit विश्वसनीय, पिक्सेल-लेवल लोकल इमेज एडिटिंग की दिशा में एक महत्वपूर्ण कदम है। सिमेंटिक इरादे को ज्यामितीय बाधाओं के साथ एकीकृत करने वाला एक सहयोगात्मक मार्गदर्शन तंत्र पेश करके, यह कार्य सिंगल-मोडैलिटी मेथड्स की मुख्य सीमाओं को संबोधित करता है।

लेखक इस बात पर जोर देते हैं कि SI-Data का रिलीज और इसके साथ जुड़ा मूल्यांकन प्रोटोकॉल एक पारदर्शी बेंचमार्क प्रदान करता है जिसका उद्देश्य भविष्य के स्केच-इंस्ट्रक्शन गाइडेड इमेज एडिटिंग अनुसंधान को सुगम बनाना है। यह कार्य प्रदर्शित करता है कि सटीक स्थानीय संपादन के लिए दोनों मोडैलिटीज का सहयोगात्मक उपयोग आवश्यक है: निर्देश यह बताते हैं कि क्या बदलना चाहिए, जबकि स्केच यह संकेत देते हैं कि परिवर्तन ज्यामितीय रूप से कहाँ और कैसे होना चाहिए।