CREval: An Automated Interpretable Evaluation for Creative Image Manipulation under Complex Instructions

यहाँ शोध पत्र "CREval: An Automated Interpretable Evaluation for Creative Image Manipulation under Complex Instructions" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

यद्यपि निर्देश-आधारित मल्टीमॉडल इमेज मैनिपुलेशन (multimodal image manipulation) ने तेजी से प्रगति की है, वर्तमान मूल्यांकन विधियाँ जटिल और रचनात्मक संपादन कार्यों (complex and creative editing tasks) का पर्याप्त मूल्यांकन करने में विफल रहती हैं। मौजूदा बेंचमार्क मुख्य रूप से सरल ऑपरेशन्स (जैसे, ऑब्जेक्ट जोड़ना, हटाना, रंग समायोजन) पर केंद्रित हैं या मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) द्वारा "ब्लैक-बॉक्स" स्कोरिंग पर निर्भर करते हैं। इन दृष्टिकोणों में निम्नलिखित कमियां हैं:

• व्याख्यात्मकता का अभाव (Lack of Interpretability): प्रत्यक्ष MLLM स्कोरिंग अक्सर पारदर्शी तर्कों (rationales) की कमी रखती है, जिससे यह स्पष्ट नहीं हो पाता कि कोई स्कोर क्यों दिया गया।
• अपूर्ण कवरेज (Incomplete Coverage): समग्र स्कोरिंग विशिष्ट विफलता के आयामों को मिस कर सकती है, जैसे सूक्ष्म दृश्य विसंगतियां (visual artifacts) या आंशिक निर्देश अनुपालन।
• रचनात्मकता को संभालने में असमर्थता (Inability to Handle Creativity): वर्तमान बेंचमार्क "फ्री-स्टाइल" रचनात्मक कार्यों (जैसे, एक योद्धा को प्लश टॉय में बदलना, अवास्तविक फैंटेसी दृश्य बनाना) का पर्याप्त परीक्षण नहीं करते हैं, जिसके लिए गहरे सिमेंटिक समझ और संरचनात्मक पुनर्गठन की आवश्यकता होती है।

2. कार्यप्रणाली (Methodology)

लेखक CREval, एक पूर्णतः स्वचालित, व्याख्या योग्य मूल्यांकन पाइपलाइन, और CREval-Bench, एक व्यापक बेंचमार्क प्रस्तावित करते हैं।

A. CREval-Bench (बेंचमार्क)

• पैमाना (Scale): इसमें 800 से अधिक संपादन नमूने और 13,000 मूल्यांकन प्रश्न (queries) शामिल हैं।
• वर्गीकरण (Taxonomy): यह बेंचमार्क रचनात्मक संपादन को 3 मुख्य स्तरों और 9 विशिष्ट आयामों में वर्गीकृत करता है:
  1. कस्टमाइजेशन (Customization): डेरिवेटिव कैरेक्टर्स (जैसे, चिबी), पुनर्कल्पित प्रतिनिधित्व (जैसे, स्टैम्प/पोस्टकार्ड), अवास्तविक फैंटेसी (Surreal Fantasy)।
  2. कॉन्टेक्स्टुअलाइजेशन (Contextualization): कंटेनराइज्ड परिदृश्य (जैसे, स्नो ग्लोब्स), व्यावसायिक डिजाइन (जैसे, पैकेजिंग), सूचनात्मक और नैरेटिव अभिव्यक्ति (जैसे, कॉमिक्स)।
  3. स्टाइलइजेशन (Stylization): आर्टिस्टिक स्टाइल ट्रांसफर, पहचान और सांस्कृतिक रूपांतरण, सामग्री रूपांतरण (जैसे, वस्तुओं को LEGO या सिरेमिक में बदलना)।
• निर्माण (Construction): उच्च गुणवत्ता वाले स्रोत चित्र क्यूरेट किए गए हैं, और रचनात्मक निर्देश GPT-4o का उपयोग करके 'फ्यू-शॉट लर्निंग' के साथ उत्पन्न किए गए हैं ताकि 9 आयामों के साथ संरेखण सुनिश्चित किया जा सके।

B. CREval (मूल्यांकन ढांचा)

एक MLLM से एक एकल समग्र स्कोर देने के लिए कहने के बजाय, CREval मूल्यांकन को तीन मुख्य मेट्रिक्स का उपयोग करके एक प्रश्न-उत्तर (QA) आधारित पाइपलाइन में विभाजित करता है:

1. इंस्ट्रक्शन फॉलोइंग (Instruction Following - IF): यह सत्यापित करता है कि आउटपुट अनुरोधित विशिष्ट संशोधनों को सटीक रूप से दर्शाता है या नहीं।
2. विजुअल कंसिस्टेंसी (Visual Consistency - VC): स्रोत छवि से महत्वपूर्ण दृश्य तत्वों (जैसे, पहचान, प्रमुख विशेषताएं) के संरक्षण को मापता है। पहचान मान्यता में उनके योगदान के आधार पर तत्वों को महत्व भार ($w \in \{1, 2, 3\}$) दिया जाता है।
3. विजुअल क्वालिटी (Visual Quality - VQ): यथार्थवाद, संरचनात्मक सामंजस्य और विसंगतियों (जैसे, विकृत अंग, अप्राकृतिक बनावट) की अनुपस्थिति का आकलन करता है।

प्रक्रिया:

1. QA जनरेशन: प्रत्येक इमेज-इंस्ट्रक्शन पेयर के लिए, एक MLLM (Chain-of-Thought रीजनिंग का उपयोग करके) IF, VC, और VQ के लिए विशिष्ट Yes/No प्रश्न और संदर्भ उत्तर (reference answers) उत्पन्न करता है।
2. स्कोरिंग: एक लक्षित MLLM (जैसे, GPT-4o) इन प्रश्नों के विरुद्ध संपादित छवि का मूल्यांकन करता है। यदि मॉडल का उत्तर संदर्भ से मेल खाता है, तो अंक दिए जाते हैं।
3. अंतिम स्कोर गणना: अंतिम स्कोर एक भारित औसत (weighted average) है:
   $$S = 0.4 \times S_{IF} + 0.4 \times S_{VC} + 0.2 \times S_{VQ}$$
   नोट: VQ को कम भार (0.2) दिया गया है क्योंकि वर्तमान MLLMs निर्देश अनुपालन और निरंतरता की तुलना में सूक्ष्म विजुअल आर्टिफैक्ट्स के प्रति कम संवेदनशील हैं।

3. मुख्य योगदान (Key Contributions)

1. CREval फ्रेमवर्क: एक नवीन, पूर्णतः स्वचालित, QA-आधारित मूल्यांकन पाइपलाइन जो प्रत्यक्ष MLLM स्कोरिंग की अपारदर्शिता को दूर करती है, और सूक्ष्म, व्याख्या योग्य मेट्रिक्स प्रदान करती है।
2. CREval-Bench: पहला व्यापक बेंचमार्क जो विशेष रूप से जटिल निर्देशों के तहत रचनात्मक इमेज मैनिपुलेशन के लिए डिज़ाइन किया गया है, जो 9 विविध आयामों को कवर करता है।
3. व्यवस्थित मूल्यांकन: 13 अत्याधुनिक मॉडल्स (ओपन-सोर्स और क्लोज्ड-सोर्स दोनों) पर व्यापक प्रयोग, जो रचनात्मक कार्यों को संभालने में विशिष्ट शक्तियों और कमजोरियों को प्रकट करते हैं।
4. ह्यूमन एलाइनमेंट (Human Alignment): उपयोगकर्ता अध्ययन के माध्यम से सत्यापन, जो CREval के स्वचालित स्कोर और मानव प्राथमिकता निर्णयों के बीच मजबूत निरंतरता प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

यह पेपर 13 मॉडल्स का मूल्यांकन करता है, जिनमें Seedream 4.0, Gemini 2.5 Flash Image, GPT-Image-1, Qwen-Image-Edit, और FLUX.1 Kontext शामिल हैं।

• समग्र प्रदर्शन (Overall Performance): क्लोज्ड-सोर्स मॉडल आम तौर पर ओपन-सोर्स मॉडल्स की तुलना में बेहतर प्रदर्शन करते हैं, लेकिन यह अंतर कम हो रहा है।
  • शीर्ष प्रदर्शनकर्ता: Seedream 4.0 ने उच्चतम समग्र स्कोर प्राप्त किया, जो IF, VC, और VQ के बीच एक मजबूत संतुलन दिखाता है।
  • उपविजेता (Runner-up): Qwen-Image-Edit (ओपन-सोर्स) दूसरे स्थान पर रहा, जिसने कुल प्रदर्शन में GPT-Image-1 को पछाड़ दिया।
  • GPT-Image-1: इंस्ट्रक्शन फॉलोइंग (IF) में मजबूत होने के बावजूद, यह विजुअल कंसिस्टेंसी (VC) के साथ संघर्ष करता है, जिससे अक्सर स्रोत छवि के प्रमुख तत्व खो जाते हैं।
• पहचानी गई प्रमुख चुनौतियाँ:
  • विजुअल कंसिस्टेंसी: जटिल रूपांतरण (जैसे, सामग्री या शैली बदलना) करते समय सभी मॉडल प्रमुख पहचान विशेषताओं को बनाए रखने में संघर्ष करते हैं।
  • जटिल निर्देश: मॉडल अक्सर विवरणों को छोड़ दिए बिना या मतिभ्रम (hallucination) के बिना बहु-चरणीय रचनात्मक निर्देशों (जैसे, "Surreal Fantasy" या "Narrative Expression") को निष्पादित करने में विफल रहते हैं।
  • ओपन-सोर्स प्रगति: Qwen-Image-Edit और FLUX.1 Kontext जैसे मॉडल आशाजनक प्रगति दिखा रहे हैं, जो सुझाव देते हैं कि ओपन-सोर्स मॉडल जल्द ही क्लोज्ड-सोर्स क्षमताओं की बराबरी कर सकते हैं।

5. महत्व (Significance)

• विश्वसनीय बेंचमार्किंग: CREval रचनात्मक कार्यों पर इमेज एडिटिंग मॉडल्स के मूल्यांकन के लिए एक मानकीकृत, वस्तुनिष्ठ आधार प्रदान करता है, जो सरल ऑब्जेक्ट मैनिपुलेशन से आगे जाता है।
• व्याख्यात्मकता (Interpretability): स्कोर को विशिष्ट QA तर्कों के साथ IF, VC, और VQ में तोड़कर, शोधकर्ता ठीक से पहचान सकते हैं कि मॉडल कहाँ विफल हो रहा है (जैसे, "इसने स्टाइल तो अपनाया लेकिन पहचान खो दी")।
• भविष्य की अनुसंधान दिशा: परिणाम रेखांकित करते हैं कि जबकि निर्देश अनुपालन में सुधार हो रहा है, विजुअल कंसिस्टेंसी रचनात्मक इमेज एडिटिंग के लिए प्राथमिक बाधा बनी हुई है। यह भविष्य के अनुसंधान को जेनेरेटिव मॉडल्स में बेहतर पहचान संरक्षण (identity preservation) और संरचनात्मक सामंजस्य की ओर निर्देशित करता है।
• सामुदायिक प्रभाव: CREval-Bench और मूल्यांकन कोड का रिलीज समुदाय को इस तेजी से विकसित होते क्षेत्र में प्रगति को व्यवस्थित रूप से ट्रैक करने में सक्षम बनाता है।