Abstraction in Style

1. समस्या विवरण (Problem Statement)

पारंपरिक स्टाइल ट्रांसफर विधियाँ (जैसे Gatys et al., डिफ्यूजन-आधारित दृष्टिकोण) मुख्य रूप से सतह-स्तर के दृश्य गुणों जैसे कि बनावट (texture), रंग और स्ट्रोक पैटर्न को स्थानांतरित करने पर ध्यान केंद्रित करती हैं, जबकि वे इनपुट ज्यामिति (input geometry) को सख्ती से सुरक्षित रखती हैं। हालाँकि, कई कलात्मक शैलियाँ—विशेष रूप से इलस्ट्रेटिव, स्केच-आधारित और गैर-यथार्थवादी (non-photorealistic) शैलियाँ—संरचनात्मक अमूर्तिकरण (structural abstraction) पर निर्भर करती हैं। इसमें संरचना की जानबूझकर की गई पुनर्व्याख्या शामिल है, जैसे:

• महत्वहीन ज्यामितीय विशेषताओं को सरल बनाना या उन्हें सुचारू (smooth) करना।
• जानबूझकर अनियमितताएँ लाना या समरूपता (symmetry) को तोड़ना।
• विशिष्ट अर्थपूर्ण या बोधनात्मक इरादे को व्यक्त करने के लिए अनुपातों को विकृत करना।

मौजूदा विधियाँ इस "गहन अमूर्तिकरण" (deep abstraction) को पकड़ने में संघर्ष करती हैं क्योंकि वे मूल स्थानिक संरचना का पालन करने के लिए डिज़ाइन की गई हैं। फलस्वरूप, वे अत्यधिक अमूर्त शैलियों के लिए सुसंगत परिणाम उत्पन्न करने में विफल रहती हैं जहाँ ज्यामिति को केवल स्वरूप बदलने के बजाय स्वयं परिवर्तित किया जाना आवश्यक होता है।

2. कार्यप्रणाली: स्टाइल में अमूर्तिकरण (Abstraction in Style - AiS)

लेखक AiS का प्रस्ताव करते हैं, जो एक जेनेरेटिव फ्रेमवर्क है जो संरचनात्मक अमूर्तिकरण (structural abstraction) को दृश्य शैलीकरण (visual stylization) से स्पष्ट रूप से अलग करता है। इस प्रक्रिया को दो-चरणीय पाइपलाइन के रूप में तैयार किया गया है, जो विजुअल एनालॉजी ट्रांसफर (VAT) नामक एक साझा तंत्र द्वारा संचालित है।

A. मुख्य अवधारणा: दो-चरणीय पाइपलाइन (Two-Stage Pipeline)

1. चरण 1: संरचनात्मक अमूर्तिकरण (Structural Abstraction)

   • लक्ष्य: संदर्भ शैली के अमूर्तिकरण तर्क (abstraction logic) के अनुसार लक्ष्य छवि की संरचना की पुनर्व्याख्या करना।
   • इनपुट: लक्ष्य छवि $\rightarrow$ हिडन बैकबोन (Hidden Backbone) $\rightarrow$ एब्स्ट्रैक्शन प्रॉक्सी (Abstraction Proxy)।
   • हिडन बैकबोन निर्माण: लक्ष्य छवि को पहले एक "हिडन बैकबोन" में परिवर्तित किया जाता है, जो एक सरलीकृत संरचनात्मक प्रतिनिधित्व है। यह निम्नलिखित माध्यमों से प्राप्त किया जाता है:
     • वेक्टराइजेशन (Vectorization): फोटोग्राफिक शोर को हटाने के लिए छवि को स्वच्छ, फ्लैट-कलर वेक्टर पथों में बदलना।
     • कंकाल निर्माण और क्षरण (Skeletonization & Erosion): एक टोपोलॉजिकल कंकाल निकालना और भरे हुए आकारों पर मॉर्फोलॉजिकल इरोजन (morphological erosion) लागू करना। कंकाल और क्षरित अवशेषों (eroded residuals) का मिलन कनेक्टिविटी और आनुपातिक आयतन को बनाए रखता है, लेकिन सटीक कंटूर से बंधा नहीं होता।
   • रूपांतरण (A-VAT): एक विजुअल एनालॉजी ट्रांसफर मॉडल (A-VAT) संदर्भ युग्मों (reference pairs) का उपयोग करके Hidden Backbone $\rightarrow$ Abstraction Proxy के बीच मैपिंग सीखता है। यह लक्ष्य के बैकबोन को एक मध्यवर्ती प्रॉक्सी में बदल देता है जो संदर्भ की अमूर्तिकरण प्रवृत्तियों (जैसे, स्मूथिंग, अतिरंजना) को दर्शाता है, जबकि विषय की पहचान बनाए रखता है।

2. चरण 2: दृश्य शैलीकरण (Visual Stylization)

   • लक्ष्य: अमूर्त प्रॉक्सी को एक अंतिम छवि में रेंडर करना जो संदर्भ शैली के दृश्य स्वरूप से मेल खाती हो।
   • रूपांतरण (S-VAT): दूसरा VAT मॉडल (S-VAT) Abstraction Proxy $\rightarrow$ Final Stylized Output के बीच मैपिंग सीखता है।
   • तंत्र: यह चरण पहले से ही अमूर्त संरचना पर शुद्ध रूप से उपस्थिति (बनावट, रंग, स्ट्रोक) पर ध्यान केंद्रित करता है।

B. इंजन: विजुअल एनालॉजी ट्रांसफर (VAT)

दोनों चरण विजुअल एनालॉजी फॉर्मूलेशन $A \rightarrow A' :: B \rightarrow B'$ पर आधारित VAT का उपयोग करते हैं।

• इनपुट प्रारूप: एक $2 \times 2$ ग्रिड इमेज जहाँ ऊपरी पंक्ति एक संदर्भ युग्म ($A \rightarrow A'$) दिखाती है और निचली पंक्ति इनपुट ($B$) और एक मास्क किया गया लक्ष्य ($B'$) दिखाती है।
• कार्यान्वयन:
  • यह एक प्री-ट्रेंड डिफ्यूजन ट्रांसफॉर्मर (DiT) (विशेष रूप से FLUX.1-Fill-dev) पर आधारित है।
  • उदाहरणों के एक छोटे सेट (प्रति शैली 5–20 युग्म) पर एक हल्का एडॉप्टर फाइन-ट्यून करने के लिए LoRA (Low-Rank Adaptation) का उपयोग करता है।
  • यह पूरी तरह से इमेज स्पेस में काम करता है, जो बिना किसी स्पष्ट ज्यामितीय पर्यवेक्षण या हस्तनिर्मित नियमों के जटिल रूपांतरणों को सीखता है।

3. मुख्य योगदान (Key Contributions)

• स्पष्ट पृथक्करण (Explicit Decoupling): यह पेपर संरचनात्मक अमूर्तिकरण को दृश्य शैलीकरण से स्पष्ट रूप से अलग करने वाला पहला फ्रेमवर्क पेश करता है, जो अमूर्तिकरण को एक अंतर्निहित उपोत्पाद के बजाय एक सीखने योग्य, हस्तांतरणीय प्रक्रिया के रूप में मानता है।
• हिडन बैकबोन प्रतिनिधित्व: एक नवीन मध्यवर्ती प्रतिनिधित्व (कंकाल + क्षरित क्षेत्र) जो उपस्थिति को हटा देता है लेकिन टोपोलॉजिकल संरचना और आनुपातिक आयतन को बनाए रखता है, जो ज्यामितीय पुनर्कल्पना के लिए एक लचीला ढांचा (scaffold) प्रदान करता है।
• विजुअल एनालॉजी ट्रांसफर (VAT): एक सामान्य, पुन: प्रयोज्य इमेज-स्पेस तंत्र जो बिना किसी युग्मित प्रशिक्षण डेटा या ज्यामितीय लेबल के, उदाहरण सेट (औसतन 10 छवियां) से शैली-विशिष्ट रूपांतरणों को सीखता है।
• नियंत्रणीयता (Controllability): A-VAT और S-VAT को अलग करके, यह फ्रेमवर्क हाइब्रिड डिज़ाइन बनाने के लिए विभिन्न अमूर्तिकरण लॉजिक को विभिन्न रेंडरिंग शैलियों के साथ मिलाने की अनुमति देता है।

4. परिणाम और मूल्यांकन (Results and Evaluation)

• गुणात्मक प्रदर्शन (Qualitative Performance): AiS विविध इलस्ट्रेटिव शैलियों (जैसे, स्केच, कार्टून) में सुसंगत शैलीकृत छवियां सफलतापूर्वक उत्पन्न करता है जहाँ ज्यामिति काफी बदली हुई होती है। यह अत्याधुनिक बेसलाइन (StyleID, StyleAlign, Nano Banana Pro, आदि) से बेहतर प्रदर्शन करता है, जो मूल इनपुट ज्यामिति को बनाए रखने की प्रवृत्ति रखते हैं, जिससे कम सुसंगत अमूर्त प्रतिनिधित्व प्राप्त होते हैं।
• मात्रात्मक मेट्रिक्स (Quantitative Metrics):
  • स्टाइल सिमिलैरिटी (CSD): AiS ने बेसलाइन (0.58–0.64) की तुलना में उच्चतम स्कोर (0.72) प्राप्त किया।
  • परसेप्चुअल सिमिलैरिटी (LPIPS): AiS ने सबसे कम स्कोर (0.47) प्राप्त किया, जो संदर्भ शैली की दृश्य विशेषताओं के साथ बेहतर संरेखण को दर्शाता है।
• यूजर स्टडी: 20 परीक्षण मामलों के साथ एक ब्लाइंड इवैल्यूएशन में, Ai-S को 50% उपयोगकर्ताओं द्वारा पसंद किया गया, जो अगले सर्वश्रेष्ठ तरीके (Nano Banana: 35%) से काफी बेहतर है।
• एब्लेशन स्टडीज (Ablation Studies):
  • बैकबोन में क्षरित क्षेत्र के संकेतों (eroded region cues) को हटाने से ज्यामितीय गिरावट आई।
  • दो-चरणीय डिज़ाइन को हटाने (एकल-चरण AS-VAT का उपयोग करने) के परिणामस्वरूप ऐसे आउटपुट मिले जो इनपुट ज्यामिति से बहुत अधिक चिपके रहे, जिससे अमूर्तिकरण तर्क को पकड़ने में विफलता मिली।
  • अमूर्तिकरण चरण को पूरी तरह से हटाने से संदर्भ के दृश्य तर्क को सामान्य करने में विफलता मिली।

5. महत्व (Significance)

AiS का महत्व "उपस्थिति हस्तांतरण" (appearance transfer) से "संरचनात्मक पुनर्व्याख्या" (structural reinterpretation) की ओर इसके प्रतिमान बदलाव (paradigm shift) में निहित है।

• कला और AI के बीच सेतु: यह कंप्यूटर ग्राफिक्स में एक महत्वपूर्ण अंतर को संबोधित करता है जहाँ AI उन उच्च-स्तरीय तर्क को दोहराने में संघर्ष करता है जिसका उपयोग कलाकार रूपों को सरल बनाने और विकृत करने के लिए करते हैं।
• स्केलेबिलिटी: यह विधि बहुत छोटे डेटासेट (few-shot learning) के साथ प्रभावी ढंग से काम करती है, जिससे यह विशिष्ट कलात्मक शैलियों के लिए सुलभ हो जाती है।
• भविष्य की दिशा: यह "नियंत्रित अर्थपूर्ण वार्पिंग" (controlled semantic warping) के लिए भविष्य के कार्यों के लिए एक आधार स्थापित करता है, जो यह सुझाव देता है कि अमूर्तिकरण को उपस्थिति से अलग करना अभिव्यंजक, गैर-यथार्थवादी पीढ़ी प्राप्त करने के लिए आवश्यक है।

संक्षेप में, स्टाइल में अमूर्तिकरण (Abstraction in Style) एक शैली के केवल 'दिखने' के बजाय उसके तर्क का सम्मान करने वाली शैलीकृत छवियां उत्पन्न करने के लिए एक मजबूत समाधान प्रदान करता है, जिससे AI को केवल बनावट वाली तस्वीरें बनाने के बजाय वास्तव में अमूर्त और इलस्ट्रेटिव कला बनाने में सक्षम बनाता है।