तकनीकी सारांश: DivRL – विविध विषय-संचालित पीढ़ी के लिए विलगित स्व-समानता पुरस्कार (Disentangled Self-Similarity Rewards)

1. समस्या विवरण: पहचान-विविधता विरोधाभास (The Identity-Diversity Paradox)

विषय-संचालित छवि पीढ़ी (Subject-driven image generation) का लक्ष्य एक विशिष्ट विषय की दृश्य पहचान को विविध संदर्भों, मुद्राओं (poses), और शैलियों में सुरक्षित रखते हुए उसके नवीन चित्र संश्लेषित करना है। हाल के डिफ्यूजन-आधारित मॉडलों की सटीकता के बावजूद, एक मौलिक तनाव मौजूद है जिसे "पहचान-विविधता विरोधाभास" कहा जाता है।

• संघर्ष: जो मॉडल पहचान संरक्षण (identity preservation) को कड़ाई से लागू करते हैं, वे अक्सर संदर्भ के लगभग समान चित्र बनाने में सिमट जाते हैं, जिससे मुद्रा, दृष्टिकोण (viewpoints) और भाव कठोर हो जाते हैं। इसके विपरीत, जो विधियाँ संरचनात्मक विविधता (structural diversity) को प्रोत्साहित करती हैं, वे अक्सर "पहचान विचलन" (identity drift) से ग्रस्त होती हैं, जहाँ उत्पन्न विषय अपनी परिभाषित विशेषताओं को खो देता है।
• मूल कारण: यह विरोधाभास इसलिए उत्पन्न होता है क्योंकि पहचान-निर्धारित दृश्य गुण संदर्भ छवि में स्थानिक संरचना (spatial structure) के साथ उलझ (entangled) जाते हैं। जब मॉडल पहचान बनाए रखने का प्रयास करते हैं, तो वे अनजाने में उलझी हुई संरचनात्मक जानकारी को भी संरक्षित कर देते हैं, जिससे विविधता कम हो जाती है। जब वे संरचना बदलने का प्रयास करते हैं, तो वे पहचान-निर्धारित गुणों को बदलने का जोखिम उठाते हैं।
• वर्तमान पुरस्कारों की सीमाएं: मौजूदा पहचान-आधारित पुरस्कार अक्सर संरचनात्मक नकल (structural mimicry) को प्रोत्साहित करते हैं, क्योंकि मॉडल संदर्भ की सटीक स्थानिक व्यवस्था को पुनरुत्पादित करके पहचान स्कोर को अधिकतम कर सकते हैं, बजाय इसके कि वे नवीन, पहचान-संगत विविधताओं का पता लगाएं।

2. कार्यप्रणाली: DivRL ढांचा (DivRL Framework)

लेखक DivRL प्रस्तावित करते हैं, जो एक सुदृढीकरण शिक्षण (Reinforcement Learning, विशेष रूप से Flow-GRPO) पर आधारित पोस्ट-ट्रेनिंग ढांचा है जो पहचान निरंतरता (identity consistency) और संरचनात्मक विविधता को संयुक्त रूप से अनुकूलित करता है। मुख्य नवाचार विशिष्ट पुरस्कार डिजाइनों और एक "एक्सप्लोर-एंड-सप्रेस" (Explore-and-Suppress) अनुकूलन रणनीति के माध्यम से इन उद्देश्यों को विलगित (disentangle) करने में निहित है।

2.1 पुरस्कार डिजाइन (Reward Design)

यह ढांचा दो अलग-अलग पुरस्कार संकेतों का उपयोग करता है जो विलगित दृश्य विशेषताओं (विशेष रूप से एक मजबूत समानता मॉडल से MTG दृश्य विशेषताओं का उपयोग करके) से प्राप्त होते हैं:

1. पहचान निरंतरता के लिए विजुअल सिमेंटिक मैचिंग (VSM):

   • VSM संदर्भ और उत्पन्न छवियों के बीच सिमेंटिक और विजुअल समानता मैट्रिक्स की गणना करके पहचान संरक्षण का मूल्यांकन करता है।
   • यह सिमेंटिक रूप से सुसंगत क्षेत्रों की पहचान करता है (जहाँ सिमेंटिक समानता $\tau_s$ थ्रेशोल्ड से अधिक है) और उन क्षेत्रों के भीतर विजुअल निरंतरता का आकलन करता है।
   • उच्च VSM स्कोर का अर्थ है विभिन्न स्थितियों के तहत विषय की पहचान का बेहतर संरक्षण।

2. संरचनात्मक विविधता के लिए नेगेटिव सेल्फ-सिमिलैरिटी मेजर (nSSM):

   • ग्लोबल फीचर डिफरेंस मेट्रिक्स के विपरीत, nSSM विजुअल फीचर्स के आंतरिक संबंधों का विश्लेषण करके विविधता को मापता है।
   • यह दोनों (संदर्भ और उत्पन्न) छवियों के विजुअल फीचर ग्रिड के लिए सेल्फ-सिमिलैरिटी मैट्रिक्स (SSM) की गणना करता है। ये मैट्रिक्स वस्तु के भागों के अंतर्निहित स्थानिक संगठन को कैप्चर करते हैं।
   • nSSM को $1 - \rho$ के रूप में परिभाषित किया गया है, जहाँ $\rho$ संदर्भ और उत्पन्न छवियों के SSM के बीच पियर्सन सहसंबंध गुणांक (Pearson correlation coefficient) है।
   • तर्क: उच्च सहसंबंध समान संरचनात्मक लेआउट (कम विविधता) को दर्शाता है, जबकि कम सहसंबंध विविध संरचनात्मक संदर्भों (जैसे, अलग मुद्रा या दृष्टिकोण) के अनुरूप होता है। nSSM को अधिकतम करना मॉडल को संरचनात्मक रूप से भिन्न कॉन्फ़िगरेशन का पता लगाने के लिए प्रोत्साहित करता है।
   • स्थिरीकरण (Stabilization): हाई-फ्रीक्वेंसी टेक्सचरल आर्टिफैक्ट्स (जो रिवॉर्ड हैकिंग का एक रूप है जहाँ मॉडल वैश्विक संरचना को बदले बिना स्थानीय सहसंबंधों की नकल करता है) को रोकने के लिए, SSM की गणना करने से पहले विजुअल फीचर्स को $2\times2$ एवरेज पूलिंग के माध्यम से डाउनसैंपल किया जाता है।

2.2 अनुकूलन रणनीति: "एक्सप्लोर-एंड-सप्रेस" (Explore-and-Suppress)

रैखिक वेटिंग (linear weighting) के माध्यम से दोनों उद्देश्यों को सीधे एक साथ अनुकूलित करना अस्थिर प्रशिक्षण और रिवॉर्ड हैकिंग की ओर ले जाता है। इसके बजाय, DivRL एक दो-चरणीय गेटेड ऑप्टिमाइजेशन रणनीति का उपयोग करता है:

• चरण 1 (एक्सप्लोर - Explore): मॉडल को केवल nSSM का उपयोग करके प्रशिक्षित किया जाता है। यह मॉडल को लेटेंट स्पेस को स्वतंत्र रूप से एक्सप्लोर करने और संरचनात्मक रूप से विविध कॉन्फ़िगरेशन उत्पन्न करने के लिए प्रोत्साहित करता है, जिससे प्री-ट्रेंड मॉडल की कठोरता टूटती है।
• चरण 2 (सप्रेस - Suppress): मॉडल को एक गेटेड रिवॉर्ड फॉर्मूलेशन का उपयोग करके प्रशिक्षित किया जाता है।
  • VSM एक बाधा (gate) के रूप में कार्य करता है।
  • यदि किसी सैंपल का VSM स्कोर $s$ से ऊपर है, तो उसे nSSM रिवॉर्ड मिलता है।
  • यदि VSM स्कोर $s$ से नीचे गिर जाता है, तो एक क्वाड्रेटिक हिंज लॉस पेनल्टी (quadratic hinge loss penalty) लागू की जाती है: $R = \text{nSSM} - \lambda(s - \text{VSM})^2$।
  • प्रभाव: यह पहचान संरक्षण को एक प्रतिस्पर्धी उद्देश्य के बजाय एक व्यवहार्यता बाधा (feasibility constraint) में बदल देता है। मॉडल विविध संरचनाओं का पता लगाने के लिए स्वतंत्र है जब तक कि वे पहचान-संगत क्षेत्र के भीतर रहती हैं। यह अनुकूलन को डिकपल करता है, जिससे nSSM और VSM दोनों को एक-दूसरे के ग्रेडिएंट्स द्वारा नष्ट हुए बिना संयुक्त रूप से सुधारने की अनुमति मिलती है।

3. मुख्य योगदान (Key Contributions)

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

1. nSSM मेट्रिक: नेगेटिव सेल्फ-सिमिलैरिटी मेजर का परिचय, जो एक फीचर-स्पेस मेट्रिक है जो ग्लोबल फीचर अंतरों के बजाय विलगित विजुअल फीचर्स के सेल्फ-सिमिलैरिटी सहसंबंधों का विश्लेषण करके संरचनात्मक विविधता को मापता है।
2. एक्सप्लोर-एंड-सप्रेस रणनीति: एक नवीन अनुकूलन दृष्टिकोण जो गेटेड रिवॉर्ड फॉर्मूलेशन का उपयोग करके विविधता अन्वेषण (diversity exploration) को पहचान संरक्षण से अलग करता है, प्रभावी रूप से पहचान संरक्षण को एक प्रतिस्पर्धी उद्देश्य के बजाय एक बाधा में बदल देता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): Flux-Kontext बैकबोन का उपयोग करके DreamBench++ बेंचमार्क पर प्रदर्शन, जो दिखाता है कि विधि पहचान निरंतरता बनाए रखते हुए संरचनात्मक विविधता में सुधार करती है। लेखक नोट करते हैं कि nSSM फॉर्मूलेशन और दो-चरणीय अनुकूलन बैकबोन-अज्ञेय (backbone-agnostic) है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन Flux-IP-Adapter, OmniGen, OmniGen2, UNO, और PaCo-RL सहित मजबूत बेसलाइन्स के विरुद्ध DreamBench++ बेंचमार्क पर किया गया।

• मात्रात्मक प्रदर्शन (Quantitative Performance):

  • संतुलन: DivRL, बेसलाइन्स की तुलना में पहचान निरंतरता और संरचनात्मक विविधता के बीच एक बेहतर संतुलन प्राप्त करता है। जबकि केवल VSM के लिए अनुकूलन करने से निरंतरता सुधरती है लेकिन विविधता घटती है, और केवल nSSM के लिए अनुकूलित करने से विविधता सुधरती है लेकिन निरंतरता घटती है, संयुक्त दृष्टिकोण उच्च निरंतरता (Flux-Kontext के तुल्य) बनाए रखते हुए विविधता मेट्रिक्स (MTG-nSSM, DINO-nSSM) को महत्वपूर्ण रूप से बढ़ाता है।
  • प्रॉम्प्ट फॉलोइंग (Prompt Following): दिलचस्प रूप से, यह विधि प्रॉम्प्ट एलाइनमेंट में सुधार करती है। लेखक इसका श्रेय प्री-ट्रेनिंग द्वारा प्रेरित "ज्यामितीय कठोरता" (geometric rigidity) के शिथिलन को देते हैं; संरचनात्मक विविधता को प्रोत्साहित करके, मॉडल विषय को प्रासंगिक प्रॉम्प्ट निर्देशों के प्रति अधिक प्रभावी ढंग से अनुकूलित करता है।
  • निरंतरता बनाम विविधता ट्रेड-ऑफ: कंसिस्टेंसी रेशियो बनाम डायवर्सिटी-ओवर-कंसिस्टेंसी के प्लॉट्स दिखाते हैं कि DivRL उस उच्च-उपयोगिता क्षेत्र को भरता है जहाँ दोनों उद्देश्य सह-अस्तित्व में हैं, जो रैखिक रिवॉर्ड संयोजनों से बेहतर प्रदर्शन करता है जो दोनों को एक साथ सुधारने में विफल रहते हैं।

• गुणात्मक अवलोकन (Qualitative Observations):

  • Flux-Kontext और PaCo-RL जैसे बेसलाइन अक्सर कठोर आउटपुट देते हैं या प्रॉम्प्ट इंटरैक्शन का पालन करने में विफल रहते हैं (जैसे, विषय को एक विशिष्ट दृश्य में रखने में विफल होना)।
  • अन्य मॉडल (जैसे, OmniGen) विविध आउटपुट उत्पन्न करते हैं लेकिन पहचान विचलन (identity drift) से ग्रस्त होते हैं।
  • DivRL संदर्भ विषय के सूक्ष्म दृश्य विवरणों को सुरक्षित रखते हुए विविध मुद्राओं, दृष्टिकोणों और भावों के साथ छवियां सफलतापूर्वक उत्पन्न करता है।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व:
पेपर मौजूदा विषय-संचालित पीढ़ी विधियों में स्ट्रक्चरल मिमिक्री को एक महत्वपूर्ण विफलता मोड के रूप में पहचानता है। संरचनात्मक विविधता को पहचान संरक्षण से स्पष्ट रूप से अलग करके, DivRL 'पहचान-विविधता विरोधाभास' को हल करता है। "एक्सप्लोर-एंड-सप्रेस" रणनीति यह प्रदर्शित करती है कि पहचान को प्रतिस्पर्धी उद्देश्य के बजाय एक व्यवहार्यता बाधा के रूप में मानने से मॉडल उन उच्च-गुणवत्ता वाले लेटेंट स्पेस का पता लगा सकते हैं जहाँ पहचान और नवीनता सह-अस्तित्व में हैं।

सीमाएं:
लेखक विनम्रतापूर्वक कुछ बाधाओं को स्वीकार करते हैं:

• मेट्रिक स्कोप: विविधता मेट्रिक (nSSM) संरचनात्मक विविधताओं (मुद्रा, दृष्टिकोण) पर केंद्रित है और उच्च-स्तरीय सिमेंटिक विविधता या जटिल संरचनात्मक परिवर्तनों को पूरी तरह से कैप्चर नहीं कर सकता है।
• कंप्यूटेशनल लागत: पोस्ट-ट्रेनिंग के लिए सुदृढीकरण शिक्षण (Reinforcement Learning) पर निर्भरता विशुद्ध रूप से फीड-फॉरवर्ड विधियों की तुलना में अतिरिक्त कंप्यूटेशनल ओवरहेड पेश करती है।
• इनपुट बाधाएं: बेस मॉडल (Flux-Kontext) एक एकल संदर्भ छवि स्वीकार करता है, जो तब प्रभावशीलता को सीमित कर सकता है जब संदर्भ में अस्पष्ट पहचान संकेत या जटिल अवरोध (occlusions) हों।

पेपर निष्कर्ष निकालता है कि भविष्य का कार्य समृद्ध विविधता मेट्रिक्स, अधिक कुशल अनुकूलन रणनीतियों और मल्टी-रेफरेंस कंडीशनिंग के माध्यम से इन सीमाओं को संबोधित कर सकता है।