SteerFlow: Steering Rectified Flows for Faithful Inversion-Based Image Editing

यहाँ शोध पत्र "SteerFlow: Faithful Inversion-Based Image Editing के लिए Rectified Flows को स्टीयर करना" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र Rectified Flow (RF) मॉडल का उपयोग करके सटीक छवि संपादन (faithful image editing) की चुनौती को संबोधित करता है। लक्ष्य एक नए टेक्स्ट प्रॉम्प्ट के आधार पर स्रोत छवि (source image) को संपादित करना है, जबकि मूल छवि की संरचना, पोज़ और पृष्ठभूमि को सख्ती से संरक्षित करना है।

मौजूदा इनवर्जन-आधारित विधियाँ (जो एक छवि को लेटेंट नॉइज़ वेक्टर में मैप करती हैं और उसे पुन: उत्पन्न करती हैं) दो प्राथमिक समस्याओं से जूझती हैं जो स्रोत निष्ठा (source fidelity) को कम करती हैं:

1. इनवर्जन त्रुटि (Inversion Error): फॉरवर्ड इनवर्जन प्रक्रिया के दौरान ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) के विवेकीकरण (discretization) से ट्रंकेशन त्रुटियाँ आती हैं। यह फॉरवर्ड प्रक्षेपवक्र (इनवर्जन) और बैकवर्ड प्रक्षेपवक्र (जेनरेशन) के बीच बेमेल पैदा करता है, जिससे स्रोत छवि का अपूर्ण पुनर्निर्माण होता है।
2. प्रक्षेपवक्र विचलन (Trajectory Divergence): एक आदर्श लेटेंट के साथ भी, लक्षित (target) छवि को उत्पन्न करने के लिए आवश्यक वेग क्षेत्र (velocity fields), स्रोत के पुनर्निर्माण के लिए आवश्यक वेग से भिन्न होते हैं। इसके कारण संपादन प्रक्षेपवक्र मूल संरचना से दूर भटक जाता है, जिससे ओवर-एडिटिंग या बैकग्राउंड विवरणों का नुकसान होता है।

वर्तमान समाधान इन्हें निम्नलिखित माध्यमों से ठीक करने का प्रयास करते हैं:

• उच्च-क्रम सॉल्वर (Higher-order solvers): त्रुटि को कम करते हैं लेकिन कम्प्यूटेशनल लागत (NFEs) को दोगुना कर देते हैं।
• ट्रंकेटेड इनवर्जन (Truncated inversion): संरचना को बनाए रखने के लिए फॉरवर्ड प्रक्रिया को जल्दी रोक देता है, लेकिन यह एक ह्यूरिस्टिक (heuristic) तरीका है, जो ट्रंकेशन पॉइंट के प्रति संवेदनशील है और संपादन क्षमता को सीमित करता है (अंडर-एडिटिंग)।
• फीचर इंजेक्शन (Feature injection): ह्यूरिस्टिक रूप से अटेंशन मैप्स को इंजेक्ट करता है, लेकिन इसमें आर्किटेक्चरल ट्रांसफर क्षमता की कमी है और इसके लिए मैनुअल ट्यूनिंग की आवश्यकता होती है।

2. कार्यप्रणाली: SteerFlow

SteerFlow एक मॉडल-अज्ञेयवादी (model-agnostic) फ्रेमवर्क है जो स्रोत निष्ठा पर सैद्धांतिक गारंटी प्रदान करता है। यह दो मुख्य चरणों में कार्य करता है:

A. फॉरवर्ड प्रक्रिया: एमोर्टाइज्ड फिक्स्ड-पॉइंट (AFP) सॉल्वर

इनवर्जन त्रुटि को न्यूनतम करने के लिए, SteerFlow वेग निरंतरता (velocity consistency) को लागू करके फॉरवर्ड प्रक्षेपवक्र को "सीधा" करने का लक्ष्य रखता है।

• तंत्र (Mechanism): मानक यूलर स्टेप्स के बजाय, यह एक वेग $v^*_i$ के लिए समाधान करता है जो एक निहित फिक्स्ड-पॉइंट स्थिति को संतुष्ट करता है: $v^*_i = v_\theta(Z_{t_i} + \Delta t \cdot v^*_i, t_{i+1})$।
• एमोर्टाइजेशन (Amortization): प्रत्येक टाइमस्टेप के लिए इसे पुनरावृत्त रूप से हल करना महंगा है। लेखक देखते हैं कि यदि प्रत्येक चरण पर रिफाइन किया जाता है, तो "लक्ष्य" वेग बदल जाता है ("मूविंग टारगेट" समस्या)।
• समाधान: वे प्रारंभिक वेग बेमेल को सख्ती से कम करने के लिए केवल पहले टाइमस्टेप पर $K$ पुनरावृत्तियों को लागू करते हैं। सभी आगामी टाइमस्टेप्स के लिए, वे पिछले चरण के वेग का उपयोग "वार्म स्टार्ट" के रूप में करते हुए एक एकल इटरेशन करते हैं।
• लाभ: यह न्यूनतम कम्प्यूटेशनल ओवरहेड (केवल $K-1$ अतिरिक्त NFEs) के साथ फॉरवर्ड-बैकवर्ड वेग बेमेल को काफी कम कर देता है, जिससे एक उच्च-निष्ठा वाला इनवर्टेड लेटेंट प्राप्त होता है।

B. बैकवर्ड प्रक्रिया: प्रक्षेपवक्र इंटरपोलेशन (Trajectory Interpolation)

जेनरेशन के दौरान प्रक्षेपवर्क विचलन को रोकने के लिए, SteerFlow हार्ड ट्रंकेशन या फीचर इंजेक्शन से बचता है।

• तंत्र (Mechanism): यह लक्ष्य-कंडीशन्ड वेग ($V^{tar}$) और स्रोत-पुनर्निर्माण वेग ($V^{src}$) को अनुकूल रूप से मिश्रित करके संपादन वेग का निर्माण करता है।
  $$V^{edit}_t = V^{src}_t + \alpha_t \cdot (V^{tar}_t - V^{src}_t)$$
• अनुकूलन योग्य शेड्यूलर ($\alpha_t$): ब्लेंडिंग फैक्टर $\alpha_t$ स्थिर नहीं है। इसे इस प्रकार परिभाषित किया गया है:
  $$\alpha_t = \text{CosSim}(V^{src}_t, V^{tar}_t) \cdot (1 - t^\gamma)$$
  • टाइम डिके (Time Decay): जेनरेशन प्रक्रिया की शुरुआत में ($t \approx 1$), $\alpha_t$ कम होता है, जो संरचना को बनाए रखने के लिए प्रक्षेपवक्र को स्रोत से बांधे रखता है। जैसे-जैसे $t \to 0$ होता है, $\alpha_t$ बढ़ता है, जिससे छवि को लक्षित प्रॉम्प्ट का पालन करने की अनुमति मिलती है।
  • दिशात्मक जागरूकता (Directional Awareness): कोसाइन सिमिलैरिटी टर्म यह सुनिश्चित करता है कि यदि लक्ष्य वेग स्रोत के साथ संरेखित है (संरचनात्मक रूप से सुरक्षित), तो संपादन की अनुमति दी जाती है; यदि वे विचलित होते हैं, तो स्रोत एंकर को मजबूत किया जाता है।
• सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि यह इंटरपोलेशन एडिटिंग एरर बाउंड को $\alpha \cdot \mathcal{B}^{tar}_0$ तक कम कर देता है, जो मानक यूलर इंटीग्रेशन की तुलना में टाइट बाउंड सुनिश्चित करता है।

C. एडेप्टिव मास्किंग मैकेनिज्म (Adaptive Masking Mechanism)

"एडिटिंग लीकेज" (जहाँ बैकग्राउंड अनजाने में बदल जाता है) को संबोधित करने के लिए, SteerFlow एक स्थानिक बाधा (spatial constraint) पेश करता है।

• बेस मास्क: स्रोत एडिटिंग टोकन द्वारा निर्देशित SAM3 (सेगमेंट एनीथिंग मॉडल 3) का उपयोग करके एक प्रारंभिक मास्क बनाता है।
• रिफाइनमेंट: चूंकि SAM3 मास्क बहुत अधिक प्रतिबंधात्मक हो सकते हैं, SteerFlow वेग अंतर ($\Delta V = V^{tar} - V^{src}$) का उपयोग करके मास्क को परिष्कृत करता है।
• प्रक्रिया: वेग अंतर को नॉर्मलाइज़ किया जाता है और मॉर्फोलॉजिकल ऑपरेशंस के माध्यम से SAM3 मास्क के साथ जोड़ा जाता है। यह एक गतिशील मास्क बनाता है जो आवश्यक संरचनात्मक परिवर्तनों के लिए फैलता है, जबकि बैकग्राउंड में एडिटिंग वेग को सख्ती से नियंत्रित करता है।

3. प्रमुख योगदान

1. सैद्धांतिक विश्लेषण (Theoretical Analysis): इनवर्जन एरर और प्रक्षेपवक्र विचलन के लिए एरर बाउंड का औपचारिक व्युत्पन्न, जो प्रस्तावित फ्रेमवर्क के लिए गणितीय प्रेरणा स्थापित करता है।
2. SteerFlow फ्रेमवर्क:
   • AFP सॉल्वर: एक कुशल, एमोर्टाइज्ड फिक्स्ड-पॉइंट सॉल्वर जो फॉरवर्ड प्रक्षेपवक्र को अंतर्निहित रूप से सीधा करता है, जिससे बिना NFEs को दोगुना किए इनवर्जन एरर कम होता है।
   • प्रक्षेपवक्र इंटरपोलेशन: एक सिद्धांत-आधारित बैकवर्ड प्रक्रिया जो प्रक्षेपवक्र को स्रोत के साथ अनुकूल रूप से बांधती है, जिससे ड्रिफ्ट कम होता है।
   • एडेप्टिव मास्किंग: सटीक लोकलाइजेशन के लिए कॉन्सेप्ट-गाइडेड सेगमेंटेशन और वेलोसिटी-ड्रिवन रिफाइनमेंट को जोड़ने वाला एक तंत्र।
3. मल्टी-टर्न एडिटिंग (Multi-Turn Editing): फ्रेमवर्क प्रत्येक टर्न पर स्रोत प्रक्षेपवक्र को अपडेट करके जटिल, मल्टी-टर्न एडिटिंग प्रतिमानों में स्वाभाविक रूप से विस्तारित होता है, जिससे ड्रिफ्ट जमा नहीं होता है।

4. प्रयोगात्मक परिणाम

लेखकों ने PIE-Bench डेटासेट का उपयोग करके FLUX.1-dev और Stable Diffusion 3.5 Medium पर SteerFlow का मूल्यांकन किया।

• मात्रात्मक प्रदर्शन (Quantitative Performance):
  • SteerFlow ने सोर्स प्रिजर्वेशन (DinoDist, LPIPS, SSIM) और टारगेट अलाइनमेंट (CLIP, ImageReward) दोनों में सर्वश्रेष्ठ समग्र रैंकिंग हासिल की।
  • इसने स्टेट-ऑफ-द-आर्ट इनवर्जन-आधारित विधियों (UniEdit, FireFlow, RF-Solver) और इनवर्जन-मुक्त विधियों (FlowEdit, FlowAlign) को पछाड़ दिया।
  • विशेष रूप से, इसने UniEdit (जो अक्सर अंडर-एडिट करता है) और FireFlow (जो अक्सर ओवर-एडिट करता है) की तुलना में सोर्स प्रिजर्वेशन और एडिटेबिलिटी के बीच बेहतर संतुलन बनाया।
• छवि पुनर्निर्माण (Image Reconstruction): SteerFlow ने मजबूत क्रॉस-आर्किटेक्चर ट्रांसफर क्षमता प्रदर्शित की, पुनर्निर्माण कार्यों पर दोनों मॉडलों पर लगातार उच्च (दूसरा स्थान) रैंक किया, जो AFP सॉल्वर की प्रभावकारिता को सिद्ध करता है।
• गुणात्मक परिणाम (Qualitative Results): विजुअल तुलनाओं ने दिखाया कि SteerFlow जटिल संरचनाओं (पोज़, फर्नीचर, बैकग्राउंड) को सफलतापूर्वक संरक्षित करते हुए लक्षित प्रॉम्प्ट को सटीक रूप से लागू करता है, जबकि बेसलाइन विधियां संरचनात्मक पतन या बैकग्राउंड आर्टिफैक्ट्स से जूझती हैं।
• मल्टी-टर्न एडिटिंग: बिना संचयी ड्रिफ्ट के क्रमिक संपादन (जैसे: ऑब्जेक्ट बदलें -> एट्रीब्यूट बदलें -> ऑब्जेक्ट जोड़ें) करने की क्षमता का प्रदर्शन किया।

5. महत्व

SteerFlow हेयुरिस्टिक-आधारित संपादन (मैनुअल ट्रंकेशन या फीचर इंजेक्शन पर निर्भर) से सिद्धांत-संचालित (theory-driven) संपादन की ओर एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है।

• दक्षता (Efficiency): यह उच्च-क्रम सॉल्वरों की कम्प्यूटेशनल पेनल्टी के बिना बेहतर निष्ठा प्राप्त करता है।
• सामान्यीकरण (Generalizability): मॉडल-अज्ञेयवादी होने के नाते, यह विभिन्न Rectified Flow आर्किटेक्चर (FLUX, SD3.5) में प्रभावी ढंग से काम करता है।
• मजबूती (Robustness): यह प्रक्षेपवक्र विचलन की मौलिक समस्या को हल करता है, जिससे विश्वसनीय मल्टी-टर्न एडिटिंग संभव होती है, जो रचनात्मक वर्कफ़्लो के लिए महत्वपूर्ण है।
• सैद्धांतिक आधार (Theoretical Grounding): एरर बाउंड प्रदान करके और अभिसरण गुणों (convergence properties) को सिद्ध करके, यह फ्लो-आधारित इमेज एडिटिंग के लिए एक कठोर आधार प्रदान करता है।