🤖 AI

DIAMOND: Directed Inference for Artifact Mitigation in Flow Matching Models

यह शोधपत्र DIAMOND को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free), ज़ीरो-शॉट विधि है जो मॉडल के भार (weights) में संशोधन की आवश्यकता के बिना, जनरेशन को समस्याग्रस्त लेटेंट अवस्थाओं से सक्रिय रूप से दूर ले जाने के लिए इन्फरेंस के दौरान ट्रजेक्टरी सुधार (trajectory correction) लागू करके फ्लो मैचिंग और डिफ्यूजन मॉडल्स में दृश्य और शारीरिक विसंगतियों (visual and anatomical artifacts) को कम करता है।

मूल लेखक: Alicja Polowczyk, Agnieszka Polowczyk, Piotr Borycki, Joanna Waczyńska, Jacek Tabor, Przemysław Spurek

प्रकाशित 2026-02-03

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Alicja Polowczyk, Agnieszka Polowczyk, Piotr Borycki, Joanna Waczyńska, Jacek Tabor, Przemysław Spurek

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ (AI मॉडल) को आपके द्वारा दी गई रेसिपी (आपका टेक्स्ट प्रॉम्प्ट) के आधार पर एक बेहतरीन भोजन बनाने के लिए काम पर रख रहे हैं। शेफ अविश्वसनीय रूप से प्रतिभाशाली है और सुंदर व्यंजन बना सकता है, लेकिन कभी-कभी, खाना बनाते समय, वे गलती से कोई अजीब सामग्री मिला देते हैं—जैसे पिज्जा पर छह उंगलियों वाला हाथ या सूप में तैरता हुआ चम्मच। ये वे "आर्टिफैक्ट्स" (artifacts) हैं जिनके बारे में पेपर बात करता है।

आमतौर पर, यदि आपको एक खराब व्यंजन मिलता है, तो आपके पास दो विकल्प होते हैं:

किचन में वापस भेजें और शेफ को फिर से खाना सीखना सिखाने के लिए कहें (मॉडल को रिट्रेन करना)। इसमें बहुत समय लगता है और यह महंगा है।
इंतजार करें जब तक कि व्यंजन परोसा न जाए, फिर चिमटी (tweezers) से खराब हिस्सों को निकालने की कोशिश करें (पोस्ट-प्रोसेसिंग)। यह अस्त-व्यस्त है और अक्सर पूरे भोजन को खराब कर देता है।

DIAMOND इस समस्या को ठीक करने का एक नया, चतुर तरीका है जबकि शेफ अभी भी खाना बना रहा है, बिना उन्हें फिर से प्रशिक्षित किए या अंतिम प्लेट को छेड़े।

मुख्य विचार: "क्रिस्टल बॉल" चेक

यह पेपर एक विधि प्रस्तावित करता है जिसे DIAMOND (डायरेक्टेड इन्फरेंस फॉर आर्टिफैक्ट मिटिगेशन) कहा जाता है। यह कैसे काम करता है, यहाँ सरल उपमा (analogy) का उपयोग करके चरण-दर-चरण दिया गया है:

1. शेफ की प्रक्रिया (द ट्रजेक्टरी)
कल्पना कीजिए कि शेफ शोर (पुराने टीवी पर स्टैटिक) के एक खाली कैनवास से शुरू करता है और धीरे-धीरे इसे एक स्पष्ट छवि में बदल देता है। यह कई छोटे चरणों में होता है, जैसे रेडियो का डायल घुमाना जब तक कि संगीत स्पष्ट न हो जाए।

समस्या: कभी-कभी, 100 में से 50वें स्टेप पर, इमेज थोड़ी अजीब दिखने लगती है (शायद एक हाथ विकृत दिखता है)। यदि शेफ अंधे होकर आगे बढ़ता रहता है, तो अंतिम इमेज में वह विकृति होगी।

2. "क्रिस्टल बॉल" (द क्लीन एस्टीमेट)
अधिकांश विधियाँ इमेज को तब ठीक करने की कोशिश करती हैं जब वह अभी भी धुंधली और शोर भरी होती है। लेकिन पेपर का तर्क है कि एक धुंधली तस्वीर में गलती पहचानना कठिन है।

DIAMOND की ट्रिक: खाना बनाने की प्रक्रिया के हर एक स्टेप पर, सिस्टम तुरंत अंदाजा लगाता है कि यदि शेफ अभी रुक जाए और इसे पूरा कर दे, तो अंतिम, साफ व्यंजन कैसा दिखेगा।
यह इस "अंदाजे" को लेता है और इसे एक क्वालिटी इंस्पेक्टर (जिसे आर्टिफैक्ट डिटेक्टर कहा जाता है) को दिखाता है।

3. इंस्पेक्टर का हल्का सा धक्का (ग्रेडिएंट करेक्शन)
क्वालिटी इंस्पेक्टर उस "अंदाजे" को देखता है और कहता है, "हे, वह हाथ छह उंगलियों वाला लग रहा है!" या "वह शब्द गलत स्पेलिंग वाला है।"

अंत तक इंतजार करने के बजाय, सिस्टम तुरंत शेफ को एक हल्का सा धक्का (nudge) देता है।
कल्पना कीजिए कि शेफ इमेज बनाने के लिए एक रास्ते पर चल रहा है। यदि रास्ता एक "छह-उंगलियों वाले" आपदा की ओर जाता है, तो सिस्टम शेफ को उस रास्ते से थोड़ा हटाकर "पांच-उंगलियों वाले" रास्ते की ओर धकेलता है।
यह तुरंत, स्टेप-दर-स्टेप होता है, जो शेफ को गलतियों के स्थायी होने से पहले ही उनसे दूर ले जाता है।

यह विशेष क्यों है?

पेपर तीन मुख्य कारणों पर प्रकाश डालता है कि यह दृष्टिकोण पिछले तरीकों से बेहतर क्यों है:

कोई री-ट्रेनिंग आवश्यक नहीं: आपको शेफ को खाना बनाने का नया तरीका सिखाने की आवश्यकता नहीं है। आप बस उन्हें काम करते समय थोड़ा अतिरिक्त मार्गदर्शन देते हैं। यह "आउट ऑफ द बॉक्स" (जीरो-शॉट) काम करता है।
यह सटीक है: क्योंकि सिस्टम "धुंधले शोर" के बजाय "साफ अंदाजे" की जांच करता है, इसलिए इंस्पेक्टर गलतियों को बहुत पहले और अधिक सटीकता से पहचान सकता है।
यह हर जगह काम करता है: पेपर ने अलग-अलग प्रकार के "शेफ" (FLUX और Stable Diffusion जैसे AI मॉडल) पर इसका परीक्षण किया और पाया कि यह सभी के लिए काम करता है, जिससे अजीब त्रुटियां जैसे अतिरिक्त उंगलियां या विकृत टेक्स्ट काफी कम हो जाते हैं।

परिणाम

अपने परीक्षणों में, पेपर दिखाता है कि बिना DIAMOND के, मॉडल अक्सर कुछ कठिन कार्यों (जैसे हाथ बनाना या शब्द लिखना) पर 100% समय आर्टिफैक्ट्स वाली इमेज बनाते हैं। DIAMOND के साथ, उन्होंने इन त्रुटियों को कुछ मामलों में 10% से भी कम कर दिया, जबकि इमेज को बिल्कुल वैसा ही रखा जैसा उपयोगकर्ता ने मांगा था।

संक्षेप में: DIAMOND एक स्मार्ट असिस्टेंट की तरह है जो AI कलाकार के बगल में खड़ा है, फुसफुसाते हुए, "रुको, यह गलत लग रहा है, चलो अभी ब्रशस्ट्रोक को एडजस्ट करते हैं," यह सुनिश्चित करते हुए कि अंतिम चित्र एकदम सही हो, बिना कलाकार को निकाल दिए या नया काम पर रखे।

तकनीकी सारांश: DIAMOND – फ्लो मैचिंग मॉडल्स में आर्टिफैक्ट मिटिगेशन के लिए निर्देशित अनुमान (Directed Inference for Artifact Mitigation in Flow Matching Models)

समस्या विवरण (Problem Statement)
हाल के टेक्स्ट-टू-इमेज मॉडल्स, विशेष रूप से रेक्टिफाइड फ्लो आर्किटेक्चर (जैसे FLUX.2) और डिफ्यूजन मॉडल्स (जैसे SDXL) पर आधारित मॉडल्स की उच्च निष्ठा (high fidelity) के बावजूद, उत्पन्न छवियों में अक्सर संरचनात्मक और शारीरिक आर्टिफैक्ट्स (structural and anatomical artifacts) दिखाई देते हैं। इनमें विकृत हाथ, अतिरिक्त अंग, बिगड़े हुए चेहरे और गलत टेक्स्ट शामिल हैं। मौजूदा शमन रणनीतियाँ (mitigation strategies) महत्वपूर्ण सीमाओं से ग्रस्त हैं:

पोस्ट-हॉक रिफाइनमेंट (Post-hoc refinement): वे विधियाँ जो जनरेशन के बाद छवियों को ठीक करती हैं, अक्सर मुख्य निर्माण प्रक्रिया के दौरान हस्तक्षेप करने में विफल रहती हैं।
आक्रामक संशोधन (Invasive modifications): ऐसी तकनीकें जिनमें मॉडल फाइन-ट्यूनिंग या LoRA वेट्स की आवश्यकता होती है, वे गणनात्मक रूप से महंगी हैं, स्केल करने में कठिन हैं, और आधुनिक आर्किटेक्चर के लिए सार्वजनिक रूप से उपलब्ध वेट्स की कमी रहती है।
अनुमानी सीमाएँ (Heuristic limitations): रियल-टाइम डिटेक्शन विधियाँ अक्सर अनुमानी थ्रेशोल्ड (heuristic thresholds) या रैंडम लेटेंट रिप्लेसमेंट पर निर्भर करती हैं, जिससे गलत लोकलाइजेशन या उप-इष्टतम सुधार होता है।

कार्यप्रणाली (Methodology)
लेखक DIAMOND (फ्लो मैचिंग मॉडल्स में आर्टिफैक्ट मिटिगेशन के लिए निर्देशित अनुमान) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री, ज़ीरो-शॉट फ्रेमवर्क है जो मॉडल वेट्स को संशोधित किए बिना इन्फरेंस ट्राजेक्टरी के दौरान आर्टिफैक्ट्स को ठीक करता है। यह विधि हर टाइमस्टेप पर क्लीन सैंपल के एक अनुमान का पुनर्निर्माण करने के सिद्धांत पर कार्य करती है ताकि जनरेशन को आर्टिफैक्ट-प्रोन लेटेंट अवस्थाओं से दूर निर्देशित किया जा सके।

क्लीन लेटेंट अनुमान (Clean Latent Estimation):
सीधे नॉइजी लेटेंट्स ( $x_t$ ) पर कार्य करने वाले मानक दृष्टिकोणों के विपरीत, DIAMOND प्रत्येक चरण पर क्लीन डेटा लेटेंट ( $\hat{x}_{0,t}$ ) का अनुमान लगाता है।

रेक्टिफाइड फ्लो (Rectified Flow) मॉडल्स (जो वेलोसिटी $v_\theta$ की भविष्यवाणी करते हैं) के लिए: $\hat{x}_{0,t} = x_t - t \cdot v_\theta(x_t, t)$ ।
डिफ्यूजन (Diffusion) मॉडल्स (जो नॉइज़ $\epsilon_\theta$ की भविष्यवाणी करते हैं) के लिए: $\hat{x}_{0,t} = x_t - \sigma_t \cdot \epsilon_\theta(x_t, t)$ ।
इस अनुमानित लेटेंट को पिक्सेल स्पेस ( $\hat{I}_t = D(\hat{x}_{0,t})$ ) में डिकोड किया जाता है ताकि आर्टिफैक्ट डिटेक्टर अपने इष्टतम डोमेन (क्लीन डेटा) में कार्य कर सके, न कि मध्यवर्ती नॉइजी अवस्थाओं पर।

आर्टिफैक्ट डिटेक्शन और लॉस (Artifact Detection and Loss):
एक डिफरेंशिएबल, प्री-ट्रेन्ड आर्टिफैक्ट डिटेक्टर (AD) (जैसे DiffDoctor से) $\hat{I}_t$ का विश्लेषण करके एक आर्टिफैक्ट प्रोबेबिलिटी मास्क $M_t$ उत्पन्न करता है। एक आर्टिफैक्ट लॉस ( $L_a$ ) इस मास्क और एक ज़ीरो-मास्क (जो आर्टिफैक्ट-मुक्त छवि का प्रतिनिधित्व करता है) के बीच मीन स्क्वेर्ड एरर के रूप में कंप्यूट किया जाता है:
$L_a = \frac{1}{HW} \sum_{i,j} (M_{i,j}^t)^2$
ग्रेडिएंट-आधारित ट्राजेक्टरी करेक्शन (Gradient-Based Trajectory Correction):
यह विधि वर्तमान लेटेंट $x_t$ के सापेक्ष लॉस का ग्रेडिएंट ( $\nabla_{x_t} L_a$ ) कंप्यूट करती है। यह सुनिश्चित करने के लिए कि सुधार का परिमाण (magnitude) आर्टिफैक्ट क्षेत्र के आकार द्वारा हावी न हो जाए, ग्रेडिएंट को नॉर्मलाइज़ (normalize) किया जाता है:
$\delta_t = \lambda_t \frac{\nabla_{x_t} L_a}{\|\nabla_{x_t} L_a\|^2 + \epsilon}$
यह विस्थापन वेक्टर (displacement vector) $\delta_t$ को स्टैंडर्ड सॉल्वर अपडेट स्टेप से घटाया जाता है, जो प्रभावी रूप से ट्राजेक्टरी को आर्टिफैक्ट्स से दूर ले जाता है।
डायनेमिक शेड्यूलिंग ( $\lambda_t$ ):
एक पावर-लॉ शेड्यूल सुधार की तीव्रता ( $\lambda_t$ ) को नियंत्रित करता है। इस अवलोकन के आधार पर कि संरचनात्मक आर्टिफैक्ट्स शुरुआती, नॉइज़-डोमिनेटेड चरणों में दिखाई देते हैं जबकि हाई-फ्रीक्वेंसी डिटेल्स बाद में रिफाइन होती हैं, यह शेड्यूलर जनरेशन प्रक्रिया के शुरुआती चरणों में मजबूत सुधार लागू करता है और अंत की ओर घटता जाता है।
आइडेंटिटी प्रिजर्वेशन (Identity Preservation - वैकल्पिक):
यह रोकने के लिए कि सुधार वैश्विक छवि संरचना या प्रॉम्प्ट एलाइनमेंट को न बदले, एक वैकल्पिक रेगुलेराइजेशन टर्म ( $L_{rec}$ ) लागू किया जा सकता है। यह टर्म आर्टिफैक्ट-मुक्त क्षेत्रों में सुधारा गया इमेज और बेसलाइन इमेज के बीच मीन एब्सोल्यूट एरर (MAE) को कम करता है।

प्रमुख योगदान (Key Contributions)

ट्रेनिंग-फ्री फ्रेमवर्क: DIAMOD पहला ज़ीरो-शॉट मेथड है जो अतिरिक्त ट्रेनिंग या वेट संशोधनों की आवश्यकता के बिना रेक्टिफाइड फ्लो और डिफ्यूजन मॉडल्स के इन्फरेंस प्रोसेस में ज्योमेट्रिक ट्राजेक्टरी गाइडेंस को सीधे एकीकृत करता है।
ऑन-द-फ्लाई एस्टीमेशन: यह विधि इन्फरेंस के दौरान क्लीन लेटेंट्स ( $\hat{x}_{0,t}$ ) का अनुमान लगाने के लिए एक नवीन तंत्र पेश करती है, जिससे मानक डिटेक्टरों के विफल होने वाले मध्यवर्ती चरणों पर भी विश्वसनीय आर्टिफैक्ट डिटेक्शन संभव होता है।
सामान्यीकरण (Generalization): यह दृष्टिकोण दिखाया गया है कि यह रेक्टिफाइड फ्लो मॉडल्स (FLUX.1, FLUX.2) और मानक डिफ्यूजन मॉडल्स (SDXL) दोनों पर प्रभावी ढंग से कार्य करता है।
ग्रेडिएंट नॉर्मलाइजेशन: पेपर ने आर्टिफैक्ट के स्थानिक आकार (spatial size) से अपडेट स्ट्रेंथ को अलग करने के लिए ग्रेडिएंट नॉर्मलाइजेशन को पहचाना और लागू किया है, जिससे आर्टिफैक्ट के विस्तार के बावजूद निरंतर सुधार सुनिश्चित होता है।

प्रायोगिक परिणाम (Experimental Results)
FLUX.1 [dev], FLUX.1 [schnell], FLUX.2 [dev], और SDXL जैसे मॉडल्स का उपयोग करके तीन डेटासेट्स (जानवर, शब्द, लोग) पर मात्रात्मक मूल्यांकन किया गया।

आर्टिफैक्ट रिडक्शन: FLUX.1 [dev] के साथ "words" डेटासेट पर, DIAMOND ने मीन आर्टिफैक्ट फ्रीक्वेंसी को 100% बेसलाइन से घटाकर 9.85% कर दिया, जो DiffDoctor (46.97%) और HPSv2 (56.82%) जैसे बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।
पिक्सेल रेशियो: आर्टिफैक्ट पिक्सेल रेशियो (APR) को बेसलाइन्स की तुलना में लगभग शून्य स्तर तक कम कर दिया गया (जैसे, शब्दों के डेटासेट पर 0.009%)।
क्वालिटी प्रिजर्वेशन: पद्धति ने उच्च CLIP-T स्कोर (टेक्स्ट-इमेज एलाइनमेंट) और ImageReward स्कोर (मानव प्राथमिकता) बनाए रखा, जो दर्शाता है कि आर्टिफैक्ट हटाने से सिमेंटिक कंसिस्टेंसी या विजुअल क्वालिटी में गिरावट नहीं आई।
आइडेंटिटी प्रिजर्वेशन: एब्लेशन स्टडीज ने दिखाया कि जबकि अनरेगुलराइज्ड DIAMOND प्रभावी रूप से आर्टिफैक्ट्स को हटाता है, $L_{rec}$ टर्म (के साथ $\alpha=0.1$ ) जोड़ने से आर्टिफैक्ट सप्रेशन और बेस मॉडल की आइडेंटिटी के संरक्षण के बीच इष्टतम संतुलन बनता है।

महत्ता और दावे (Significance and Claims)
लेखकों का दावा है कि DIAMOND उच्च-निष्ठा, आर्टिफैक्ट-मुक्त इमेज सिंथेसिस के लिए एक मजबूत, ज़ीरो-शॉट मार्ग प्रदान करता है। जनरेशन प्रक्रिया के दौरान ट्राजेक्टरी करेक्शन के माध्यम से सीधे हस्तक्षेप करके, यह विधि फाइन-ट्यूनिंग की गणनात्मक लागत और पोस्ट-हॉक ह्यूरिस्टिक्स की अशुद्धताओं को दूर करती है। पेपर इस बात पर जोर देता है कि यह दृष्टिकोण जनरेट की गई छवि के वैश्विक ढांचे और प्रॉम्प्ट एडहेरेंस को बनाए रखते हुए सूक्ष्म स्थानिक पर्यवेक्षण (fine-grained spatial supervision) और स्थानीयकृत आर्टिफैक्ट्स (जैसे हाथ या टेक्स्ट) के सटीक सुधार की अनुमति देता है। इस पद्धति को पेशेवर अनुप्रयोगों के लिए एक व्यावहारिक समाधान के रूप में प्रस्तुत किया गया है जहाँ शारीरिक शुद्धता (anatomical correctness) महत्वपूर्ण है, जैसे ई-कॉमर्स और मार्केटिंग विजुअल्स।

मुख्य विचार: "क्रिस्टल बॉल" चेक

यह विशेष क्यों है?

परिणाम

इसी तरह के और पेपर