🤖 AI

Symmetrical Flow Matching: Unified Image Generation, Segmentation, and Classification with Score-Based Generative Models

यह शोध पत्र SymmFlow को प्रस्तुत करता है, जो एक एकीकृत सिमेट्रिकल फ्लो मैचिंग (Symmetrical Flow Matching) ढांचा है जो इमेज जनरेशन, सेगमेंटेशन और क्लासिफिकेशन में अत्याधुनिक प्रदर्शन प्राप्त करने के लिए फॉरवर्ड और रिवर्स ट्रांसफॉर्मेशन को संयुक्त रूप से सीखता है और साथ ही कुशल वन-स्टेप इन्फरेंस (one-step inference) को सक्षम बनाता है।

मूल लेखक: Francisco Caetano, Christiaan Viviers, Peter H. N. De With, Fons van der Sommen

प्रकाशित 2026-03-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Francisco Caetano, Christiaan Viviers, Peter H. N. De With, Fons van der Sommen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक हलचल भरे शहर में एक जादुई, दो-तरफा सड़क है। एक तरफ, आपके पास फोटोग्राफ्स (वास्तविक चित्र) हैं। दूसरी तरफ, आपके पास ब्लूप्रिंट्स (सिमेंटिक मैप्स, जैसे कि एक कलरिंग बुक का आउटलाइन या केवल "बिल्ली" लिखा हुआ एक साधारण लेबल) हैं।

आमतौर पर, आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये दोनों पक्ष अलग-अलग मोहल्ले होते हैं।

"समझने वाला" मोहल्ला (The "Understanding" Neighborhood): यहाँ के मॉडल जासूसों की तरह होते हैं। वे एक फोटो देखते हैं और कहते हैं, "यह एक बिल्ली है!" (वर्गीकरण/Classification) या "यहाँ बिल्ली के कान ठीक कहाँ हैं!" (सेगमेंटेशन/Segmentation)। वे विश्लेषण करने में माहिर हैं, लेकिन वे चित्र नहीं बना सकते।
"बनाने वाला" मोहल्ला (The "Creating" Neighborhood): यहाँ के मॉडल कलाकारों की तरह होते हैं। वे एक खाली कैनवास और एक प्रॉम्प्ट लेते हैं और एक सुंदर बिल्ली का चित्र पेंट करते हैं। लेकिन वे विश्लेषण करने में बहुत खराब होते हैं; यदि आप उन्हें एक फोटो दिखाएंगे, तो शायद उन्हें पता भी नहीं चलेगा कि वह क्या है।

लंबे समय तक, वैज्ञानिकों ने इन दोनों मोहल्लों के बीच एक पुल बनाने की कोशिश की, लेकिन वे पुल कमजोर थे, धीमे थे, या उन्होंने कलाकार और जासूस को अलग-अलग भाषाएं बोलने के लिए मजबूर किया।

प्रवेश होता है SymmFlow (सिमेट्रिकल फ्लो मैचिंग) का।

SymbFlow को एक यूनिवर्सल ट्रांसलेटर और एक टाइम मशीन के रूप में सोचें जो एक साथ काम करते हैं। यह केवल एक पुल नहीं बनाता; यह एक एकल, सुगम हाईवे बनाता है जहाँ आप तुरंत आगे और पीछे यात्रा कर सकते हैं।

मुख्य विचार: "फ्लो" (प्रवाह) का रूपक

एक नदी की कल्पना करें जो दो झीलों के बीच बह रही है।

झील A (चित्र): एक कुत्ते की एक सुंदर, विस्तृत फोटो।
झील B (लेबल): एक कुत्ते का एक साधारण रेखाचित्र या केवल शब्द "कुत्ता"।

अतीत में, फोटो को स्केच में बदलना (या इसके विपरीत) एक फैंसी क्रिस्टल फूलदान से बाल्टी में पानी डालने की कोशिश करने जैसा था बिना पानी गिराए। यह अव्यवस्थित और धीमा था।

SymmFlow नियमों को बदल देता है:
यह परिवर्तन को एक सममित नृत्य (Symmetrical Dance) के रूप में देखता है।

फॉरवर्ड डांस (आगे का नृत्य): यह एक विस्तृत फोटो लेता है और धीरे-धीरे उसे "शोर" (static/noise) में बदल देता है, और साथ ही साथ उस "शोर" को एक स्पष्ट लेबल में बदल देता है।
रिवर्स डांस (पीछे का नृत्य): यह एक लेबल लेता है और उसे एक फोटो में बदल देता है, जबकि फोटो को वापस शोर में बदल देता है।

क्योंकि यह नृत्य सममित (Symmetrical) है (यह दोनों दिशाओं में एक साथ पूरी तरह से काम करता है), मॉडल फोटो और लेबल के बीच के सटीक संबंध को समझ जाता है। यह समझता है कि "यह विशिष्ट पिक्सेल व्यवस्था" निश्चित रूप से "इस विशिष्ट लेबल" के बराबर होनी चाहिए।

यह बड़ी बात क्यों है? (सुपरपावर्स)

1. "एक-चरण" का चमत्कार (The "One-Step" Miracle)

अधिकांश AI इमेज जनरेटर (जैसे वे जो टेक्स्ट से कला बनाते हैं) धीमे रसोइयों की तरह होते हैं। उन्हें एक बेहतरीन भोजन बनाने के लिए बर्तन को 50 या 100 बार चलाने (स्टेप्स) की आवश्यकता होती है। यदि आप जल्दी रुक जाते हैं, तो भोजन कच्चा रह जाता है।

SymmFlow एक माइक्रोवेव की तरह है। क्योंकि इसने ट्रेनिंग के दौरान "परफेक्ट पाथ" सीख लिया है, यह एक लेबल से फोटो तक सिर्फ एक स्टेप (या बहुत कम स्टेप्स) में पहुँच सकता है।
परिणाम: आप मिनटों के बजाय सेकंडों में एक उच्च-गुणवत्ता वाली छवि प्राप्त कर सकते हैं।

2. "कलरिंग बुक" की सुपरपावर (The "Coloring Book" Superpower - Segmentation)

आमतौर पर, यदि आप चाहते हैं कि एक AI आपको बताए कि फोटो में हर वस्तु वास्तव में कहाँ है (सेगमेंटेशन), तो आपको एक अलग, भारी-भरकम मॉडल की आवश्यकता होती है।

SymmFlow एक फोटो को देख सकता है और उसी पल में, इसे "रिवर्स फ्लो" करके इसके अंतर्निहित ब्लूप्रिंट को प्रकट कर सकता है। यह आपको बता सकता है, "यह पिक्सेल एक कार है, वह पिक्सेल एक पेड़ है," बिना किसी अलग डिटेक्टिव मॉडल की आवश्यकता के। यह यह सवाल पूछकर करता है, "यदि मैं इस फोटो को एक स्केच में बदल दूँ, तो वह स्केच कैसा दिखेगा?"

3. "श्रेणी का अनुमान लगाने" की ट्रिक (The "Guess the Category" Trick - Classification)

क्या आप केवल यह देखकर अनुमान लगा सकते हैं कि कोई चित्र क्या है कि वह शोर (noise) में कैसे बदल रहा है?

SymmFlow भी यह कर सकता है। यह एक फोटो लेता है, इसे अपने "रिवर्स फ्लो" इंजन के माध्यम से चलाता है, और देखता है कि वह स्वाभाविक रूप से किस लेबल पर स्थिर होता है। यदि बिल्ली की फोटो "बिल्ली" लेबल की ओर "कुत्ता" लेबल की तुलना में अधिक तेज़ी से और अधिक स्पष्ट रूप से प्रवाहित होती है, तो मॉडल जानता है कि वह एक बिल्ली है। यह इसमें भी अविश्वसनीय रूप से तेज़ है।

"कोई सख्त नियम नहीं" वाली लचीलापन (The "No-Strict-Rules" Flexibility)

पुराने मॉडल क्लब के सख्त बाउंसरों की तरह थे। वे मांग करते थे: "यदि आप एक चित्र बनाना चाहते हैं, तो आपका लेबल चित्र के आकार के बिल्कुल समान होना चाहिए। 512x512 फोटो के लिए 512x512 मास्क। कोई अपवाद नहीं।"

SymmFlow एक कूल बाउंसर है।

"हे, तुम मुझे एक छोटा 1x1 लेबल दे सकते हो जो केवल 'बिल्ली' कहता है, और मैं एक बड़ा, विस्तृत 512x512 फोटो बना दूँगा।"
"या, तुम मुझे चेहरे का एक विस्तृत नक्शा दे सकते हो, और मैं उस व्यक्ति का नाम बता दूँगा।"
इसे पिक्सेल काउंट की परवाह नहीं है। यह पिक्सेल संख्या के बजाय अवधारणा (concept) को समझता है।

वास्तविक दुनिया के परिणाम

पेपर ने प्रसिद्ध डेटासेट्स पर इसका परीक्षण किया:

CelebAMask-HQ: स्केच से चेहरे बनाना। SymmFlow ने पिछले सर्वोत्तम तरीकों से बेहतर प्रदर्शन किया, जिसका स्कोर (FID) 11.9 था (कम स्कोर बेहतर होता है)।
COCO-Stuff: लेबल्स से जटिल दृश्य (जैसे कारों, लोगों और पेड़ों के साथ एक सड़क) बनाना। इसने 7.0 का स्कोर किया, जो स्टेट-ऑफ-द-आर्ट है।
गति (Speed): इसने यह सब 25 स्टेप्स में किया, जबकि प्रतिस्पर्धियों को सैकड़ों स्टेप्स की आवश्यकता थी।

निचोड़ (The Bottom Line)

SymmFlow AI विजन के लिए एक स्विस आर्मी नाइफ की तरह है। ड्राइंग के लिए एक अलग टूल, विश्लेषण के लिए एक अलग टूल और अनुमान लगाने के लिए एक अलग टूल रखने के बजाय, यह उन सभी को एक कुशल, दो-तरफा इंजन में मिला देता है।

यह साबित करता है कि यदि आप एक AI को यह सिखाते हैं कि किसी चीज़ को पूरी तरह से बनाना कैसे है, तो वह स्वतः ही उसे समझने में भी माहिर बन जाता है, और इसके विपरीत भी। और सबसे अच्छी बात? यह सब बिना इंतज़ार किए करता है।

यहाँ शोध पत्र "Symmetrical Flow Matching: Unified Image Generation, Segmentation, and Classification with Score-Based Generative Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान कंप्यूटर विज़न फ्रेमवर्क आमतौर पर विभेदक कार्यों (वर्गीकरण, विभाजन) और जनरेटिव कार्यों (छवि संश्लेषण) को अलग-अलग आर्किटेक्चर के साथ अलग समस्याओं के रूप में देखते हैं।

मौजूदा एकीकृत मॉडलों की सीमाएँ: एकीकृत करने के हालिया प्रयास (जैसे, SemFlow, DepthFM) तीन मुख्य समस्याओं से ग्रस्त हैं:
1. वर्गीकरण का अभाव: वे अक्सर छवि वर्गीकरण (image classification) का समर्थन करने में विफल रहते हैं।
2. गुणवत्ता संबंधी समझौता (Quality Trade-offs): उत्पन्न की जाने वाली छवि की गुणवत्ता अक्सर शुद्ध जनरेटिव मॉडलों की तुलना में निम्न होती है।
3. कठोर बाधाएं (Rigid Constraints): वे इनपुट सिमेंटिक मास्क और आउटपुट इमेज के बीच एक सख्त एक-से-एक मैपिंग (one-to-one mapping) लागू करते हैं, जिसके लिए मास्क में इमेज के समान ही चैनल्स होने चाहिए। यह लचीलेपन को सीमित करता है, जिससे ग्लोबल क्लास लेबल (वर्गीकरण के लिए) या बदलते मास्क रिज़ॉल्यूशन का उपयोग करना कठिन हो जाता है।
अनुमान दक्षता (Inference Efficiency): डिफ्यूजन-आधारित क्लासिफायर को सभी संभावित वर्गों के लिए पुनरावृत्त सैंपलिंग (iterative sampling) की आवश्यकता हो सकती है, जिससे उच्च कम्प्यूटेशनल लागत और धीमी इन्फरेंस गति होती है।

लेखक एक ऐसा फ्रेमवर्क प्रस्तावित करते हैं जो बिना किसी कठोर बाधा के एक ही सुसंगत मॉडल के भीतर छवियों की व्याख्या (विभाजन/वर्गीकरण) और निर्माण (जनरेशन) दोनों कार्य कर सकता है।

2. कार्यप्रणाली: सिमेट्रिकल फ्लो मैचिंग (SymmFlow)

मुख्य नवाचार SymmFlow है, जो फ्लो मैचिंग (FM) पर आधारित एक नया फॉर्मूलेशन है। मानक डिफ्यूजन मॉडलों के विपरीत, जो केवल एक फॉरवर्ड नॉइज़िंग प्रक्रिया को मॉडल करते हैं, SymmFlow डेटा वितरण $X$ (छवियां) और सिमेंटिक प्रतिनिधित्व $Y$ (मास्क या लेबल) के बीच द्विदिश प्रवाह (bi-directional flows) को मॉडल करता है।

A. मुख्य अवधारणा: विपरीत प्रवाह (Opposing Flows)

यह मॉडल विभाजन (segmentation) और जनरेशन को विपरीत प्रक्रियाओं के रूप में मानता है:

फॉरवर्ड फ्लो (Forward Flow): छवि $X$ को शोर (noise) से डेटा में बदलता है और साथ ही सिमेंटिक लेबल $Y$ को डेटा से शोर में विकसित करता है।
रिवर्स फ्लो (Reverse Flow): शोर से एक छवि $X$ बनाता है और साथ ही एक शोर वाले लेबल $Y$ को स्वच्छ सिमेंटिक प्रतिनिधित्व में वापस विकसित करता है।
सममिति (Symmetry): यह द्विदिश निरंतरता (bi-directional consistency) सुनिश्चित करता है। मॉडल एक वेलोसिटी फील्ड $v_\theta(x_t, y_t, t)$ सीखता है जो दोनों रूपांतरणों को एक साथ निर्देशित करता है।

B. प्रशिक्षण उद्देश्य (Training Objective)

मॉडल को प्रेडिक्टेड वेलोसिटी फील्ड और ऑप्टिमल ट्रांसपोर्ट वेलोसिटी फील्ड्स के बीच स्क्वेयर्ड एरर को कम करने के लिए प्रशिक्षित किया जाता है।

परटर्बेशन (Perturbation): समय $t \in [0, 1]$ $t \in [0, 1]$ पर, इनपुट को गॉसियन शोर के साथ कॉनवेक्स कॉम्बिनेशन के माध्यम से परटर्ब किया जाता है:
- $x_t = (1-t)\xi_x + tx$ (इमेज पाथ)
- $y_t = (1-t)y + t\xi_y$ (लेबल पाथ)
वेलोसिटी फील्ड्स: लक्षित वेग (target velocities) $v_x = x - \xi_x$ और $v_y = \xi_y - y$ हैं।
लॉस फंक्शन: मॉडल $\mathcal{L} = \mathbb{E}_{x,y,t} [\|v_\theta(x_t, y_t, t) - v\|^2]$ को कम करता है।

C. प्रमुख तकनीकी नवाचार

लचीली कंडीशनिंग (Flexible Conditioning): पिछले तरीकों के विपरीत, $Y$ को $X$ की डाइमेंशनलिटी से मेल खाने की आवश्यकता नहीं है। यह $Y$ को एक सघन विभाजन मास्क (पिक्सेल-लेवल) या एक ग्लोबल क्लास लेबल (इमेज-लेvel) होने की अनुमति देता है, जिससे वर्गीकरण भी संभव होता है।
लेबल डिक्वेंटाइजेशन (Label Dequantization): निरंतर फ्लो के भीतर डिस्क्रीट लेबल्स (वर्गों) को संभालने के लिए, लेखक डिक्वेंटाइजेशन लागू करते हैं। डिस्क्रीट लेबल्स को यूनिफॉर्म शोर ( $\epsilon \sim U(-\beta, +\beta)$ ) के साथ परटर्ब किया जाता है ताकि एक निरंतर वितरण बनाया जा सके, जो मॉडल कोलैप्स को रोकता है और स्थिर प्रशिक्षण सुनिश्चित करता है।
कुशल अनुमान (Efficient Inference):
- वर्गीकरण (Classification): डिफ्यूजन क्लासिफायर की तरह हर क्लास के लिए सैंपलिंग करने के बजाय, SymmFlow वेलोसिटी फील्ड को एक बार इंटीग्रेट करता है ताकि लेबल $Y$ को शोर से एक विशिष्ट क्लास तक विकसित किया जा सके। प्रेडिक्टेड क्लास वह होती है जो परिणामी लेबल के सबसे करीब होती है।
- विभाजन (Segmentation): इसी प्रकार, शोर से एक स्वच्छ मास्क की ओर फ्लो को रिवर्स करके सिंगल पास में सेगमेंटेशन मास्क जेनरेट किए जाते हैं।

3. मुख्य योगदान

एकीकृत फ्रेमवर्क: एक ही फ्लो मैचिंग आर्किटेक्चर के भीतर सिमेंटिक सेगमेंटेशन, इमेज क्लासिफिकेशन और सिमेंटिक इमेज सिंथेसिस को संयुक्त रूप से करने वाला पहला मॉडल।
द्विदिश निरंतरता (Bi-directional Consistency): एक सममित शिक्षण उद्देश्य पेश करता है जो जनरेशन के दौरान सिमेंटिक संरचना को बनाए रखता है और विविध इमेज सिंथेसिस के लिए पर्याप्त एंट्रॉपी बनाए रखता है।
शिथिल बाधाएं (Relaxed Constraints): मास्क और इमेज के बीच सख्त एक-से-एक चैनल मैपिंग को समाप्त करता है, जिससे लचीली कंडीशनिंग (जैसे वर्गीकरण के लिए ग्लोबल लेबल) संभव होती है।
उच्च दक्षता: पारंपरिक डिफ्यूजन मॉडलों की तुलना में काफी कम इन्फरेंस स्टेप्स के साथ उच्च-गुणवत्ता वाले परिणाम प्राप्त करता है।

4. प्रयोगात्मक परिणाम

मॉडल का मूल्यांकन CelebAMask-HQ (फेस सेगमेंटेशन), COCO-Stuff (सामान्य दृश्य विभाजन), MNIST, और CIFAR-10 पर किया गया।

A. सिमेंटिक इमेज सिंथेसिस (जनरेशन)

प्रदर्शन: SymmFlow सिमेंटिक इमेज सिंथेसिस में स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन प्राप्त करता है।
- CelebAMask-HQ: 11.9 का FID स्कोर (25 स्टेप्स)।
- COCO-Stuff: 7.0 का FID स्कोर (25 स्टेप्स)।
दक्षता: ये परिणाम केवल 25 इन्फरेंस स्टेप्स में प्राप्त किए जाते हैं, जबकि कई प्रतिस्पर्धी डिफ्यूजन मॉडलों को सैकड़ों या हजारों स्टेप्स की आवश्यकता होती है।
गुणवत्ता: विज़ुअलाइज़ेशन उच्च फिडेलिटी और कंडीशनिंग मास्क के प्रति मजबूत पालन दिखाते हैं, जो SemFlow जैसे पिछले एकीकृत मॉडलों की तुलना में संरचनात्मक विवरणों को बेहतर ढंग से कैप्चर करते हैं।

B. सिमेंटिक सेगमेंटेशन

प्रदर्शन: प्रतिस्पर्धी मीन इंटरसेक्शन ओवर यूनियन (mIoU) स्कोर प्राप्त करता है।
- COCO-Stuff: 39.6 mIoU (25 स्टेप्स), जो SemFlow (35.7) से बेहतर है।
- CelebAMask-HQ: 69.3 mIoU।
क्षमता: मॉडल ग्राउंड ट्रुथ से परे सिमेंटिक समझ प्रदर्शित करता है (जैसे, लेबल मैप में गायब वस्तुओं को सही ढंग से पहचानना)।

C. वर्गीकरण (Classification)

दक्षता: मात्र 1 इन्फरेंस स्टेप के साथ, SymmFlow MNIST पर 99.3% सटीकता और CIFAR-10 पर 88.2% प्राप्त करता है, जो डिफ्यूजन क्लासिफायर (~2,750 स्टेप्स की आवश्यकता) की तुलना में बहुत तेज़ है।
स्केलेबिलिटी: 25 स्टेप्स तक बढ़ाने पर CIFAR-10 की सटीकता 90.6% हो जाती है, जो डिफ्यूजन क्लासिफायर (88.5%) से काफी बेहतर है, जबकि यह उससे कई गुना तेज़ है।

5. महत्व और भविष्य का कार्य

पैराडाइम शिफ्ट: SymmFlow यह प्रदर्शित करता है कि जनरेटिव और डिस्क्रिमिनेटिव कार्य एक ही सिस्टम के भीतर विपरीत प्रवाह के रूप में मॉडल किए जा सकते हैं। यह समझ (understanding) और संश्लेषण (synthesis) के बीच के अंतर को पाटता है।
व्यावहारिक प्रभाव: उच्च-गुणवत्ता वाले जनरेशन और सटीक वर्गीकरण/विभाजन को 25 स्टेप्स (या वर्गीकरण के लिए 1 स्टेप) के साथ करने की क्षमता इन मॉडलों को उन वास्तविक समय के अनुप्रयोगों के लिए व्यवहार्य बनाती है जहाँ कम्प्यूटेशनल लागत एक बाधा है।
भविष्य की दिशाएं: लेखक निम्नलिखित की योजना बना रहे हैं:
- लेटेंसी को और कम करने के लिए मॉडल को एक वास्तविक वन-स्टेप वेरिएंट में डिस्टिल करना।
- अधिक अभिव्यंजक कंडीशनिंग (जैसे, MMDiT के माध्यम से टेक्स्ट-आधारित नियंत्रण) को एकीकृत करना।
- फ्रेमवर्क को डेप्थ एस्टीमेशन और सिमेंटिक इमेज एडिटिंग तक विस्तारित करना।

निष्कर्षतः, SymmFlow एकीकृत विज़न मॉडलों में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो एक लचीला, कुशल और उच्च-प्रदर्शन वाला समाधान प्रदान करता है जो पिछले जनरेटिव-डिस्क्रिमिनेटिव हाइब्रिड की कठोरता और अक्षमता को दूर करता है।