💻 computer science

Aligning Latent Geometry for Spherical Flow Matching in Image Generation

यह शोध पत्र इमेज जनरेशन के लिए एक गोलाकार फ्लो मैचिंग (spherical flow matching) ढांचे का प्रस्ताव करता है जो डेटा और शोर (noise) को निश्चित-त्रिज्या वाले गोलों पर प्रोजेक्ट करके और गोलाकार रैखिक इंटरपोलेशन (spherical linear interpolation) का उपयोग करके लेटेंट ज्योमेट्री को संरेखित करता है, जिससे जेओडेसिक पथों (geodesic paths) को लेटेंट मैनिफोल्ड की कोणीय संरचना के भीतर बनाए रखते हुए और अर्थपूर्ण सामग्री को संरक्षित करते हुए जनरेशन की गुणवत्ता में सुधार किया जाता है।

मूल लेखक: Tuna Han Salih Meral, Kaan Oktay, Hidir Yesiltepe, Adil Kaan Akan, Pinar Yanardag

प्रकाशित 2026-05-15

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Tuna Han Salih Meral, Kaan Oktay, Hidir Yesiltepe, Adil Kaan Akan, Pinar Yanardag

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को पेंटिंग करना सिखाने की कोशिश कर रहे हैं। इसे कुशलतापूर्वक करने के लिए, रोबोट फोटो के हर एक पिक्सेल को नहीं देखता है; इसके बजाय, वह एक "अनुवादक" (जिसे VAE कहा जाता है) का उपयोग करके फोटो को एक संक्षिप्त कोड में बदल देता है। इस कोड को एक विशाल, बहु-आयामी कमरे में निर्देशांकों (coordinates) के एक सेट के रूप में समझें।

यह शोध पत्र तर्क देता है कि रोबोट को नई छवियां बनाना सिखाने का वर्तमान मानक तरीका ऐसा है जैसे किसी कमरे में चलते समय इस बात को अनदेखा करना कि फर्नीचर एक विशिष्ट, गोलाकार पैटर्न में व्यवस्थित है।

यहाँ उनकी खोज और समाधान का सरल उपमाओं के माध्यम से विवरण दिया गया है:

1. समस्या: "सीधी रेखा" वाली गलती

वर्तमान मानक विधि में, रोबोट "रैंडम नॉइज़" (स्टैटिक) को "पिक्चर कोड" में बदलने के लिए दो बिंदुओं के बीच एक सीधी रेखा खींचकर सीखता है।

उपमा: कल्पना करें कि "नॉइज़" और "पिक्चर कोड्स" दोनों एक विशाल, खोखले गुब्बारे (एक गोले) की सतह पर मौजूद हैं। वे सभी गुब्बारे की त्वचा से चिपके हुए हैं।
गलती: मानक विधि एक बिंदु से दूसरे बिंदु तक जाने के लिए गुब्बारे के अंदर से एक सीधी रेखा (chord) काटती है।
यह क्यों बुरा है: रोबोट बहुत अधिक समय और ऊर्जा यह सीखने में बर्बाद कर देता है कि कैसे "अंदर और बाहर" (केंद्र से दूरी बदलना) जाना है, भले ही वास्तविक चित्र केवल सतह पर मौजूद हों। यह ऐसा है जैसे कि आप एक सुरंग के माध्यम से गाड़ी चलाने का अभ्यास करके कार चलाना सीखने की कोशिश कर रहे हों, जबकि आपको केवल हाईवे पर गाड़ी चलाने की आवश्यकता है। रोबोट एक ऐसे दिशा (त्रिज्या/radius) को सीखने में प्रयास बर्बाद कर रहा है जो वास्तव में चित्र को ज्यादा नहीं बदलती।

2. खोज: दिशा मायने रखती है, आकार नहीं

शोधकर्ताओं ने परीक्षण किया कि क्या होता है यदि वे पिक्चर कोड के हिस्सों को आपस में बदल दें।

परीक्षण: उन्होंने एक "कुत्ते" के कोड के "आकार" (त्रिज्या) को एक "बिल्ली" के कोड के "आकार" के साथ बदल दिया, लेकिन कुत्ते की "दिशा" (कोण) को वैसा ही रखा। फिर उन्होंने इसका उल्टा किया।
परिणाम:
- यदि उन्होंने दिशा को बरकरार रखा लेकिन आकार को बदल दिया, तो चित्र अभी भी एक कुत्ते जैसा ही दिखा।
- यदि उन्होंने आकार को बरकरार रखा लेकिन दिशा को बदल दिया, तो वह बिल्ली में बदल गया।
सबक: कोड की "दिशा" अर्थ (कि यह कुत्ता है या बिल्ली?) ले जाती है, जबकि "आकार" (वह केंद्र से कितनी दूर है) लगभग कोई मायने नहीं रखता। मानक विधि रोबोट को उस "आकार" वाले हिस्से को सीखने के लिए मजबूर कर रही थी, जो ज्यादातर बेकार शोर (noise) है।

3. समाधान: "गोलाकार स्लाइड" (Spherical Slide)

गुब्बारे के बीच से कटने के बजाय, शोधकर्ताओं ने रोबोट को पूरे समय गुब्बारे की सतह पर रहने के लिए मजबूर करने का निर्णय लिया।

सुधार:
1. प्रोजेक्ट (Project): वे सभी पिक्चर कोड्स को लेते हैं और उन्हें एक पूर्ण गोले की सतह पर दबा देते हैं (जैसे एक थोड़े दबे हुए गेंद को पूरी तरह गोल होने तक दबाना)।
2. पथ (The Path): एक सीधी रेखा के बजाय, वे रोबोट को गोले की घुमावदार सतह पर फिसलना (एक पथ जिसे "slerp" कहा जाता है) सिखाते हैं।
3. नॉइज़ (The Noise): वे यह भी सुनिश्चित करते हैं कि शुरुआती "रैंडम नॉइज़" भी गोले की सतह पर स्थित हो, न कि अंदर तैरती हुई।

4. परिणाम: तेज़ और बेहतर

रोबोट को केवल गोले के चारों ओर घूमना सिखाकर (दिशा बदलना) और अंदर और बाहर जाने (आकार बदलना) को अनदेखा करके, प्रशिक्षण बहुत अधिक कुशल हो जाता है।

परिणाम: रोबोट ने पुराने तरीके की तुलना में लगभग आधे समय में (2.2 गुना कम स्टेप्स में) उच्च गुणवत्ता वाली छवियां बनाना सीख लिया।
बोनस: उन्हें रोबोट के दिमाग (आर्किटेक्चर) को बदलने या किसी अतिरिक्त उपकरण को जोड़ने की आवश्यकता नहीं पड़ी। उन्होंने बस उस "मानचित्र" (map) को बदल दिया जिसका उपयोग रोबोट यात्रा करने के लिए कर रहा था।

सारांश

इसे इस तरह समझें: यदि आप किसी को एक गोलाकार ट्रैक के चारों ओर चलना सिखा रहे हैं, तो पुराने तरीके ने उन्हें ट्रैक के बीच में घास में एक सीधी रेखा में चलने और फिर वापस ट्रैक पर कूदने के लिए कहा। नया तरीका कहता है, "पूरे समय ट्रैक पर ही रहो।" क्योंकि धावक (AI) घास में कूदने और वापस आने में ऊर्जा बर्बाद नहीं करता है, इसलिए वह बहुत तेज़ी से और कम भ्रम के साथ फिनिश लाइन (एक आदर्श चित्र) तक पहुँच जाता है।

तकनीकी सारांश: इमेज जनरेशन के लिए स्फेरिकल फ्लो मैचिंग में लेटेंट ज्योमेट्री को अलाइन करना

समस्या विवरण (Problem Statement)

इमेज जनरेशन के लिए लेटेंट फ्लो मैचिंग (और डिफ्यूजन मॉडल) आमतौर पर यूक्लिडियन स्पेस में लीनियर पाथ्स के माध्यम से गॉसियन नॉइज़ को वेरिएशनल ऑटोएन्कोडर (VAE) लेटेंट्स तक पहुँचाने का कार्य करते हैं। हालाँकि, यह दृष्टिकोण उच्च-आयामी (high-dimensional) VAE लेटेंट्स के दो महत्वपूर्ण संरचनात्मक गुणों की अनदेखी करता है:

कंसन्ट्रेशन ऑफ मेजर (Concentration of Measure): गॉसियन नॉइज़ प्रायर और एनकोडेड डेटा लेटेंट्स दोनों ही वॉल्यूम भरने के बजाय पतले गोलाकार शेल (spherical shells) में केंद्रित होते हैं। इन शेल पर स्थित दो बिंदुओं को जोड़ने वाली एक सीधी यूक्लिडियन रेखा (chord) उन आंतरिक त्रिज्याओं (interior radii) से होकर गुजरती है जहाँ ये वितरण मौजूद नहीं होते, जिससे मॉडल को लेटेंट स्पेस के उन क्षेत्रों में ट्रांज़िशन सीखने के लिए मजबूर होना पड़ता है जो शायद ही कभी आबादी वाले होते हैं।
डायरेक्शनल डोमिनेंस (Directional Dominance): डिकोडर का आउटपुट मुख्य रूप से लेटेंट टोकन के 'डायरेक्शन' (कोणीय घटक/angular component) के प्रति संवेदनशील होता है, न कि उसके 'लेंथ' (त्रिज्यीय घटक/radial component) के प्रति। एक ही क्लास के पड़ोसियों के टोकन के रेडियस और डायरेक्शन को आपस में बदलने वाले प्रयोगों से पता चलता है कि दिशा को बनाए रखते हुए रेडियस को बदलने से बहुत कम दृश्य परिवर्तन (perceptual change) होता है, जबकि दिशा को बदलने से महत्वपूर्ण सिमेंटिक बदलाव आते हैं।

मानक लीनियर फ्लो मैचिंग इन तथ्यों की अनदेखी करता है, जिससे प्रशिक्षण वेग लक्ष्य (training velocity target) का एक महत्वपूर्ण हिस्सा (टोकनाइज़र के आधार पर 50-90% तक) रेडियल मोशन (radial motion) को आवंटित करने में व्यर्थ चला जाता है। चूंकि डिकोडर रेडियस के प्रति कम संवेदनशील है, इसलिए यह सुपरविजन अक्षम है, जिससे मॉडल का अभिसरण (convergence) धीमा हो जाता है और मानक ज्यामिति का सम्मान करने वाले तरीकों की तुलना में सब-ऑप्टिमल इमेज क्वालिटी (FID) प्राप्त होती है।

कार्यप्रणाली (Methodology)

लेखक स्फेरिकल फ्लो मैचिंग (Spherical Flow Matching) का प्रस्ताव करते हैं, जो डिफ्यूजन आर्किटेक्चर को बदले बिना या किसी सहायक एनकोडर की आवश्यकता के बिना, लेटेंट ज्योमेट्री को डेटा की गोलाकार संरचना के साथ संरेखित करने की एक विधि है। यह दृष्टिकोण चार प्रमुख घटकों से बना है:

टोकन-वाइज स्फेरिकल प्रोजेक्शन (Token-wise Spherical Projection):
यह विधि प्रत्येक प्रीट्रेन्ड VAE से प्रत्येक लेटेंट टोकन $z$ को एक निश्चित-त्रिज्या वाले हाइपरस्फीयर $S^{d-1}(\sqrt{d})$ पर प्रोजेक्ट करती है। इसे एक फ्रोजन एनकोडर और डिकोडर के बीच डाले गए $L_2$ नॉर्मलाइजेशन स्टेप के माध्यम से प्राप्त किया जाता है:
$z_{i,j} \leftarrow \sqrt{d} \cdot \frac{z_{i,j}}{\|z_{i,j}\|}$
यह सुनिश्चित करता है कि सभी टोकन एक ऐसे गोले पर स्थित हों जिसकी त्रिज्या मानक गॉसियन प्रायर के कंसन्ट्रेशन रेडियस से मेल खाती हो।
स्फेरिकल प्रायर (Spherical Prior):
रॉ गॉसियन नॉइज़ के बजाय, नॉइज़ एंडपॉइंट $z_0$ का निर्माण आइसोट्रोपिक गॉसियन नॉइज़ $\epsilon \sim \mathcal{N}(0, I)$ को सैंपल करके और उसे गोले पर प्रोजेक्ट करके किया जाता है:
$z_0 = \sqrt{d} \cdot \frac{\epsilon}{\|\epsilon\|_2}$
इसके परिणामस्वरूप गोले पर एक यूनिफॉर्म डिस्ट्रीब्यूशन प्राप्त होता है, जो प्रोजेक्टेड डेटा की ज्यामिति से मेल खाता है।
डिकोडर फाइनट्यूनिंग (Decoder Finetuning):
ज्यामितीय बाधा को समायोजित करने के लिए, डिकोडर को कुछ एपॉक्स (प्रयोगों में 5 एपॉक्स) के लिए फाइनट्यून किया जाता है, जबकि एनकोडर और प्रोजेक्शन लेयर फ्रोजन रहती है। रिकंस्ट्रक्शन ऑब्जेक्टिव मानक पिक्सेल लॉस (L1, LPIPS, एडवरसेरियल) को बरकरार रखता है, लेकिन KL टर्म को हटा देता है, क्योंकि प्रोजेक्टेड लेटेंट डिटर्मिनिस्टिक है।
स्लरप ट्रांसपोर्ट और टेंजेंट वेलोसिटी (Slerp Transport and Tangent Velocity):
नॉइज़ और डेटा एंडपॉइंट्स के बीच ट्रांसपोर्ट पाथ को स्फेरिकल लीनियर इंटरपोलेशन (slerp) के साथ बदल दिया गया है, जो गोले पर जियोडेसिक आर्क (geodesic arc) का अनुसरण करता है।

जियोडेसिक पाथ (Geodesic Path): पथ $z_t$ सभी $t \in [0, 1]$ के लिए गोले पर रहता है।
वेलोसिटी टारगेट (Velocity Target): कंडीशनल वेलोसिटी $u_t$ जियोडेसिक का समय व्युत्पन्न (time derivative) है, जिसे $T_{z_t}S^{d-1}$ के टेंजेंट स्पेस पर प्रोजेक्ट किया गया है। यह सुनिश्चित करता है कि वेलोसिटी पूरी तरह से कोणीय (angular) है, जिसमें रचना (construction) द्वारा शून्य रेडियल घटक सुनिश्चित किया गया है।
ट्रेनिंग और सैंपलिंग (Training & Sampling): मॉडल को इस टेंजेंट वेलोसिटी को प्रेडिक्ट करने के लिए प्रशिक्षित किया जाता है। अनुमान (inference) के दौरान, सैंपलर एक्सपोनेंशियल मैप का उपयोग करके वेलोसिटी को इंटीग्रेट करता है, जिससे यह गारंटी मिलती है कि प्रक्षेपवक्र (trajectory) गोले पर बना रहे और हर स्टेप पर रेडियल प्रोजेक्शन सुधारों की आवश्यकता न पड़े।

मुख्य योगदान (Key Contributions)

पेपर एक "रेडियल-शेल मिसमैच" (radial-shell mismatch) की पहचान करता है और इसे हल करने के लिए एक ज्यामितीय हस्तक्षेप पेश करता है:

मिसमैच की पहचान: लेखक प्रदर्शित करते हैं कि लीनियर पाथ्स रेडियल मोशन को प्रेडिक्ट करने के लिए मजबूर करते हैं जिसके लिए डिकोडर असंवेदनशील है, जिससे क्षमता (capacity) बर्बाद होती है और अभिसरण धीमा हो जाता है।
टोकन-वाइज प्रोजेक्शन: वे केवल डिकोडर फाइनट्यूनिंग का उपयोग करके प्रीट्रेन्ड VAE लेटेंट्स को एक निश्चित-त्रिज्या वाले गोले पर सीमित करने की विधि पेश करते हैं, जिससे एनकोडर को फिर से प्रशिक्षित करने या सहायक प्रतिनिधित्व एनकोडर का उपयोग करने की आवश्यकता नहीं होती।
स्लरप-आधारित फ्लो मैचिंग: वे स्लरप जियोडेसिक्स के साथ फ्लो मैचिंग को टेंजेंट वेलोसिटी लक्ष्यों के साथ प्रशिक्षित करने का प्रस्ताव करते हैं, जिससे पूरा प्रक्षेपवक्र गोलाकार मैनिफोल्ड का सम्मान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): इस विधि को विभिन्न टोकनाइज़र परिवारों (FLUX.2, VA-VAE, REPA-E FLUX.1) और मॉडल स्केल्स (SiT-B से SiT-XL) में प्रदर्शन में सुधार के लिए दिखाया गया है।

परिणाम (Results)

क्लास-कंडीशनल ImageNet-256 जनरेशन पर प्रयोग निरंतर सुधार प्रदर्शित करते हैं:

FID में सुधार: स्फेरिकल-स्लरप विधि सभी परीक्षण कॉन्फ़िगरेशन में वैनिला लीनियर फ्लो मैचिंग की तुलना में कम FID स्कोर प्राप्त करती है। उदाहरण के लिए, SiT-B/2/FLUX.2 पर, FID 26.35 (लीनियर) से गिरकर 20.55 (स्फेरिकल-स्लरप) हो जाता है।
प्रशिक्षण दक्षता (Training Efficiency): यह विधि वैनिला लीनियर बेसलाइन की तुलना में लगभग 2.2 $\times$ कम ट्रेनिंग स्टेप्स में लक्षित FID 30 तक पहुँच जाती है।
सामान्यीकरण (Generalization): लाभ विभिन्न गाइडेंस स्केल्स (CFG) और मॉडल आकारों (B और XL) में देखे गए हैं, जो इंगित करते हैं कि लाभ हाइपरपैरामीटर ट्यूनिंग के बजाय अंतर्निहित ज्यामिति के कारण है।
एब्लेशन स्टडीज (Ablation Studies):
- वैनिला और स्फेरिकल पाइपलाइनों के बीच डिकोडर को बदलने से दोनों दिशाओं में प्रदर्शन गिर जाता है, जो पुष्टि करता है कि सीखा गया फ्लो विशिष्ट लेटेंट ज्यामिति के साथ मजबूती से जुड़ा हुआ है।
- वैनिला लेटेंट्स पर "शेल-डिकम्पोज्ड" पाथ (रेडियस और डायरेक्शन को अलग-अलग इंटरपोलेट करना) का उपयोग करने से समान लाभ नहीं मिलता है, जो पुष्टि करता है कि रेडियल डिग्री ऑफ फ्रीडम को पूरी तरह से हटाना महत्वपूर्ण है।
- फाइनट्यून किए गए स्फेरिकल डिकोडर्स की रिकंस्ट्रक्शन क्वालिटी (rFID) प्रतिस्पर्धी बनी रहती है, जो दिखाती है कि ज्यामितीय बाधा VAE की इमेज रिकंस्ट्रक्शन क्षमता को गंभीर रूप से प्रभावित नहीं करती है।

महत्व (Significance)

यह पेपर लेटेंट सपोर्ट ज्योमेट्री (latent support geometry) को जनरेटिव मॉडलिंग के लिए एक महत्वपूर्ण डिज़ाइन एक्सिस के रूप में स्थापित करता है। यह तर्क देता है कि लेटेंट डिस्ट्रीब्यूशन का आकार उस स्पेस को परिभाषित करता है जिसे जनरेटर को पार करना होता है, और इस ज्यामिति की अनदेखी करना (यूक्लिडियन लीनियरिटी मानकर) अक्षम बनाता है।

इस कार्य का महत्व इसकी क्षमता में निहित है कि यह बिना निम्नलिखित के इमेज जनरेशन की गुणवत्ता और प्रशिक्षण गति में सुधार करता है:

डिफ्यूजन आर्किटेक्चर को बदले बिना (जैसे SiT बैकबोन)।
सहायक एनकोडर जोड़ने के बिना (DINOv2 फीचर्स पर रिमानियन फ्लो मैचिंग के विपरीत)।
VAE एनकोडर को शुरू से फिर से प्रशिक्षित किए बिना।

मौजूदा प्रीट्रेन्ड लेटेंट्स को एक गोले पर प्रोजेक्ट करके और फ्लो पाथ को परिणामी जियोडेसिक्स के साथ संरेखित करके, यह विधि न्यूनतम कंप्यूटेशनल ओवरहेड के साथ अत्याधुनिक परिणाम प्राप्त करती है। लेखक सुझाव देते हैं कि भविष्य के कार्यों को मजबूत संपीड़न व्यवस्था (compression regimes) के तहत इन ज्यामितीय बाधाओं का पता लगाना चाहिए और ऐसे टोकनाइज़र डिजाइन करने चाहिए जो स्वाभाविक रूप से इस गोलाकार संरचना से मेल खाते हों।