💻 computer science

Efficient Image Synthesis with Sphere Latent Encoder

यह शोध पत्र एक विखंडित (decoupled) ढांचे को प्रस्तुत करता जिसमें एक स्थिर पूर्व-प्रशिक्षित इमेज एनकोडर और एक अलग गोलाकार लेटेंट डिनोइजिंग मॉडल शामिल है जो अक्षम पिक्सेल-स्पेस ट्रांज़िशन और उद्देश्य संघर्षों को समाप्त करता है, जिससे स्फीयर एनकोडर और अन्य फ्यू-स्टेप बेसलाइनों की तुलना में बेहतर जनरेशन गुणवत्ता और अनुमान गति प्राप्त होती है।

मूल लेखक: Tung Do, Thuan Hoang Nguyen, Hao Li

प्रकाशित 2026-05-18

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Tung Do, Thuan Hoang Nguyen, Hao Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बिल्ली का एक सटीक चित्र बनाना सिखाने की कोशिश कर रहे हैं।

पुराना तरीका (द "स्फेयर एनकोडर"):
पुराने तरीके को एक ऐसे अनाड़ी कला छात्र के रूप में सोचें जो बार-बार मिटाता और फिर से बनाता रहता है।

छात्र एक खाली पन्ने को देखता है (पिक्सेल स्पेस)।
वे अपनी नोटबुक में एक रफ विचार स्केच करने की कोशिश करते हैं (लेटेंट स्पेस)।
वे स्केच को देखते हैं, महसूस करते हैं कि यह बिखरा हुआ है, और यह देखने के लिए कि क्या गलत है, उसे वापस एक वास्तविक ड्राइंग में बदलने की कोशिश करते हैं।
वे ड्राइंग को देखते हैं, स्केच को ठीक करने के लिए वापस नोटबुक पर जाते हैं, और इस लूप को बार-बार दोहराते हैं।

यह "नोटबुक" और "वास्तविक कागज" के बीच का "आने-जाने" का सिलसिला धीमा और थका देने वाला है। साथ ही, छात्र एक साथ दो काम करने की कोशिश कर रहा है: यह सीखना कि फोटो को पूरी तरह से कैसे पुनर्निर्मित (reconstruct) किया जाए और नई कला कैसे बनाई जाए। ये दोनों लक्ष्य अक्सर आपस में टकराते हैं, जिससे छात्र भ्रमित हो जाता है और ट्रेनिंग अस्थिर हो जाती है।

नया तरीका (द स्फेयर लेटेंट एनकोडर):
लेखक कहते हैं, "आइए इस बार-बार आने-जाने को रोक दें।" वे दो विशिष्ट श्रमिकों के साथ एक स्मार्ट सिस्टम का प्रस्ताव देते हैं:

द फिक्स्ड ट्रांसलेटर (द प्रीट्रेन्ड एनकोडर): कल्पना कीजिए कि एक मास्टर अनुवादक है जो पहले से ही वास्तविक फोटो को एक गुप्त कोड (लेटेंट स्पेस) में बदलने में विशेषज्ञ है। हम अब इस व्यक्ति को प्रशिक्षित नहीं करते हैं; वे बस एक स्थिर उपकरण हैं। वे एक फोटो को कोड में बदलते हैं और कभी नहीं बदलते।
द ड्रीम आर्किटेक्ट (द डिनोइजिंग मॉडल): यह एक नया, विशिष्ट कलाकार है जो केवल "गुप्त कोड की दुनिया" के भीतर काम करता है। वे अंतिम क्षण तक वास्तविक फोटो को नहीं देखते।

नई प्रक्रिया कैसे काम करती है:
उस भुलक्कड़ लूप के बजाय, ड्रीम आर्किटेक्ट पूरी तरह से "कोड की दुनिया" के भीतर काम करता है:

वे शोर (static/noise) के एक यादृच्छिक बादल से शुरुआत करते हैं।
वे गुप्त निर्देशों को परिष्कृत करते हुए, चरण-दर-चरण कोड को साफ करते हैं।
वे यह पूरी प्रक्रिया कोड की दुनिया के भीतर ही करते हैं, उन्हें अंतिम सेकंड तक वास्तविक छवि में अनुवाद करने की आवश्यकता नहीं होती है।
एक बार जब कोड एकदम सही हो जाता है, तो वे इसे फिक्स्ड ट्रांसलेटर को सौंप देते हैं, जो तुरंत इसे एक उच्च-गुणवत्ता वाली छवि में बदल देता है।

यह बेहतर क्यों है?

गति: क्योंकि ड्रीम आर्किटेक्ट को "कोड" और "छवि" के बीच बार-बार अनुवाद नहीं करना पड़ता, इसलिए यह प्रक्रिया पुराने तरीके की तुलना में लगभग 6.5 गुना तेज़ है और 85% कम कंप्यूटिंग पावर का उपयोग करती है।
गुणवत्ता: कामों को अलग करके, "ट्रांसलेटर" स्पष्ट कोड बनाने में बहुत अच्छा हो जाता है, और "आर्किटेक्ट" नए विचार बनाने में माहिर हो जाता है। वे एक-दूसरे से लड़ते नहीं हैं।
सरलता: उनकी ट्रेनिंग अधिक स्थिर है। पुराने तरीके को परस्पर विरोधी लक्ष्यों को संभालना पड़ता था, लेकिन यह नया तरीका प्रत्येक भाग को उसके सर्वश्रेष्ठ काम पर ध्यान केंद्रित करने देता है।

परिणाम:
टीम ने एनिमल फेसेस (Animal Faces), ऑक्सफोर्ड फ्लावर्स (Oxford Flowers) और इमेजनेट (ImageNet - सामान्य छवियों का एक विशाल संग्रह) जैसे डेटासेट्स पर इसका परीक्षण किया।

एनिमल फेसेस और फ्लावर्स पर, उनके नए तरीके ने बहुत स्पष्ट छवियां बनाईं (कम "FID" स्कोर, जिसका अर्थ है "अधिक वास्तविक दिखना") और यह पुराने स्फेयर एनकोडर की तुलना में चलाने में काफी सस्ता था।
इमेजनेट पर, उन्होंने अन्य शीर्ष-स्तरीय "फ्यू-स्टेप" जनरेटर्स की बराबरी की या उन्हें पीछे छोड़ दिया, जिससे केवल कुछ ही स्टेप्स में तीक्ष्ण और विस्तृत छवियां बनाई गईं, जबकि अन्य तेज़ तरीके अक्सर इस स्थिरता के लिए संघर्ष करते हैं।

संक्षेप में:
यह पेपर एक ऐसा तरीका पेश करता है जिससे इमेज जनरेशन अंतिम क्षण तक पूरी तरह से "डिजिटल कोड" की दुनिया में रहता है। कोड और पिक्सेल के बीच के निरंतर आने-जाने को रोककर, और छवियों को "पढ़ने" से उन्हें "बनाने" के काम को अलग करके, उन्होंने इमेज जनरेशन को तेज़, सस्ता और उच्च गुणवत्ता वाला बना दिया है।

तकनीकी सारांश: स्फीयर लेटेंट एनकोडर के साथ कुशल छवि संश्लेषण (Efficient Image Synthesis with Sphere Latent Encoder)

समस्या विवरण (Problem Statement)

कम-चरणों वाली छवि पीढ़ी (few-step image generation) कंसिस्टेंसी और मीन-फ्लो आधारित विधियों के माध्यम से काफी उन्नत हुई है, फिर भी ये दृष्टिकोण अक्सर प्रशिक्षण अस्थिरता, हाइपरपैरामीटर संवेदनशीलता और अनुकूलन उद्देश्यों (optimization objectives) में अंतर्निहित संघर्षों से ग्रस्त होते हैं। एक विकल्प, स्फीयर एनकोडर [40], एक हाइपरस्फीयर पर लेटेंट रिप्रेजेंटेशन को प्रोजेक्ट करके उच्च-गुणवत्ता वाली पीढ़ी प्राप्त करता है। हालांकि, स्फीयर एनकोडर फ्रेमवर्क दो महत्वपूर्ण सीमाओं का सामना करता है:

कंप्यूटेशनल अक्षमता (Computational Inefficiency): पीढ़ी प्रक्रिया के लिए प्रत्येक सैंपलिंग स्टेप के लिए पिक्सेल स्पेस और लेटेंट स्पेस के बीच बार-बार संक्रमण (डिकोडिंग से इमेज, फिर पुनः एनकोडिंग) की आवश्यकता होती है। यह प्रशिक्षण और अनुमान (inference) दोनों के दौरान पर्याप्त कंप्यूटेशनल ओवरहेड पेश करता है।
उद्देश्य संघर्ष (Objective Conflict): यह फ्रेमवर्क एक ही एनकोडर-डिकोडर आर्किटेक्चर के भीतर पुनर्निर्माण (reconstruction) और पीढ़ी (generation) को संयुक्त रूप से अनुकूलित करता है। पूर्व शोध बताते हैं कि ये कार्य अलग-अलग प्रतिनिधित्व पसंद करते हैं; उदाहरण के लिए, कम शोर स्तर पुनर्निर्माण में सुधार करते हैं लेकिन हाइपरस्फेरिकल कवरेज को कम करके पीढ़ी प्रदर्शन को खराब करते हैं। यह तनाव नमूना गुणवत्ता बनाए रखने के लिए बड़े आर्किटेक्चर के उपयोग को मजबूर करता है।

कार्यप्रणाली (Methodology)

लेखक स्फीयर लेटेंट एनकोडर प्रस्तावित करते हैं, जो पुनरावृत्ति पिक्सेल-स्पेस संचालन को समाप्त करने के लिए पुनर्निर्माण को पीढ़ी से अलग (decouple) करता है। मुख्य नवाचार एक निश्चित गोलाकार लेटेंट स्पेस के भीतर पूरी पीढ़ी प्रक्रिया को निष्पादित करना है।

आर्किटेक्चर (Architecture)

इस विधि में तीन प्राथमिक घटक शामिल हैं:

फिक्स्ड इमेज टोकेनाइज़र (Fixed Image Tokenizer): एक प्री-ट्रेन्ड रिप्रेजेंटेशन ऑटोएनकोडर (RAE) [43] का उपयोग एक फिक्स्ड एनकोडर ( $E$ ) और डिकोडर ( $D$ ) के रूप में किया जाता है। एनकोडर, जो DINOv2 पर आधारित है, छवियों को लेटेंट रिप्रेजेंटेशन में मैप करता है, जबकि डिकोडर छवियों का पुनर्निर्माण करता है। प्रशिक्षण के दौरान इस घटक को फ्रीज (frozen) रखा जाता है।
लेटेंट डिनोइजिंग मॉडल (Latent Denoising Model): एक अलग ट्रांसफार्मर-आधारित डिनोइजिंग नेटवर्क ( $G$ , जो SiT आर्किटेक्चर [25] का उपयोग करता है) विशेष रूप से लेटेंट स्पेस में काम करता है। यह एक नॉइजी गोलाकार लेटेंट को इनपुट के रूप में लेता है और स्वच्छ (clean) लेटेंट की भविष्यवाणी करता है।
स्फेरिकल प्रोजेक्शन (Spherical Projection): लेटेंट रिप्रेजेंटेशन को एक RMSNorm-आधारित स्फेरिफिकेशन फंक्शन ( $F$ ) का उपयोग करके एक हाइपरस्फीयर पर प्रोजेक्ट किया जाता है, जो एक समान लेटेंट संरचना सुनिश्चित करता है।

प्रशिक्षण उद्देश्य (Training Objective)

स्फीयर एनकोडर के विपरीत, जो पिक्सेल स्पेस में लॉस (loss) की गणना करता है, स्फीयर लेटेंट एनकोडर दक्षता में सुधार के लिए सभी पर्यवेक्षण (supervision) को लेटेंट स्पेस में स्थानांतरित करता है। प्रशिक्षण में दो नॉइजी गोलाकार लेटेंट, $v_{NOISY}$ और $v_{noisy}$ शामिल हैं, जो विभिन्न पैमानों पर गॉसियन शोर जोड़कर उत्पन्न किए जाते हैं।

पुनर्निर्माण हानि ( $L_{recon}$ ): प्रेडिक्टेड क्लीन लेटेंट $G(v_{noisy})$ और ग्राउंड ट्रुथ क्लीन लेटेंट $z$ के बीच $\ell_1$ लॉस और कोसाइन सिमिलरिटी लॉस को जोड़ता है। यह डिनोइज्ड लेटेंट को स्वच्छ प्रतिनिधित्व के साथ संरेखित करता है।
कंसिस्टेंसी लॉस ( $L_{cons}$ ): विभिन्न शोर स्तरों ( $v_{NOISY}$ और $v_{noisy}$ ) से भविष्यवाणियों के बीच निरंतरता लागू करता है। कम-शोर वाले लेटेंट से प्राप्त भविष्यवाणी को एक निश्चित लक्ष्य (stop-gradient के माध्यम से) के रूप में माना जाता है ताकि हाइपरस्फीयर पर स्थानीय सहजता (local smoothness) को प्रोत्साहित किया जा सके।
लेटेंट कंसिस्टेंसी लॉस को हटाना: लेखकों ने स्पष्ट रूप से स्फीयर एनकोडर में उपयोग किए जाने वाले लेटेंट कंसिस्टेंसी लॉस को हटा दिया है (जो डिकोड की गई छवियों को पुनः एनकोड करता है), यह पाते हुए कि उनके डीकप्ल्ड सेटअप में यह प्रदर्शन में सुधार किए बिना कंप्यूटेशनल ओवरहेड जोड़ता है।

सैंपलिंग प्रक्रिया (Sampling Procedure)

सैंपलिंग पूरी तरह से लेटेंट स्पेस में होती है (एल्गोरिदम 1):

एक गॉसियन वितरण से एक लेटेंट लिया जाता है।
इसे हाइपरस्फीयर पर प्रोजेक्ट किया जाता है।
डिनोइजिंग मॉडल $G$ क्लासिफायर-फ्री गाइडेंस का उपयोग करके लेटेंट को परिष्कृत (refine) करता है।
परिष्कृत लेटेंट को पुनः प्रोजेक्ट किया जाता है, शोर के साथ विक्षेपित (perturbed) किया जाता है, और अगले चरण के लिए इनपुट के रूप में उपयोग किया जाता है।
यह पुनरावृत्ति प्रक्रिया $T$ चरणों तक जारी रहती है।
अंतिम लेटेंट को पिक्सेल में मैप करने के लिए अंत में केवल एक बार डिकोडर को बुलाया जाता है।

लेखक कम-चरण सैंपलिंग के लिए बेहतर ढंग से फिट होने के लिए लॉगिट-नॉर्मल वितरण का उपयोग करते हुए एक संशोधित शोर सैंपलिंग रणनीति भी प्रस्तावित करते हैं, जो स्फीयर एनकोडर में यूनिफॉर्म सैंपलिंग से भिन्न है।

मुख्य योगदान (Key Contributions)

स्फीयर लेटेंट एनकोडर फ्रेमवर्क: एक जेनेरेटिव फ्रेमवर्क जो पूरी तरह से गोलाकार लेटेंट स्पेस में संचालित होता है जो बार-बार पिक्सेल-लेटेंट संक्रमणों को समाप्त करता है। यह समान सैंपलिंग स्टेप्स पर स्फीयर एनकोडर की तुलना में अनुमान लागत (inference cost) को लगभग 85% (लगभग 6.5× कम FLOPs) कम कर देता है।
डीकप्ल्ड डिज़ाइन (Decoupled Design): एक फिक्स्ड प्री-ट्रेन्ड ऑटोएनकोडर और एक अलग डिनोइजिंग मॉडल का लाभ उठाकर, यह फ्रेमवर्क पुनर्निर्माण और पीढ़ी को स्वतंत्र रूप से विशेषज्ञता प्राप्त करने की अनुमति देता है, जिससे संयुक्त अनुकूलन में निहित उद्देश्य संघर्ष को हल किया जाता है।
कुशल अनुकूलन (Efficient Optimization): यह विधि कुछ कम-चरण फ्लो विधियों (जैसे जैकोबियन-वेक्टर उत्पाद) द्वारा आवश्यक प्रथम-क्रम सन्निकटन उद्देश्यों के बजाय, एक संरचित गोलाकार मैनिफोल्ड पर एक प्रत्यक्ष लेटेंट डिनोइजिंग प्रक्रिया सीखती है।

प्रयोगात्मक परिणाम (Experimental Results)

इस विधि का मूल्यांकन Animal-Faces, Oxford-Flowers, और ImageNet-1K (256×256) पर किया गया।

स्फीयर एनकोडर बनाम प्रदर्शन: Animal-Faces और Oxford-Flowers पर, प्रस्तावित विधि ने 2, 4, और 6 सैंपलिंग स्टेप्स में पीढ़ी की गुणवत्ता (FID) और कंप्यूटेशनल लागत (GFLOKs) दोनों में स्फीयर एनकोडर से काफी बेहतर प्रदर्शन किया। उदाहरण के लिए, 4 स्टेप्स के साथ Animal-Faces पर, FID 18.23 (Sphere Encoder) से सुधरकर 6.89 (Ours) हो गया, जबकि GFLOPs 4554 से घटकर 390 रह गया।
ImageNet-1K परिणाम: 4 सैंपलिंग स्टेप्स (गाइडेंस के साथ 8 NFE) के साथ, विधि ने 2.25 का FID प्राप्त किया, जो समान बजट के तहत स्फीयर एनकोडर के 4.02 की तुलना में एक महत्वपूर्ण सुधार है। इसने कई हालिया कम-चरण बेसलाइन्स (जैसे MeanFlow, $\alpha$ -Flow) को भी पीछे छोड़ दिया और मल्टी-स्टेप डिफ्यूजन मॉडल्स (जैसे DiT-XL/2) के प्रदर्शन के करीब पहुँच गई, जिन्हें 250+ स्टेप्स की आवश्यकता होती है, लेकिन बहुत कम फंक्शन इवैल्यूएशन के साथ।
एब्लेशन अध्ययन (Ablation Studies):
- शोर वितरण (Noise Distribution): लॉग-नॉर्मल सैंपलिंग ने यूनिफॉर्म सैंपलिंग से बेहतर प्रदर्शन किया।
- लॉस (Losses): पुनर्निर्माण और कंसिस्टेंसी लॉस को मिलाने से सर्वोत्तम परिणाम मिले; लेटेंट कंसिस्टेंसी लॉस जोड़ने से प्रदर्शन में गिरावट आई।
- ऑटोएनकोडर (Autoencoder): टोकेनाइज़र का चुनाव महत्वपूर्ण था। RAE [43] (DINOv2 फीचर्स और $d=768$ के साथ) ने FLUX-VAE और GAE से काफी बेहतर प्रदर्शन किया, जो मजबूत सिमेंटिक रिप्रेजेंटेशन और उच्च-आयामी लेटेंट स्पेस की आवश्यकता को उजागर करता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि स्फीयर लेटेंट एनकोडर कम-चरण छवि पीढ़ी के लिए एक सरल और अधिक कुशल पाइपलाइन प्रदान करता है। बार-बार पिक्सेल-स्पेस रिफाइनमेंट पर निर्भरता को हटाकर, यह विधि प्राप्त करती है:

उच्च दक्षता (Higher Efficiency): स्फीयर एनकोडर की तुलना में FLOPs और अनुमान समय में भारी कमी।
बेहतर गुणवत्ता (Better Quality): पुनर्निर्माण और पीढ़ी को अलग करने से बेहतर नमूना गुणवत्ता (कम FID) मिलती है, जिससे डिनोइजिंग मॉडल पुनर्निर्माण निष्ठा से समझौता किए बिना केवल पीढ़ी पर ध्यान केंद्रित कर सकता है।
स्थिरता (Stability): एक प्रशिक्षण प्रक्रिया जो जैकोबियन-वेक्टर उत्पादों और संयुक्त अनुकूलन के संघर्षपूर्ण उद्देश्यों से जुड़ी अस्थिरता से बचती है।

लेखक इस कार्य को एक स्केलेबल, कुशल जेनेरेटिव मॉडलिंग की दिशा में एक कदम के रूप में देखते हैं जो पिछले कार्यान्वयन के कंप्यूटेशनल दंड के बिना गोलाकार लेटेंट स्पेस के लाभों का लाभ उठाता है। वे सीमाओं को स्वीकार करते हुए उल्लेख करते हैं कि वर्तमान ध्यान क्लास-कंडीशनल जनरेशन पर है और प्री-ट्रेन ऑटोएनकोडर की गुणवत्ता पर निर्भरता है, जो वन-स्टेप सैंपलिंग क्षमताओं को सीमित कर सकती है।