💻 computer science

Equivariant Latent Alignment via Flow Matching under Group Symmetries

यह शोध पत्र रेजिडुअल लेटेंट फ्लो (Residual Latent Flow) को प्रस्तुत करता है, जो एक फ्लो-आधारित फ्रेमवर्क है जो SO(n) जैसे ग्रुप सिमिट्रीज़ के तहत ज्यामितिक निरंतरता (geometric consistency) और नोवल व्यू सिंथेसिस की गुणवत्ता को बढ़ाने के लिए इक्विवेरिएंट रिप्रेजेंटेशन लर्निंग में लेटेंट मिसअलाइनमेंट को ठीक करता है।

मूल लेखक: Sunghyun Kim, Jaehoon Hahm, Jeongwoo Shin, Joonseok Lee

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sunghyun Kim, Jaehoon Hahm, Jeongwoo Shin, Joonseok Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को यह समझा रहे हैं कि जब वस्तुओं को घुमाया जाता है, तो वे कैसी दिखती हैं। आप चाहते हैं कि रोबोट के पास एक "मानसिक मानचित्र" (लैटेंट स्पेस) हो जहाँ वास्तविक दुनिया में किसी वस्तु को घुमाना उसके दिमाग में एक सरल, पूर्वानुमानित गणितीय घूर्णन (रोटेशन) के अनुरूप हो।

यह शोध पत्र एक समस्या की पहचान करता है: रोबोट का मानसिक मानचित्र थोड़ा "तालमेल से बाहर" है।

समस्या: "जंग लगा हुआ दिशा-सूचक यंत्र" (The Rusty Compass)

एक रोबोट के आंतरिक प्रतिनिधित्व को एक वस्तु के दिशा-सूचक यंत्र (कंपास) की सुई के रूप में सोचें।

आदर्श स्थिति: यदि आप वास्तविक दुनिया में वस्तु को 90 डिग्री घुमाते हैं, तो रोबोट के मन में सुई को गणितीय रूप से ठीक 90 डिग्री घूमना चाहिए।
वास्तविकता: क्योंकि रोबोट जिस तरह से सीखता है (जटिल न्यूरल नेटवर्क का उपयोग करके), सुई पूरी तरह से नहीं घूमती। यह डगमगा सकती है, भटक सकती है, या गलत दिशा में समाप्त हो सकती है। शोध पत्र इसे "लैटेंट मिसअलाइनमेंट" (Latent Misalignment) कहता है।

भले ही रोबोट सामने से देखते समय छवि को पूरी तरह से पुनर्गठित कर सके, लेकिन जैसे ही आप किसी नए कोण से वस्तु को देखने का प्रयास करते हैं, "मानसिक कंपास" में वह छोटा सा विचलन नई छवि को धुंधला, विकृत या गलत बना देता है। यह एक ऐसे दिशा-सूचक यंत्र के साथ नेविगेट करने जैसा है जो थोड़ा मुड़ा हुआ है; एक छोटी यात्रा के लिए यह ठीक है, लेकिन एक लंबी यात्रा के लिए, आप रास्ता भटक जाते हैं।

समाधान: "रेसिड्यूअल लैटेंट फ्लो" (Residual Latent Flow)

लेखक एक सुधार प्रस्तावित करते हैं जिसे "रेसिड्यूअल लैटेंट फ्लो" कहा जाता है। यहाँ एक सरल उपमा दी गई है:

कल्पना कीजिए कि आप अपने घर (प्रारंभिक बिंदु) से अपने दोस्त के घर (लक्ष्य बिंदु) तक जाने की कोशिश कर रहे हैं।

पुराना तरीका: आपके पास एक मानचित्र है जो कहता है, "ठीक उत्तर की ओर चलें।" लेकिन हवा, ऊबड़-खाबड़ जमीन और आपकी अपनी चलने की शैली के कारण, आप मार्ग से थोड़ा भटक जाते हैं। आप अपने दोस्त के घर के पास तो पहुँच जाते हैं, लेकिन बिल्कुल वहाँ नहीं।
नया तरीका (फ्लो मैचिंग): केवल मानचित्र पर भरोसा करने के बजाय, आप एक "सुधार चरण" जोड़ते हैं। आप स्वीकार करते हैं कि मानचित्र (गणितीय रोटेशन) एक अच्छा पहला अनुमान है, लेकिन यह पूर्ण नहीं है। फिर आप एक स्मार्ट, लचीले मार्गदर्शक (फ्लो मॉडल) का उपयोग करते हैं जो आपको उस "थोड़े से गलत" स्थान से आपके दोस्त के घर के सटीक स्थान तक धीरे से धकेलता है।

यह मार्गदर्शक मानचित्र को खारिज नहीं करता है; यह केवल उस रेसिड्यूअल (Residual) (छोटा अंतर) को सीखता है जो मानचित्र के अनुसार आपको कहाँ होना चाहिए और वास्तव में आपको कहाँ होना चाहिए, उनके बीच का है।

यह व्यवहार में कैसे काम करता है

शोधकर्ताओं ने एक प्रणाली बनाई जो:

किसी वस्तु की एक छवि लेती है।
गणना करती है कि रोटेशन के बाद "मानसिक मानचित्र" के अनुसार वस्तु कहाँ होनी चाहिए (पहला अनुमान)।
एक विशेष फ्लो-आधारित मॉडल का उपयोग करती है जो मानसिक मानचित्र को सटीक स्थिति तक पहुँचाने के लिए आवश्यक सूक्ष्म समायोजन को सीखती है।
एक बार जब मानसिक मानचित्र पूरी तरह से संरेखित हो जाता है, तो रोबोट उस नए कोण से वस्तु की एक नई छवि बनाता है।

परिणाम

शोधकर्ताओं ने विभिन्न डेटासेट्स पर इसका परीक्षण किया, जिनमें शामिल हैं:

रोटेटेड डिजिट्स: एक सपाट तल में घूमते हुए अंक (जैसे 0-9)।
3D ऑब्जेक्ट्स: कुर्सियों या कारों जैसी जटिल आकृतियाँ जो 3D स्पेस में घूम रही हैं।
वास्तविक तस्वीरें: विभिन्न प्रकाश व्यवस्था और कोणों के तहत वस्तुओं की वास्तविक तस्वीरें।

परिणाम: उनकी विधि ने मानसिक मानचित्र में "विचलन" (ड्रिफ्ट) को काफी कम कर दिया। जब उन्होंने वस्तुओं के नए दृश्य उत्पन्न किए, तो पिछली विधियों की तुलना में छवियां अधिक स्पष्ट, सुसंगत और यथार्थवादी थीं। यह उन कोणों के लिए भी अच्छी तरह से काम कर गया जिन्हें रोबोट ने पहले कभी नहीं देखा था (आउट-ऑफ-डिस्ट्रीब्यूशन)।

संक्षेप में

यह शोध पत्र कहता है: "हमने पाया कि रोटेशन को समझने की कोशिश करने वाले AI मॉडल अक्सर अपने आंतरिक गणित को थोड़ा गलत कर देते हैं, जिससे धुंधले दृश्य बनते हैं। हमने एक 'करेक्शन लेयर' बनाई है जो एक फाइन-ट्यूनिंग गाइड की तरह कार्य करती है, जो AI के आंतरिक गणित को वास्तविकता के साथ पूरी तरह से संरेखित करने के लिए उसे सूक्ष्म रूप से धकेलती है। यह AI को यह कल्पना करने में बहुत बेहतर बनाता है कि एक नए कोण से कोई वस्तु कैसी दिखती है।"

यह शोध पत्र क्या दावा नहीं करता है:

यह दावा नहीं करता है कि यह मेडिकल इमेजिंग या क्लिनिकल डायग्नोसिस के लिए काम करता है।
यह दावा नहीं करता है कि यह रोबोटिक्स या ऑटोनॉमस ड्राइविंग की सभी समस्याओं को हल करता है।
यह दावा नहीं करता है कि यह जटिल, अनियंत्रित वास्तविक दुनिया की गतिविधियों (जैसे चलते और हाथ हिलाते हुए व्यक्ति) के लिए काम करता है; यह पूरी तरह से नियंत्रित रोटेशन (घूमती वस्तुओं) पर केंद्रित है।

तकनीकी सारांश: समूह समरूपताओं (Group Symmetries) के तहत फ्लो मैचिंग के माध्यम से इक्विवेरिएंट लेटेंट अलाइनमेंट (Equivariant Latent Alignment)

समस्या विवरण (Problem Statement)

यह शोध पत्र ज्यामिति-जागरूक जनरेटिव मॉडल्स और नोवेल व्यू सिंथेसिस (NVS) के लिए इक्विवेरिएंट रिप्रेजेंटेशन लर्निंग (ERL) में एक महत्वपूर्ण सीमा को संबोधित करता है। जबकि ERL का लक्ष्य ऐसे लेटेंट स्पेस का निर्माण करना है जहाँ समूह क्रियाएं (जैसे $SO(2) $या$ SO(3)$ में रोटेशन) विश्लेषणात्मक (analytically) और पूर्वानुमेय रूप से कार्य करती हैं, लेखक एक घटना की पहचान करते हैं जिसे लेटेंट मिसअलाइनमेंट (latent misalignment) कहा जाता है।

व्यावहारिक रूप से, भले ही एक एनकोडर $\Phi$ को इक्विवेरिएंट उद्देश्यों के साथ प्रशिक्षित किया गया हो, विश्लेषणात्मक रूप से रूपांतरित लेटेंट प्रतिनिधित्व $\rho(g)\Phi(x)$ (जहाँ $\rho(g)$ ज्ञात समूह प्रतिनिधित्व है) अक्सर रूपांतरित छवि के एम्पिरिकल एनकोडेड लेटेंट $\Phi(g \circ x)$ से विचलित हो जाता है। यह विसंगति निम्नलिखित कारणों से उत्पन्न होती है:

अपूर्ण अनुकूलन (Imperfect Optimization): एनकोडर ऑब्जेक्ट कंटेंट और सिमेट्री स्ट्रक्चर को संयुक्त रूप से संकुचित करने की जटिलता के कारण एक पूर्णतः इक्विवेरिएंट मैपिंग सीखने में विफल रहता है।
एलियासिंग (Aliasing): मानक आर्किटेक्चर (CNNs, Transformers) डिस्क्रीट सैंपलिंग और नॉन-बैंड-लिमिटेड फिल्टर्स के माध्यम से एलियासिंग पेश करते हैं, जिससे निरंतर इक्विवेरिएंस त्रुटियां होती हैं।
बहु-मोडल लक्ष्य (Multi-modal Targets): अपूर्ण एनकोडर अलग-अलग इनपुट को एक ही लेटेंट में मैप कर सकते हैं, जिससे समूह क्रियाएं लागू करने पर एक बहु-मोडल टारगेट डिस्ट्रीब्यूशन बन जाता है, जिसे नियतात्मक (deterministic) पॉइंट-टू-पॉइंट मैपिंग हल नहीं कर सकती।

यह मिसअलाइनमेंट रूपांतरणों के तहत संचित होता है, जिससे नोवेल व्यू सिंथेसिस की ज्यामितीय स्थिरता और दृश्य निष्ठा (visual fidelity) खराब हो जाती है।

कार्यप्रणाली: रेसिडुअल लेटेंट फ्लो (RLF)

ग्रुप-थ्योरेटिक प्रायर्स (group-theoretic priors) को त्याग दिए बिना इस मिसअलाइनमेंट को ठीक करने के लिए, लेखक फ्लो मैचिंग (Flow Matching) पर आधारित एक ढांचा, रेसिडुअल लेटेंट फ्लो (RLF) प्रस्तावित करते हैं।

मुख्य अवधारणा (Core Concept)

विश्लेषणात्मक रूप से रूपांतरित लेटेंट $\rho(g)\Phi(x)$ को अंतिम ग्राउंड ट्रुथ मानने के बजाय, लेखक इसे एक प्रथम-क्रम सन्निकटन (first-order approximation) के रूप में मानते हैं। वे एक निरंतर फ्लो (एक समय-निर्भर डिफेोमॉर्फिज्म/diffeomorphism) सीखते हैं जो इस अनुमानित लेटेंट को सही एम्पिरिकल टारगेट लेटेंट $\Phi(g \circ x)$ तक ले जाता है।

समस्या का सूत्रकरण (Problem Formulation)

कार्य को एक कंडीशनल डिस्ट्रीब्यूशन ट्रांसपोर्ट समस्या के रूप में तैयार किया गया है:

स्रोत ( $z_0$ ): विश्लेषणात्मक रूप से रूपांतरित लेटेंट, $z_0 = \rho(g)\Phi(x)$ ।
लक्ष्य ( $z_1$ ): रूपांतरित छवि का वास्तविक एनकोडेड लेटेंट, $z_1 = \Phi(g \circ x)$ ।
प्रतिबंध (Constraint): स्वतंत्र डिस्ट्रीब्यूशन को ट्रांसपोर्ट करने वाले मानक फ्लो मैचिंग के विपरीत, RLF को $z_0$ को उसी ऑब्जेक्ट $(x, g)$ से प्राप्त विशिष्ट युग्मित $z_1$ तक ट्रांसपोर्ट करना चाहिए। इसके लिए स्वतंत्र मार्जिनल्स के बजाय कंडीशनल जॉइंट डिस्ट्रीब्यूशन $\pi_{0,1}(z_0, z_1 | x, g)$ को मॉडल करने की आवश्यकता है।

प्रशिक्षण प्रक्रिया (Training Procedure)

यह विधि तीन-चरणीय प्रशिक्षण पाइपलाइन का पालन करती है:

बेसलाइन ऑटोएनकोडर प्रशिक्षण: एक एनकोडर $\Phi$ और डिकोडर $\Psi$ को मानक ERL लॉस (समीकरण 2) का उपयोग करके इक्विवेरिएंस और रिकंस्ट्रक्शन एरर को कम करने के लिए प्रशिक्षित किया जाता है।
RLF प्रशिक्षण: एनकोडर को फ्रीज कर दिया जाता है। एक फ्लो मॉडल को वेलोसिटी फील्ड $v_\theta$ सीखने के लिए प्रशिक्षित किया जाता है जो $z_0$ को $z_1$ तक ले जाता है। उद्देश्य सीखे गए वेलोसिटी और कंडीशनल वेलोसिटी फील्ड ( $z_0$ और $z_1$ के बीच लीनियर इंटरपोलेशन) के बीच के अंतर को कम करना है:
$\mathcal{L}_{RLF}(\theta) = \mathbb{E}_{x, g, t, z_t} [\|v_\theta(z_t, t) - (z_1 - z_0)\|_2^2]$
यह मॉडल को अपूर्ण एनकोडर्स से उत्पन्न होने वाली बहु-मोडल प्रकृति को संभालने की अनुमति देता है।
डिकोडर फाइन-ट्यूनिंग: डिकोडर $\Psi$ को फ्लो-करेक्टेड लेटेंट्स पर फाइन-ट्यून किया जाता है ताकि वह शिफ्ट हुए लेटेंट डिस्ट्रीब्यूशन के अनुकूल हो सके, जिससे उच्च गुणवत्ता वाला रिकंस्ट्रक्शन सुनिश्चित हो सके।

फ्लो मॉडल का आर्किटेक्चर समूह के अनुसार भिन्न होता है: $SO(2) $के लिए ट्रांसफार्मर-आधारित और$ SO(3)$ के लिए U-Net-आधारित (विग्नर डी-मैट्रिक्स ब्लॉक्स की स्क्वायर-ग्रिड संरचना का लाभ उठाते हुए)।

मुख्य योगदान (Key Contributions)

लेटेंट मिसअलाइनमेंट की पहचान: पेपर औपचारिक रूप से ERL में विश्लेषणात्मक रूप से रोटेटेड लेटेंट्स और एम्पिरिकल एनकोडेड लेटेंट्स के बीच के अंतर को परिभाषित और विश्लेषित करता है, यह प्रदर्शित करते हुए कि यह कैसे ज्यामितीय स्थिरता को कमजोर करता है।
रेसिड्यूअल लेटेंट फ्लो फ्रेमवर्क: लेखक फ्लो मैचिंग का उपयोग करके एक नया लेटेंट करेक्शन मैकेनिज्म प्रस्तावित करते हैं। स्वतंत्र डिस्ट्रीब्यूशन को डेटा में बदलने वाले मानक अनुप्रयोगों के विपरीत, RLF ग्रुप-थ्योरेटिक सन्निकटन को एम्पिरिकल टारगेट्स तक ले जाता है, जिससे एनकोडर की खामियों को सुधारते हुए भी ग्रुप स्ट्रक्चर सुरक्षित रहता है।
अनुभवजन्य सत्यापन (Empirical Validation): विधि को $SO(2) $और$ SO(3)$ समरूपताओं वाले कई डेटासेट्स (ABO-Material, ModelNet10-SO(3), ComplexBRDFs, RotatedMNIST, SmallNORB) पर मान्य किया गया है, जो लेटेंट एरर में महत्वपूर्ण कमी और नोवेल व्यू सिंथेसिस की गुणवत्ता में सुधार दिखाता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने छह डेटासेट्स पर RLF का मूल्यांकन किया।

नोवेल व्यू सिंथेसिस (NVS): RLF ने इन-डिस्ट्रीब्यूशन और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) दोनों सेटिंग्स में बेसलाइन्स (NFT, Spatial-VAE, और LGA सहित) को लगातार पछाड़ दिया।
मेट्रिक्स:
- लेटेंट एरर: प्रेडिक्टेड और ग्राउंड-ट्रुथ लेटेंट्स के बीच $L_2$ दूरी में महत्वपूर्ण कमी।
- एंगल एरर: प्रेडिक्टेड रोटेशन एंगल्स और ग्राउंड ट्रुथ के बीच विचलन में भारी कमी, विशेष रूप से $SO(3)$ कार्यों के लिए।
- दृश्य निष्ठा (Visual Fidelity): PSNR और LPIPS में सुधार, जिसमें गुणात्मक परिणाम दिखाते हैं कि बेसलाइन्स की तुलना में (जो अक्सर भ्रष्टाचार या आर्टिफैक्ट्स प्रदर्शित करते हैं) RLF रोटेशन के दौरान बैकग्राउंड और सूक्ष्म विवरणों को बेहतर ढंग से संरक्षित करता है।
सामान्यीकरण (Generalization): विधि ने विभिन्न रोटेशन कोणों और अनदेखे ऑब्जेक्ट्स के बीच मजबूती प्रदर्शित की, जो यह प्रमाणित करती है कि फ्लो करेक्शन इक्विवेरिएंट संबंध को प्रभावी ढंग से सामान्यीकृत करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि रेसिड्यूअल लेटेंट फ्लो एक व्यावहारिक समाधान प्रदान करता है जो उस "लेटेंट मिसअलाइनमेंट" की समस्या को हल करता है जो मौजूदा इक्विवेरिएंट मॉडल्स को प्रभावित करती है। ग्रुप एक्शन को प्रथम-क्रम सन्निकटन के रूप में और एक रेसिडुअल करेक्शन के रूप में सीखकर, यह विधि:

निरंतरता बहाल करता है (Restores Consistency): यह सुनिश्चित करता है कि लेटेंट स्पेस मानक ERL ट्रेनिंग की तुलना में अंतर्निहित समूह समरूपता (group symmetry) का अधिक निष्ठा से पालन करता है।
निष्ठा बढ़ाता है (Enhances Fidelity): यह नोवेल व्यू सिंथेसिस की गुणवत्ता में सीधे सुधार करता है, विशेष रूप से चुनौतीपूर्ण आउट-ऑफ-प्लेन रोटेशन परिदृश्यों में जहाँ ऑक्लूजन और ज्यामितीय तर्क की आवश्यकता होती है।
संरचना को सुरक्षित रखता है (Preserves Structure): यह समूह संरचनाओं (जैसे विग्नर डी-मैट्रिक्स) की व्याख्यात्मकता और सैद्धांतिक गारंटी को बनाए रखते हुए न्यूरल नेटवर्क आर्किटेक्चर की व्यावहारिक सीमाओं को ठीक करता है।

लेखक नोट करते हैं कि हालांकि विधि अलाइनमेंट में काफी सुधार करती है, अंतिम छवि की गुणवत्ता डिकोडर की क्षमता द्वारा सीमित रहती है। वे फ्रेमवर्क को अधिक सामान्य रूपांतरणों (जैसे $SE(3)$, आर्टिकुलेटेड मोशन) तक विस्तारित करने और स्थिर एंड-टू-एंड प्रशिक्षण रणनीतियों को विकसित करने को महत्वपूर्ण भविष्य की दिशाओं के रूप में पहचानते हैं।