Beyond Uniform Local Isometry and Topology: FactoMap for Disentangled Representations

तकनीकी सारांश: विसंयोजित निरूपण (Disentangled Representations) के लिए FactoMap

समस्या विवरण
विसंयोजित निरूपण अधिगम (Disentangled representation learning) का लक्ष्य डेटासेट के अंतर्निहित जनरेटिव कारकों (generative factors) को इस प्रकार प्राप्त करना है कि एक एकल कारक में परिवर्तन करने से निरूपण में एक एकल निर्देशांक (coordinate) में परिवर्तन होता है। जबकि मौजूदा विधियाँ अक्सर सांख्यिकीय स्वतंत्रता या समान स्थानीय सममिति (uniform local isometry - जहाँ कारक स्थान में समान परिवर्तन, एक निश्चित वैश्विक पैमाने तक, प्रेक्षण स्थान में समान परिवर्तन उत्पन्न करते हैं) जैसे ज्यामितीय अनुमानों पर निर्भर करती हैं, ये धारणाएँ व्यवहार में अक्सर विफल हो जाती हैं।

यह शोध पत्र वर्तमान ज्यामितीय दृष्टिकोणों में दो प्राथमिक सीमाओं की पहचान करता है:

1. गैर-समान ज्यामिति (Non-Uniform Geometry): सांख्यिकीय रूप से स्वतंत्र कारक ज्यामितीय रूप से जुड़े हो सकते हैं। उदाहरण के लिए, एक रेंडरिंग में जहाँ रंग (hue) और स्केल (scale) स्वतंत्र रूप से बदलते हैं, रंग बदलने का प्रेक्षण (जैसे क्षेत्रफल) पर प्रभाव और स्केल (जैसे सीमा) बदलने का प्रभाव अलग-अलग दरों से बढ़ता है। यह स्थिति-निर्भर अनिसोट्रॉपी (position-dependent anisotropy) बनाता है जिसे इकाइयों के एक निश्चित पुन: स्केलिंग द्वारा ठीक नहीं किया जा सकता है।
2. टोपोलॉजिकल और संरचनात्मक अपर्याप्तता: मानक टोपोलॉजी (topology) उन स्थानों के बीच अंतर करने के लिए अपर्याप्त है जो होमियोमॉर्फिक (homeomorphic - टोपोलॉजिकल रूप से समान) हैं लेकिन जिनके कारक संगठन भिन्न हैं। उदाहरण के लिए, एक वर्ग, एक डिस्क और एक शंकु (cone) टोपोलॉजिकल रूप से समान हैं, फिर भी वे विभिन्न कारक ज्यामितिओं (जैसे, एक गोलाकार कारक निरंतर विस्तार बनाए रख सकता है, सिकुड़ सकता है, या ढह सकता है) का समर्थन करते हैं। इसके अलावा, स्थानीय सममिति (local isometry) आवधिकता (periodicity/closure) या कारकों के समापन जैसी वैश्विक विशेषताओं को निर्धारित नहीं कर सकती है।

कार्यप्रणाली: कारक-स्थान संरचना और FactoMap
इन मुद्दों को संबोधित करने के लिए, लेखक एक नया औपचारिक रूप जिसे कारक-स्थान संरचना (Factor-Space Structure) कहा जाता है और एक संगत शिक्षण एल्गोरिदम, FactoMap (Factor-Space Topographic Map) प्रस्तुत करते हैं।

1. कारक-स्थान संरचना ($F_g$):
   लेखक कारक-स्थान संरचना को एक ट्रिपलेट $F_g = (Z, \approx_g, c_g)$ के रूप में परिभाषित करते हैं, जहाँ:

• $Z = \prod Z_i$ कारक डोमेन (अंतराल $I$ या वृत्त $S^1$) का गुणनफल है।
• $\approx_g$ जेनेरेटर-प्रेरित पहचानों (generator-induced identifications) का प्रतिनिधित्व करता है, जो यह परिभाषित करता है कि $Z$ के कौन से बिंदु एक ही प्रेक्षण से मानचित्रित होते हैं (जैसे, आवधिकता या एक बिंदु पर पतन)।
• $c_g = (c_1, \dots, c_p)$ स्थिति-निर्भर पैमानों (position-dependent scales) का प्रतिनिधित्व करता है, जहाँ $c_i(z) = \|\frac{\partial g}{\partial z_i}(z)\|_2$ प्रेक्षण स्थान पर कारक $i$ के स्थानीय प्रभाव को मापता है।
  यह औपचारिक ढांचा उन स्थानों के बीच अंतर करता है जो समान टोपोलॉजी साझा करते हैं लेकिन उनके कारक कैसे पहचाने या स्केल किए जाते हैं, इसमें भिन्न हैं।

2. FactoMap आर्किटेक्चर:
   FactoMap एक संरचित प्रोटोटाइप लर्नर है जो कारक-स्थान संरचना को एक टोपोग्राफिक प्रतिनिधित्व के रूप में साकार करता है। इसमें तीन घटक शामिल हैं:

• कारक-स्थान जालक (Factor-Space Lattice $\Lambda_F, d_F$): एक परिमित जालक (lattice) जिसे उपयोगकर्ता द्वारा प्रदान किया जाता है जो विशिष्ट टोपोलॉजी (जैसे रिंग बनाम लाइन), पहचानों (जैसे ढहे हुए फाइबर), और विश्लेषणात्मक दूरी कार्यों (analytic distance functions) को एनकोड करता है जो स्थिति-निर्भर पैमानों को दर्शाते हैं।
• प्रोटोटाइप क्षेत्र ($W$): जालक साइटों $k \in \Lambda_F$ द्वारा अनुक्रमित प्रोटोटाइप $w_k \in \mathbb{R}^m$ का एक सेट।
• टोपोग्राफिक लर्निंग ऑब्जेक्टिव: मॉडल एक सेल्फ-ऑर्गनाइजिंग मैप (SOM) उद्देश्य को कम करके सीखता है:
  $$L_t(W) = \mathbb{E}_x \left[ \sum_{k \in \Lambda_F} H_{\sigma_t}(q_W(x), k) \|x - w_k\|^2 \right]$$
  जहाँ $q_W(x)$ सर्वश्रेष्ठ-मिलान वाला जालक साइट है, और $H_{\sigma_t}$ जालक दूरी $d_F$ पर आधारित एक पड़ोस कर्नेल (neighborhood kernel) है। यह निकटवर्ती जालक साइटों को निकटवर्ती प्रेक्षणों का प्रतिनिधित्व करने के लिए प्रोत्साहित करता है, जिससे जालक के ज्यामितीय और टोपोलॉजिकल गुणों को सीखे गए प्रोटोटाइपों में प्रभावी रूप से स्थानांतरित किया जाता है।

प्रमुख योगदान

• कारक-स्थान औपचारिक रूप (Factor-Space Formalism): यह शोध पत्र कारक डोमेन, जेनेरेटर-प्रेरित पहचानों और कारक-वार पैमानों के एक कठोर पृथक्करण का प्रस्ताव करता है। यह उन स्थानों के बीच अंतर करने की अनुमति देता है जो समान टोपोलॉजी रखते हैं लेकिन भिन्न ज्यामितीय संगठन रखते हैं।
• समान सममिति की विफलता का प्रदर्शन: लेखक एक सैद्धांतिक प्रमाण (प्रपोजिशन 2.1) और अनुभवजन्य साक्ष्य प्रदान करते हैं कि सांख्यिकीय रूप से स्वतंत्र कारक (विशेष रूप से रंग और स्केल) स्थिति-निर्भर अनिसोट्रॉपी प्रदर्शित कर सकते हैं। वे प्रदर्शित करते हैं कि कोई भी निश्चित विकर्ण पुन: भारण (diagonal re-weighting) गैर-अपभ्रष्ट स्केल अंतराल के माध्यम से मेट्रिक को समान रूप से यूक्लिडियन नहीं बना सकता है।
• FactoMap एल्गोरिदम: एक नवीन विधि जो एक जालक द्वारा अनुक्रमित व्याख्या योग्य प्रोटोटाइप सीखती है। एक जालक (lattice) प्रदान करके जो अंतर्निहित कारक-स्थान संरचना (आवधिकता और गैर-समान स्केलिंग सहित) से मेल खाता है, FactoMap वहां विसंयोजन (disentanglement) प्राप्त करता है जहाँ मानक यूक्लिडियन या बेमेल टोपोलॉजिकल अनुमान विफल हो जाते हैं।
• नियंत्रित मूल्यांकन: FactoShapes, एक सिंथेटिक डेटासेट के परिचय से, यह अलग करने की अनुमति मिलती है कि कारक-स्थान संरचना विसंजन (disentanglement) को कैसे प्रभावित करती है।

परिणाम
FactoShapes पर प्रयोगों से पता चलता है कि प्रोटोटाइप डोमेन को अंतर्निहित कारक-स्थान संरचना के साथ मिलाना विसंजन के लिए महत्वपूर्ण है:

• टोपोलॉजी मिलान: आवधिक कारक (रंग) के लिए एक ओपन लाइन जालक का उपयोग करने से एक "कट" (cut) आ जाता है, जो आसन्न रंगों को अलग कर देता है। एक रिंग जालक आसन्नता को सही ढंग से बहाल करता है, जो सिद्ध करता है कि वैश्विक क्लोजर (global closure) को केवल स्थानीय रूप से नहीं, बल्कि जालक में एनकोड किया जाना चाहिए।
• स्केल मिलिंग: जब रंग और स्केल संयुक्त रूप से बदलते हैं, तो उनकी इमेज-स्पेस गति अलग-अलग पावर लॉ का पालन करती है ($c_h \propto s$ और $c_s \propto \sqrt{s}$)। एक आयताकार जालक इन कारकों को विसंयोजित करने में विफल रहता है, जिससे वे निरूपण में मिश्रित हो जाते हैं।
• शंकु जालक (Conical Lattice) की सफलता: एक "शंकु-संरचित" जालक, जहाँ चक्रीय परिधि स्केल अक्ष के साथ बदलती है (विश्लेषणात्मक भविष्यवाणी से मेल खाती है), रंग और स्केल को सफलतापूर्वक विसंयोजित करता है।
• मात्रात्मक मेट्रिक्स: InfoMEC (एक विसंजन मेट्रिक) का उपयोग करते हुए, मैच किए गए शंकु जालक ने उच्च स्कोर (InfoM $\approx$ 0.95, InfoE $\approx$ 0.82, InfoC $\approx$ 0.95) प्राप्त किया, जबकि एक बेमेल ग्रिड जालक खराब प्रदर्शन करता है (InfoM $\approx$ 0.27, InfoE $\approx$ 0.54, InfoC $\approx$ 0.025)।

महत्व और दावे
यह शोध पत्र दावा करता है कि सांख्यिकीय स्वतंत्रता का अर्थ ज्यामितीय पृथकता (geometric separability) नहीं है। जनरेटिव कारकों की अंतर्निहित ज्यामिति जटिल हो सकती है, जिसमें गैर-समान स्केल और विशिष्ट टोपोलॉजिकल पहचान शामिल हैं जिन्हें मानक यूक्लिडियन या निश्चित-टोपोलॉजी मॉडल कैप्चर नहीं कर सकते हैं।

FactoMap का महत्व इसकी कारक-स्थान संरचना (टोपोलॉजी, पहचान और स्थानीय स्केल) को स्पष्ट रूप से एनकोड करने की क्षमता में निहित है। जालक निर्देशांकों को अंतर्निहित कारकों के साथ संरेखित करके, यह विधि कारक निरंतरता को बनाए रखती है और वहां विसंजन सक्षम करती है जहां मानक यूक्लिडियन या बेमेल टोपोलॉजिकल अनुमान विफल हो जाते हैं। लेखक इस बात पर जोर देते हैं कि हालांकि टोपोलॉजी अकेले पर्याप्त नहीं है, लेकिन जेनेरेटर-प्रेरित पहचानों और स्थिति-निर्भर पैमानों को जोड़ने से जटिल जनरेटिव कारकों को प्रस्तुत करने के लिए एक आवश्यक ढांचा प्रदान होता है।