Geometric Decoupling: Diagnosing the Structural Instability of Latent

यहाँ शोध पत्र "Geometric Decoupling: Diagnosing the Structural Instability of Latent Diffusion Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लेटेंट डिफ्यूजन मॉडल्स (LDMs) ने उच्च-गुणवत्ता वाले इमेज सिंथेसिस प्राप्त करके जनरेटिव एआई में क्रांति ला दी है। हालाँकि, वे एक गंभीर संरचनात्मक दोष से ग्रस्त हैं: लेटेंट स्पेस की भंगुरता (latent space brittleness)। जबकि LD de वितरण (distribution) से नमूने लेने में उत्कृष्ट हैं, वे इसके पारगमन (traversal) के दौरान नाजुक हो जाते हैं। लेटेंट कोड में मामूली परिवर्तन अक्सर असतत सिमेंटिक जंप (discontinuous semantic jumps) का परिणाम होते हैं, जो नियंत्रित संपादन (editing), इंटरपोलेशन और इन्वर्जन के लिए आवश्यक सुगमता को तोड़ देते हैं।

मौजूदा साहित्य इस अस्थिरता को गहरे नेटवर्क की सामान्य गैर-रैखिकता (non-linearity) के रूप में बताता है, लेकिन एक मात्रात्मक, ज्यामितीय निदान (quantitative, geometric diagnosis) प्रदान करने में विफल रहता है। विशेष रूप से, वर्तमान विधियाँ यह नहीं समझा पातीं कि:

• मैनिफोल्ड (manifold) ठीक कहाँ "टूटता" है।
• आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) स्थितियों में एडिटिंग दिशाएँ क्यों विचलित होती हैं।
• उच्च-फिडेलिटी लेकिन संरचनात्मक रूप से अस्थिर आउटपुट उत्पन्न करने के लिए मॉडल को विशिष्ट ज्यामितीय लागत (geometric cost) क्या चुकानी पड़ती है।

2. कार्यप्रणाली: एक रीमानियन ढांचा (Methodology: A Riemannian Framework)

लेखक LDMs की संरचनात्मक अस्थिरता का निदान करने के लिए एक रीमानियन ज्यामितीय ढांचे (Riemannian geometric framework) का प्रस्ताव करते हैं। लेटेंट स्पेस को एक सपाट यूक्लिडियन स्थान के रूप में मानने के बजाय, वे डिफरेंशियल ज्योमेट्री का उपयोग करके जनरेटिव मैपिंग $G: \mathcal{Z} \to \mathcal{X}$ का विश्लेषण करते हैं।

मुख्य ज्यामितीय डिस्क्रिप्टर्स (Key Geometric Descriptors)

यह कार्यप्रणाली जनरेटिव जैकोबियन (Jacobian) को दो प्राथमिक मेट्रिक्स में विभाजित करती है:

1. लोकल स्केलिंग (Local Scaling - LS): यह वॉल्यूम विस्तार के माध्यम से मैनिफोल्ड की सूचना क्षमता (information capacity) को मापता है। इसे सबस्पेस जैकोबियन के सिंगुलर मानों के लॉग-सम के रूप में परिभाषित किया गया है। उच्च LS उन क्षेत्रों को दर्शाता है जहाँ लेटेंट वॉल्यूम महत्वपूर्ण रूप से फैलता है, जो सैद्धांतिक रूप से सघन सूचना एन्कोडिंग की अनुमति देता है।
2. लोकल कॉम्प्लेक्सिटी (Local Complexity - LC): यह ज्यामितीय अस्थिरता और वक्रता (curvature) को मापता है। यह एक पड़ोस के भीतर स्थानीय मेट्रिक टेंसर के मुख्य आइजनवेक्टर ($V_1$) के घूर्णन की दर को परिमाणित करता है। उच्च LC का अर्थ है कि अधिकतम सिमेंटिक परिवर्तन की दिशा तेजी से घूमती है, जिससे अस्थिर ट्रावर्सल प्रक्षेपवक्र (trajectories) बनते हैं।

कार्यात्मक निदान (Functional Diagnostics)

यह निर्धारित करने के लिए कि वक्रता उपयोगी है या घातक, लेखक निम्नलिखित पेश करते हैं:

• प्रिंसिपल डायरेक्शन प्रोजेक्शन (Principal Direction Projection - P1): जैकोबियन-वेक्टर प्रोडक्ट के माध्यम से लेटेंट मुख्य अक्ष ($V_1$) का डेटा स्पेस पर प्रोजेक्शन। यह उस सटीक सामग्री को विज़ुअलाइज़ करता है जिसे मॉडल की सबसे अस्थिर दिशा द्वारा परिवर्तित किया जाता है।
• प्रोजेक्टेड हाई-फ्रीक्वेंसी एनर्जी (Projected High-Frequency Energy - PHFE): एक मेट्रिक जो अंतिम छवि की स्थिर हाई-फ्रीक्वेंसी ऊर्जा के विपरीत, परिवर्तन वेक्टर (P1) की हाई-फ्रीक्वेंसी सामग्री को मापता है।
  • फंक्शनल कपलिंग (Functional Coupling): यदि LC, PHFE के साथ सह-संबंधित है, तो वक्रता जटिल विवरणों को कुशलतापूर्वक एनकोड कर रही है।
  • ज्यामितीय डिकपलिंग (Geometric Decoupling): यदि LC उच्च है लेकिन PHFE कम है, तो वक्रता गैर-सिमेंटिक विकृतियों (distortions) पर व्यर्थ हो रही है।

अतिरिक्त मेट्रिक्स

• स्पेक्ट्रल आइसोलेशन स्कोर (Spectral Isolation Score - SIS): उस "टनल विजन" प्रभाव को परिमाणित करता है जहाँ मैनिफोल्ड एक एकल अक्ष पर मजबूती से लॉक हो जाता है, जिससे माध्यमिक सिमेंटिक आयामों के साथ संबंध टूट जाता है।
• इंटरपोलेशन ट्राजेक्टरी विश्लेषण (Interpolation Trajectory Analysis): लेटेंट ट्रावर्सल के दौरान पथ की लंबाई, टोर्टुऑसिटी (tortuosity), और चरम उछाल (extremal jumps) को मापने के लिए उपयोग किया जाता है ताकि वैश्विक संरचनात्मक भंगुरता का पता लगाया जा सके।

3. मुख्य योगदान (Key Contributions)

1. ज्यामितीय कार्यात्मक डिकपलिंग की पहचान: यह शोध पत्र पहला अनुभवजन्य प्रमाण प्रदान करता है कि ज्यामितीय वक्रता (LC) की कार्यात्मक भूमिका संदर्भ-निर्भर है। OOD स्थितियों के तहत, LC और छवि विवरण (PHFE) के बीच सहसंबंध ढह जाता है, जो यह प्रकट करता है कि OOD अस्थिरता गैर-कार्यात्मक मैनिफोल्ड ट्विस्टिंग द्वारा संचालित होती है।
2. "ज्यामितीय डिकपलिंग" का मात्रात्मक लक्षण वर्णन: लेखक प्रदर्शित करते हैं कि OOD जनरेशन के दौरान LC और LS दोनों के परिमाण में असामान्य वृद्धि होती है। महत्वपूर्ण रूप से, जबकि मॉडल अपना ज्यामितीय प्रयास (LC) बढ़ाता है, जनरेटिव दक्षता (परिCEPTIBLE विवरणों को एनकोड करने की क्षमता) गंभीर रूप से कम हो जाती है।
3. इंटरपोलेशन ट्राजेक्टरी विश्लेषण: वे दिखाते हैं कि OOD स्थितियाँ पैथोलॉजिकल टोर्टुऑसिटी और भारी-पूंछ वाले (heavy-tailed) विच्छेदन उत्पन्न करती हैं, जो लेटेंट ट्रावर्सल के दौरान गंभीर संरचनात्मक भंगुरता की पुष्टि करती हैं।
4. कारण सत्यापन (Causal Validation): प्रशिक्षण हस्तक्षेपों (SD3.5 Base बनाम Turbo की तुलना) के माध्यम से, वे दिखाते हैं कि डिकपलिंग गैप प्रशिक्षण व्यवस्थाओं के प्रति संवेदनशील है, जो यह सुझाव देता है कि यह एक संरचनात्मक परिणाम है न कि केवल एक सांख्यिकीय आर्टिफैक्ट।

4. प्रयोगात्मक परिणाम (Experimental Results)

यह अध्ययन Stable Diffusion 3.5 और FLUX.1 पर किया गया था, जिसमें सामान्य (In-Distribution) प्रॉम्प्ट्स की तुलना OOD प्रॉम्प्ट्स (जैसे, "दांतों वाला चिकन," "पिघली हुई कुर्सी," "उड़ता हुआ पेंगुइन") से की गई।

• सहसंबंध अंतराल (The Correlation Gap):
  • सामान्य जनरेशन: LC और PHFE के बीच मजबूत सकारात्मक सहसंबंध ($\rho \approx 0.41$ SD3.5 के लिए), जो दर्शाता है कि वक्रता का उपयोग विवरणों को एनकोड करने के लिए किया जाता है।
  • OOD जनरेशन: सहसंबंध लगभग शून्य ($\rho \approx 0.08$) तक गिर जाता है। मॉडल अत्यधिक वक्रता (curvature) खर्च करता है जो बोधगम्य विवरणों को एनकोड करने के लिए उपयोग नहीं किया जाता है।
• हाई-फ्रीक्वेंसी ट्रांसफर कोलैप्स:
  • OOD तनाव के तहत, लेटेंट ज्यामितीय ऊर्जा (PHFE) ~59.5% बढ़ जाती है, लेकिन परिणामी इमेज-स्पेस हाई-फ्रीक्वेंसी ऊर्जा लगभग अपरिवर्तित रहती है।
  • यह ट्रांसफर एफिशिएंसी ($\eta$) में गिरावट को दर्शाता है, जहाँ मॉडल का ज्यामितीय प्रयास दृश्य फिडेलिटी (visual fidelity) में घटते रिटर्न देता है।
• मैनिफोल्ड रिजिडिटी (Manifold Rigidity):
  • OOD नमूनों में स्पेक्ट्रल आइसोलेशन स्कोर (SIS) में वृद्धि देखी गई (जैसे, "पिघली हुई कुर्सी" के लिए +31%), जो यह दर्शाता है कि मैनिफोल्ड "हाइपर-रिजिड" हो जाता है, एक एकल अक्ष पर लॉक हो जाता है और बहुआयामी प्लास्टिसिटी खो देता है।
• दृश्य साक्ष्य (ज्यामितीय हॉटस्पॉट्स):
  • हीटमैप्स प्रकट करते हैं कि "ज्यामितीय हॉटस्पॉट्स" (चरम LC वाले क्षेत्र) सिमेंटिक विसंगतियों (जैसे, चिकन के दांत या उड़ते हुए पेंगुइन के पंख) के साथ सटीक रूप से संरेखित होते हैं।
  • ये हॉटस्पॉट्स वास्तविक हाई-फ्रीक्वेंसी विवरणों (PHFE) से स्थानिक डिकपलिंग (spatial decoupling) दिखाते हैं, जो पुष्टि करता है कि संसाधन बनावट (texture) उत्पन्न करने के बजाय सिमेंटिक संघर्षों को हल करने में गलत तरीके से आवंटित किए गए हैं।
• ट्राजेक्टरी अक्षमता (Trajectory Inefficiency):
  • OOD स्थितियों में इंटरपोलेशन पथों में संचयी पथ लंबाई में 18.3% की वृद्धि और अतिरिक्त लंबाई में 21.9% की वृद्धि देखी गई, जो यह सिद्ध करती है कि शोर-स्थान (noise-space) के सुचारू इंटरपोलेशन अंतिम लेटेंट स्पेस में अत्यधिक अनियमित और अक्षम पथों में मैप होते हैं।

5. महत्व और अनुप्रयोग (Significance and Applications)

• सैद्धांतिक अंतर्दृष्टि: यह शोध पत्र LDM अस्थिरता को यादृच्छिक शोर के रूप में देखने के बजाय इसे सिमेंटिक सामान्यीकरण के संरचनात्मक लागत के रूप में समझने के प्रतिमान को बदल देता है। यह "ज्यामितीय डिकपलिंग" को मतिभ्रम (hallucinations) और सिमेंटिक जंप के मूल कारण के रूप में पहचानता है।
• एनोटेशन-मुक्त OOD डिटेक्शन: लेखक एक ज्यामितीय दक्षता अनुपात (LC/PHFE) का प्रस्ताव करते हैं जो OOD विफलताओं का पता लगाने के लिए एक मजबूत, ज़ीरो-शॉट मीट्रिक है। यह मेट्रिक 0.816 का AUROC प्राप्त करता है, जो अकेले कच्चे LC या LS मेट्रिक्स की तुलना में काफी बेहतर प्रदर्शन करता है।
• प्रशिक्षण निगरानी (Training Monitoring): सहसंबंध में गिरावट मॉडल की अखंडता की निगरानी के लिए एक संवेदनशील संकेत के रूप में कार्य करती है, जो डिस्टिलेशन या फाइन-ट्यूनिंग के दौरान गुणवत्ता का संकेत देती है, जिसे पारंपरिक पिक्सेल-स्पेस मेट्रिक्स (जैसे FID) नहीं पकड़ पाते।
• भविष्य की दिशाएं: निष्कर्ष "ज्यामितीय-जागरूक" (Geometric-Aware) जनरेटिव मॉडलिंग के नए मार्ग सुझाते हैं, जिसमें उच्च वक्रता भिन्नता को दंडित करने के लिए प्रशिक्षण के दौरान ज्यामितिक रेगुलाइजेशन (Geometric Regularization) और अधिक स्थिर अनुमान के लिए वक्रता-अनुकूलित सैंपलिंग (Curvature-Adaptive Sampling) शामिल है।

संक्षेप में, यह कार्य एक कठोर गणितीय दृष्टिकोण प्रदान करता है कि LDMs सिमेंटिक तनाव के तहत क्यों विफल होते हैं, यह प्रकट करते हुए कि मॉडल बोधगम्य विवरणों के बजाय अस्थिर सीमाओं पर अपने ज्यामितीय संसाधनों को "बर्बाद" करते हैं, जिससे ज्यामितीय डिकपलिंग की घटना होती है।