💻 computer science

Affine-Equivariant Kernel Space Encoding for NeRF Editing

यह शोध पत्र अफ़ाइन-इक्विवेरिएंट कर्नल स्पेस एनकोडिंग (EKS) प्रस्तुत करता है, जो न्यूरल रेडिएंस फील्ड्स के लिए एक नवीन स्थानिक एनकोडिंग है जो एनिसोट्रोपिक गॉसियन कर्नेल और फीचर डिस्टिलेशन का उपयोग करता है ताकि एक कॉम्पैक्ट, ग्रिड-मुक्त प्रतिनिधित्व बनाए रखते हुए उच्च-सटीक रेंडरिंग के साथ स्थानीयकृत, विरूपण-जागरूक दृश्य संपादन सक्षम किया जा सके।

मूल लेखक: Mikołaj Zieliński, Krzysztof Byrski, Tomasz Szczepanik, Dominik Belter, Przemysław Spurek

प्रकाशित 2026-02-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mikołaj Zieliński, Krzysztof Byrski, Tomasz Szczepanik, Dominik Belter, Przemysław Spurek

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: 3D दृश्यों का "स्पैगेटी" (Spaghetti)

कल्पना कीजिए कि आपके पास एक डिजिटल 3D दृश्य है, जैसे फर्नीचर से भरा एक कमरा। पारंपरिक AI तरीके (जिन्हें NeRFs कहा जाता है) इन दृश्यों को बनाने में अद्भुत हैं ताकि वे बिल्कुल असली दिखें। हालाँकि, वे इस दृश्य को एक विशाल, उलझे हुए स्पैगेटी के कटोरे की तरह स्टोर करते हैं। इसमें हर जानकारी आपस में मिल जाती है।

यदि आप केवल एक कुर्सी को हिलाना चाहते हैं, तो AI भ्रमित हो जाता है। क्योंकि सब कुछ आपस में उलझा हुआ है, कुर्सी को हिलाने से गलती से मेज, फर्श या लाइटिंग भी बिगड़ सकती है। इसे ठीक करने के लिए, आपको आमतौर पर पूरे मॉडल को फेंकना पड़ता है और इसे शुरू से फिर से ट्रेन करना पड़ता है, जिसमें बहुत समय लगता है।

अन्य तरीकों ने इसे एक बिंदुओं के ग्रिड (जैसे पिक्सेलेटेड मैप) का उपयोग करके ठीक करने की कोशिश की। लेकिन यदि आप दृश्य को खींचते या सिकोड़ते हैं, तो बिंदु भी पिचक जाते हैं, और इमेज टूट जाती है, जिससे छेद या अजीब विकृतियाँ (distortions) दिखाई देने लगती हैं।

समाधान: EKS ("स्मार्ट कोहरे" वाला दृष्टिकोण)

लेखकों ने EKS पेश किया है, जो 3D दृश्यों को स्टोर करने का एक नया तरीका है। डेटा को विशिष्ट बिंदुओं पर स्टोर करने के बजाय, EKS दृश्य को स्मार्ट, अदृश्य कोहरे के बादलों (smart, invisible fog clouds) से बना हुआ मानता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. कोहरे के बादल (Anisotropic Gaussians)

डेटा को विशिष्ट बिंदुओं पर स्टोर करने के बजाय, EKS इसे "कोहरे के बादलों" (गणितीय रूप से anisotropic Gaussian kernels) के अंदर स्टोर करता है।

उपमा (Analogy): इन बादलों को नरम, खिंचने वाले गुब्बारों के रूप में सोचें। प्रत्येक गुब्बारा दृश्य के थोड़े से रंग और बनावट (texture) को थामे रखता है।
जादू: ये गुब्बारे केवल गोल नहीं हैं; इन्हें खींचा, दबाया या घुमाया जा सकता है (जैसे रग्बी बॉल बनाम बीच बॉल)। यह आकार महत्वपूर्ण है। जब आप दृश्य को हिलाते या बदलते हैं, तो गुब्बारे उनके साथ खिंचते हैं, जिससे उनके अंदर की जानकारी सुरक्षित और सुसंगत रहती है।

2. "खिंचने वाला" खोज (Mahalanobis Distance)

जब कंप्यूटर को यह जानने की आवश्यकता होती है कि दृश्य के किसी विशिष्ट स्थान पर रंग क्या है, तो वह पास के कोहरे के बादलों को देखता है।

पुराना तरीका: कल्पना करें कि आप पूछ रहे हैं, "मेरे सबसे करीब कौन है?" यदि आप एक रबर की शीट पर बने लोगों को खींचते हैं, तो "सबसे करीबी" व्यक्ति अचानक किसी दूसरे स्थान पर कूद सकता है, जिससे इमेज में गड़बड़ी आ सकती है।
EKS का तरीका: EKS एक विशेष "खिंचने वाले पैमाने" (जिसे Mahalonobis distance कहा जाता है) का उपयोग करता है। यह पूछता है, "यह देखते हुए कि रबर की शीट वर्तमान में कितनी खिंची हुई है, मेरे सबसे करीब कौन है?"
परिणाम: भले ही आप दृश्य को सिकोड़ें या मरोड़ें, कंप्यूटर हमेशा सही "पड़ोसियों" को ढूंढ लेता है ताकि उन्हें मिलाया जा सके। यह इमेज को फटने या उसमें छेद होने से रोकता है।

3. "शिक्षक-छात्र" वाली ट्रिक (Feature Distillation)

एक 3D मॉडल को ट्रेन करने के लिए आमतौर पर सभी बारीक विवरणों (जैसे लकड़ी की मेज के दाने) को पाने के लिए एक विशाल, उच्च-रिज़ॉल्यूशन ग्रिड की आवश्यकता होती है। लेकिन ग्रिड को एडिट करना कठिन है।

उपमा: कल्पना कीजिए कि एक मास्टर शेफ (ग्रिड) है जो हर गुप्त रेसिपी जानता है। EKS एक छात्र शेफ है। ट्रेनिंग के दौरान, छात्र शेफ मास्टर शेफ के व्यंजनों को चखता है और रेसिपी सीखता है, लेकिन पूरी रसोई को याद करने के बजाय, छात्र उन रेसिपी को कुछ विशिष्ट, लचीले कार्डों पर लिख लेता है (कोहरे के बादल)।
परिणाम: एक बार ट्रेनिंग पूरी हो जाने के बाद, छात्र शेफ उस विशाल रसोई को फेंक देता है और केवल कार्डों को रखता है। अब, आप कार्डों को हिलाकर दृश्य को एडिट कर सकते हैं, और छात्र अभी भी उच्च-गुणवत्ता वाले विवरणों को याद रखता है क्योंकि वे कार्डों में "डिस्टिल" (distill) किए गए थे।

आप इससे क्या कर सकते हैं?

यह पेपर दिखाता है कि क्योंकि दृश्य इन लचीले, खिंचने वाले कोहरे के बादलों पर बना है, इसलिए आप ऐसी चीजें कर सकते हैं जो बिना दोबारा ट्रेनिंग के पहले असंभव थीं:

भौतिक सिमुलेशन (Physics Simulations): आप एक आभासी वस्तु को मेज पर गिरा सकते हैं, और दृश्य वास्तविक रूप से प्रतिक्रिया करेगा। "कोहरे के बादल" बिल्कुल असली नरम मिट्टी या कपड़े की तरह खिंचते और दबते हैं।
- पेपर से उदाहरण: लेगो बुल्डोजर को दबाना, कप के ऊपर कपड़ा गिरना, या गिरते हुए पत्तों का सिमुलेशन करना।
डायरेक्ट एडिटिंग (Direct Editing): आप दृश्य के किसी हिस्से को पकड़ सकते हैं, उसे हिला सकते हैं, घुमा सकते हैं या खींच सकते हैं, और AI तुरंत इमेज को अपडेट कर देता है। लाइटिंग और टेक्सचर एकदम सही रहते हैं क्योंकि "कोहरे के बादल" वस्तु के साथ ही हिले थे।

सारांश

संक्षेप में, EKS पुराने 3D मॉडलों के कठोर, टूटने वाले ग्रिड को लचीले, बुद्धिमान कोहरे के बादलों से बदल देता है।

पुराना तरीका: जैसे किसी फोटो को व्यक्तिगत पिक्सल को हिलाकर एडिट करना; यह ब्लॉक जैसा दिखता है और आसानी से टूट जाता है।
EKS का तरीका: एक ऐसी मूर्ति को एडिट करने जैसा जो नरम, जादुई मिट्टी से बनी है। आप इसे खींच सकते हैं, धकेल सकते हैं और मरोड़ सकते हैं, और सतह चिकनी और एकदम सही बनी रहती है क्योंकि "मिट्टी" जानती है कि अपना आकार खोए बिना कैसे खिंचना है।

यह उच्च-गुणवत्ता वाले 3D दृश्य प्रदान करता है जो न केवल देखने में सुंदर हैं, बल्कि उनके साथ खेलना, उन्हें बदलना और एनिमेट करना भी आसान और मजेदार है।

तकनीकी सारांश: NeRF संपादन के लिए एफाइन-इक्विवेरिएंट कर्नेल स्पेस एनकोडिंग (EKS)

समस्या विवरण

न्यूरल रेडिएंस फील्ड्स (NeRFs) निरंतर फलनों (continuous functions) के रूप में 3D दृश्यों को एनकोड करके उच्च-सटीकता वाले रेंडरिंग प्राप्त करते हैं। हालाँकि, उनके लेटेंट स्पेस आमतौर पर अंतर्निहित (implicit) और वैश्विक रूप से उलझे हुए (globally entangled) होते हैं, जिससे स्थानीयकृत संपादन (localized editing) और भौतिक रूप से आधारित हेरफेर (physically grounded manipulation) कठिन हो जाता है। मौजूदा समाधान स्पष्ट नियंत्रण संरचनाओं (जैसे, पॉइंट-आधारित कंडिशनिंग, मेश-आधारित नियंत्रण, या प्रिमिटिव-आधारित प्रतिनिधित्व) को पेश करके इसे कम करने का प्रयास करते हैं। जबकि ये दृष्टिकोण कुछ मैनुअल संपादन सक्षम करते हैं, वे अक्सर सीमित स्थानीयता (limited locality), विरूपण के प्रति संवेदनशीलता (sensitivity to deformations), और दृश्य कलाकृतियों (visual artifacts) से ग्रस्त होते हैं। विशेष रूप से, पॉइंट-आधारित लेटेंट प्रतिनिधित्व स्थानिक स्थानों पर फीचर स्टोर करते हैं; जब ये बिंदु विरूपित होते हैं, तो स्थानीय पड़ोस असंगत रूप से बदल जाता है, जिससे अस्थिर फीचर इंटरपोलेशन और दृश्य छिद्र या विरूपण उत्पन्न होते हैं। इसके अलावा, मानक पोजीशनल एनकोडिंग (जैसे, मल्टी-रेज़ोल्यूशन हैश ग्रिड) फीचर्स को वैश्विक रूप से उलझा देते हैं, जिससे स्थानीय संशोधनों का अवांछित प्रसार होता है।

कार्यप्रणाली: एफाइन-इक्विवेरिएंट कर्नेल स्पेस एनकोडिंग (EKS)

लेखक EKS का प्रस्ताव करते हैं, जो एक स्थानिक एनकोडिंग तंत्र है जो एनिसोट्रोपिक गाऊसी कर्नेल (anisotropic Gaussian kernels) का उपयोग करके कर्नेल स्पेस में दृश्य फीचर्स को निरूपित करता है।

1. कर्नेल स्पेस एनकोडिंग
डिस्क्रीट पॉइंट्स या ग्रिड वर्टिक्स पर लेटेंट फीचर्स को क्वेरी करने के बजाय, EKS एक लर्न करने योग्य एनिसोट्रोपिक गाऊसी कर्नेल के क्षेत्र के माध्यम से फीचर्स को एकत्रित करता है। प्रत्येक कर्नेल प्रभाव के एक स्थानीय क्षेत्र को परिभाषित करता है।

निरूपण (Representation): दृश्य को गाऊसी कर्नेल्स $\{N(\mu_i, \Sigma_i)\}$ के एक सेट द्वारा निरूपित किया जाता है, जहाँ $\mu_i$ माध्य (mean) है और $\Sigma_i$ पूर्ण एनिसोट्रोपिक कोवेरिएंस (covariance) है। प्रत्येक कर्नेल एक ट्रेन करने योग्य लेटेंट फीचर वेक्टर $v_i$ से जुड़ा होता है।
इंटरपोलेशन (Interpolation): एक क्वेरी पॉइंट $x$ के लिए, फीचर्स को $k$ निकटतम पड़ोसियों से महालनोबिस-दूरी-आधारित वेटिंग स्कीम (Mahalanobis-distance-based weighting scheme) का उपयोग करके इंटरपोलेट किया जाता है। वेट $w_i$ की गणना इस प्रकार की जाती है:
$w_i(x, G) = \exp\left(-\frac{1}{2}(x - \mu_i)^\top \Sigma_i^{-1} (x - \mu_i)\right)$
यह फॉर्मूलेशन सुनिश्चित करता है कि इंटरपोलेशन स्थानीय ज्यामिति का सम्मान करे और स्थानिक रूपांतरणों के तहत स्थिर रहे (एफाइन इक्विवेरिएंट), برخालत यूक्लिडियन दूरी-आधारित KNN के, जो विरूपण के तहत विफल हो जाता है।

2. रे-ट्रेस्ड गाऊसी प्रॉक्सिमिटी सर्च (RT-GPS)
महालनोबिस मेट्रिक के तहत निकटतम पड़ोसियों को कुशलतापूर्वक खोजने के लिए, लेखक RT-GPS पेश करते हैं।

खोज उन गासियन्स तक सीमित है जिनके कॉन्फिडेंस एललिप्सॉइड्स (quantile parameter द्वारा परिभाषित) क्वेरी पॉइंट को समाहित करते हैं।
इसे क्वेरी पॉइंट से किरणें (rays) ट्रेस करके और एललिप्सॉइड्स का प्रतिनिधित्व करने वाले परिपत्र स्ट्रेच्ड आयकोसाहेड्रा (circumscribed stretched icosahedra) के साथ इंटरसेक्शन की जाँच करके अनुमानित किया जाता है।
एक सॉर्टेड हिट बफर स्क्वेर्ड महालनोबिस दूरी के आधार पर शीर्ष $k$ उम्मीदवारों को बनाए रखता है।

3. हैश ग्रिड फीचर डिस्टिलेशन
मल्टी-रेज़ोल्यूशन हैश ग्रिड की हाई-फ्रीक्वेंसी डिटेल को बनाए रखते हुए इन्फरेंस के दौरान ग्रिड-मुक्त प्रतिनिधित्व प्राप्त करने के लिए, EKS एक ट्रेनिंग-टाइम फीचर डिस्टिलेशन तंत्र का उपयोग करता है।

प्रशिक्षण के दौरान, हैश-ग्रिड पैरामीटर्स और गाऊसी स्थितियों को संयुक्त रूप से अनुकूलित (optimize) किया जाता है।
गाऊसी फीचर्स को कर्नेल केंद्रों पर हैश-ग्रिड एनकोडिंग से सैंपल किया जाता है।
इन्फरेंस के समय, हैश ग्रिड को हटा दिया जाता है। गासियन्स अपने सीखे गए फीचर वेक्टर्स को बनाए रखते हैं, जो फिक्स्ड होते हैं। यह बिना नेटवर्क को पुन: प्रशिक्षित किए गाऊसी स्थिति, रोटेशन और स्केल के सीधे हेरफेर की अनुमति देता है।

4. व्यू-डायरेक्शन रिस्टोरेशन
विरूपण के बाद व्यू-डिपेंडेंट प्रभावों को संभालने के लिए, यह विधि गाऊसी कर्नेल्स के प्रिंसिपल एक्सिस का उपयोग स्थानीय समन्वय प्रणाली (local coordinate systems) के रूप में करती है। कबश एल्गोरिदम (Kabsh algorithm) का उपयोग करके, सिस्टम इन एक्सिस के स्थानिक रूपांतरणों को ट्रैक करता है ताकि व्यू-डिपेंडेंट फीचर्स को इस तरह बहाल किया जा सके जैसे कोई विरूपण हुआ ही न हो, बिना प्रतिनिधित्व के आकार को काफी बढ़ाए।

5. एडिटिंग और प्रूनिंग

एडिटिंग (Editing): गासियन्स को टेट्राहेड्रा (जहाँ ऑर्थोगोनल आर्म्स प्रिंसिपल एक्सिस के अनुरूप होते हैं) के रूप में निर्यात किया जा सकता है ताकि मानक मेश डेफॉर्मेशन टूल्स या फिजिक्स इंजन के माध्यम से हेरफेर किया जा सके। संशोधित गासियन्स को कर्नेल स्पेस एनकोडिंग के मापदंडों में वापस परिवर्तित किया जाता है।
प्रूनिंग/डेंसिफिकेशन (Pruning/Densification): विधि गासियन्स की संख्या को नियंत्रित करने के लिए रणनीतियों को अपनाती है। नए गासियन्स को हैश-ग्रिड एनकोडिंग (शेडिंग जानकारी के बजाय) से सैंपल करके इनिशियलाइज़ किया जाता है ताकि लेटेंट फील्ड के साथ संरेखण सुनिश्चित हो सके। अनुपयोगी गासियन्स को RT-GPS में उनकी चयन आवृत्ति के आधार पर हटाया (prune) जाता है।

मुख्य योगदान

एफाइन-इक्विवेरिएंट एनकोडिंग: एक नवीन पोजीशनल एनकोडिंग जो एनिसोट्रोपिक गाऊसी कर्नेल्स और महालनोबिस-दूरी इंटरपोलेशन का उपयोग करती है ताकि स्थानिक रूपांतरणों के तहत स्थिर फीचर संरचनाओं को बनाए रखा जा सके, जो पॉइंट-आधारित विधियों की अस्थिरता को संबोधित करती है।
ग्रिड-फ्री इन्फरेंस: एक फीचर डिस्टिलेशन तंत्र जो मल्टी-रेज़ोल्यूशन डिटेल्स को कॉम्पैक्ट, पूरी तरह से ग्रिड-मुक्त कर्नेल प्रतिनिधित्व में स्थानांतरित करता है, जिससे इन्फरेंस के दौरान ग्रिड लुकअप के कम्प्यूटेशनल ओवरहेड के बिना उच्च-सटीकता वाला रेंडरिंग सक्षम होता है।
प्रत्यक्ष संपादन क्षमता (Direct Editability): एक फ्रेमवर्क जो बिना न्यूरल नेटवर्क को पुन: प्रशिक्षित किए, गाऊसी कर्नेल मापदंडों के माध्यम से सीधे सहज, स्थानीयकृत और भौतिकी-आधारित हेरफेर (रिजिड बॉडी, सॉफ्ट बॉडी, क्लॉथ) की अनुमति देता है।
RT-GPS: रे ट्रेसिंग और एललिप्सॉइड इंटरसेक्शन टेस्ट का उपयोग करके एनिसोट्रोपिक कर्नेल स्पेस में निकटतम-पड़ोसी खोज के लिए एक कुशल एल्गोरिदम।

परिणाम

लेखक NeRF-Synthetic, Mip-NeRF 360 और कस्टम डिफॉर्मेबल एसेट्स पर EKS का मूल्यांकन करते हैं।

स्टैटिक रिकंस्ट्रक्शन: EKS गैर-संपादन योग्य अत्याधुनिक विधियों (जैसे, Instant-NGP) के समान रिकंस्ट्रक्शन गुणवत्ता (PSNR) प्राप्त करता है और अन्य संपादन योग्य विधियों के साथ प्रतिस्पर्धी है।
संपादन प्रदर्शन: संपादित दृश्यों के बेंचमार्क पर, EKS PSNR, SS름 (SSIM) और LPIPS मेट्रिक्स में पूर्ववर्ती अत्याधुनिक विधियों (Point-NeRF, NeuralEditor, और GaMeS सहित) से बेहतर प्रदर्शन करता है।
गुणात्मक विश्लेषण (Qualitative Analysis): EKS पॉइंट-आधारित विधियों की तुलना में चिकनी सतहें (smoother surfaces) बनाता है और बारीक विवरणों को बेहतर ढंग से संरक्षित करता है, जिनमें अक्सर ग्रेनुलैरिटी और छिद्र दिखाई देते हैं। यह गासियन स्प्लेटिंग-आधारित विधियों में देखे जाने वाले "ब्लीडिंग" आर्टिफ़ेक्ट्स से भी बचता है जहाँ प्रिमिटिव्स अत्यधिक स्केल हो जाते हैं।
फिजिक्स सिमुलेशन: विधि भौतिकी इंजन के साथ सफलतापूर्वक एकीकृत होती है ताकि गिरते हुए पत्तों, सॉफ्ट-बॉडी डेफॉर्मेशन (एक लेगो डोजर को दबाना), और क्लॉथ सिमुलेशन का अनुकरण किया जा सके, जो गतिशील इंटरैक्शन के दौरान उच्च रेंडरिंग शुद्धता बनाए रखती है।
एब्लेशन स्टडी (Ablation Study): व्यू-डायरेक्शन रिस्टोरेशन को हटाने से संपादित दृश्यों में सबसे बड़ा प्रदर्शन ड्रॉप होता है। यूक्लिडियन KNN के बजाय RT-GPS का उपयोग करने से पॉइंट-आधारित बेसलाइन के समान आर्टिफ़ेक्ट्स फिर से आ जाते हैं। फीचर डिस्टिलेशन को हटाने से दृश्य छिद्र और फ्लोटिंग संरचनाएं दिखाई देती हैं, हालांकि इन आर्टिफ़ेक्ट्स की स्पैरसिटी के कारण मात्रात्मक PSNR प्रभाव सीमित है।

महत्व

यह पेपर दावा करता है कि EKS भौतिक रूप से संवादात्मक और संपादन योग्य न्यूरल सीन रिप्रेजेंटेशन के लिए एक आशाजनक आधार प्रदान करता है। लेटेंट स्पेस को कठोर ग्रिड संरचनाओं और पॉइंट-आधारित विवेकीकरण (discretization) से अलग करके, EKS NeRFs में ट्रांसफॉर्मेशन-अवेयर एनकोडिंग की मौलिक सीमा को संबोधित करता है। यह उच्च-सटीकता और सहज हेरफेर की आवश्यकता वाले रोबोटिक्स, वर्चुअल वातावरण और कंटेंट क्रिएशन जैसे अनुप्रयोगों को सुगम बनाता है, जिसमें उच्च शुद्धता और सहज हेरफेर दोनों की आवश्यकता होती है।