Hybrid Neural Radiance Fields and Diffusion-Based Framework for Geometry-Preserving Selfie Perspective
यह शोध पत्र एक हाइब्रिड फ्रेमवर्क प्रस्तावित करता है जो ज्यामिति-जागरूक (geometry-aware) 3D पुनर्निर्माण के लिए रंके-कुट्टा (Runge–Kutta) अनुकूलित न्यूरल रेडिएंस फील्ड्स (NeRF) को एक डिफ्यूजन-आधारित परिशोधन मॉड्यूल के साथ जोड़ता है, ताकि चेहरे की पहचान, संरचनात्मक निरंतरता और फोटोरियलिस्टिक गुणवत्ता को संरक्षित करते हुए गंभीर सेल्फी परिप्रेक्ष्य विरूपण (selfie perspective distortion) को प्रभावी ढंग से ठीक किया जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब भी कोई व्यक्ति सेल्फी लेने के लिए अपने स्मार्टफोन को हाथ की दूरी पर पकड़ता है, तो वह अनजाने में एक ज्यामितीय छल (geometric trick) को आमंत्रित कर रहा होता है। क्योंकि कैमरा चेहरे के बहुत करीब होता है, परिप्रेक्ष्य के नियम (laws of perspective) उन विशेषताओं को, जो लेंस के सबसे करीब होती हैं—आमतौर पर नाक और गालों को—अनुचित रूप से बड़ा दिखा देते हैं, जबकि कान और सिर का पिछला हिस्सा छोटा और चपटा दिखाई देने लगता है। यह विरूपण (distortion) केवल एक सौंदर्य संबंधी परेशानी नहीं है; यह चेहरे की मौलिक संरचना को बदल देता है, जिससे अप्राकृतिक अनुपात पैदा होते हैं जो फेशियल रिकग्निशन सिस्टम को भ्रमित कर सकते हैं, बायोमेट्रिक सुरक्षा में बाधा डाल सकते हैं, और डिजिटल अवतारों को अजीब (uncanny) बना सकते हैं। वर्षों से, कंप्यूटर वैज्ञानिक इसे ऐसे सॉफ्टवेयर का उपयोग करके ठीक करने की कोशिश कर रहे हैं जो केवल सपाट छवि को खींचता या विकृत करता है, लेकिन ये तरीके अक्सर विफल हो जाते हैं क्योंकि वे यह नहीं समझते कि चेहरा एक त्रि-आयामी (3D) वस्तु है, न कि केवल एक द्वि-आयामी (2D) चित्र। वे एक झुर्री को तो चिकना कर सकते हैं लेकिन वाइड-एंगल लेंस द्वारा खींची गई नाक के अंतर्निहित आकार को फिर से नहीं बना सकते।
इसे हल करने के लिए, शोधकर्ताओं ने एक अधिक परिष्कृत दृष्टिकोण की ओर रुख किया है जो चेहरे को एक सपाट सतह के बजाय स्थान के एक आयतन (volume of space) के रूप में मानता है। इसमें एक एकल फोटो से चेहरे की छिपी हुई 3D ज्यामिति का पुनर्निर्माण करना, यह गणना करना कि कैमरा बिल्कुल कहाँ स्थित था, और फिर गणितीय रूप से 'व्यू पॉइंट' को एक अधिक प्राकृतिक दूरी पर ले जाना शामिल है। हालाँकि, इसे इतनी सटीकता के साथ करना कि यह वास्तविक लगे, कठिन रहा है। पारंपरिक तरीके अक्सर धुंधले परिणाम देते हैं या इस प्रक्रिया में व्यक्ति की विशिष्ट पहचान खो देते हैं। भारत और संयुक्त राज्य अमेरिका के संस्थानों के शोधकर्ताओं की एक टीम द्वारा प्रस्तावित एक नया अध्ययन एक हाइब्रिड सिस्टम का प्रस्ताव करता है जो इन बाधाओं को दूर करने के लिए तीन अलग-अलग तकनीकों को जोड़ता है। 3D दृश्य बनाने की एक विधि, सर्वोत्तम समाधान खोजने के लिए एक शक्तिशाली गणितीय उपकरण, और विवरणों को परिष्कृत करने के लिए एक जनरेटिव सिस्टम को आपस में बुनकर, टीम ने एक ऐसा ढांचा तैयार किया है जो व्यक्ति के चेहरे को बिल्कुल उसके जैसा बनाए रखते हुए सेल्फी विरूपण को ठीक कर सकता है।
इस नए ढांचे का मूल एक तकनीक पर आधारित है जिसे 'न्यूरल रेडिएंस फील्ड्स' (Neural Radiance Fields) या NeRF कहा जाता है। एक डिजिटल बिंदुओं के बादल की कल्पना करें जो चेहरे के चारों ओर के स्थान को भर देता है, जहाँ प्रत्येक बिंदु को अपना रंग और घनत्व पता होता है। चेहरे को वायरफ्रेम मेश से बनाने के बजाय, यह प्रणाली प्रकाश और पदार्थ के एक निरंतर आयतन (continuous volume) को पेंट करना सीखती है। जब शोधकर्ता इस प्रणाली में एक विकृत सेल्फी डालते हैं, तो यह पहले चेहरे की गहराई और कैमरे की स्थिति का अनुमान लगाता है। फिर यह जानकारी का उपयोग चेहरे के पूर्ण 3D आकार के पुनर्निर्माण के लिए करता है, प्रभावी रूप से यह सिम्युलेट करके चेहरे की ज्यामिति को "अन-डिस्टॉर्ट" (un-distort) करता है कि कैमरा और दूर होता तो चेहरा कैसा दिखता। यह चरण महत्वपूर्ण है क्योंकि यह कोई भी छवि उत्पन्न करने से पहले नाक, आँखों और कानों के बीच सही स्थानिक संबंधों को बहाल करता है।
हालाँकि, इस 3D मॉडल का निर्माण एक जटिल गणितीय पहेली है। बिंदुओं और कैमरा सेटिंग्स के सटीक क्रम को खोजना एक अनुकूलन प्रक्रिया (optimization process) की आवश्यकता रखता है, जो अनिवार्य रूप से अरबों संभावनाओं के बीच सर्वश्रेष्ठ संभव उत्तर की खोज है। शोधकर्ताओं ने पाया कि मानक खोज विधियाँ अक्सर स्थानीय जाल (local traps) में फंस जाती हैं या वास्तविक समाधान खोजने के लिए बहुत धीमी होती हैं। इसे ठीक करने के लिए, उन्होंने रनगे-कुट्टा ऑप्टिमाइज़ेशन (Runge-Kutta optimization) नामक एक उच्च-क्रम संख्यात्मक तकनीक को एकीकृत किया। एक हाइकर की तरह जो पहाड़ से नीचे उतरने के लिए रास्ता महसूस करते हुए छोटे, अनिश्चित कदम उठाता है, उसके बजाय यह विधि भविष्य के कई बिंदुओं पर ढलान (slope) की गणना करती है ताकि सबसे कुशल पथ का पूर्वानुमान लगाया जा सके। यह सिस्टम को बहुत तेज़ी से और अधिक स्थिरता के साथ सही 3D ज्यामिति तक पहुँचने की अनुमति देता है, यह सुनिश्चित करते हुए कि पुनर्निर्मित चेहरा संरचनात्मक रूप से सुदृढ़ है और उन त्रुटियों से मुक्त है जो सरल तरीकों को परेशान करती हैं।
एक बार जब सिस्टम एक 3D पुनर्निर्माण उत्पन्न करता है और उसे वापस 2D छवि में रेंडर करता है, तो परिणाम अक्सर ज्यामितीय रूप से सही होता है लेकिन फिर भी थोड़ा नरम या वास्तविक त्वचा की सूक्ष्म बनावट की कमी वाला हो सकता है। इसे संबोधित करने के लिए, टीम ने डिफ्यूजन-आधारित रिफाइनमेंट मॉड्यूल का उपयोग करते हुए एक अंतिम चरण जोड़ा है। यह घटक एक उच्च-स्तरीय इमेज एनहेंसर की तरह कार्य करता है जो 3D रेंडरिंग प्रक्रिया द्वारा छोड़ी गई धुंधलेपन और आर्टिफैक्ट्स को हटाने के लिए सीखता है। यह छवि को बार-बार साफ करके, त्वचा के छिद्रों और बालों के तीखे विवरणों को वापस जोड़ते हुए काम करता है, जबकि पिछले चरण में स्थापित ज्यामितीय संरचना का सख्ती से पालन करता है। महत्वपूर्ण रूप से, यह परिशोधन (refinement) एक 'लॉस फंक्शन' द्वारा निर्देशित होता है जो यह सुनिश्चित करता है कि व्यक्ति की पहचान अपरिवर्तित रहे, जिससे सिस्टम गलती से विशेषताओं को बदलने या चेहरे का "भ्रमित" (hallucinated) संस्करण बनाने से बच सके।
शोधकर्ताओं ने अपने सिस्टम का परीक्षण हजारों चेहरों वाले छह विभिन्न डेटासेट्स पर किया, जिसमें नियंत्रित स्टूडियो पोर्ट्रेट से लेकर अत्यधिक कोणों और खराब रोशनी वाले वास्तविक दुनिया के सेल्फी तक शामिल थे। परिणामों को मानक मेट्रिक्स का उपयोग करके मापा गया जो छवि गुणवत्ता और पहचान संरक्षण का मूल्यांकन करते हैं। नए ढांचे ने 3 deas (डेसीबल) का पीक सिग्नल-टू-नॉइज़ रेशियो और 0.94 का स्ट्रक्चरल सिमिलरिटी स्कोर प्राप्त किया, जो उच्च स्तर की शुद्धता का संकेत देते हैं। इससे भी महत्वपूर्ण बात यह है कि सिस्टम ने 0.95 का पहचान समानता स्कोर बनाए रखा, जो यह सिद्ध करता है कि सुधारा गया चित्र अभी भी मूल विषयों जैसा ही दिखता है। प्रत्यक्ष तुलना में, नया तरीका कनवल्शनल न्यूरल नेटवर्क और जनरेटिव एडवरसैरियल नेटवर्क पर आधारित मौजूदा दृष्टिकोणों से बेहतर प्रदर्शन करता है, जो अक्सर ज्यामितीय सटीकता और दृश्य यथार्थवाद के बीच संतुलन बनाने में संघर्ष करते हैं।
यह अध्ययन पुष्टि करता है कि वॉल्यूमेट्रिक 3D पुनर्निर्माण को उन्नत अनुकूलन और जनरेटिव परिशोधन के साथ जोड़ना सेल्फी विरूपण की पुरानी समस्या का एक मजबूत समाधान प्रदान करता है। चेहरे को अंतरिक्ष में एक भौतिक वस्तु के रूप में मानकर, सिस्टम क्लोज-रेंज फोटोग्राफी के कारण होने वाले अतिरंजित (exaggerated) लक्षणों को व्यक्ति की समानता खोए बिना ठीक कर सकता है। जबकि वर्तमान मॉडल के लिए महत्वपूर्ण कंप्यूटिंग शक्ति की आवश्यकता है और यह अभी मोबाइल फोन पर वास्तविक समय (real-time) के उपयोग के लिए तैयार नहीं है, निष्कर्ष ऑगमेंटेड रियलिटी, वर्चुअल रियलिटी और डिजिटल कंटेंट क्रिएशन के लिए स्पष्ट मार्ग सुझाते हैं। यह कार्य प्रदर्शित करता है कि जब ज्यामिति, अनुकूलन और जनरेटिव कला संरेखित होते हैं, तो मानव चेहरे के प्राकृतिक अनुपात को बहाल करना संभव है, जिससे एक विकृत सेल्फी को एक विश्वसनीय पोर्ट्रेट में बदला जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।