Generating 3D models from sketches of human faces using a combined approach of Convolutional Neural Networks, Procedural Modeling, and Contour Mapping
यह शोध पत्र एक्शन यूनिट्स के माध्यम से चेहरे के भावों का पता लगाने के लिए प्रशिक्षित कनवल्शनल न्यूरल नेटवर्क, उन भावों को लागू करने के लिए एक पैरामीट्रिक 3D मॉडल (वैली गर्ल), और परिणामी मॉडल को स्केच के कंटूर के साथ संरेखित करने के लिए एक्टिव स्नेक कंटूरों को संयोजित करके स्केच से 3D फेस मॉडल उत्पन्न करने की एक नवीन विधि प्रस्तुत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास कागज के एक टुकड़े पर एक साधारण, हाथ से बना हुआ किसी मजाकिया चेहरे का रेखाचित्र (sketch) है। अब, कल्पना कीजिए कि आप उस सपाट ड्राइंग को एक वास्तविक, 3D पात्र में बदलना चाहते हैं जिसे आप घुमा सकें, जिस पर रोशनी डाल सकें और यहाँ तक कि उसे एनिमेट भी कर सकें। यही वह समस्या है जिसे नैन्सी इस्कैंडर ने अपने मास्टर्स थीसिस में हल किया है।
उनका समाधान एक तीन-चरणीय असेंबली लाइन की तरह है जो कंप्यूटर की दिमागी शक्ति, एक डिजिटल कठपुतली के लचीलेपन और एक स्मार्ट "चुंबकीय" प्रणाली को जोड़ता है। यह कैसे काम करता है, यहाँ सरल शब्दों में दिया गया है:
चरण 1: "मूड डिटेक्टिव" (कन्वोल्यूशनल न्यूरल नेटवर्क)
सबसे पहले, कंप्यूटर को यह समझने की आवश्यकता है कि ड्राइंग क्या कहने की कोशिश कर रही है। क्या व्यक्ति मुस्कुरा रहा है? क्या वे नाक चढ़ा रहे हैं? क्या वे आँखें सिकोड़ रहे हैं?
- उपमा: इसे एक जासूस की तरह समझें जो केवल एक रफ स्केच देखकर संदिग्ध के मूड का अनुमान लगाने की कोशिश कर रहा है।
- यह कैसे काम करता है: लेखिका ने एक कंप्यूटर को (कन्वोल्यूशनल न्यूरल नेटवर्क नामक एक प्रकार के AI का उपयोग करके) विशिष्ट मांसपेशियों की गतिविधियों को पहचानने के लिए प्रशिक्षित किया, जिन्हें "एक्शन यूनिट्स" (जैसे भौंहें उठाना या नाक सिकोड़ना) के रूप में जाना जाता है।
- सीक्रेट सॉस: असली लोगों की तस्वीरों के बजाय, लेखिका ने 21,000 से अधिक नकली चेहरों और उनके संबंधित रेखाचित्रों का एक विशाल पुस्तकालय बनाया। उन्होंने एक डिजिटल कठपुतली (जिसे "वैली गर्ल" कहा जाता है) का उपयोग करके हजारों अलग-अलग चेहरे बनाए, उनकी तस्वीर ली और फिर उन तस्वीरों को स्केच में बदल दिया। इस "ट्रेनिंग कैंप" ने AI को यह पहचानने में सक्षम बनाया कि एक "खुश" चेहरे और एक "तिरस्कारपूर्ण" (sneering) चेहरे के बीच अंतर क्या है, भले ही वे कागज पर केवल रेखाएं ही क्यों न हों।
चरण 2: "डिजिटल कठपुतली" (प्रोसीजरल मॉडलिंग)
एक बार जब AI को मूड पता चल जाता है (जैसे, "यह स्केच एक तिरस्कारपूर्ण भाव दिखाता है"), तो इसे उस मूड से मेल खाने वाला एक 3D चेहरा बनाना होता है।
- उपमा: एक हाई-टेक मैरियोनेट या मिट्टी के मॉडल की कल्पना करें जिसमें हर मांसपेशी से जुड़ी अदृश्य डोरियाँ लगी हुई हैं।
- यह कैसे काम करता है: सिस्टम "वैली गर्ल" डिजिटल कठपुतली को लेता है और चरण 1 में AI द्वारा पता लगाए गए संकेतों के आधार पर उन अदृश्य डोरियों को खींचता है। यदि AI ने "तिरस्कार" देखा, तो कठपुतली का ऊपरी होंठ ऊपर खिंच जाता है। यदि उसने "आँखें सिकोड़ना" देखा, तो आँखें छोटी हो जाती हैं।
- परिणाम: अब आपके पास एक 3D चेहरा है जिसमें सही अभिव्यक्ति है, लेकिन यह अभी भी एक सामान्य, औसत व्यक्ति जैसा दिखता है। यह अभी तक स्केच में दिख रहे विशिष्ट व्यक्ति जैसा नहीं बना है।
चरण 3: "मैग्नेटिक टेलर" (एक्टिव स्नेक कंटोर्स)
यह अंतिम चरण है जहाँ सामान्य 3D कठपुतली को ठीक उसी तरह बदला जाता है जैसा कि स्केच है।
- उपमा: कल्पना कीजिए कि आप 3D कठपुतली के चेहरे पर एक लचीला, चुंबकीय रबर बैंड (एक "स्नेक" या सांप) रखते हैं। फिर आप मूल स्केच को उसके ऊपर रखते हैं। वह रबर बैंड स्केच की गहरी रेखाओं की ओर एक चुंबकीय खिंचाव महसूस करता है। यह खिंचता है, सिकुड़ता है और मुड़ता है जब तक कि वह ड्राइंग की रेखाओं पर पूरी तरह से फिट न हो जाए।
- यह कैसे काम करता है: कंप्यूटर स्केच की रेखाओं के साथ अदृश्य "स्नेक्स" बनाता है। इन स्नेक्स को 3D मॉडल के किनारों की ओर आकर्षित होने के लिए प्रोग्राम किया गया है। वे 3D मॉडल की सतह को तब तक खींचते हैं जब तक कि मॉडल के कंटोर्स (contours) स्केच के कंटोर्स से मेल न खा जाएं।
- परिणाम: अब 3D मॉडल को स्केच की अनूठी विशेषताओं (जैसे चौड़ी नाक या विशिष्ट जबड़े की रेखा) के अनुरूप आकार दिया गया है, जबकि वह अभिव्यक्ति भी बरकरार रखी गई है जो AI ने पहले पहचानी थी।
अंतिम उत्पाद
अंतिम परिणाम एक वास्तविक 3D मॉडल है जिसे घुमाया जा सकता है, जिस पर रोशनी डाली जा सकती है और गेम या फिल्मों में उपयोग किया जा सकता है। लेखिका ने दिखाया कि यह तरीका कंप्यूटर-जनरेटेड स्केच और हाथ से बने स्केच दोनों पर काम करता है।
पेपर क्या कह सकता है कि यह क्या कर सकता है:
- पेशेवर 3D कलाकारों को पात्रों के डिजाइन का तेजी से प्रोटोटाइप बनाने में मदद करना।
- शुरुआती या इंडी डेवलपर्स को जटिल सॉफ्टवेयर जाने बिना 3D सिर बनाने की अनुमति देना।
- स्केच कलाकारों को अपने ड्राइंग को 3D रेंडर के रूप में जीवंत होते देखने की अनुमति देना ताकि वे इसकी सटीकता की जांच कर सकें।
- बच्चों को उनकी सरल ड्राइंग को 3D पात्रों में बदलते देखने की अनुमति देना।
पेपर क्या स्वीकार करता है कि यह अभी क्या नहीं कर सकता:
- यह मूल 3D मॉडल में मौजूद विशेषताओं के अलावा नई विशेषताएं नहीं बना सकता (उदाहरण के लिए, यदि आप तीसरी आँख बनाते हैं, तो सिस्टम को यह नहीं पता चलेगा कि कठपुतली पर तीसरी आँख कैसे उगानी है)।
- यह उपयोगकर्ता पर निर्भर करता है कि वह पहले स्केच को मॉडल के साथ मोटे तौर पर संरेखित (align) करे; यदि अनुपात बहुत अलग हैं (जैसे बहुत छोटी ठुड्डी पर बहुत बड़ा मुंह), तो "मैग्नेटिक स्नेक्स" भ्रमित हो सकते हैं।
संक्षेप में, यह पेपर एक 2D रेखा चित्र को 3D पात्र में बदलने का एक चतुर तरीका प्रस्तुत करता है—पहले भावना का अनुमान लगाकर, फिर एक मिलान करने वाली कठपुतली बनाकर, और फिर उस कठपुतली को तब तक खींचकर जो ड्राइंग में पूरी तरह फिट हो जाए, एक "स्मार्ट चुंबक" का उपयोग करके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।