🤖 AI

Learning to Generate Conditional Tri-plane for 3D-aware Expression Controllable Portrait Animation

यह शोध पत्र Export3D प्रस्तुत करता है, जो एक वन-शॉट 3D-अवेयर पोर्ट्रेट एनिमेशन विधि है जो अभिव्यक्ति-नियंत्रणीय (expression-controllable), दृश्य-परिवर्तनीय (view-varying) इमेज सिंथेसिस प्राप्त करने के लिए एक कंट्रास्टिव प्री-ट्रेनिंग फ्रेमवर्क और एक ट्राई-प्लेन जनरेटर का उपयोग करता है, साथ ही क्रॉस-आइडेंटिटी एक्सप्रेशन ट्रांसफर के दौरान अवांछित अपीयरेंस स्वैप को प्रभावी ढंग से समाप्त करता है।

मूल लेखक: Taekyung Ki, Dongchan Min, Gyeongsu Chae

प्रकाशित 2026-03-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taekyung Ki, Dongchan Min, Gyeongsu Chae

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास अपने एक दोस्त की एक अकेली, स्थिर फोटो है। अब, कल्पना कीजिए कि आप उस फोटो को जीवंत बनाना चाहते हैं, जिससे आपका दोस्त पलकें झपकाए, मुस्कुराए या बात करे, लेकिन आप इसके लिए किसी दूसरे व्यक्ति (जैसे कि किसी फिल्म अभिनेता) के चेहरे के भावों का उपयोग करना चाहते हैं।

यह वह चुनौती है जिसे Export3D पेपर हल करता है। यह एक पुराने शरीर में नई आत्मा डालने की कोशिश करने जैसा है, बिना गलती से उस शरीर की विशेषताओं (जैसे आपके दोस्त की नाक या आंखों का आकार) को बदले।

यहाँ बताया गया है कि उन्होंने इसे कैसे किया, कुछ रोज़मर्रा के उदाहरणों का उपयोग करते हुए:

समस्या: "खराब कॉपी-पेस्ट" (The "Bad Copy-Paste")

चेहरों को एनिमेट करने के पिछले तरीके फोटो एडिटर में "कॉपी और पेस्ट" टूल का उपयोग करने जैसे थे। उन्होंने ड्राइवर (जिसके हाव-भाव को कॉपी करना है) की गति से मेल खाने के लिए स्रोत फोटो को खींचने और मोड़ने (warp) की कोशिश की।

समस्या: जब आप एक फोटो को बहुत अधिक खींचते हैं, तो वह धुंधली या अजीब हो जाती है। इससे भी बुरा यह है कि जब आप किसी दूसरे व्यक्ति के भावों को कॉपी करने की कोशिश करते हैं, तो सॉफ्टवेयर अक्सर अनजाने में उनकी दिखावट (appearance) को भी कॉपी कर लेता है। यह आपके चेहरे पर मुस्कान लाने की कोशिश करने जैसा है, लेकिन अचानक आपका चेहरा अपने दोस्त के चेहरे में बदल जाता है क्योंकि सॉफ्टवेयर "मुस्कुराने" और "आप कौन हैं" के बीच भ्रमित हो गया।

समाधान: "3D ब्लूप्रिंट" (The "3D Blueprint" - Tri-Plane)

एक सपाट 2D फोटो को मोड़ने के बजाय, Export3D चेहरे का एक 3D मानसिक ब्लूप्रिंट बनाता है।

उदाहरण: एक सपाट फोटो को कागज के टुकड़े के रूप में सोचें। Export3D उस कागज को एक 3D मिट्टी की मूर्ति (clay sculpture) में बदल देता है।
यह कैसे काम करता है: वे एक "Tri-plane" का उपयोग करते हैं, जो तीन पारदर्शी कांच की शीटों को एक साथ रखने जैसा है (सामने, बगल और ऊपर का दृश्य)। ये शीट चेहरे की 3D जानकारी रखती हैं। क्योंकि यह एक 3D मॉडल है, कंप्यूटर जानता है कि चेहरे को किसी भी कोण (angle) से कैसा दिखना चाहिए, न कि केवल सामने से।

असली मंत्र: "एक्सप्रेशन सिग्नल" की सफाई (The "Secret Sauce")

सबसे बड़ी बाधा यह है कि चेहरे के भावों का वर्णन करने वाला डेटा (जिसे 3DMM पैरामीटर्स कहा जाता है) अव्यवस्थित होता है। यह एक रेडियो सिग्नल की तरह है जिसमें संगीत (expression) और डीजे की आवाज़ (identity) दोनों आपस में मिले हुए हैं। यदि आप केवल सिग्नल बजाते हैं, तो आपको गलत डीजे की आवाज़ मिलेगी।

1. "नॉइज़-कैंसलिंग" हेडफ़ोन (Contrastive Pre-training)
लेखकों ने CLeBS नामक एक विशेष प्रशिक्षण पद्धति बनाई है।

उदाहरण: कल्पना कीजिए कि आपके पास एक गायक के अलग-अलग गाने सुनने की एक प्लेलिस्ट है। आप एक रोबोट को केवल धुन (expression) पहचानने के लिए सिखाना चाहते हैं, बिना गायक की आवाज़ (identity) की परवाह किए।
यह कैसे काम करता है: उन्होंने AI को एक ही व्यक्ति के कई अलग-अलग चेहरे बनाने वाले वीडियो दिखाए। AI ने व्यक्ति की अनूठी विशेषताओं को अनदेखा करना और केवल गति (movement) पर ध्यान केंद्रित करना सीखा। यह एक शेफ को यह पहचानने के लिए प्रशिक्षित करने जैसा है कि भोजन "तीखा" है, चाहे वह लाल कटोरे में हो या नीले कटोरे में। यह एक "शुद्ध" एक्सप्रेशन सिग्नल बनाता है जो पहचान के प्रदूषण से मुक्त होता है।

2. "स्मार्ट रिमोट कंट्रोल" (EAdaLN)
एक बार जब हमारे पास "शुद्ध" एक्सप्रेशन सिग्नल आ जाता है, तो हमें उसे स्रोत फोटो पर लागू करने की आवश्यकता होती है।

उदाहरण: पूरी मिट्टी की मूर्ति को फिर से बनाने के बजाय, वे एक "रिमोट कंट्रोल" का उपयोग करते हैं जो मौजूदा मिट्टी में बदलाव करता है।
यह कैसे काम करता है: वे EAdaLN नामक एक विशेष लेयर का उपयोग करते हैं। इसे एक मिक्सिंग बोर्ड पर लगे डायल की तरह समझें। आप "शुद्ध" एक्सप्रेशन सिग्नल लेते हैं और डायल घुमाकर स्रोत चेहरे को एडजस्ट करते हैं। यह 3D ब्लूप्रिंट को बताता है: "ठीक है, नाक और आंखों को बिल्कुल वैसा ही रहने दो जैसा वे हैं, लेकिन मुंह के आकार को इस मुस्कान से मिलाने के लिए बदलो।"

परिणाम: एक सहज एनीमेशन (A Seamless Animation)

अंत में, कंप्यूटर इस संशोधित 3D ब्लूप्रिंट को लेता है और इसे वापस 2D वीडियो में "रेंडर" करता है।

जादू: क्योंकि सिस्टम 3D स्पेस को समझता है, आप कैमरा घुमा सकते हैं, और चेहरा बगल से, ऊपर से या नीचे से स्वाभाविक दिखेगा।
पहचान का बदलाव नहीं: क्योंकि उन्होंने पहले एक्सप्रेशन सिग्नल को साफ किया था, इसलिए आपका दोस्त अपने दोस्त जैसा ही दिखता रहेगा, भले ही वह अभिनेता का चेहरा बना रहा हो।

सारांश

Export3D एक हाई-टेक कठपुतली संचालक (puppet master) की तरह है।

यह आपकी फोटो का एक 3D मिट्टी का मॉडल बनाता है।
यह ड्राइविंग वीडियो से "शुद्ध" गति को अलग करने के लिए नॉइज़-कैंसलिंग हेडफ़ोन का उपयोग करता है।
यह मॉडल की विशेषताओं को बदले बिना उस गति को आपके मिट्टी के मॉडल पर लागू करने के लिए एक स्मार्ट रिमोट का उपयोग करता है।
परिणाम एक ऐसा वीडियो है जहाँ आपकी फोटो नए भावों के साथ जीवंत हो उठती है, जो किसी और में बदले बिना, किसी भी कोण से स्वाभाविक दिखती है।

यहाँ शोध पत्र "Export3D: 3D-aware Expression Controllable Portrait Animation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र वन-शॉट 3D-अवेयर पोर्ट्रेट एनिमेशन की चुनौती को संबोधित करता है, विशेष रूप से एक स्रोत पोर्ट्रेट छवि को ड्राइविंग वीडियो के चेहरे के भावों (expressions) और कैमरा दृश्यों के साथ एनिमेट करने की क्षमता, जबकि स्रोत की पहचान (identity) को सुरक्षित रखा जा सके।

मौजूदा विधियों में पहचाने गए प्रमुख चुनौतियाँ शामिल हैं:

एपेयरेन्स-एक्सप्रेशन एंटैंगलमेंट (Appearance-Expression Entanglement): क्रॉस-आइडेंटिटी ट्रांसफर (व्यक्ति A को व्यक्ति B के भावों के साथ एनिमेट करना) में, मौजूदा विधियाँ अक्सर अभिव्यक्ति के साथ-साथ स्रोत की उपस्थिति (जैसे, आँखों का आकार या चेहरे की रूपरेखा बदलना) को भी अनजाने में बदल देती हैं। ऐसा इसलिए है क्योंकि इमेज स्पेस और मानक मोशन रिप्रेजेंटेशन में चेहरे के भाव और पहचान संबंधी विशेषताएं अत्यधिक उलझी हुई (entangled) होती हैं।
2D वार्पिंग की सीमाएं (Limitations of 2D Warping): अधिकांश 2D-आधारित विधियाँ इमेज वार्पिंग या मोशन फील्ड्स पर निर्भर करती हैं, जो ग्लोबल हेड मोशन को लोकल फेशियल एक्सप्रेशन से अलग करने में संघर्ष करती हैं, जिससे टेम्पोरल इनकंसिस्टेंसी या आर्टिफैक्ट्स उत्पन्न होते हैं।
3D डिफॉर्मेशन की सीमाएं (Limitations of 3D Deformation): मौजूदा 3D विधियाँ (जैसे, NeRFs या डिफॉर्मेशन फील्ड्स का उपयोग करना) अक्सर वीडियो-लेवल के आर्टिफैक्ट्स जैसे कि फ्लिकरिंग (flickering) से ग्रस्त होती हैं या लेटेंट कोड का उपयोग करते समय स्रोत की पहचान को निष्ठापूर्वक पुनर्गठित करने में विफल रहती हैं।
3DMM की सीमाएं (3DMM Limitations): जबकि 3D मॉर्फेबल मॉडल्स (3DMM) स्पष्ट एक्सप्रेशन पैरामीटर्स प्रदान करते हैं, ये कच्चे पैरामीटर्स स्वाभाविक रूप से पहचान/उपस्थिति (identity/appearance) जानकारी के साथ उलझे हुए होते हैं, जिससे दूसरे व्यक्ति में ट्रांसफर करते समय "एपेयरेन्स स्वैप" (appearance swap) होता है।

2. कार्यप्रणाली: Export3D (Methodology: Export3D)

लेखक Export3D का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो स्रोत छवि और ड्राइविंग एक्सप्रेशन पैरामीटर्स द्वारा कंडिशन किया गया एक 3D-अवेयर ट्रि-प्लेन (tri-plane) रिप्रेजेंटेशन जनरेट करता है। यह पाइपलाइन तीन मुख्य घटकों से मिलकर बनी है:

A. कॉन्ट्रास्टिव लर्नड बेसिस स्केलिंग (CLeBS)

उपस्थिति-अभिव्यक्ति एंटैंगलमेंट को हल करने के लिए, लेखक एपेयरेन्स-फ्री एक्सप्रेशन रिप्रेजेंटेशन निकालने के लिए एक प्री-ट्रेनिंग फ्रेमवर्क पेश करते हैं।

कॉन्ट्रास्टिव लर्निंग (Contrastive Learning): वे वीडियो डेटासेट्स पर एक एक्सप्रेशन एनकोडर ( $f_e$ ) को प्रशिक्षित करते हैं। पॉजिटिव पेयर्स एक ही वीडियो से इमेज-एक्सप्रेशन पेयर्स (एक ही पहचान, अलग-अलग भाव) हैं, जबकि नेगेटिव पेयर्स मिसअलाइन्ड हैं। यह एनकोडर को ऐसे रिप्रेजेंटेशन सीखने के लिए मजबूर करता है जो पहचान (उपस्थिति) के प्रति अपरिवर्तनीय (invariant) हैं लेकिन अभिव्यक्ति के प्रति संवेदनशील हैं।
ऑर्थोगोनल स्ट्रक्चर (LeBS): लेखक देखते हैं कि 3DMM पैरामीटर्स को एक ऑर्थोगोनल बेसिस में मैप किया जा सकता है। वे एक लर्नड बेसिस स्केलिंग (LeBS) मॉड्यूल पेश करते हैं जो उच्च-आयामी 3DMM पैरामीटर्स ( $\beta \in \mathbb{R}^{64}$ $β \in R^{64}$ ) को निम्न-आयामी स्थान ( $\lambda \in \mathbb{R}^n$ $λ \in R^{n}$ ) में प्रोजेक्ट करता है और एक सीखे हुए ऑर्थोनॉर्मल बेसिस ( $V$ $V$ ) को स्केल करता है।
- फॉर्मूला: $\beta' = \sum \lambda_i \mathbf{v}_i$ , जहाँ $\mathbf{v}_i$ ऑर्थोगोनल बेसिस वेक्टर्स हैं।
- यह सुनिश्चित करता है कि विभिन्न एक्सप्रेशन दिशाएं गणितीय रूप से ऑर्थोगोनल हैं, जिससे पहचान संबंधी विशेषताओं का मिश्रण रुक जाता है।

B. हाइब्रिड ट्रि-प्लेन जनरेटर (Hybrid Tri-plane Generator)

डिफॉर्मेशन फील्ड्स (जो फ्लिकरिंग का कारण बनते हैं) या 2D इमेज वार्पिंग के बजाय, Export3D सीधे एक ट्रि-प्लेन ( $T$ ) जनरेट करता है जो ड्राइविंग एक्सप्रेशन के साथ स्रोत की पहचान के 3D प्रायर (prior) का प्रतिनिधित्व करता है।

आर्किटेटेक्चर: जनरेटर एक विजन ट्रांसफॉर्मर (ViT) और कनवल्शनल लेयर्स को जोड़ता है।
एक्सप्रेशन एडेप्टिव लेयर नॉर्मलाइजेशन (EAdaLN): यह एक्सप्रेशन इंजेक्ट करने का मुख्य तंत्र है। क्रॉस-अटेंशन के बजाय, रिफाइंड एक्सप्रेशन वेक्टर $\beta'$ $β^{'}$ (CLeBS से) मल्टी-हेड सेल्फ-अटेंशन (MSA) और मिक्स-FFN ब्लॉक्स से ठीक पहले एडेप्टिव लेयर नॉर्मलाइजेशन के माध्यम से विजुअल टोकन्स को मॉड्युलेट करता है।
- फॉर्मूला: $\text{EAdaLN}(x, \beta') = \sigma(\beta') \cdot \text{LN}(x) + \mu(\beta')$ .
प्रक्रिया: स्रोत छवि को विजुअल टोकन्स में बदला जाता है, $\beta'$ पर कंडिशन किए गए EAdaLN-ViT ब्लॉक्स के माध्यम से प्रोसेस किया जाता है, और ट्रि-प्लेन $T_{\beta_D}(S)$ जनरेट करने के लिए अपसैंपल किया जाता है।

C. वॉल्यूम रेंडरिंग और सुपर-रिज़ॉल्यूशन (Volume Rendering and Super-Resolution)

रेंडरिंग: जनरेट किए गए ट्रि-प्लेन को ड्राइविंग कैमरा पैरामीटर्स ( $p_D$ ) के आधार पर डिफरेंशिएबल वॉल्यूम रेंडरिंग (NeRF-स्टाइल) का उपयोग करके 2D RGB इमेज में रेंडर किया जाता है। यह विभिन्न दृश्यों में 3D कंसिस्टेंसी सुनिश्चित करता है।
सुपर-रिज़ॉल्यूशन: कंप्यूटेशनल लागत को संभालने के लिए, मॉडल पहले एक लो-रिज़ॉल्यूशन इमेज ( $H/4 \times W/4$ ) रेंडर करता है और फिर लक्ष्य रिज़ॉल्यूशन तक पहुँचने के लिए एक सुपर-रिज़ॉल्यूशन मॉड्यूल (स्टाइल मॉड्यूलेशन के बजाय कनवल्शनल ब्लॉक्स का उपयोग करके) लागू करता है।

3. प्रमुख योगदान (Key Contributions)

Export3D फ्रेमवर्क: एक वन-शॉट 3D-अवेयर पोर्ट्रेट एनिमेशन विधि जो पेयर्ड ट्रेनिंग डेटा या जटिल ऑप्टिमाइजेशन की आवश्यकता के बिना चेहरे के भाव और कैमरा व्यू को स्पष्ट रूप से नियंत्रित करती है।
CLeBS (Contrastive Learned Basis Scaling): एक अभिनव प्री-ट्रेनिंग फ्रेमवर्क जो कॉन्ट्रास्टिव लर्निंग और ऑर्थोगोनल बेसिस स्ट्रक्चर का उपयोग करके 3DMM पैरामीटर्स से एपेयरेन्स-फ्री एक्सप्रेशन रिप्रेजेंटेशन को डिस्टिल करता है। यह प्रभावी रूप से क्रॉस-आइडेंटिटी ट्रांसफर में "एपेयरेन्स स्वैप" की समस्या को समाप्त करता है।
EAdaLN मैकेनिज्म: एक ViT-आधारित जनरेटर के भीतर एडेप्टिव लेयर नॉर्मलाइजेशन का उपयोग करने वाला एक एक्सप्रेशन कंडीशनिंग मेथड, जो एक्सप्रेशन ट्रांसफर करते समय पहचान बनाए रखने में स्टैंडर्ड क्रॉस-अटेंशन से बेहतर प्रदर्शन करता है।
डायरेक्ट ट्रि-प्लेन जनरेशन: मौजूदा 3D रिप्रेजेंटेशन को डिफॉर्म करने वाली विधियों के विपरीत, यह विधि एक्सप्रेशन पर कंडिशन किए गए 3D प्रायर (ट्रि-प्लेन) को सीधे जनरेट करती है, जिससे डिफॉर्मेशन-प्रेरित आर्टिफैक्ट्स जैसे फ्लिकरिंग से बचा जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन VFHQ और TalkingHead-1KH डेटासेट्स पर किया गया, जिसमें 2D (DPE, StyleHEAT) और 3D (HiDe-NeRF, OTAvatar, ROME) स्टेट-ऑफ-द-आर्ट विधियों के साथ तुलना की गई।

मात्रात्मक प्रदर्शन (Quantitative Performance):
- क्रॉस-आइडेंटिटी ट्रांसफर: Export3D ने प्रतिस्पर्धियों के बीच सर्वश्रेष्ठ CSIM (Identity Preservation) और AED (Expression Distance) स्कोर प्राप्त किया। उदाहरण के लिए, VFHQ क्रॉस-आइडेंटिटी पर, इसने 0.694 का CSIM और 0.208 का AED प्राप्त किया, जो HiDe-NeRF (CSIM 0.707 लेकिन उच्च AED 0.255) और DPE (CSIM 0.586) से बेहतर है।
- सेम-आइडेंटिटी ट्रांसफर: इसने उच्चतम PSNR (23.555) और निम्नतम AKD (3.453) प्राप्त किया, जो बेहतर स्ट्रक्चरल फिडेलिटी को दर्शाता है।
गुणात्मक विश्लेषण (Qualitative Analysis):
- एपेयरेन्स स्वैप: विजुअल परिणाम दिखाते हैं कि जहाँ DPE और HiDe-NeRF जैसी प्रतिस्पर्धी विधियाँ एक्सप्रेशन ट्रांसफर करते समय स्रोत की आँखों के आकार या चेहरे की रूपरेखा को अक्सर बदल देती हैं, वहीं Export3D स्रोत की पहचान को पूरी तरह से सुरक्षित रखता है।
- आर्टिफैक्ट्स: यह विधि बिना किसी फ्लिकरिंग या टेम्पोरल इनकंसिस्टेंसी के वीडियो बनाती है, जो डिफॉर्मेशन-फील्ड-आधारित विधियों में देखी जाती है।
- एब्लेशन स्टडीज (Ablation Studies): CLeBS को हटाने (रॉ 3DMM पैरामीटर्स का उपयोग करना) के परिणामस्वरूप महत्वपूर्ण एपेयरेन्स परिवर्तन हुए। EAdaLN को क्रॉस-अटेंशन से बदलने पर एक्सप्रेशन कंट्रोल की सटीकता में गिरावट आई।

5. महत्व और प्रभाव (Significance and Impact)

एंटैंगलमेंट समस्या का समाधान: यह पेपर यह प्रदर्शित करके एक महत्वपूर्ण सैद्धांतिक और व्यावहारिक योगदान देता है कि कॉन्ट्रास्टिव लर्निंग और ऑर्थोगोनल बेसिस स्केलिंग का उपयोग करके 3DMM एक्सप्रेशन पैरामीटर्स को पहचान से अलग (disentangle) किया जा सकता है। यह विश्वसनीय क्रॉस-आइडेंटिटी एनिमेशन के लिए एक महत्वपूर्ण कदम है।
मजबूत 3D एनिमेशन: 2D वार्पिंग और पॉइंट-वाइज डिफॉर्मेशन फील्ड्स से हटकर सीधे ट्रि-प्लेन जनरेशन की ओर बढ़कर, यह विधि उच्च टेम्पोरल स्टेबिलिटी और 3D कंसिस्टेंसी प्राप्त करती है।
अनुप्रयोग: यह तकनीक वर्चुअल अवतार, वीडियो कॉन्फ्रेंसिंग और फिल्म डबिंग के लिए अत्यधिक प्रासंगिक है, जहाँ ड्राइवर से प्राकृतिक भाव अपनाते हुए उपयोगकर्ता की पहचान बनाए रखना महत्वपूर्ण है।
सीमाएं: लेखक स्वीकार करते हैं कि वर्तमान में यह विधि फोरग्राउंड/बैकग्राउंड को अलग नहीं कर सकती (उन्हें एक साथ रेंडर करती है) और आँखों की दृष्टि (eye gaze) या गैर-चेहरे के शरीर के अंगों को नियंत्रित नहीं कर सकती, क्योंकि वे मानक 3DMM पैरामीटर्स के दायरे से बाहर हैं।

संक्षेप में, Export3D पोर्ट्रेट एनिमेशन के लिए एक स्टेट-ऑफ-द-आर्ट दृष्टिकोण का प्रतिनिधित्व करता है, जो कॉन्ट्रास्टिव प्री-ट्रेनिंग के माध्यम से पहचान से अभिव्यक्ति को प्रभावी ढंग से अलग करता है और उच्च-फिडेलिटी, 3D-कंसिस्टेंट सिंथेसिस के लिए एक हाइब्रिड ViT-Conv जनरेटर का लाभ उठाता है।