CogPortrait: Fine-Grained Eye-Region Control in Portrait Animation via Hierarchical Agent Planning
CogPortrait एक दो-चरणीय ढांचा है जो उच्च-स्तरीय लेबल को सटीक चेहरे के कीपॉइंट्स (facial keypoints) में अनुवादित करने के लिए पदानुक्रमित मल्टीमॉडल लार्ज लैंग्वेज मॉडल एजेंटों का लाभ उठाता है, जिससे पोर्ट्रेट एनिमेशन में आंखों के क्षेत्र की गतिशीलता और भावना-से-परे अवस्थाओं के सूक्ष्म नियंत्रण को सक्षम बनाया जा सके और साथ ही उच्च दृश्य गुणवत्ता और पहचान निरंतरता बनाए रखी जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी व्यक्ति की एक स्थिर फोटो को जीवंत बनाना चाहते हैं, जिससे वह बोल सके और हिल-डुल सके। वर्तमान में अधिकांश विधियाँ एक निर्देशक को बहुत ही अस्पष्ट स्क्रिप्ट देने जैसी हैं: "उसे गुस्से में दिखाओ" या "उसे खुश दिखाओ।" परिणाम ठीक-ठाक होता है, लेकिन आँखें अक्सर निर्जीव लगती हैं या गतिविधियाँ बहुत अधिक सहज और रोबोटिक होती हैं। दूसरी ओर, कुछ विधियाँ आपको मांसपेशियों के हर सूक्ष्म संचलन को नियंत्रित करने की अनुमति देती हैं, लेकिन यह एक निर्देशक से हर एक पलक और भौंह के पिक्सेल को मैन्युअल रूप से हिलाने के लिए कहने जैसा है—यह अविश्वसनीय रूप से कठिन काम है और इसके लिए बहुत तकनीकी कौशल की आवश्यकता होती है।
CogPortrait एक नया सिस्टम है जो एक आदर्श मध्य मार्ग खोजने की कोशिश करता है। यह आपको एक सरल, उच्च-स्तरीय निर्देश (जैसे "वह गहराई से सोच रहा है" या "वह उनीं होने वाली है") देने की अनुमति देता है और स्वचालित रूप से यह तय करता है कि आँखों और सिर को वास्तविक दिखने के लिए कैसे हिलना चाहिए, बिना आपके भारी श्रम के।
यह कैसे काम करता है, इसे दो मुख्य अंकों (Acts) में विभाजित किया गया है:
अंक 1: "मस्तिष्क" (एजेंट टीम)
वीडियो बनाने से पहले, सिस्टम तीन AI "एजेंटों" (एक विशेष उत्पादन टीम की तरह) की एक टीम का उपयोग करता है जो आपके सरल विचार को एक विस्तृत आंदोलन योजना में बदल देते हैं।
- द प्लानर (निर्देशक): यह एजेंट आपके सरल लेबल (जैसे, "संज्ञानात्मक प्रयास" या Cognitive Effort) को लेता है और इसे एक टाइमलाइन में तोड़ देता है। यह तय करता है, "पहले व्यक्ति एक सेकंड के लिए ऊपर देखता है, फिर वह थोड़ा सिकोड़ता है, फिर वह बाईं ओर देखता है।" यह घटनाओं का एक स्टोरीबोर्ड बनाता है।
- द कंपोजर (लाइब्रेरियन): यह एजेंट वास्तविक मानव व्यवहार रिकॉर्डिंग के एक पुस्तकालय में जाता है। यह वास्तविक उदाहरण ढूंढता है कि लोग "सोचते समय आँखें सिकोड़ते हैं" या "थकान के समय धीरे से पलकें झपकाते हैं।" यह इन वास्तविक जीवन के अंशों को एक वास्तविक गति अनुक्रम बनाने के लिए आपस में जोड़ता है, जिससे यह सुनिश्चित होता है कि आँखें अजीब या रोबोटिक तरीके से न हिलें।
- द क्रिटिक (क्वालिटी कंट्रोल इंस्पेक्टर): यह एजेंट योजना की दोबारा जांच करता है। यह पूछता है, "क्या यह वास्तव में किसी के सोचने जैसा दिखता है? क्या यह शारीरिक रूप से संभव है कि कोई इतनी तेज़ी से पलक झपकाए?" यदि योजना अजीब है, तो यह कंपोजर या प्लानर को इसे ठीक करने के लिए वापस भेज देता है।
इस टीम का परिणाम सटीक निर्देशांक (कीपॉइंट्स) हैं जो कंप्यूटर को बताते हैं कि पलकें, भौहें और पुतलियाँ हर क्षण कहाँ होनी चाहिए।
अंक 2: "शरीर" (वीडियो जनरेटर)
एक बार जब आंदोलन योजना तैयार हो जाती है, तो दूसरा चरण कार्यभार संभाल लेता है। यह वह हिस्सा है जो वास्तव में वीडियो को पेंट करता है।
- द पेंटर: यह आपकी मूल फोटो, ऑडियो (ताकि होंठ आवाज के साथ चलें), और अंक 1 से प्राप्त विस्तृत आंदोलन योजना को लेता है।
- द स्मार्ट ब्रश (डायनामिक गाइडेंस): आमतौर पर, जब AI पेंट करता है, तो यह चेहरे के रंगों और बैकग्राउंड को मिला सकता है, या आँखों को धुंधला बना सकता है। CogPortrait एक "स्मार्ट ब्रश" का उपयोग करता है जो आँखों पर अतिरिक्त ध्यान केंद्रित करता है। यह कहता है, "बैकग्राउंड को स्थिर और प्राकृतिक रखें, लेकिन आँखों और भौहों पर अतिरिक्त सटीकता लागू करें ताकि पलकें झपकाना और देखना वास्तविक लगे।"
- द सेफ्टी नेट (KTO रिफाइनमेंट): कभी-कभी, AI कठिन स्थितियों में संघर्ष करता है, जैसे कि कोई व्यक्ति अपना सिर लगभग पूरी तरह से एक तरफ घुमा ले या केवल एक भौंह उठा ले। इसे ठीक करने के लिए, सिस्टम को एक विशेष "हार्ड मोड" डेटासेट पर प्रशिक्षित किया गया था। इसने कठिन मामलों में अपनी गलतियों से सीखा ताकि यह सुनिश्चित हो सके कि व्यक्ति का चेहरा विकृत न हो और पहचान बनी रहे, भले ही कोण अजीब क्यों न हों।
यह एक बड़ी बात क्यों है?
यह शोध पत्र यह देखने के लिए एक नया परीक्षण पेश करता है कि ये सिस्टम कितनी अच्छी तरह काम करते हैं, जिसे EMH (इमोशंस एंड बियॉन्ड-इमोशंस) कहा जाता है। यह न केवल बुनियादी भावनाओं जैसे "खुशी" या "दुख" का परीक्षण करता है, बल्कि सूक्ष्म अवस्थाओं का भी परीक्षण करता है जैसे:
- कॉग्निटिव एफर्ट (संज्ञानात्मक प्रयास): गहरी एकाग्रता वाली वह दृष्टि।
- ड्रौज़िनेस (उनीं होना): भारी पलकें और धीमी गर्दन का हिलना।
- इवेसिव रिस्पॉन्स (बचाव प्रतिक्रिया): तेजी से दूसरी ओर देखना।
परिणाम दिखाते हैं कि CogPortrait पिछले तरीकों की तुलना में आँखों को नियंत्रित करने में बहुत बेहतर है। यह एक चरित्र को "थका हुआ" या "सोचता हुआ" दिखाने में उच्च सटीकता के साथ सक्षम है, जबकि यह भी सुनिश्चित करता है कि व्यक्ति अपने आप जैसा ही दिखे और वीडियो की गुणवत्ता उच्च बनी रहे। यह "उपयोग में आसान" (सिर्फ एक लेबल टाइप करें) और "अत्यधिक यथार्थवादी" (सटीक नेत्र गति) के बीच के अंतर को पाटता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।