← नवीनतम पेपर
💻 computer science

EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration

एवरएनिमेट (EverAnimate) एक कुशल पोस्ट-ट्रेनिंग विधि है जो निरंतर लेटेंट प्रोपेगेशन (persistent latent propagation) और रिस्टोरेटिव फ्लो मैचिंग (restorative flow-matching) को एक लेटेंट कॉन्टेक्स्ट मेमोरी में जनरेशन को एंकर करने के लिए संयोजित करके मिनट-स्केल मानव एनीमेशन को सक्षम बनाती है, जिससे चरित्र की पहचान और पृष्ठभूमि की गुणवत्ता को बनाए रखते हुए संचित दृश्य और अर्थ संबंधी विचलन (visual and semantic drift) को समाप्त किया जाता है।

मूल लेखक: Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

प्रकाशित 2026-05-15
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नर्तक के जटिल रूटीन को फिल्माने के लिए एक लंबी, निरंतर फिल्म बनाने की कोशिश कर रहे हैं। आपके पास नर्तक की एक फोटो (संदर्भ/रेफरेंस) है और उनके मूव्स का एक स्क्रिप्ट (पोज़) है। आपका लक्ष्य एक ऐसा वीडियो बनाना है जो स्क्रिप्ट का पूरी तरह से पालन करे और साथ ही यह भी सुनिश्चित करे कि नर्तक फोटो में दिख रहे व्यक्ति जैसा ही दिखे, यहाँ तक कि 90 सेकंड तक नाचने के बाद भी।

पेपर EverAnimate एक विशिष्ट समस्या का समाधान करता है: जब AI ऐसे लंबे वीडियो बनाने की कोशिश करता है, तो वे "ड्रिफ्ट" (भटकना) करने लगते हैं, ठीक वैसे ही जैसे एक कॉपी की कॉपी और फिर उसकी कॉपी बनाने से अंततः वह धुंधली और अपरिचित हो जाती है।

यह पेपर समस्या और उसके समाधान को सरल उपमाओं (analogies) का उपयोग करके इस प्रकार समझाता है:

समस्या: "कॉपी-पेस्ट" ग्लिच (दोष)

मौजूदा तरीके लंबे वीडियो बनाने के लिए छोटे क्लिप्स (चंक्स) को आपस में जोड़ने की कोशिश करते हैं। कल्पना कीजिए कि आप टेक्स्ट के एक पैराग्राफ की कॉपी कर रहे हैं, फिर अगले पैराग्राफ को बनाने के लिए उसी कॉपी की फिर से कॉपी कर रहे हैं, और इसी तरह आगे बढ़ रहे हैं।

  • बैकग्राउंड ड्रिफ्ट (लो-लेवल): बैकग्राउंड (जैसे दीवार या पेड़) स्थिर रहना चाहिए। लेकिन क्योंकि AI अगले क्लिप को शुरू करने के लिए इमेज को बार-बार फिर से कॉपी कर रहा है, इसलिए दीवार धुंधली होने लगती है, रंग बदलने लगते हैं, और अंत में, यह एक खराब फोटोकॉपी की तरह दिखने लगती है।
  • आइडेंटिटी ड्रिफ्ट (हाई-लेवल): नर्तक को एक जैसा दिखना चाहिए। लेकिन जैसे-जैसे वीडियो लंबा होता है, नर्तक का चेहरा धीरे-धीरे अपना आकार बदल सकता है, उनके कपड़े रंग बदल सकते हैं, या उनके बाल अलग दिख सकते हैं। वे अपनी "पहचान" खो देते हैं।

पेपर का तर्क है कि मौजूदा तरीके इसे ठीक करने के लिए AI को बार-बार मूल फोटो दिखाते हैं (एक "सिंक" या एंकर की तरह), लेकिन यह पर्याप्त नहीं है। AI अभी भी बार-बार कॉपी करने की प्रक्रिया से भ्रमित हो जाता है।

समाधान: EverAnimate

लेखक इन वीडियो को उत्पन्न करने का एक नया तरीका प्रस्तावित करते हैं जो पूरी तरह से AI के "दिमाग" (लैटेंट स्पेस) के भीतर होता है, न कि वीडियो को बार-बार री-फोटोग्राफ करके। वे दो मुख्य ट्रिक्स का उपयोग करते हैं:

1. "परसिस्टेंट बैकपैक" (Persistent Latent Propagation)

वीडियो आउटपुट लेने, उसे वापस एक तस्वीर में बदलने और फिर उस तस्वीर को अगले क्लिप के लिए AI में वापस फीड करने के बजाय (जिससे "कॉपी-पेस्ट" त्रुटियां होती हैं), EverAnimate AI के अंदर एक मेमोरी का बैकपैक रखता है।

  • यह कैसे काम करता है: जब AI वीडियो का एक हिस्सा (चंक) पूरा कर लेता है, तो वह अंतिम तस्वीर को नहीं देखता। इसके बजाय, वह अगले चंक को कच्चे डेटा (लैटेंट कोड्स) का एक "बैकपैक" पास करता है।
  • बैकपैक में क्या है?
    • शॉर्ट-टर्म मेमोरी: मूवमेंट को स्मूथ रखने के लिए पिछले कुछ सेकंड की हलचल।
    • लॉन्ग-टर्म मेमोरी: नर्तक के चेहरे और कपड़ों की "ID कार्ड्स" (मल्टी-व्यू इमेजेस) का एक संग्रह, ताकि वे कभी भी अपना लुक न बदलें।
  • उपमा (Analogy): कल्पना कीजिए कि एक रिले रेस चल रही है। इसमें धावक आपको पिछले धावक की धुंधली फोटो कॉपी करने के लिए नहीं देता, बल्कि वह सीधे एक उच्च-गुणवत्ता वाला डेटा चिप देता है जो आपको बताता है कि मूल धावक की विशेषताओं को खोए बिना दौड़ को कैसे जारी रखना है।

2. "सेल्फ-करेक्टिंग कंपास" (Restorative Flow Matching)

एक अच्छे बैकपैक के साथ भी, AI किसी एकल क्लिप के निर्माण के दौरान कभी-कभी गलत दिशा में जा सकता है।

  • समस्या: यदि AI थोड़ा सा भटक जाता है (उदाहरण के लिए, नर्तक का हाथ थोड़ा अजीब दिखता है), तो मानक तरीके बस चलते रहते हैं, जिससे त्रुटि और बढ़ जाती है।
  • समाधान: EverAnimate एक विशेष "कंपास" के साथ AI को प्रशिक्षित करता है। ट्रेनिंग के दौरान, AI को जानबूझकर एक थोड़े "टूटे हुए" या विकृत पथ (path) का पालन करने के लिए दिया जाता है। यह पहचानना सीख जाता है कि वह ट्रैक से हट गया है और सक्रिय रूप से खुद को सही, साफ पथ पर वापस लाने के लिए दिशा बदल लेता है।
  • उपमा (Analogy): एक हाइकर (पगडंडी पर चलने वाले) के बारे में सोचें जो कोहरे में चल रहा है। एक सामान्य हाइकर रास्ता न देख पाने के कारण खाई में गिर सकता है। EverAnimate एक ऐसे हाइकर की तरह है जिसके पास एक GPS है जो कंपन (vibrate) करता है जब भी वह रास्ते से भटकता है, और उसे धीरे से सुरक्षित पथ पर वापस धकेलता है इससे पहले कि वह खो जाए।

परिणाम

पेपर का दावा है कि इन दो विधियों (मेमोरी बैकपैक और सेल्फ-करेक्टिंग कंपास) का उपयोग करके, EverAnimate मिनटों लंबे वीडियो (उनके परीक्षणों में 90 सेकंड तक) बना सकता है बिना बैकग्राउंड के धुंधला हुए या कैरेक्टर का चेहरा बदले।

  • छोटे वीडियो (10 सेकंड): यह पहले से ही मौजूदा सर्वोत्तम तरीकों से बेहतर है।
  • लंबे वीडियो (90 सेकंड): सुधार बहुत बड़ा है। वीडियो शार्प रहता है, बैकग्राउंड स्थिर रहता है, और कैरेक्टर शुरू से अंत तक बिल्कुल वैसा ही दिखता है।

सारांश

संक्षेप में, EverAnimate AI को वीडियो की "कॉपी की कॉपी" बनाने से रोकता है। इसके बजाय, यह कैरेक्टर और सीन की एक उच्च-गुणवत्ता वाली डिजिटल मेमोरी रखता है, और यह AI को चलते-चलते अपनी गलतियों को सुधारने के लिए प्रशिक्षित करता है, जिससे स्मूथ, उच्च-गुणवत्ता वाले मिनट-लॉन्ग एनिमेशन मिलते हैं जो बिखरते नहीं हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →