Avatar-Forever: Decoupled Parallel Training for High-Quality Real-Time Infinite Avatars
Avatar-Forever एक डिकपल्ड पैरेलल ट्रेनिंग फ्रेमवर्क है जो उच्च दृश्य गुणवत्ता के लिए फुल-पैरामीटर डिस्टिलेशन को रिकवरी-ओरिएंटेड रोलआउट ट्रेनिंग के माध्यम से प्रशिक्षित एक लाइटवेट लॉन्ग-होरइजन एडेप्टर के साथ जोड़ता है, जो एक सिंगल H100 GPU पर स्थिर, रियल-टाइम, अनंत ऑडियो-ड्रिवन अवतार जनरेशन को सक्षम बनाता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आप एक डिजिटल दोस्त से बात कर सकते हैं जो बिल्कुल एक असली इंसान की तरह दिखता, चलता और बोलता है, और वह भी हमेशा के लिए। यह केवल किसी साइंस-फिक्शन फिल्म का सपना नहीं है; यह विजुअल कंप्यूटिंग (visual computing) नामक एक क्षेत्र का लक्ष्य है, जहाँ वैज्ञानिक कंप्यूटर को चलते-फिरते चित्रों को समझने और बनाने के लिए प्रशिक्षित करते हैं। ऐसा करने के लिए, शोधकर्ता एआई मॉडल (AI models) का उपयोग करते हैं—लाखों वीडियो पर प्रशिक्षित विशाल डिजिटल मस्तिष्क—ताकि वे सीख सकें कि इंसान कैसे दिखते और चलते हैं। इस क्षेत्र में एक प्रमुख चुनौती स्ट्रीमिंग वीडियो जनरेशन (streaming video generation) है। इसे एक रिले रेस की तरह समझें: कंप्यूटर वीडियो के कुछ सेकंड बनाता है, फिर उस परिणाम को अगले कुछ सेकंड के लिए शुरुआती बिंदु के रूप में उपयोग करता है, और इसी तरह प्रक्रिया चलती रहती है। समस्या यह है कि यदि कंप्यूटर पहले कुछ सेकंड में एक छोटी सी गलती करता है, तो वह गलती अगली कतार में पास होती जाती है, और हर कदम के साथ बड़ी और अजीब होती जाती है, जब तक कि डिजिटल व्यक्ति पिघलने न लगे या अपनी पहचान ही न भूल जाए। यह शोध पत्र इन डिजिटल इंसानों को एकदम सटीक और स्वाभाविक दिखने के लिए, भले ही वे बिना रुके घंटों तक बात करें, बनाए रखने की समस्या का समाधान करता है।
अवतार-फॉरेवर (Avatar-Forever) के पीछे के शोधकर्ताओं ने महसूस किया कि पुराने तरीकों के साथ इस "रिले रेस" वाली समस्या को ठीक करने की कोशिश करना, एक छात्र को एक ही भ्रमित करने वाली पाठ योजना का उपयोग करके तेज़ दौड़ने और कभी न फिसलने का कौशल सिखाने जैसा था। पुराना तरीका दो बहुत अलग लक्ष्यों को एक ही प्रशिक्षण प्रक्रिया में समाहित करने की कोशिश करता था: वीडियो जनरेशन को सुपर फास्ट बनाना (ताकि यह रियल-टाइम लगे) और इसे सुपर स्टेबल बनाना (ताकि यह एक मिनट के बाद बिखर न जाए)। लेखकों का तर्क है कि ये दोनों लक्ष्य वास्तव में एक-दूसरे से लड़ते हैं। यदि आप गति पर बहुत अधिक ध्यान केंद्रित करते हैं, तो वीडियो डगमगा जाता है; यदि आप त्रुटियों को ठीक करने पर बहुत अधिक ध्यान केंद्रित करते हैं, तो यह बहुत धीमा हो जाता है।
इसलिए, कंप्यूटर को एक साथ दोनों कौशल सीखने के लिए मजबूर करने के बजाय, अवतार-फॉरेवर प्रशिक्षण को दो अलग-अलग, समानांतर कक्षाओं में विभाजित करता है। एक डिजिटल जिम की कल्पना करें जिसमें दो अलग-अलग ट्रैक हैं। पहले ट्रैक पर, एफिशिएंसी ब्रांच (Efficiency Branch), एआई एक स्प्रिंट (तेज़ दौड़) का अभ्यास करता है। यह केवल कुछ ही चरणों में उच्च-गुणवत्ता वाला वीडियो बनाने में महारत हासिल करता है, जिसका पूरा ध्यान गति और अल्पकालिक रूप से अच्छा दिखने पर होता है। दूसरे ट्रैक पर, रोबस्टनेस ब्रांच (Robustness Branch), एआई एक अलग कौशल का अभ्यास करता है: रिकवरी (सुधार)। यहाँ, शोधकर्ता जानबूझकर एआई के शुरुआती बिंदु को बिगाड़ देते हैं—छवि को धुंधला करना, शोर जोड़ना, या चेहरे के हिस्सों को छिपाना—और फिर एआई से अगले कुछ सेकंड का वीडियो बनाने के लिए कहते हैं। इसे रिकवरी-ओरिएंटेड रोलआउट ट्रेनिंग (Recovery-oriented Rollout Training - RRT) कहा जाता है। यह एक जिम्नास्ट को यह सिखाने जैसा है कि यदि वह पहले कदम पर लड़खड़ा जाए, तब भी वह एक आदर्श बैकफ्लिप कैसे करे। एआई यह सीखता है कि जैसे-जैसे गलतियाँ होती हैं, उन्हें खुद कैसे सुधारा जाए, बजाय इसके कि केवल इस उम्मीद में रहे कि वे नहीं होंगी।
एक बार जब एआई दोनों ट्रैक पर प्रशिक्षण ले लेता है, तो शोधकर्ता उन दोनों कौशलों को मिला देते हैं। वे तेज़ धावक और रिकवरी विशेषज्ञ को लेकर उन्हें एक सुपर-एथलीट में बदल देते हैं। यह नया अवतार वास्तविक समय में वीडियो उत्पन्न कर सकता है और साथ ही इतना मजबूत भी हो सकता है कि अपनी पहचान या अपना नियंत्रण खोए बिना घंटों तक बातचीत कर सके। इसे और भी तेज़ बनाने के लिए, उन्होंने फॉरेवरकैश (ForeverCache) नामक एक चतुर ट्रिक पेश की। सामान्यतः, हर बार जब एआई वीडियो का एक नया हिस्सा बनाता है, तो उसे अपने द्वारा बनाए गए पूरे इतिहास को फिर से पढ़ना पड़ता है, जो हर नया वाक्य लिखने के समय पूरी किताब को फिर से पढ़ने जैसा है। फॉरेवरकैश एक स्मार्ट बुकमार्क की तरह है; यह कहानी के स्थिर हिस्सों (बैकग्राउंड, व्यक्ति का चेहरा) को याद रखता है ताकि एआई को हर बार उन्हें फिर से कैलकुलेट न करना पड़े। यह केवल अभी लिखे जा रहे नए शब्दों पर ध्यान केंद्रित करता है।
परिणाम प्रभावशाली हैं। एक विशाल 22-बिलियन-पैरामीटर वाले वीडियो फाउंडेशन मॉडल पर निर्मित, अवतार-फॉरेवर एक सिंगल शक्तिशाली H100 ग्राफिक्स कार्ड पर 27.2 फ्रेम प्रति सेकंड की दर से हाई-रिज़ॉल्यूशन वीडियो (768 × 512 पिक्सल) उत्पन्न कर सकता है। यह वास्तविक समय की बातचीत के लिए पर्याप्त तेज़ है। परीक्षणों में, सिस्टम ने डिजिटल अवतार को बिना चेहरा पिघले, आवाज़ बदले या हरकतें रोबोटिक हुए, 11 मिनट से अधिक समय तक स्वाभाविक रूप से बात करते हुए बनाए रखा। जहाँ अन्य तरीके कुछ समय बाद "आइडेंटिटी ड्रिफ्ट" (जहाँ व्यक्ति अलग दिखने लगता है) या दोहराव वाली, सख्त मुद्राएं दिखाने लगते हैं, वहीं अवतार-फॉरेवर ने चरित्र की निरंतरता और गति की तरलता बनाए रखी। टीम ने मॉडल को प्रशिक्षित करने के लिए एक पूरी तरह से सिंथेटिक डेटासेट भी बनाया, जिसका अर्थ है कि उन्होंने वास्तविक दुनिया के इंटरनेट वीडियो की अव्यवस्था से बचने के लिए एआई का उपयोग करके स्वयं प्रशिक्षण वीडियो तैयार किए ताकि गुणवत्ता और संरेखण (alignment) एकदम सटीक रहे।
यह शोध पत्र सुझाव देता है कि पुराने, उलझे हुए तरीकों की तुलना में "स्प्लिट-ट्रैक" दृष्टिकोण डिजिटल इंसानों को लंबे समय तक बनाए रखने का एक बेहतर तरीका है। गति की आवश्यकता को स्थिरता की आवश्यकता से अलग करके, शोधकर्ताओं ने पाया कि डिजिटल लोगों को बनाने का एक व्यावहारिक मार्ग है जो हमें अनिश्चित काल तक सिखा सकते हैं, मनोरंजन कर सकते हैं या बात कर सकते हैं, बिना उन डिजिटल ग्लिच के जो आमतौर पर भ्रम को खराब कर देते हैं। हालाँकि यह सिस्टम वर्तमान में शक्तिशाली सर्वरों के लिए अनुकूलित है और अभी तक घरेलू कंप्यूटरों के लिए नहीं है, फिर भी यह एक ऐसे भविष्य के द्वार खोलता है जहाँ हमारे डिजिटल साथी हमारे साथ उतनी ही देर तक रह सकते हैं जितनी हमें उनकी आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।