HumanOrbit: 3D Human Reconstruction as 360° Orbit Generation
HumanOrbit एक वीडियो डिफ्यूजन-आधारित विधि है जो एक एकल मानव छवि से सुसंगत 360° ऑर्बिट वीडियो उत्पन्न करती है, जो मौजूदा मल्टी-व्यू सिंथेसिस दृष्टिकोणों की तुलना में बेहतर पहचान संरक्षण के साथ उच्च-निष्ठा (high-fidelity), ज्यामितीय रूप से पूर्ण 3D टेक्सचर्ड मेश के पुनर्निर्माण को सक्षम बनाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके सामने एक व्यक्ति की एक अकेली, सपाट तस्वीर है। आप जानना चाहते हैं कि वे पीछे से, बगल से, या ऊपर से कैसे दिखते हैं। वास्तविक दुनिया में, आप बस उनके चारों ओर घूम लेंगे। लेकिन डिजिटल दुनिया में, यह एक बहुत बड़ी पहेली है क्योंकि एक सपाट फोटो सभी "बैकस्टेज" विवरणों को छिपा देती है।
यह पेपर HumanOrbit को पेश करता है, जो एक नया AI टूल है जो इस पहेली को हल करता है। यह मूल रूप से उस व्यक्ति का 360-डिग्री वीडियो "कल्पना" करता है, जिससे आप उनके चारों ओर ऐसे घूम सकते हैं जैसे कि आप उनके चारों ओर एक घेरे में चल रहे हों।
यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:
1. समस्या: "सपाट फोटो" का जाल
अधिकांश पिछले AI टूल्स ने फोटो को देखकर और उसके गायब हिस्सों को "पेंट" करने की कोशिश करके व्यक्ति के 3D आकार का अनुमान लगाने की कोशिश की। यह कार के अगले बंपर को देखकर यह अनुमान लगाने जैसा है कि कार का पिछला हिस्सा कैसा दिखता है। अक्सर, AI भ्रमित हो जाता है, जिसके परिणामस्वरूप एक ऐसा व्यक्ति बनता है जो पिघली हुई मोम की मूर्ति जैसा दिखता है, जिसके दो बाएं हाथ होते हैं, या जैसे-जैसे आप कैमरा घुमाते हैं, उसका चेहरा बदल जाता है।
2. समाधान: "मूवी डायरेक्टर" AI
सीधे 3D मॉडल बनाने के बजाय, लेखकों ने एक अलग सवाल पूछा: "क्या होगा अगर हम बस AI से इस व्यक्ति को घूमने का एक वीडियो बनाने के लिए कहें?"
उन्होंने महसूस किया कि आधुनिक AI पहले से ही ऐसे वीडियो बनाने में बहुत अच्छा है जहाँ कैमरा किसी विषय के चारों ओर घूमता है (जैसे कि किसी फिल्म में ड्रोन शॉट)। उन्होंने एक शक्तिशाली वीडियो बनाने वाले AI को थोड़ा विशेष प्रशिक्षण दिया।
- उपमा: AI को एक प्रतिभाशाली अभिनेता के रूप में सोचें जिसने अरबों फिल्में याद कर ली हैं। वे जानते हैं कि कैमरा स्वाभाविक रूप से किसी व्यक्ति के चारों ओर कैसे घूमता है। शोधकर्ताओं ने अभिनेता को 3D मॉडलर बनने के लिए नहीं सिखाया; उन्होंने बस उन्हें एक स्क्रिप्ट दी: "यहाँ एक व्यक्ति की फोटो है। अब, एक ऐसा दृश्य निभाएं जहाँ कैमरा उनके चारों ओर एक घेरे में घूमता है, जिससे उनका चेहरा और कपड़े बिल्कुल समान रहें।"
3. इसने कैसे सीखा (द "स्मॉल क्लास" ट्रिक)
आमतौर पर, AI को यह सिखाने के लिए 3D स्कैन की एक विशाल लाइब्रेरी (हजारों घंटों का डेटा) की आवश्यकता होती है। यह महंगा और कठिन है।
- ट्रिक: शोधकर्ताओं ने LoRA (लो-रैंक अडैप्टेशन) नामक तकनीक का उपयोग किया। कल्पना करें कि AI एक विशाल विश्वकोश है। पूरे किताब को फिर से लिखने के बजाय, उन्होंने बस "किसी व्यक्ति के चारों ओर घूमने" के विशिष्ट नियमों के लिए एक छोटा, स्टिकी-नोट परिशिष्ट (appendix) जोड़ दिया।
- उन्हें इस "परिशिष्ट" को सिखाने के लिए केवल 500 3D स्कैन की आवश्यकता थी। यह अविश्वसनीय रूप से कुशल है, जैसे कि दुनिया के सभी ट्रैफिक कानूनों को पढ़ने के बजाय केवल कुछ ड्राइविंग लेसन देखकर कार चलाना सीखना।
4. परिणाम: एक "मैजिक ऑर्बिट" वीडियो
जब आप HumanOrbit में एक फोटो डालते हैं, तो यह तुरंत 3D मॉडल नहीं बनाता। पहले, यह एक 360-डिग्री वीडियो बनाता है।
- आप व्यक्ति को सामने से, फिर बगल से, फिर पीछे से, और फिर दूसरी तरफ से देखते हैं, यह सब एक ही सहज, निरंतर लूप में होता है।
- क्योंकि यह एक वीडियो है, AI यह सुनिश्चित करता है कि व्यक्ति का शर्ट पैटर्न, बाल और चेहरा सुसंगत रहे। वे बदलते या बिगड़ते नहीं हैं।
5. वीडियो को "3D मूर्ति" में बदलना
एक बार जब AI ने यह "ऑर्बिट वीडियो" बना लिया है, तो उनके सिस्टम का दूसरा भाग सक्रिय हो जाता है। यह उन वीडियो फ्रेमों को लेता है और ठोस 3D ऑब्जेक्ट में बदलने के लिए एक चतुर गणितीय ट्रिक (जिसे "मेश कार्विंग" कहा जाता है) का उपयोग करता है।
- उपमा: कल्पना करें कि आपके पास एक मूर्ति का वीडियो है जिसे सभी कोणों से तराशा जा रहा है। कंप्यूटर वीडियो में छाया और किनारों को देखता है और एक डिजिटल ब्लॉक को तब तक "तराशता" है जब तक कि वह वीडियो से पूरी तरह मेल न खा जाए। परिणाम एक उच्च-गुणवत्ता वाला 3D मेश (वायरफ्रेम मॉडल) है जिसे आप वीडियो गेम या VR में घुमा सकते हैं, ज़ूम कर सकते हैं और उपयोग कर सकते हैं।
यह क्यों महत्वपूर्ण है
- कोई विशेष उपकरण आवश्यक नहीं: आपको 50 कैमरों वाले स्टूडियो की आवश्यकता नहीं है। बस अपने फोन से एक फोटो।
- बेहतर निरंतरता: पुराने तरीकों के विपरीत जो आपको बगल से देखने पर विकृत चेहरे वाला व्यक्ति दे सकते हैं, यह तरीका पहचान को बरकरार रखता है।
- बहुमुखी प्रतिभा: यह फुल-बॉडी शॉट्स, हेडशॉट्स और यहाँ तक कि (आश्चर्यजनक रूप से) कुर्सियों या कुत्तों जैसे गैर-मानवीय वस्तुओं पर भी काम करता है, क्योंकि AI ने वास्तविक दुनिया के वीडियो से "ऑर्बिटिंग" की अवधारणा सीखी है।
कमी
मुख्य नुकसान गति है। क्योंकि यह एक उच्च-गुणवत्ता वाला वीडियो बना रहा है, इसलिए एक इमेज को प्रोसेस करने में लगभग 17 मिनट लगते हैं। यह एक जटिल मूर्ति को पूरा करने के लिए हाई-एंड 3D प्रिंटर के खत्म होने का इंतजार करने जैसा है। लेकिन परिणाम की गुणवत्ता वर्तमान में बेजोड़ है।
संक्षेप में: HumanOrbit एक सपाट, उबाऊ फोटो को एक जादुई, घूमते हुए 3D अनुभव में बदल देता है, ऐसा करने के लिए कि एक वीडियो बनाने वाला AI आपके लिए विषय के चारों ओर "घूमने" का नाटक करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।