Scanline-Aware Animatable Gaussian Avatars from Rolling-Shutter Videos
تقدم هذه الورقة RS-Avatar، وهي طريقة تعيد بناء نماذج أفاتار ثلاثية الأبعاد حادة وقابلة للتحريك من فيديوهات الغالق المتدحرج (rolling-shutter) عن طريق استبدال رندر ضبابية الحركة القياسي بمعامل دمج مدرك لخط المسح (scanline-aware) يأخذ في الاعتبار بشكل صحيح القراءة المتتالية لأجزاء الجسم المختلفة داخل إطار واحد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم التصوير الرقمي، هناك افتراض ضمني بأن كل صورة تلتقط لحظة واحدة مجمدة في الزمن. فعندما تلتقط الكاميرا صورة، يُعتقد عموماً أن المشهد بأكمله — من قمة رأس الشخص إلى قدميه — يتم تسجيله في اللحظة ذاتها تماماً. هذا الاعتقاد هو ما يدعم الكثير من تقنيات الرؤية الحاسوبية الحديثة، وهو المجال المخصص لتعليم الآلات كيف ترى وتفهم العالم. وهو ما يسمح للباحثين ببناء نماذج ثلاثية الأبعاد معقدة للبشر، تُعرف باسم "الأفاتار" (النماذج الرمزية)، والتي يمكن تحريكها ومشاهدتها من أي زاوية. وتصبح هذه النسخ الرقمية المزدوجة ضرورية لكل شيء، بدءاً من التواجد الافتراضي عن بُعد وإنتاج الأفلام، وصولاً إلى تحليل الرياضات والذكاء الاصطناعي. ومع ذلك، فإن هذا الافتراض لا يكون صحيحاً أبداً في العالم الحقيقي. فغالبية الكاميرات، من الهواتف الذكية في جيوبنا إلى المستشعرات عالية السرعة في الاستوديوهات الاحترافية، لا تلتقط الصورة دفعة واحدة. بدلاً من ذلك، تقوم بمسح الصورة سطراً بسطر، من الأعلى إلى الأسوة، في جزء من الثانية. وهذه الطريقة، التي تسمى "الغالق المتدحرج" (rolling shutter)، تعني أنه بحلول الوقت الذي تنتهي فيه الكاميرا من قراءة أسفل الإطار، يكون الجزء العلوي قد سُجل بالفعل قبل بضعة أجزاء من الثانية. وبالنسبة لشخص يحرك ذراعيه أو يمشي، فإن تلك الأجزاء من الثانية كافية ليتحرك جسمه بشكل ملحوظ، مما يخلق تشوهاً طفيفاً ولكنه منتشر، حيث يتم التقاط أجزاء مختلفة من الجسم في أوقات مختلفة.
لسنوات، تجاهل الباحثون الذين يحاولون بناء هذه الأفاتارات ثلاثية الأبعاد من الفيديو هذا التفاوت في التوقيت، وعاملوا كل إطار كما لو كان لقطة مثالية. وكانت النتيجة "شبحاً رقمياً": نموذج ثلاثي الأبعاد يبدو صحيحاً عند مشاهدته من نفس زوايا الفيديو الأصلي، ولكنه يتفكك عندما يحاول المشاهد النظر إليه من زاوية جديدة أو تحريك الأفاتار إلى وضعية جديدة. حيث يُطبع التشوه في شكل النموذج، مما يجعل الأطراف تبدو متمايلة، أو مشوهة، أو سميكة بشكل غير طبيعي. وقد قام أحد الباحثين الآن بمعالجة هذه المشكلة مباشرة، ليس من خلال محاولة إصلاح الفيديو قبل بناء النموذج، بل عبر تعليم النموذج نفسه كيفية فهم سلوك مسح الكاميرا. فقد طور نظاماً جديداً يعيد بناء أفاتارات ثلاثية الأبعاد حادة وغير مشوهة مباشرة من فيديو ذو غالق متدحرج، مدركاً أن كل سطر من البكسلات في الصورة يمثل لحظة زمنية مختلفة قليلاً.
يعتمد جوهر هذا النهج الجديد، الذي يطلق عليه الباحث اسم "RS-Avatar"، على تحول بسيط ولكنه قوي في المنظور. فبدلاً من مطالبة الكمبيوتر بتخمين كيف بدا الشخص في لحظة واحدة، يقبل النظام أن الشخص كان يتحرك طوال مدة المسح بالكامل. يقوم البرنامج ببناء نموذج لحركة الجسم بدقة كافية لمعرفة مكان كل جزء من الجسم في أي جزء من الثانية. وعندما ينشئ الصورة النهائية، فإنه لا يدمج المواضع المختلفة معاً، مما قد يؤدي إلى ضبابية، بل يعمل كمحرر دقيق، يختار الموقع الدقيق للجسم للسطر العلوي من البكسلات، وموقعاً مختلفاً قليلاً للسطر التالي، وهكذا، بما يتوافق مع الوقت المحدد الذي التقط فيه كل سطر بواسطة الكاميرا. وتختلف هذه العملية عن كيفية عمل "ضبابية الحركة" (motion blur)؛ فبينما الضبابية تشبه خلط جميع ألوان جسم متحرك في لطخة واحدة، فإن الغالق المتدحرج يشبه عملية تقطيع دقيقة للزمن، حيث يحتوي كل شريحة على صورة واضحة وحادة للجسم في لحظة محددة.
لاختبار فكرته، أنشأ الباحث معياراً جديداً باستخدام بيانات من استوديو قياس حركة معياري. فقد أخذ تسجيلات عالية الجودة لأشخاص يتحركون وحاكى تأثير الغالق المتدحرج اصطناعياً، مما خلق مجموعة بيانات تكون فيها الإجابة الصحيحة والحادة معروفة مسبقاً. ثم قارن منهجه الجديد بعدة أساليب قائمة. أحد الاستراتيجيات الشائعة هي محاولة "إصلاح" الفيديو أولاً، باستخدام برامج لتعديل الخطوط المشوهة قبل بناء النموذج ثلاثي الأبعاد. وهناك استراتيجية أخرى وهي استخدام نموذج مصمم لضبابية الحركة، والذي يفترض أن الكاميرا قامت بمتوسط الحركة عبر الزمن. وكانت النتائج واضحة ومفاجئة. فالمنهج الذي حاول إصلاح الفيديو أولاً حسن الصورة قليلاً، لكن النماذج ثلاثية الأبعاد الناتجة كانت لا تزال معيبة لأن برنامج التصحيح لم يستطع ضمان توافق زوايا الكاميرا المختلفة في الفضاء ثلاثي الأبعاد. أما نموذج ضبابية الحركة فقد كان أداؤه أسوأ، حيث أنتج نتائج أقل جودة من مجرد تجاهل مشكلة الغالق تماماً. حدث هذا لأن الرياضيات المستخدمة للتعامل مع الضبابية تختلف جوهرياً عن الرياضيات المطلوبة للغالق المتدحرج؛ فنموذج الضبابية يحاول تخمين اتجاه الحركة، بينما يوفر الغالق المتدحرج هذا الاتجاه بالفعل من خلال ترتيب مسح الخطوط.
تفوق النظام الجديد، الذي ينمذج الغالق مباشرة، على جميع الأساليب الأخرى. فقد أنتج أفاتارات أكثر حدة ودقة بشكل ملحوظ، محافظاً على التفاصيل الدقيقة مثل تدرج الساعد والفجوة بين اليد والورك التي قامت الأساليب الأخرى بتنعيمها أو تشويهها. ووجد الباحث أنه ليس بحاجة لجعل شرائح الوقت أدق أو أكثر عدداً للحصول على نتائج أفضل؛ إذ كان نموذج الحركة الحالي مفصلاً بما يكفي لالتقاط الحركة داخل إطار واحد. كان المفتاح ببساطة هو تغيير كيفية دمج الكمبيوتر للحظات مختلفة من حركة الجسم في الصورة النهائية. ومن خلال معاملة مسح الكاميرا كجدول زمني للأحداث بدلاً من لقطة واحدة، استطاع النظام إعادة بناء جسم ثلاثي الأبعاد نظيف وغير مشوه يمكن تحريكه ومشاهدته من أي زاوية دون التمايل أو التشوه الذي عانت منه المحاولات السابقة.
يظهر هذا العمل أن الطريقة التي تلتقط بها الكاميرا الصورة ليست مجرد تفصيل تقني يجب تصحيحه لاحقاً، بل هي جزء أساسي من فيزياء الرؤية. ومن خلال دمج سلوك الكاميرا مباشرة في عملية إعادة البناء ثلاثية الأبعاد، أظهر الباحث أنه من الممكن استعادة تمثيل رقمي واضح ودقيق لشخص متحرك من فيديو غير مثالي. وتشير النتائج إلى أن الأدوات المستخدمة لإصلاح نوع واحد من تشوه الصور، مثل الضبابية، لا يمكن ببساطة استبدالها لإصلاح نوع آخر، مثل الغالق المتدحرج، لأن طبيعة الخطأ مختلفة. وبينما يعمل النظام الحالي بشكل أفضل مع كاميرات متعددة وظروف إضاءة جيدة، ويعتمد على نموذج رياضي لمفاصل الجسم، فإنه يفتح مساراً جديداً لإنشاء بشر رقميين واقعيين من مقاطع الفيديو اليومية التي تحيط بنا. ويترك الباحث الباب مفتوحاً أمام تساؤل حول ما إذا كان هذا أخذ العينات الكثيفة للزمن يمكن استخدامه في النهاية لإنشاء فيديو يعمل بسرعة أكبر مما التقطته الكاميرا، ولكن في الوقت الحالي، يظل الإنجاز هو تقديم صورة أوضح وأصدق للشكل البشري المتحرك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.