A hierarchical general video matting framework towards temporal coherence

في عالم تحرير الفيديو الرقمي، هناك تحدٍ مستمر يقع في المنطقة ما بين القص البسيط والطلاء المعقد: وهو فصل جسم متحرك عن خلفيته بدقة مثالية. فعندما يسير شخص عبر الشاشة، أو يرفرف وشاح في مهب الريح، نادراً ما يكون حافة ذلك الجسم خطاً حاداً ونظيفاً؛ بل غالباً ما يكون مزيجاً فوضوياً من الألوان، حيث تختلط ألوان المقدمة (مثل الشعر أو القماش) مع ألوان الهواء أو المشهد في الخلفية. ولجعل هذا المزيج يبدو واقعياً، يحتاج المحررون إلى ما هو أكثر من مجرد قناع أبيض وأسود؛ إنهم بحاجة إلى خريطة شفافية، وهي طبقة من المعلومات تخبر الكمبيوتر بالضبط مقدار ظهور الخلفية من خلال كل بكسل بمفرده. هذه العملية، المعروفة باسم "تطويع الفيديو" (video matting)، تصبح صعبة للغاية عندما يتحرك الجسم. فإذا قام الكمبيوتر بحساب الشفافية لإطار واحد بشكل صحيح ولكنه أخطأ قليلاً في الإطار التالي، فستكون النتيجة فوضى متذبذبة ومهتزة تكسر إيهام الواقع. لسنوات طويلة، كان الحل السائد هو تغذية كميات هائلة من بيانات الفيديو في الذكاء الاصطناعي، على أمل أن تتعلم الآلة أنماط الشعر والفراء والقماش. ومع ذلك، فإن هذه الأنظمة كثيفة البيانات غالباً ما تعاني مع الأجسام التي لم ترها من قبل، ويمكن أن تنتج نتائج تبدو ضبابية أو غير متسقة من لحظة إلى أخرى.

اقترح فريق من الباحثين في جامعة هاربين للتجارة مساراً مختلفاً، مساراً يتجنب الاعتماد الثقيل على بيانات التدريب ويركز بدلاً من ذلك على العلاقات الرياضية بين البكسلات في الإطارات المتتالية. يقدم عملهم إطار عمل جديداً يعامل تطويع الفيديو ليس كلعبة تخمين بناءً على أمثلة سابقة، بل كمسألة هيكلية لإيجاد الحل الأكثر احتمالاً بناءً على الأدلة المرئية المباشرة. ويجادلون بأنه من خلال التحليل الدقيق لكيفية انتقال الألوان والمواقع من إطار إلى آخر، يمكن للكمبيوتر تحديد شفافية الجسم بدقة عالية، حتى بالنسبة للمواد المعقدة وشبه الشفافة مثل الحرير أو الدخان، دون الحاجة إلى "رؤيتها" من قبل. تم تصميم هذا النهج ليكون قوياً ضد التذبذب الذي يعيب الطرق الأخرى، مما يضمن تحرك الجسم المستخرج بسلاسة وطبيعية، كما لو كان جزءاً حقيقياً من الخلفية الجديدة التي وُضع فيها.

بنى الباحثون نظامهم كخط معالجة مكون من ثلاث مراحل، وهو تسلسل هرمي من الخطوات التي تعمل على تنقية الصورة تدريجياً. تبدأ العملية بمرحلة معالجة مسبقة تعمل كفلتر ذي شبكة واسعة. فبدلاً من محاولة حل الصورة بأكملة دفعة واحدة، ينظر النظام إلى إطارين جنباً إلى جنب ويبحث عن البكسلات التي تشكل بوضوح جزءاً من الجسم أو جزءاً واضحاً من الخلفية. يفعل ذلك من خلال مقارنة الألوان والمواقع عبر الإطارين، وتحديد أي البكسلات "معتمة" وأيها مختلطة. هذه الخطوة حاسمة لأنها تزيل حالة عدم اليقين، مما يخلق خريطة أكثر نظافة للمرحلة التالية. والنظام ذكي بما يكفي لتعديل استراتيجية البحث الخاصة به؛ فإذا كانت ألوان الجسم والخلفية مختلفة جداً، يمكنه البحث بعيداً عن البكسلات المتطابقة، ولكن إذا كانت متشابهة، فإنه يبقى قريباً لتجنب الأخطاء. هذه المسحة الأولية تحول الحافة الضبابية وغير المؤكدة فعلياً إلى تعريف أكثر حدة، مما يضع أساساً صلباً للحساب النهائي.

بمجرد أن يحدد النظام المناطق الواضحة، ينتقل إلى مرحلة أخذ العينات لجمع معلومات اللون المحددة المطلوبة للنتيجة النهائية. في هذه المرحلة، ينظر الكمبيوتر إلى البكسلات المجهولة والمختلطة ويتساءل سؤالاً بسيطاً: "ما هي الألوان من المقدمة والخلفية المعروفة التي كان من الممكن أن تختلط معاً لتنتج هذا البكسل المحدد؟". يقوم بجمع عينات من المنطقة المحيطة، مستخدماً حركة الفيديو لتتبع كيفية انتقال هذه العينات من إطار إلى آخر. وهنا تبرز براعة الطريقة في قدرتها على التعامل مع الشفافية. فمن خلال تسجيل الألوان الدقيقة للمقدمة والخلفية التي تساهم في كل بكسل، يمكن للنظام إعادة بناء الجسم بألوانه الأصلية سليمة، بدلاً من مجرد التخمين في مقياس الرمادي. كما يستخدم مقياس ثقة لتقرير مدى الوثوق في هذه العينات، مما يضمن أن النتيجة النهائية ليست مجرد تخمين بل هي احتمال محسوب بناءً على الأدلة المرئية المتاحة في الفيديو.

تجمع المرحلة النهائية كل شيء معاً باستخدام تقنية تنعيم تحترم العلاقات بين البكسلات المتجاورة. يأخذ النظام التخمينات الأولية وبيانات العينات اللونية ويمررها عبر "حلال" (solver) يضمن أن قيم الشفافية تتغير تدريجياً وبشكل منطقي عبر الصورة. هذه الخطوة حيوية للقضاء على التذبذب المزعج الذي يحدث غالباً في تطويع الفيديو، حيث تجبر شفافية إطار ما على التوافق بسلاسة مع الإطار التالي. وجد الباحثون أنه من خلال الجمع بين هذه الطبقات الثلاث — أولاً تحديد المناطق الواضحة، ثم جمع عينات الألوان الدقيقة، وأخيراً تنعيم الانتقالات — استطاعوا إنتاج نتائج دقيقة للغاية ومتسقة بصرياً. لا تعتمد طريقتهم على "الصندوق الأسود" للتعلم العميق، حيث يتعلم الكمبيوتر من ملايين الأمثلة ولكنه قد يفشل عند مواجهة شيء غير مألوف، بل تعتمد على المنطق الرياضي المباشر للفيديو نفسه.

في اختباراتهم، قارن الباحثون إطار عملهم الجديد بكل من الطرق التقليدية القديمة وأحدث نماذج الذكاء الاصطناعي القائمة على البيانات. استخدموا مجموعة متنوعة من تتابعات الفيديو، بما في ذلك أشخاص بشعر معقد وأجسام ذات حواف شفافة، لمعرفة مدى جودة أداء كل طريقة. أظهرت النت la أن نهجهم كان متفوقاً في الحفاظ على سلاسة حركة الجسم، مما قضى بفعالية على التذبذب الذي عانت منه الطرق الأخرى. وبينما كانت بعض النماذج القائمة على البيانات جيدة في تحديد الشكل العام للشخص، إلا أنها غالباً ما أنتجت حوافاً ضبابية أو ألواناً غير متسقة عندما يتحرك الجسم بسرعة. وفي المقابل، نجح الإطار الجديد في الحفاظ على حواف حادة وألوان حقيقية، حتى في السيناريوهات الصعبة حيث تكون ألوان الخلفية والمقدمة متشابهة جداً. كما أظهر الباحثون أن طريقتهم يمكنها بنجاح استخراج جسم المقدمة ووضعه في خلفية جديدة تماماً، وهي عملية تُعرف باسم "التركيب" (compositing)، بمستوى من الواقعية يضاهي أو يتجاوز أفضل التقنيات الموجودة.

تكمن أهمية هذا العمل في قدرته على التعامل مع الحالة "العامة" لتطويع الفيديو. معظم الأنظمة الحالية يتم تدريبها على أنواع محددة من الأجسام، مثل الوجوه البشرية، وتواجه صعوبات عندما تواجه أي شيء آخر. ومن خلال تجنب الحاجة إلى مجموعات بيانات تدريب ضخمة، يمكن تطبيق هذه الطالة الجديدة على أي جسم، من غصن شجرة يتأرجح إلى قطعة قماش متدفقة، دون الحاجة إلى إعادة التدريب. ويشير الباحثون إلى أن هذا يجعل التكنولوجيا مفيدة بشكل خاص للتطبيقات في الواقع الافتراضي والميتافيرس، حيث تحتاج الأجسام إلى التكامل بسلاسة في البيئات الرقمية في الوقت الفعلي. وتشير النتائج إلى أن التحليل الدقيق والخطوة بخطوة للبيانات المرئية، القائم على العلاقات الفيزيائية بين البكسلات، يمكن أن يحل مشكلات معقدة لم يتقنها التعلم العميق بعد. ويخلص البحث إلى أن هذا النهج الهرمي يقدم بديلاً موثوقاً وعالي الجودة للطرق كثيفة البيانات، مما يثبت أن الطريقة الأكثر فعالية لفهم صورة متحركة هي النظر بدقة إلى البكسلات نفسها، بدلاً من الاعتماد على مكتبة من الأمثلة السابقة.