WildShadowRemover: In-the-Wild Video Shadow Removal via Detail-Preserving Video Diffusion Models
يقدم البحث WildShadowRemover، وهو إطار عمل يستفيد من نماذج انتشار الفيديو المضبوطة بدقة عبر تقنية LoRA والمعززة بوحدات حقن التفاصيل والتعديل القائم على التفكيك الترددي إلى جانب أولويات العمق لتحقيق إزالة ظلال فيديو قوية وعالية الجودة في سيناريوهات العالم الحقيقي المعقدة، مدعوماً بمجموعة بيانات WildShadow واسعة النطاق التي تم إنشاؤها حديثاً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تنظر إلى يوم مشمس جميل من خلال نافذة، ولكن شخصًا ما سكب دلوًا من الماء الطيني الداكن فوق الزجاج. العالم في الخارج لا يزال موجودًا، نابضًا بالحياة ومليئًا بالتفاصيل، لكن الطين يشوه كل شيء، مما يجعل من الصعب رؤية التفاصيل أو الاستمال بالمنظر. في عالم الرؤية الحاسوبية — وهو علم تعليم الحواسيب كيف "ترى" وتفهم الصور — تشبه الظلال ذلك الطين المسكوب تمامًا. إنها جزء طبيعي من كيفية عمل الضوء، لكنها يمكن أن تفسد مهامًا مهمة مثل مساعدة سيارة ذاتية القيادة في رصد أحد المشاة أو مساعدة محرر فيديو في تنظيف مشهد ما. لفترة طويلة، كانت الحواسيب جيدة جدًا في تنظيف الظلال في الصور الثابتة والمنفردة، مثل تنظيف لوح زجاجي واحد متسخ. ولكن عندما يتعلق الأمر بالصور المتحركة، أو الفيديوهات، فإن الأمر يصبح لعبة مختلفة تمامًا. الفيديو يشبه تدفق مئات من ألواح الزجاج المتتالية الواحدة تلو الأخرى؛ وإذا قمت بتنظيفها واحدًا تلو الآخر دون التفكير في التدفق، ستبدو النتيجة مهتزة ومتقطعة، مثل مصباح يرتعش. التحدي الكبير هو معرفة كيفية غسل "طين الظل" من تدفق فيديو كامل دون تشويه الصورة أو جعل المشهد يبدو كأنه رسوم متحركة مليئة بالأخطاء التقنية (glitchy cartoon).
هنا يأتي دور أداة جديدة تسمى WildShadowRemover، والتي تعمل كمنظف فائق الذكاء وقادر على السفر عبر الزمن لتنظيف الفيديوهات. أدرك الباحثون وراء هذا المشروع أنه لتنظيف الظلال في "البرية" (بمعنى المشاهد الفوضوية في العالم الحقيقي مثل الشوارع المزدحمة أو الغابات)، فأنت بحاجة إلى ما هو أكثر من مجرد فرشاة تنظيف؛ أنت بحاجة إلى فهم عميق لكيفية حركة الأجسام وكيفية سلوك الضوء بمرور الوقت. لقد بنوا نظامهم بناءً على "نموذج انتشار فيديو" (video diffusion model)، وهو نوع من الذكاء الاصطناعي الذي تعلم بالفعل كيفية إنشاء فيديوهات من الصفر من خلال دراسة ملايين الساعات من اللقطات. فكر في هذا الذكاء الاصطناعي كرسام بارع شاهد كل أنواع الظلال وكل أنواع الأجسام في العالم. وبدلاً من تعليم الرسام كيفية الرسم من الصفر، استخدم الباحثون حيلة ذكية تسمى "ضبط LoRA الدقيق" (LoRA fine-tuning). تخيل هذا الأمر كإعطاء الرسام البارع مئزرًا متخصصًا وخفيف الوزن يعلمه تحديدًا كيفية إزالة الظلال دون أن ينسى كيفية رسم بقية الصورة.
ومع ذلك، لاحظ الباحثون أنه بينما كان هذا الرسام الآلي بارعًا في إزالة بقع الظل الكبيرة الداكنة، فإنه كان ينسى أحيانًا التفاصيل الصغيرة، مثل ملمس جدار من الطوب أو نمط القميص، مما يجعل الفيديو يبدو ضبابيًا بعض الشيء. ولإصلاح ذلك، أضافوا "وحدة حقن التفاصيل" (detail injection module). يمكنك التفكير في هذا كعدسة مكبرة عالية التقنية تنظر إلى الفيديو الأصلي المظلل، وتستخرج التفاصيل الحادة والواضقة، ثم تلصقها بعناية على النسخة المنظفة. لكن هناك فخ: إذا قمت بلصق التفاصيل القديمة مرة أخرى، فقد تقوم بالخطأ بلصق الظل أيضًا! لذا، ابتكر الفريق نظام "تعديل التردد الموجه بقناع الظل" (shadow-mask-guided frequency-decomposed modulation). هذا المصطلح قد يبدو معقدًا، لكن تخيله كفلتر ذكي يصنف الصورة إلى كومتين: الأجزاء "الناعمة ومنخفضة التردد" (مثل الشكل العام لشجرة) والأجزاء "المقرمشة وعالية التردد" (مثل أوراق الشجر). يقوم النظام بعد ذلك باستخدام خريطة توضح مكان الظلال ليقول: "احتفظ بأوراق الشجر المقرمشة، ولكن تخلص من الظلال المقرمشة".
ولضمان ظهور الفيديو بشكل صحيح حتى عندما تكون الإضاءة غريبة أو الكاميرا تتحرك، يستخدم النظام أيضًا "خريطة عمق" (depth map) من أداة تسمى Depth Anything 3. هذا يشبه إعطاء الذكاء الاصطناعي مسطرة ثلاثية الأبعاد لفهم مدى بعد الأشياء، بحيث يعرف أن الظل على الأرض يختلف عن الظل على الجدار. لم يكتف الباحثون ببناء هذه الأداة فحسب، بل بنوا أيضًا ساحة تدريب ضخمة لها تسمى WildShadow. وبما أن العثور على أزواج مثالية من "قبل وبعد" للفيديوهات في العالم الحقيقي أمر صعب، فقد أنشأوا مكتبة ضخمة تضم 6,10 รัก 6,100 مقطع فيديو اصطناعي (4,500 للتدريب و600 للاختبار) باستخدام رسومات حاسوبية ثلاثية الأبعاد. تغطي هذه المقاطع كل شيء من الغرف الداخلية إلى الشوارع الحضرية والمناظر الطبيعية، مما يضمن تعلم الذكاء الاصطناعي كيفية التعامل مع جميع السيناريوهات الفوضوية في العالم الحقيقي.
تشير النتائج إلى أن هذه الطريقة الجديدة فعالة للغاية. فعند اختبارها، لم يقم WildShadowRemover بإزالة الظلال فحسب، بل حافظ على سلاسة واتساق الفيديو، بحيث لم تبدُ المشاهد المنظفة مهتزة أو متذبذبة. لقد نجح في الحفاظ على التفاصيل الدقيقة التي تفقدها الطرق الأخرى غالبًا، منتجًا فيديوهات تبدو طبيعية وواضحة. وجد المؤلفون أنه من خلال الجمع بين "خيال" الذكاء الاصطناعي للفيديو المدرب مسبقًا وبين هذه الأدوات المحددة التي تركز على التفاصيل، استطاعوا التعامل مع ظروف الإضاءة المعقدة وغير المتوقعة بشكل أفضل بكثير من النهج السابق. وبينما يركز البحث على البيانات الاصطناعية للتدريب والاختبار، فإن النتائج تشير إلى أن هذا النهج يمكن أن يحسن بشكل كبير كيفية تعامل الحواسيب مع الظلال في العالم الحقيقي، مما يجعل الفيديوهات أنظف وأكثر فائدة لكل شيء من الترفيه إلى أنظمة السلامة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.