EvBS: Event-guided Blur Synthesis for Domain-adaptive Motion Deblurring

تخيل أنك تحاول التقاط صورة مثالية لطائر طنان أثناء طيرانه. إذا كانت كاميرتك بطيئة بعض الشيء، فستظهر الطيور كبقعة ضبابية مشوشة. هذا هو عالم إزالة الضباب من الحركة (motion deblurring): وهو فرع من فروع الرؤية الحاسوبية حيث يعلم العلماء الحواسيب كيفية "إلغاء تشويش" الصور الضبابية واستعادة التفاصيل الحادة المخفية بداخلها. لسنوات طويلة، كانت أفضل طريقة للقيام بذلك هي عرض آلاف الأمثلة للصور الضبابية والحادة على الحواسيب، وتركها تتعلم النمط. ولكن هنا تكمن المشكلة: الحاسوب الذي يتعلم كيفية إزالة الضباب عن صورة التُقطت في حديقة مشمسة قد يصاب بالارتباك تماماً عندما يُطلب منه إزالة الضباب عن صورة التُقطت في شارع مدينة ممطرة. يبدو "الضباب" مختلفاً في أماكن مختلفة، وهي مشكلة يسميها العلماء "انزياح النطاق" (domain shift). الأمر يشبه تعليم شخص ما القيادة على طريق جاف، ثم توقع قدرته على التعامل مع عاصفة ثلجية دون أي تدريب إضافي.

لحل هذه المشكلة، بدأ الباحثون في استخدام نوع خاص من الكاميرات يسمى "كاميرا الأحداث" (event camera). على عكس الكاميرات العادية التي تلتقط صورة كل جزء من الثانية، فإن كاميرات الأحداث تشبه الآذان فائقة الحساسية التي لا "تسمع" إلا عندما يتحرك شيء ما. فهي لا ترى الصورة بأكملة؛ بل تسجل تغيرات سريعة وصغيرة في الضوء، مما ينشئ تدفقاً من البيانات يخبر الحاسوب بالضبط كيف تحركت الأشياء، حتى لو كانت الصورة نفسها في حالة فوضى. هذه الورقة البحثية، التي تحمل عنوان "EvBS"، تطرح سؤالاً ذكياً: إذا كان بإمكاننا فصل الحركة عن الصورة باستخدام كاميرات الأحداث هذه، فهل يمكننا استخدام هذا الفصل لتعليم حواسيب إصلاح الصور الضبابية كيفية التعامل مع مواقف جديدة وحقيقية لم ترها من قبل؟

المشكلة: الضباب "المدمج"

يشير المؤلفون إلى عقبة رئيسية في التكنولوجيا الحالية. في الفيديو العادي، يكون الضباب والجسم "مدمجين" معاً. إذا رأيت سيارة ضبابية، فإن الضباب ناتج عن حركة السيارة. لا يمكنك بسهولة إزالة ذلك الضباب عن السيارة ووضعه على شجرة لترى كيف ستبدو الشجرة لو كانت تتحرك بتلك السرعة. حاولت الطرق السابقة إصلاح ذلك من خلال البحث عن جزء حاد في فيديو ضبابي وإعادة إضفاء الضباب عليه، لكنهم ظلوا عالقين في حلقة مفرغة: لم يكن بإمكانهم سوى استخدام الحركة المرتبطة بذلك الجزء تحديداً. كان الأمر يشبه محاولة تعلم الرقص من خلال ممارسة الخطوات التي تعرفها بالفعل فقط، بدلاً من تجربة حركات جديدة.

الحل: خدعة "تبادل الحركة"

ابتكر الفريق وراء EvBS (تخليق الضباب الموجه بالأحداث - Event-guided Blur Synthesis) طريقة لكسر هذه الحلقة. إنهم يعاملون "الحركة" و"الجسم" كمكونين منفصلين. فكر في الأمر كبرنامج طبخ حيث لديك طباخ (الجسم) وصلصة (الحركة). عادةً، يكون الطباخ عالقاً بالصلصة التي يرتديها حالياً. تستخدم تقنية EvBS بيانات كاميرا الأحداث لغسل الصلصة عن طباخ واحد ورشها على طباخ آخر.

إليك كيف يفعلون ذلك، خطوة بخطوة:

1. العمل الاستقصائي (مستخرج المصدر المزدوج): أولاً، يقوم النظام بمسح فيديو ضبابي من العالم الحقيقي ("النطاق المستهدف"). يعمل كالمحقق، باحثاً عن شيئين:

   • المحتوى الحاد: المناطق التي لا تزال واضحة بما يكفي لرؤية ماهية الجسم (مثل وجه واضح أو لافتة واضحة).
   • مصادر الحركة: المناطق التي تكون ضبابية جداً ولكنها تظهر أنماط حركة واضحة (مثل سيارة مسرعة أو ذراع تتأرجح). يستخدم النظام بيانات كاميرا الأحداث لمعرفة مكان حدوث الحركة، حتى لو كانت الصورة مشوشة.

2. الاستراتيجيتان (تخليق الضباب): بمجرد حصول النظام على مكوناته، يستخدم وصفين مختلفين لإنشاء بيانات تدريب جديدة:

   • الضباب الجوهري (طريقة "السيلفي"): يأخذ جسماً حاداً ويجعله ضبابياً باستخدام حركته الطبيعية الخاصة. إذا كان شخص يمشي، فإنه يجعله ضبابياً كما لو كان يمشي. هذه هي الطريقة القياسية، لكنها لا تزال مفيدة.
   • الضباب الخارجي (طريقة "تبادل الأجساد"): هذا هو الجزء السحري. يأخذ النظام جسماً حاداً (مثل شجرة ثابتة) ويجبرها على التحرك باستخدام نمط الحركة الخاص بجسم مختلف تماماً (مثل سيارة مسرعة). إنه يشبه أخذ صورة لشجرة ورسم ضباب سيارة سباق عليها رقمياً. ولأن بيانات كاميرا الأحداث تفصل الحركة عن الجسم، يمكن للحاسوب إجراء هذا التبادل دون ارتباك.

3. فئة التدريب الجديدة: من خلال خلط ومطابقة هذه الضبابات من نوع "السيلفي" وضباب "تبادل الأجساد"، ينشئ النظام مكتبة ضخمة ومتنوعة من أمثلة التدريب. لم يعد الحاسوب يتعلم فقط من الأشياء الضبابية القليلة التي وجدها في الفيديو؛ بل يتعلم من كل التركيبات الممكنة للأجسام والحركات المتاحة في تلك البيئة.

النتائج: أكثر حدة من أي وقت مضى

اختبر الباحثون هذا الإطار الجديد على عدة نماذج حاسوبية مختلفة، بما في ذلك تلك التي تنظر فقط إلى الصور العادية وتلك التي تستخدم كاميرات الأحداث. لقد أخذوا نماذج تم تدريبها على مجموعات بيانات قياسية وقاموا بـ "ضبط دقيق" لها باستخدام البيانات المتنوعة الجديدة التي أنشأها EvBS.

كانت النتائج مبهرة. في مجموعة بيانات تسمى EVRB، حسنت النماذج درجات الوضوح (المقاسة بـ PSหนึ่ง PSNR) بنحو 2.24 dB. وفي مجموعة بيانات أخرى تسمى REVD، تحسنت بنسبة 2.35 dB، وفي مجموعات HighREV، ارتفعت المكاسب إلى 2.63 dB. ولوضع ذلك في المنظور، في عالم معالجة الصور، حتى جزء ضئيل من الـ dB يعد أمراً كبيراً؛ فالمكسب بأكثر من 2 dB يعد قفزة هائلة للأمام.

وعندما قارنوا EvBS بالطرق الحديثة الأخرى التي تحاول تكييف النماذج مع البيئات الجديدة، تفوق EvBS باستمرار. على سبيل المثال، في نموذج NAFNet، تفوق EvBS على أفضل طريقة تالية بمقدار 1.01 dB. وأظهرت النتలు البصرية أن النماذج يمكنها استعادة التفاصيل الدقيقة — مثل ملمس ورقة شجر أو حافة مبنى — التي تركتها الطرق الأخرى ضبابية.

لماذا هذا مهم؟

لا تدعي هذه الورقة أن هذا يعمل فحسب؛ بل أثبتوا ذلك من خلال إجراء تجارب مكثفة وحتى اختبار ما يحدث إذا تمت إزالة أجزاء معينة من نظامهم. عندما حاولوا تبديل الحركات عشوائياً (دون التحقق مما إذا كانت الاتجاهات متطابقة)، تراجع الأداء في الواقع مقارنة بالنموذج الأصلي. وقد أكد هذا أن طريقتهم المحددة في مطابقة اتجاه الحركة كانت حاسمة. كما أظهروا أن استخدام بياناتهم الخاصة "الموجهة بالأحداث" (FEDA) كان أفضل من مجرد استخدام خرائط الحركة القياسية، لأنها التقطت كثافة الحركة، وليس اتجاهها فقط.

باختصار، تقترح تقنية EvBS أنه باستخدام كاميرات الأحداث لفك الارتباط بين الحركة والأجسام، يمكننا تعليم الحواسيب أن تكون أكثر مرونة. وبدلاً من أن تظل مقيدة بأنماط الضباب التي تعلمتها في المختبر، يمكنها الآن التكيف مع ضباب العالم الحقيقي الفوضوي وغير المتوقع، مما يجعلها أكثر موثوقية لأشياء مثل السيارات ذاتية القيادة أو الروبوتات، حيث يمكن أن يكون الرؤية بوضوح وسط الضباب مسألة سلامة.