GeoMag: Geometric-Aware Video Motion Magnification via State Space Model

ملخص تقني: GeoMag

بيان المشكلة
يهدف تضخيم الحركة في الفيديو (VMM) إلى كشف الديناميكيات غير المحسوسة في المتواليات الفيديوية، ليعمل بمثابة "مجهر حركة" لتطبيقات مثل التحليل الإنشائي، والطب الحيوي، وكشف التعبيرات الدقيقة. ومع ذلك، لا يزال هناك تحدٍ جوهري: التمييز بين الحركة الضئيلة ذات المعنى وبين ضجيج التصوير دون المساس بالسلامة الهيكلية. تواجه الأساليب القائمة على التعلم الحالية معضلة هيكلية؛ فشبكات الأعصاب التلافيفية (CNNs) فعالة حوسبياً ولكنها تفتقر إلى الاعتمادات طويلة المدى المطلوبة للاتساق الهندسي العالمي، مما يؤدي غالباً إلى تشوهات محلية. وفي المق المقابل، توفر الأساليب القائمة على المحولات (Transformers) سياقاً عالمياً، لكنها تعاني من تعقيد حسابي تربيعي، مما يجعل معالجة الدقة العالية أمراً صعباً. علاوة على ذلك، تعتمد بروتوكولات التدريب الحالية (مثل LBVMM) بشكل كبير على الإزاحات الخطية البسيطة، وتفشل في التقاط التحولات الهندسية المعقدة (الدوران، الحركة المركبة) وتدهورات المستشعر الموجودة في السيناريوهات الواقعية، مما يؤدي إلى نماذج تفرط في التكيف (overfit) مع أنماط الحركة المبسطة.

المنهجية
يقترح المؤلفون GeoMag، وهو إطار عمل لتضخيم الحركة (VMM) مدرك هندسياً ومبني على نماذج حالة الفضاء (SSMs)، وتحديداً عبر الاستفادة من بنية Mamba، لتحقيق تضخيم حركة متسق عالمياً بتعقيد حسابي خطي.

• البنية: يستخدم GeoMag تصميماً ثنائي المسار:

  1. مسار الحركة الأساسي: يستخدم مستخرج ميزات عميق (DFE) ومشفر وعي بالتسلسل (MMSA) يعتمد على Mamba. يقوم الـ DFE، المكون من كتل Vision Mamba متراكمة، باستخراج التمثيلات الدلالية العميقة. ويقوم مشفر MMSA بمعالجة الميزات المتلاعب بها باستخدام آلية مسح ثنائية الأبعاد انتقائية. تعمل هذه الآلية كمرشح متغير مكانياً يستفيد من الانتقائية المعتمدة على المدخلات للحفاظ على أنماط الحركة المتماسكة مع كبح الضجيج العشوائي، مما يضمن الاتساق العالمي بتعقيد خطي.
  2. منقي الميزات الساكنة (SFR): فرع موازٍ يعمل على ميزات ضحلة عالية الدقة للحفاظ على تفاصيل النسيج عالية التردد وتثبيت الخلفية الساكنة، مما يمنع فقدان التفاصيل الدقيقة الشائع في المشفرات العميقة.
  3. التلاعب بالميزات: على عكس الطرق التقليدية القائمة على الطور (phase-based)، يقوم GeoMag بحساب فروق الحركة مباشرة في فضاء الميزات الكامن. يتم قياس هذه الفروق بواسطة عامل تضخيم $\alpha$ ومعالجتها بواسطة دالة تلاعب غير خطية قبل تنقيحها بواسطة MMSA ودمجها مع التفاصيل الساكنة.

• تخليق البيانات (Geo-200K): لمعالجة قيود بيانات التدريب الحالية، أنشأ المؤلفون مجموعة بيانات Geo-200K واسعة النطاق وتخليقية. تقوم هذه العملية بإنشاء أزواج تدريب عن طريق تركيب أجسام أمامية من CocoNut وخلفيات من OpenImages. ومن الضروري ملاحظة أنها تقدم:

  • تحولات هندسية معقدة: مزيج من الإزاحة النقية، والدوران النقي، والتحولات المركبة (بنسبة 30%/30%/40%).
  • تدهورات واقعية للمستشعر: خط معالجة محاكاة فيزيائي يتضمن ضجيج الفوتونات (photon shot noise)، وعيوب القراءة، ورسم الخرائط اللونية (tone mapping)، وتكميم التحويل من تناظري إلى رقمي.
  • القيود الحركية: حدود صارمة على الإزاحة والدوران لضمان المعقولية الفيزيائية والاستقرار العددي.

المساهمات الرئيسية

1. إطار عمل GeoMag: بنية VMM مبتكرة تعتمد على نماذج حالة الفضاء (SSMs)، تتعامل بفعالية مع الحركات الهندسية المعقدة مع تقليل العيوب البصرية والضبابية مقارنة بطرق CNN والمحولات الحالية.
2. مجموعة بيانات Geo-200K: مجموعة بيانات تخليقية واسعة النطاق تتضمن تحولات هندسية معقدة وتدهورات مستشعر واقعية، مما يوفر إشرافًا متنوعًا وواقعيًا لتدريب VMM.
3. التحقق الشامل: تجارب مكثفة تثبت أن الإطار المقترح والمجموعة البيانية يتفوقان على الأساليب الحالية في الدقة البصرية والكفاءة الحسابية.

النتائج التجريبية

• الأداء الكمي: في أربعة اختبارات معيارية تخليقية (تغطي الإزاحة، الدوران، الضجيج، والضبابية)، تفوق Geo-200K المدرب بانتظام على النماذج المرجعية الحالية. والجدير بالذكر أنه في مجموعة بيانات Synthetic-II التي تركز على الدوران، حقق GeoMag أدنى قيم لـ LPIPS (0.16) وRMSE، متفوقاً بشكل كبير على النماذج المرجعية القائمة على المحولات مثل STB-VMM وEulerMormer، والتي عانت من ضعف الصلابة الهيكلية تحت تأثير الدوران غير الخطي.
• الكفاءة: يحقق GeoMag توازناً مثالياً بين الأداء والتكلفة؛ حيث يتطلب حوالي 5 أضعاف أقل من العمليات الحسابية (296.1G) مقارنة بـ STB-VMM (1584G)، ويقوم بمعالجة فيديو بدقة 720p مكون من 300 إطار في 13.9 ثانية، مقارنة بـ 31.6 ثانية لـ STB-VMM و50.0 ثانية لـ EulerMormer.
• التحليل النوعي: تُظهر المقارنات البصرية في فيديوهات واقعية (مثل تنفس الرضيع، اهتزاز المحرك، دوران الدوار) أن GeoMag يحافظ على الاستمرارية الهيكلية بشكل أفضل من الطرق السابقة. فهو يتجنب آثار الرنين (ringing artifacts) الناتجة عن المرشحات المصممة يدوياً، وضبابية النسيج في CNN، وعدم الاتساق الهندسي (الانقطاعات المكانية) الملاحظ في النماذج القائمة على الانتباه (attention-based models).
• دراسات الاستئصال (Ablation Studies): أدى إزالة وحدة SFR إلى تدهور ملحوظ في RMSE (من 24.22 إلى 29.42)، مما يؤكد ضرورتها لاستقرار المناطق الساكنة. كما أدى استبدال عمود Mamba الفقري بنماذج CNN أو نسخ من المحولات إلى أداء أقل بكثير، مما يثبت فعالية التصميم القائم على SSM.

الأهمية
يزعم البحث أن GeoMag يوفر حلاً موحداً للمفاضلة بين نمذجة الاعتماد طويل المدى والتكاليف الحسابية في تضخيم الحركة في الفيديو. ومن خلال دمج نماذج حالة الفضاء مع المسح الانتقائي، يلتقط الإطار الاتساق الهندسي العالمي دون التعقيد التربيعي للمحولات. علاوة على ذلك، فإن تقديم Geo-200K يعالج الاختناق الحرج في جودة البيانات، حيث يقدم أساساً عالي الجودة يحاكي الحركات الكينماتيكية المعقدة وفيزياء التصوير الواقعية. يضع المؤلفون هذا العمل كمعيار قوي لأبحاث تضخيم الحركة الفعالة، مبرهنين على إمكانية تحقيق دقة بصرية فائقة بموارد حسابية أقل بكثير.