💻 computer science

BVI-Mamba: Video Enhancement Using a Visual State-Space Model for Low-Light and Underwater Environments

تقدم هذه الورقة البحثية BVI-Mamba، وهو إطار عمل مبتكر لتحسين الفيديو يستفيد من نموذج الحالة البصرية (VSS) لمعالجة الضجيج، وانخفاض التباين، وعدم توازن الألوان في مقاطع الفيديو ذات الإضاءة المنخفضة وتحت الماء بكفاءة، مع تقليل الموارد الحسابية بشكل كبير مقارنة بالأساليب القائمة على المحولات (Transformer) والالتفاف (convolution).

المؤلفون الأصليون: Guoxi Huang, Ruirui Lin, Yini Li, David R. Bull, Nantheera Anantrasirichai

نُشر 2026-04-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guoxi Huang, Ruirui Lin, Yini Li, David R. Bull, Nantheera Anantrasirichai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول مشاهدة فيلم، لكن الشاشة مغطاة بالضباب، والألوان باهتة، والصورة مهتزة. هذا ما يحدث عندما تحاول الكاميرات التصوير في أماكن مظلمة جداً (مثل كهف في الليل) أو تحت الماء (حيث يتشتت الضوء ويُمتص). غالباً ما يكون الفيديو الناتج مليئاً بالتحبب، وضبابياً، وصعب الفهم.

تقدم الورقة البحثية أداة جديدة تسمى BVI-Mamba لإصلاح هذه الفيديوهات الفوضوية. فكر في الأمر كأنه "مُرمم فيديو ذكي" يستخدم نوعاً جديداً من عقول الذكاء الاصطناعي لتنظيف اللقطات بسرعة وكفاءة.

إليك كيف يعمل، مقسماً إلى مفاهحات بسيطة:

1. المشكلة: "حقيبة الظهر الثقيلة" للذكاء الاصطناعي القديم

في السابق، كان إصلاح هذه الفيديوهات يتطلب نماذج ذكاء اصطناعي تشبه حقائب الظهر الثقيلة. كانت قوية جداً ولكنها تستهلك الكثير من الذاكرة والوقت للتشغيل، خاصة بالنسبة للفيديو (الذي هو مجرد سلسلة طويلة من الصور).

الطرق القديمة كانت تشبه محاولة إصلاح فيلم كامل عبر النظر إلى إطار واحد في كل مرة، أو باستخدام روبوت ضخم وبطيء الحركة لمقارنة الإطارات.
الطريقة الجديدة (BVI-Mamba) هي مثل عداء رشيق وخفيف الوزن. فهي تستخدم نوعاً جديداً من بنية الذكاء الاصطناعي يسمى "الفضاء الحالة البصري" (أو Mamba). وهذا يسم يسمح لها بمعالجة تسلسلات طويلة من الفيديو دون أن تتعب أو تحتاج إلى كمبيوتر ضخم.

2. العملية المكونة من خطوتين: المحاذاة والتلميع

يعمل نظام BVI-Mamba في مرحلتين رئيسيتين، مثل فريق مكون من شخصين ينظف نافذة متسخة:

الخطوة 1: "اليد الثابتة" (محاذاة الميزات)
عندما تصوّر في الظلام أو تحت الماء، قد تهتز يدك، أو يتحرك الشيء الذي تصوره. هذا يجعل الفيديو يبدو مهتزاً أو "شبحياً" عندما تحاول دمج الإطارات لجعل الصورة أكثر وضوحاً.

التشبيه: تخيل أنك تحاول رص مجموعة من أوراق اللعب (الكوتشينة) التي تنزاح قليلاً عن بعضها البعض. إذا قمت بلصقها فقط، ستكون الصورة ضبابية.
ما يفعله BVI-Mamba: يعمل كأنه موزع أوراق لعب فائق الدقة. قبل أن يحاول تنظيف الصورة، ينظر إلى "الميزات" (الأشكال والحواف) لإطارات الفيديو ويقوم بمحاذاتها بدقة في الفضاء الرقمي. يستخدم نظام "هرمي" (Pyramid) للتعامل مع الحركات الكبيرة والتفاصيل الصغيرة، مما يضمن تطابق الإطارات حتى لا يرتعش الفيديو.

الخطوة 2: "الملمع السحري" (التحسين)
بمجرد محاذاة الإطارات، يحتاج النظام إلى إصلاح الظلام، والضجيج، واللون.

التشبيه: فكر في الذكاء الاصطناعي القياسي كأنه فرشاة رسم تعرف فقط كيفية طلاء البقع الصغيرة والمحلية؛ فهو يعاني لرؤية "الصورة الكبيرة" للغرفة بأكملها.
ما يفعله BVI-Maca: يستبدل فرشاة الرسم بـ ماسح ليزر (يسمى كتلة الفضاء الحالة البصري). يمكن لهذا الماسح أن ينظر إلى ذرة غبار صغيرة و الغرفة بأكملها في نفس الوقت. إنه يفهم كيف ينتقل الضوء عبر المشهد بأكه. وهذا يسمح له بإزالة "الثلج" (الضجيج)، وتفتيح المناطق المظلمة، وإصلاح التدرجات اللونية الزرقاء/الخضراء الغريبة في لقطات تحت الماء بشكل أفضل بك jauh من الطرق القديمة.

3. لماذا هو أفضل (النتائج)

اختبر المؤلفون هذا "العداء" الجديد ضد "حقائب الظهر الثقيلة" (النماذج القائمة على CNNs و Transformers).

السباق: في الاختبارات باستخدام مجموعات بيانات حقيقية لفيديوهات الإضاءة المنخفضة وفيديوهات تحت الماء، فاز BVI-Mamba.
النتيجة: أنتج صوراً أكثر وضوحاً مع نسب "إشارة إلى ضجيج" أعلى (تحبب أقل) وتشابه هيكلي أفضل (الأشكال تبدو طبيعية أكثر).
الكفاءة: فعل كل ذلك مع استخدام ذاكرة كمبيوتر ووقت أقل. إنه ليس مجرد منظف أفضل، بل هو منظف أسرع أيضاً.

4. تحدي تحت الماء

الفيديو تحت الماء صعب لأن الماء يعمل كمرشح (فلتر) يمتص الضوء الأحمر ويشتت الضوء الأزرق، مما يجعل كل شيء يبدو أخضر أو أزرق.

بما أنه لا توجد فيديوهات "مثالية" تحت الماء للمقارنة بها (لا توجد حقيقة أرضية مطلقة)، استخدم الفريق حيلة ذكية. قاموا بتدريب الذكاء الاصطناعي على فيديوهات برية واضحة ذات إضاءة منخفضة أولاً. ثم، قبل تغذيته بلقطات تحت الماء، أعطوا الذكاء الاصطناعي "نظارات تصحيح الألوان" (التكيف الكروماتي) لضبط توازن اللون الأبيض.
النتيجة؟ نجح الذكاء الاصطناعي في إزالة الضباب الأزرق العكر وأظهر تفاصيل كانت غير مرئية سابقاً، متفوقاً بذلك على الأدوات المتخصصة الأخرى في مجال تحت الماء.

الملخص

BVI-Mamba هو أداة جديدة لتحسين الفيديو تستخدم عقلاً ذكياً من نوع "خفيف الوزن" لإصلاح الفيديوهات المهتزة والمظلمة والموحلة. بدلاً من المعاناة مع الحسابات الثقيلة، يقوم بمحاذاة الإطارات بدقة ثم يستخدم تقنية مسح ذكية لتنظيف الصورة. تدعي الورقة البحثية أنه أسرع، ويستخدم ذاكرة أقل، وينتج نتائج أكثر وضوحاً من طرق الذكاء الاصطناعي السابقة لكل من البيئات المظلمة والمشاهد تحت الماء.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "BVI-Mamba: تحسين الفيديو باستخدام نموذج الحالة الفراغية البصري لبيئات الإضاءة المنخفضة وتحت الماء."

1. بيان المشكلة

تعاني مقاطع الفيديو الملتقطة في بيئات الإضاءة المنخفضة وتحت الماء من تدهور شديد في الجودة، يشمل:

مشكلات الإضاءة المنخفضة: الضجيج (Noise)، انخفاض التباين، عدم توازن الألوان، وضبابية الحركة (الناتجة عن سرعة الغالق البطيئة أو ارتفاع الـ ISO).
مشكلات ما تحت الماء: تشتت الضوء وامتصاصه، مما يؤدي إلى الضبابية، تأثيرات الهالة (Halo effects)، تشوه الألوان، وانخفاض التباين.

تؤثر هذه التدهورات على كل من الجودة الجمالية وأداء مهام الرؤية الحاسوبية اللاحقة (مثل كشف الأجسام وتتبعها). وبينما يوجد تحسين للصور يعتمد على الذكاء الاصطناعي، يظل تحسين الفيديو تحدياً كبيراً بسبب:

عدم الاتساق الزمني (Temporal Inconsistency): الوميض (Flickering) وتقلبات السطوع بين الإطارات.
التكلفة الحسابية: الطرق العميقة الحالية (CNNs وTransformers) مكلفة حسابياً وتستهلك الكثير من الذاكرة، مما يجعل المعالجة في الوقت الفعلي أمراً صعباً.
ندرة البيانات: نقص مجموعات بيانات التدريب الضخمة والمزدوجة، لا سيما في سيناريوهات ما تحت الماء.

2. المنهجية: BVI-Mamba

يقترح المؤلفون BVI-Mamba، وهو إطار عمل مبتكر يستبدل كتل الـ Convolutional والـ Transformer التقليدية بـ نماذج الحالة الفراغية البصرية (VSS) لتحقيق تعقيد حسابي خطي مع الحفاظ على أداء عالٍ. يتبع الهيكل مساراً يتكون من مرحلتين:

أ. وحدة محاذاة الميزات (Feature Alignment Module)

لضمان الاتساق الزمني ومنع الوميض، يقوم النموذج بمحاذاة عدة إطارات مدخلة قبل عملية التحسين.

الآلية: يستخدم وحدة محاذاة هرمية، متتالية، ومشوهة (PCD) مستمدة من (EDVR) مدمجة مع دمج الانتباه الزمني والمكاني (TSA).
الوظيفة: تسجيل الإزاحة المكانية والزمانية بين الإطارات في فضاء الميزات، واستخراج ومعالجة التفاصيل الزمنية للحفاظ على الاتساق عبر الإطارات المتتالية.

ب. وحدة التحسين (Enhancement Module)

تقوم هذه الوحدة بإزالة الضجيج وضبط السطوع باستخدام بنية شبيهة بـ UNet.

الابتكار الجوهري: يتم استبدال جميع طبقات الـ Convolution القياسية وكتل الـ Swin Transformer بـ كتل الحالة الفراغية البصرية (VSS).
بنية كتلة VSS:
- تعتمد على إطار عمل Mamba، وتحديداً باستخدام آلية المسح ثنائي الأبعاد الانتقائي (SS2D).
- عملية SS2D: تقوم بفرد بقع المدخلات (Patches) إلى تسلسلات على طول أربعة اتجاهات (يسار-يمين، أعلى-أسفل، يمين-يسار، أسفل-أعلى)، ثم معالجتها عبر نموذج الحالة الفراغية الانتقائي (SSM)، ودمج النتائج.
- الميزة: على عكس الـ CNNs (ذات المجال الاستقبالي المحدود) أو الـ Transformers (ذات التعقيد التربيعي)، تلتقط كتل VSS كلاً من التفاصيل المحلية والاعتمادات العالمية طويلة المدى بتعقيد حسابي خطي.
الصياغة الرياضية: تُعرف كتلة VSS في الطبقة $l$ كما يلي:
$h_l = SS2D(LN(h_{l-1})) + h_{l-1}$
$h_{l+1} = FFN(LN(h_l)) + h_l$
(حيث $LN$ هو تطبيع الطبقة و $FFN$ هي الشبكة الأمامية).

3. المساهمات الرئيسية

أول تطبيق لـ Mamba في الإضاءة المنخفضة: تقدم الورقة أول إطار عمل يطبق نموذج الحالة الفراغية البصرية (VSS) على الفيديو (بعد أن كان مقتصرًا على الصور)، مستهدفًا تحديدًا سيناريوهات الإضاءة المنخفضة وما تحت الماء.
بنية فعالة: من خلال استبدال كتل Transformer الثقيلة بكتل VSS، يحقق BVI-Mamba تعقيداً حسابياً خطياً، مما يقلل بشكل كبير من استخدام الذاكرة ووقت الاستدلال مقارنة بنظائره القائمة على CNN وTransformer.
محاذاة زمنية قوية: يضمن دمج محاذاة PCD مع تحسين VSS اتساقاً زمنياً عالياً، مما يقلل بفعالية من الوميض وتقلبات السطوع الشائعة في تحسين الفيديو.
التكيف مع البيئة المائية: يتضمن إطار العمل خطوة معالجة مسبقة باستخدام التكيف الكروماتي (Chromatic Adaptation) لمعالجة عدم توازن الألوان الشديد في بيانات ما تحت الماء، لتعويض النقص في البيانات الأرضية (Ground Truth) لمجموعات بيانات تحت الماء.

4. النتائج التجريبية

تم تقييم النموذج على ثلاث مجموعات بيانات: DID (إضاءة منخفضة)، BVI-RLV (إضاءة منخفضة)، و BVI-Coral (تحت الماء).

الأداء الكمي (الإضاءة المنخفضة):
- في مجموعة بيانات BVI-RLV، حقق BVI-Mamba قيمة PSNR بلغت 22.93 و SSIM بلغت 0.820، متفوقاً على:
  - PCDUNet (CNN): PSNR 19.50, SSIM 0.757.
  - STA-SUNet (Transformer): PSNR 20.64, SSIM 0.765.
  - BVI-CDM (Diffusion): PSNR 22.20, SSIM 0.773.
- كما حقق أدنى قيمة لـ LPIPS (0.146)، مما يشير إلى تشابه إدراكي فائق مع البيانات الأرضية.
الأداء النوعي:
- تظهر المقارنات البصرية أن BVI-Mamba يقلل الضجيج بفعالية، ويشحذ التفاصيل، ويحافظ على الأنسجة الدقيقة بشكل أفضل من الطرق المنافسة.
نتائج ما تحت الماء:
- باستخدام نموذج تم تدريبه مسبقاً على BVI-RLV وتم تكييفه بالتكيف الكروماتي، أنتج BVI-Mamba نتائج متفوقة بصرياً مقارنة بـ Zero-TIG، حيث قام بتصحيح انحرافات الألوان وتحسين الرؤية في لقطات أعماق البحار.

5. الأهمية

تحول في النموذج المعرفي: يثبت هذا العمل أن نماذج الحالة الفراغية (SSMs) هي بديل قابل للتطبيق ومتفوق على الـ Transformers لمهام معالجة الفيديو، حيث توفر توازناً أفضل بين الأداء والكفاءة الحسابية.
النشر العملي: إن صغر حجم الذاكرة والتعقيد الخطي يجعل BVI-Mamba مرشحاً قوياً للنشر على الأجهزة الطرفية (Edge Devices) أو في أنظمة المراقبة والتحكم الذاتي في الوقت الفعلي حيث تكون الموارد محدودة.
توسيع النطاق: نجح العمل في سد الفجوة بين النماذج التوليدية/التمييزية المتقدمة والبيئات الفيزيائية الصعبة (الإضاءة المنخفضة/تحت الماء)، مما يوفر حلاً قوياً للتطبيقات الحرجة مثل الاستكشاف تحت الماء والأمن الليلي.