How to Design a Compact High-Throughput Video Camera?

إليك ملخص تقني مفصل للورقة البحثية بعنوان "كيفية تصميم كاميرا فيديو مدمجة عالية الإنتاجية؟" للباحثين تشينكسي كيو، وتاو يو، وشويمي هو.

1. بيان المشكلة

تتناول الورقة البحثية العائق الحرج في تصوير الفيديو عالي الإنتاجية: وهو عدم قدرة مستشعرات الشريحة الواحدة الحالية على تحقيق دقة فائقة (مئات الميغابكسل) ومعدلات إطارات عالية في آن واحد.

• عائق القراءة (Readout Bottleneck): المستشعرات عالية الدقة الحالية (مثل 0.1–0.25 مليار بكسل) محدودة بمعدلات إطارات منخفضة (4–10 إطار في الثانية) لأن محولات الإشارات التناظرية إلى رقمية أحادية المنحدر (SS-ADCs) القياسية لا يمكنها قراءة الإشارات بالسرعة الكافية.
• عائق النقل (Transmission Bottleneck): يتطلب نقل فيديو عالي الدقة (على سبيل المثال 8 بت) في الوقت الفعلي نطاقات تردد تتجاوز 240 جيجابت في الثانية، وهو ما يتجاوز بكثير سعة الواجهات التجارية القياسية مثل MIPI CSI-2 (حوالي 41.4 جيجابت في الثانية).
• الحلول الحالية: البدائل الحالية (مصفوفات الكاميرات المتعددة، أنظمة المسح الضوئي) ضخمة، ومكلفة، ومعقدة، وتستهلك طاقة عالية، مما يجعلها غير مناسبة للتطبيقات الاستهلاكية.

2. المنهجية

يقترح المؤلفون مخطط تصوير التدرج منخفض البت (Low-Bit Gradient Imaging Scheme) مقترناً بـ شبكة إعادة بناء دمج متعددة المقاييس (MSFRnet). يقوم هذا النهج بفصل عملية الحصول على التفاصيل عالية التردد عن معلومات الكثافة منخفضة التردد.

أ. استراتيجية الاستحواذ (Acquisition Strategy)

بدلاً من التقاط صور كثافة كاملة الدقة (8 بت)، يلتقط النظام تدفقين متكاملين من البيانات:

1. الكثافة منخفضة الدقة (LRI): صورة قياسية منخفضة الدقة (على مستوى الميغابكسل مثلاً) تلتقط المعلومات منخفضة التردد والهيكل العام.
2. التدرج عالي الدقة (HRG): خريطة عالية الدقة تلتقط تدرجات الصورة (الحواف/الخطوات) باستخدام تكميم منخفض البت (مثل 1.5 بت).
   • التنفيذ العتادي (Hardware Implementation): يستبدل مستشعر HRG محولات ADC القياسية بـ مقارنات (Comparators) بسيطة. فبدلاً من قراءة قيم البكسل الكاملة، يقوم بإجراء عمليات مقارنة قليلة لتحديد إشارات وحجم التدرجات.
   • التكميم (Quantization): يستخدم مخطط تكميم غير خطي معمم عدد مستويات منفصلة $L = 2^n + 1$.
   • الضغط (Compression): يتم ضغط بيانات التدرج المتفرقة ومنخفضة البت باستخدام وحدة ترميز طول التشغيل (RLC) المعدلة وترميز هافمان (Huffman coding). يحقق هذا نسبة ضغط أقل من 10%، مما يسمح بالنقل عبر الواجهات الموجودة (مثل MIPI) بسرعات الوقت الفعلي.

ب. شبكة إعادة البناء (MSFRnet)

لإعادة بناء صورة عالية الدقة (HR) عالية الجودة من مدخلات LRI وHRG منخفضة البت، صمم المؤلفون شبكة عصبية تلافيفية لإعادة البناء والدمج متعدد المقاييس:

• البنية (Architecture): تتكون الشبكة من ثلاثة فروع:
  1. فرع التراكب الفائق (SR Branch): يأخذ صورة LRI ويقوم بعملية تراكب فائق (Super-resolution) بمقدار 8×8 لاستعادة التفاصيل منخفضة التردد.
  2. فروع التدرج (x و y): فرعان متوازيان يأخذان خريطة HRG منخفضة البت ويعيدان بناء خرائط تدرج عالية الدقة في كلا الاتجاهين الأفقي والرأسي.
• دمج الميزات (Feature Fusion): تستخدم الشبكة استراتيجية دمج متعددة المقاييس.
  • توجه ميزات التردد المنخفض من فرع SR عملية إعادة بناء التدرجات عالية الدقة.
  • يتم دمج ميزات التردد العالي من فروع التدرج مرة أخرى في فرع SR لاستعادة التفاصيل الدقيقة والأنسجة.
• دالة الخسارة (Loss Function): تعمل دالة خسارة مشتركة على تقليل متوسط الخطأ التربيعي (MSE) بين الصورة المعاد بناؤها والحقيقة الأرضية (Ground Truth)، وكذلك تقليل MSE بين التدرجات المعاد بناؤها وتدرجات الحقيقة الأرضية.

3. المساهمات الرئيسية

1. مخطط تصوير مبتكر: يقترح بنية مدمجة، منخفضة التكلفة، ومنخفضة الطاقة تتجاوز عوائق القراءة والنقل عبر التقاط تدرجات منخفضة البت بدلاً من بيانات الكثافة كاملة الدقة.
2. الجدوى العتادية: يثبت أن استبدال محولات ADC بالمقارنات لقراءة التدرج يمكن أن يسرع سرعات القراءة بمقدار رتبتين من حيث الحجم (نظرياً من 85 إلى 256 ضعفاً) مع تقليل استهلاك الطاقة بشكل كبير.
3. إعادة بناء متقدمة: يقدم MSFRnet، وهي شبكة CNN متعددة المقاييس تدمج بفعالية بيانات الكثافة منخفضة التردد وتدرج عالي التردد لإعادة بناء صور عالية الجودة، متفوقة على طرق التراكب الفائق التقليدية والطرق القائمة على المراجع.
4. اختيار عرض البت الأمثل: من خلال تجارب مكثفة، حدد النظام أن مخطط التدرج الثلاثي بقوة 1.5 بت (اتجاه واحد) يوفر التوازن الأمثل بين جودة إعادة البناء، وعرض النطاق الترددي، والتعقيد العتادي.

4. النتائج التجريبية

تم التحقق من المنهجية باستخدام بيانات محاكاة، ومجموعات بيانات عامة (KITTI, Stanford Light Field, YUP++)، وبيانات حقيقية ملتقطة.

• المقارنة مع RefSR: تتفوق الطريقة المقترحة بشكل كبير على خوارزميات التراكب الفائق القائمة على المرجع (RefSR) (مثل CrossNet و AWnet). بينما تعاني طرق RefSR من عيوب (Artifacts) عندما يكون الإطار المرجعي بعيداً زمنياً أو مكانياً، تحافظ الطريقة القائمة على التدرج على دقة عالية بغض النظر عن معدل الإطارات أو اختلاف زاوية الرؤية.
  • مثال: في مجموعة بيانات KITTI، حققت الطريقة المقترحة 29.71 dB PSNR مقابل 26.01 dB لأفضل طريقة RefSR.
• المتانة تجاه الضجيج: أظهر النظام متانة فائقة تجاه الضجيج مقارنة بالطرق المنافسة، حتى عندما احتوت مدخلات التدرج على ضجيج غاوسي (Gaussian noise).
• التحقق من الدقة العالية: تم الاختبار على مجموعة بيانات PANDA (صور بدقة 800 ميغابكسل)، حيث حققت 44.37 dB PSNR و 0.984 SSIM مع نسبة ضغط بلغت 0.0103.
• عرض واقعي: باستخدام كاميرا Mi10 معدلة (مستشعر 108 ميجابكسل)، التقط المؤلفون مشاهد حقيقية. نجح النظام في إعادة بناء صور عالية الجودة من بيانات التدرج المضغوطة، مع الحفاظ على التفاصيل الدقيقة مثل النصوص والحواف والأنسجة.
• دراسة الاستئصال (Ablation Study): أكدت الدراسة أن كلاً من الهيكل متعدد المقاييس وفرع التدرج المزدوج (إعادة بناء كل من x و y) ضروريان، حيث يساهمان بنحو 2 dB في تحسين PSNR.

5. الأهمية

يوفر هذا العمل مساراً قابلاً للتطبيق لتحقيق كاميرات فيديو مدمجة وعالية الإنتاجية للاستهلاك العام. من خلال نقل العبء الحسابي من القراءة/النقل العتادي إلى إعادة البناء البرمجي الفعال، يحل المؤلفون القيود الأساسية لعرض النطاق الترددي والسرعة في مستشعرات CMOS الحالية. يتيح النظام المقترح:

• الاستحواذ في الوقت الفعلي لفيديو فائق الدقة (مئات الميغابكسل) بمعدلات إطارات قياسية.
• تقليل جذري في متطلبات نقل البيانات (إلى أقل من 10% من الحجم الأصلي).
• الجدوى للتطبيقات واسعة النطاق في المراقبة الأمنية، والمجهر البيولوجي، والاستشعار عن بعد، حيث تكون الأنظمة الحالية عالية الإنتاجية ضخمة جداً أو مكلفة للغاية.