Extending Foundational Monocular Depth Estimators to Fisheye Cameras with Calibration Tokens

إليك ملخص تقني مفصل لورقة البحث بعنوان: "توسيع نطاق مقدرات العمق أحادية العدسة التأسيسية لتشمل كاميرات عين السمكة باستخدام رموز المعايرة (Calibration Tokens)."

1. بيان المشكلة

مقدرات العمق أحادية العدسة التأسيسية (FMDEs) هي نماذج ضخمة النطاق تم تدريبها على عشرات الملايين من الصور ذات المنظور القياسي (مثل MiDaS، وDepthAnything، وUniDepth). وبينما تتميز هذه النماذج بقدرة عالية على التعميم عبر مشاهد ثلاثية الأبعاد متنوعة، إلا أنها تفشل بشكل كبير عند تطبيقها على صور عين السمكة (Fisheye Images).

• المشكلة الجوهرية: تسبب كاميرات عين السمكة تشوهاً شعاعياً شديداً وهندسة إسقاط مختلفة مقارنة بكاميرات المنظور القياسية، مما يخلق إزاحة في التوزيع المشترك (Covariate Shift) في توزيع بيانات المدخلات.
• محدودية الحلول الحالية:
  • إعادة معايرة/إزالة التشوه من الصورة: تؤدي عملية تحويل صور عين السمكة إلى مناظر منظور قياسي عبر الإسقاط الخرائطي إلى إدخال عيوب مكانية (تمدد، وتعرج/Aliasing، واقتطاع)، كما تسبب هذه العيوب إزاحة في التوزيع المشترك، مما يؤدي لتدهور أداء نماذج FMDE المدربة مسبقاً.
  • التدريب من الصفر: تُعد مجموعات البيانات العامة لكاميرات عين السمكة أصغر بعدة مراتب من مجموعات بيانات المنظور القياسي، مما يجعل من غير المجدي تدريب نماذج FMDE ضخمة خصيصاً لعدسات عين السمكة.
  • الضبط الدقيق (Fine-tuning): يؤدي الضبط الدقيق لنموذج FMDE موجود على بيانات عين السمكة إلى خطر انحراف المعلمات (Parameter Drift)، حيث يفقد النموذج قدرته على التعميم على صور المنظور القياسي ويتطلب نماذج منفصلة لأنواع مختلفة من الكاميرات، مما يزيد من الأعباء التشغيلية.

2. المنهجية: رموز المعايرة (Calibration Tokens)

يقترح المؤلفون آلية تكيف خفيفة الوزن وذاتية الإشراف تسمى "رموز المعايرة" (Calibration Tokens) لمواءمة التمثيلات الكامنة لصور عين السمكة مع تمثيلات صور المنظور القياسي دون الحاجة لإعادة تدريب النموذج بالكامل.

أ. المفهوم الجوهري

بدلاً من تعديل مساحة الصورة (إزالة التشوه) أو تعديل أوزان النموذج (الضبط الدقيق)، تعمل هذه الطريقة في مساحة التضمين الكامن (Latent Embedding Space). والفرضية هي أنه إذا أمكن تعديل التضمينات الكامنة لصور عين السمكة لتتطابق مع توزيع تضمينات صور المنظور القياسي، فإن وحدة فك التشفير (Decoder) المدربة مسبقاً لنموذج FMDE ستتمكن من التنبؤ بالعمق بدقة.

ب. البنية الهيكلية

• إدراج الرموز (Token Insertion): بالاستفادة من بنية المحولات (Transformer) الشائعة في نماذج FMDE الحديثة، قدم المؤلفون مجموعة من رموز المعايرة القابلة للتعلم ($\phi$).
• التعديل على مستوى الطبقات (Layer-wise Modulation): على عكس النهج القياسي الذي يضيف رمزاً واحداً عند المدخلات، تضيف هذه الطريقة مجموعة فريدة من الرموز إلى تسلسل المدخلات في كل طبقة من طبقات المشفر (Encoder Layer).
• الآلية: تتفاعل هذه الرموز مع تضمينات الرقع (Patch Embeddings) عبر آلية الانتباه الذاتي (Self-attention). وهي تعمل كإشارة "إعادة معايرة"، حيث تقوم بإزاحة تضمينات عين السمكة نحو توزيع المنظور القياسي.
• الاستنتاج (Inference): يتم التخلص من الرموز بعد مرحلة المشفر؛ وتظل وحدة فك التشفير (Decoder) مجمدة. ولا يتطلب النموذج أي خصائص داخلية للكاميرا (Intrinsics) وقت الاستنتاج، حيث تقوم الرموز بترميز خصائص التشوه ضمنياً.

ج. هدف التدريب ذاتي الإشراف

تتجنب هذه الطريقة الحاجة إلى مجموعات بيانات ضخمة لعين السمكة عن طريق تخليق صور عين السمكة من مجموعات بيانات المنظور القياسي الوفيرة (مثل NYUv2 وWaymo).

1. التخليق (Synthesis): يتم تشويه صور المنظور القياسي اصطناعياً باستخدام نموذج "كانال و براندت" (Kannala & Brandt) لعين السمكة لإنشاء أزواج صور عين سمكة تخليقية.
2. التمرير الأمامي (Forward Pass): يعالج النموذج صورة عين السمكة التخليقية (مع رموز المعايرة) للتنبؤ بخريطة العمق.
3. التحويل العكسي (خطوة "الإلغاء"): بدلاً من تحويل عمق المنظور القياسي (Ground Truth) إلى إطار عين السمكة (مما يسبب فقدان المعلومات)، يتم إزالة التشوه (إعادة الإسقاط) من خريطة عمق عين السمكة المتوقعة وإعادتها إلى إطار المرجع الأصلي للمنظور القياسي.
4. حساب الخسارة (Loss Calculation): يتم حساب خسارة LogL1 بين عمق عين السمكة المعاد إسقاطه والعمق عالي الدقة الذي قدره نموذج FMDE على صورة المنظور القياسية الأصلية.
   • الصيغة: $\mathcal{L} = \sum \log(|\tilde{d}(x) - T^{-1}(\hat{d}(x))| + 1)$
   • يضمن هذا أن إشارة الإشراف تظل خالية من الفقد والعيوب الناتجة عن التشويه.

3. المساهمات الرئيسية

1. رموز المعايرة: آلية تكيف خفيفة الوزن ومبتكرة تعمل على تعديل التضمينات الكامنة لسد الفجوة بين نطاقات المنظور القياسي وعين السمكة دون إعادة تدريب الهيكل الأساسي (Backbone).
2. استراتيجية تدريب ذاتية الإشراف: خط تدريب يستفيد من مجموعات بيانات المنظور القياسي الضخمة عبر تخليق مدخلات عين السمكة وفرض الاتساق في مساحة مخرجات المنظور القياسي، مما يلغي الحاجة إلى بيانات حقيقية لعين السمكة.
3. التعديل على مستوى الطبقات: إثبات أن إضافة الرموز عند كل طبقة من طبقات المشفر يتفوق على إضافة رمز واحد عند المدخلات، مما يسمح بمواءمة أعمق للميزات.
4. القابلية الشاملة للتطبيق: تعمل الطريقة عبر عدة نماذج رائدة (MiDaS، وDepthAnything، وUniDepth)، وتعمم النتائج على كل من المشاهد الداخلية والخارجية باستخدام مجموعة واحدة من الرموز.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات ScanNet++ (للبيئات الداخلية) و KITTI-360 (للبيئات الخارجية)، مقارنة بنماذج مرجعية مثل DepthAnyCamera و FoVA-Depth.

• مكاسب الأداء:
  • البيئة الداخلية (ScanNet++): حقق نموذج UniDepth مع رموز المعايرة خطأ جذرياً متوسط المربع (RMSE) قدره 0.244، متفوقاً على النموذج المرجعي DepthAnyCamera (0.275) و FoVA-Depth (0.285). كما شهدت نماذج MiDaS و DepthAnything تحسناً بنسبة 12% و 17% في قيمة RMSE على التوالي.
  • البيئة الخارجية (KITTI-360): حسنت الطريقة باستمرار قيمة RMSE عبر جميع النماذج، مما أظهر متانة تجاه التشويهات الشديدة (أكثر من 180 درجة من مجال الرؤية).
• المقارنة مع الضبط الدقيق (Fine-tuning): أدى الضبط الدقيق للنموذج بالكامل إلى انخفاض كبير في الأداء (على سبيل المثال، قفز RMSE لنموذج MiDaS من 0.446 إلى 2.178 في ScanNet++)، مما يؤكد أن رموز المعايرة تحافظ على قدرة النموذج الأصلية على التعميم.
• الكفاءة:
  • المعلمات (Parameters): تضيف حوالي 0.05% فقط من المعلمات الإضافية (أقل من 1 ميجابايت من الذاكرة).
  • زمن الاستجابة (Latency): تزيد من وقت الاستنتاج بأقل من 1 مللي ثانية (أقل من 1%).
  • التوافقية مع الإصدارات السابقة: يؤدي إزالة الرموز إلى استعادة أداء النموذج الأصلي على صور المنظور القياسي.

5. الأهمية والأثر

• الكفاءة التشغيلية: تمكن نظاماً واحداً من نماذج FMDE من التعامل مع أنظمة الكاميرات المختلطة (مثل المركبات ذاتية القيادة التي تستخدم عدسات منظور قياسي وعدسات عين سمكة معاً) دون الحاجة لصيانة نماذج منفصلة أو عمليات معايرة معقدة.
• التكيف الخالي من الفقد: من خلال تجنب إعادة الإسقاط المكاني للصور، تحافظ الطريقة على معلومات البكسل الخام وتتجنب العيوب التي تعيب تقنيات إزالة التشوه التقليدية.
• القابلية للتوسع: تسمة نهج الإشراف الذاتي من استغلال النظام البيئي الواسع لبيانات المنظور القياسي لحل مشكلة ندرة بيانات عين السمكة، مما يجعلها عملية للغاية للنشر في العالم الحقيقي.
• التعميم: القدرة على استخدام مجموعة واحدة من الرموز لكل من البيئات الداخلية والخارجية تشير إلى حل قوي لتحدي التكيف مع النطاقات (Domain Adaptation) في نماذج الرؤية التأسيسية.

في الختام، توفر رموز المعايرة حلاً أنيقاً، فعالاً، وفعالاً للغاية لتوسيع قدرات نماذج العمق التأسيسية لتشمل كاميرات عين السمكة، متجاوزةً قيود الإزاحة في التوزيع المشترك دون التكاليف الحسابية أو البيانات المرتبطة بإعادة التدريب أو الضبط الدقيق التقليدي.