Towards Robust Monocular Depth Estimation in Non-Lambertian Surfaces

ملخص تقني: نحو تقدير متين لعمق الصور أحادية المنظر للأسطح غير اللامتيرتية (Non-Lambertian)

بيان المشكلة
أدت التطورات الأخيرة في تقدير العمق أحادي المنظر (MDE) إلى إنتاج نماذج ذات قدرات مذهلة في التعميم الصفري (zero-shot generalization) في المشاهد العامة. ومع ذلك، تفشل هذه النماذج بشكل متكرر عند مواجهة الأسطح غير اللامتيرتية، وتحديداً المناطق الشفافة أو المرآتية (ToM). تسبب الخصائص الانعكاسية الفريدة لهذه الأسطح قيام النماذج القياسية بتقدير هياكل عمق خاطئة بناءً على المحتوى المنعكس بدلاً من السطح نفسه. وتعتمد المحاولات السابقة لمعالجة ذلك، مثل Depth4ToM، على أقنعة تجزئة خارجية لملء صور RGB بألوان عشوائية قبل معالجتها عبر نموذج MDE مدرب مسبقاً. تعاني هذه النهج من قصورين رئيسيين: فهي تعتمد بشكل كبير على دقة أقنعة إضافية، كما أن استخدام الألوان العشوائية أثناء عملية الملء (in-painting) يفتقر إلى المتانة، مما يتطلب ضبطاً مكثفاً للمعلمات الفائقة (hyperparameters). علاوة على تعقيد ذلك، تؤثر ظروف الإضاءة بشكل كبير على استعادة العمق في الأسطح غير اللامتيرتية؛ حيث يمكن للإضاءة المفرطة أن تطغى على الأنسجة، بينما تؤدي الإضاءة غير الكافية إلى إدخال الضجيج والتشويه، مما يؤثر بشكل خاص على الأجسام الشفافة وانعكاسات المرايا.

المنهجية
يقترح المؤلفون إطار عمل تدريبي مصمم لتمكين نموذج أساسي (تحديداً Depth Anything V2) بشكل تدريجي من تعلم الخصائص الفريدة للأسطح غير اللامتيرتية مباشرة، مما يلغي الحاجة إلى ملء صور RGB. تتكون الطريقة من ثلاثة مكونات أساسية:

1. تعزيز تغيير النغمة العشوائي (RTA):
   لمعالجة حساسية تقدير العمق غير اللامتيرتي للإضاءة، يستخدم المؤلفون تغيير النغمة العشوائي أثناء مرحلة التدريب على مجموعة بيانات Hypersim الاصطناعية. من خلال تطبيق التحويل $I_{aug} = \alpha I_{ori}^{\gamma}$، حيث $\gamma$ هو عامل تصحيح غاما القياسي و $\alpha$ هو عامل قياس مشتق من قيم شدة مئوية عشوائية (بين المئوي الـ 70 والـ 99)، يتعرض النموذج لمجموعة متنوعة من ظروف الإضاءة. يهدف هذا إلى تعزيز قدرة النموذج على التعميم الصفري تحت ظروف إضاءة متغيرة.

2. التوجيه الإقليمي للأسطح غير اللامتيرتية (NSRG):
   بدلاً من عملية الملء (in-painting)، يقدم المؤلفون آلية توجيه إقليمي تقيد تنبؤات نموذج MDE ضمن مجال التدرج (gradient domain). وبناءً على فرضية أن معظم أجسام ToM هي مستويات مستمرة، تفرض الطريقة اتساقاً بين تدرج العمق المتنبأ به وتدرج الحقيقة الأرضية (ground truth) داخل المناطق غير اللامتيرتية المقنعة. تستخدم دالة الخسارة $\mathcal{L}_{ToM}$ مُقدراً قوياً لمحاذاة تدرجات العمق المتنبأ به ($\nabla D$) وتدرجات الحقيقة الأرضية ($\nabla D^\star$). تقوم الدالة بحساب معاملات القياس ($s$) والإزاحة ($t$) لنمذجة التدرجات، مع إزالة القيم المتطرفة عن طريق تقليم أعلى 20% من البواقي. تقلل الخسارة النهائية مسافة $L_1$ بين التدرجات الموحدة، مما يضمن بقاء مستوى العمق المتنبأ به ناعماً ومتسقاً مع الحقيقة الأرضية في مناطق ToM.

3. دمج صور الإضاءة المتنوعة (DLIF) (اختياري):
   للحالات التي تتوفر فيها صور متعددة التعريض لنفس المشهد، يقترح المؤلفون وحدة دمج اختيارية. تستخدم هذه الوحدة مشفر تلقائي متغير (VAE) مدرب مسبقاً من Stable Diffusion لتشفير صور متعددة بظروف إضاءة مختلفة إلى سمات كامنة (latent features). ومن خلال متوسط هذه السمات الكامنة وفك تشفيرها، ينشئ النظام صورة RGB مدمجة واحدة تمتلك نظرياً ظروف الإضاءة المثالية لتقدير العمق، مستفيداً من الأولويات الدلالية للـ VAE.

المساهمات الرئيسية

• تعزيز تغيير النغمة العشوائي: استراتيجية تعزيز بيانات تُثري مجموعة بيانات التدريب بظروف إضاءة متنوعة، مما يحسن بشكل كبير من متانة نموذج MDE وقدرته على التعميم الصفري تجاه سيناريوهات الإضاءة المتنوعة.
• التوجيه الإقليمي للأسطح غير اللامتيرتية: قيد تدريبي مبتكر يعمل في مجال التدرج. يقوم بتوجيه الشبكة مباشرة لتقدير مستويات العمق الصحيحة للأسطح غير اللامتيرتية باستخدام أقنعة التجزئة، متجنباً عدم استقرار طرق ملء صور RGB.
• وحدة دمج الصور الاختيارية: آلية تستخدم الـ VAEs لدمج صور متعددة التعريض، مما يوفر مدخلاً مثالياً لتقدير العمق عند توفر ظروف إضاءة متعددة.

النتائج التجريبية
تم تقييم الطريقة على مجموعة بيانات Booster ومجموعة بيانات NYU Depth Dataset V2 (المطورة بواسطة Mirror3D)، وكذلك مجموعة اختبار مسابقة TRICKY2024.

• الأداء الكمي: مقارنة بالنموذج الأساسي Depth Anything V2، حققت الطريقة المقترحة تحسينات في الدقة بنسبة 33.39% على مجموعة بيانات Booster و 5.21% على مجموعة بيانات Mirror3D داخل مناطق ToM (مقاسة بـ $\delta_{1.05}$).
• الأداء الرائد (SOTA): في مجموعة اختبار مسابقة TRICKY2024، حققت الطönt درجة $\delta_{1.05}$ بلغت 90.75 داخل مناطق ToM، مما يظهر أداءً رائداً في هذا المجال.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن كلاً من تعزيز تغيير النغمة العشوائي والتوجيه الإقليمي للأسطح غير اللامتيرتية يساهمان بشكل مستقل في مكاسب الأداء، مع تحقيق الجمع بينهما لأفضل النتائج. كما أدت وحدة دمج الصور الاختيارية إلى تحسين النتائج عند استخدام مدخلات متعددة التعريض.

الأهمية والقيود
يزعم البحث أن أهميته الرئيسية تكمن في نقل النموذج المعرفي من معالجة "الملء" (in-painting) بعد المعالجة إلى التعلم المباشر للخصائص غير اللامتيرتية من خلال إطار عمل تدريبي مصمم جيداً. ومن خلال التركيز على اتساق التدرج ومتانة الإضاءة، تبسط الطريقة خط العمل وتزيد من الاستقرار دون الاعتماد على التعديلات التجريبية للألوان العشوائية.

يقر المؤلفون بالقيود، مشيرين إلى أنه في حالات الصور شديدة التعرض للضوء حيث تُفقد أنسجة الأسطح غير اللامتيرتية (مثل الزجاج) تماماً، قد لا تزال الشبكة تفشل. ويقترحون أن العمل المستقبلي يمكن أن يدمج تحسين جودة الصورة ودمج المعلومات الدلالية لتحسين النتائج النوعية والكمية في مثل هذه الظروف القصوى.