ملخص تقني: تعلم حقول المقياس المتكيفة مع الصورة لاستعادة العمق المتري

بيان المشكلة

لقد تقدم تقدير العمق أحادي الصورة (MDE) بشكل كبير مع البنى القائمة على المحولات (Transformers) والتدريب المسبق واسع النطاق. ومع ذلك، فإن معظم الطرق المستخدمة على نطاق واسع تنتج خرائط عمق محددة فقط ضمن مقياس وإزاحة مجهولين. وبينما تقدر بعض الأساليب العمق المتري مباشرة، تتطلب العديد من التطبيقات العملية (مثل الروبوتات، والقيادة الذاتية، وإعادة البناء ثلاثي الأبعاد) محاذاة مترية صريحة. تعتمد هذه المحاذاة عادةً على نقاط مرجعية مترية متفرقة (مثل نقاط LiDAR أو قيود هيكلية من الحركة ثلاثية الأبعاد - SfM).

تنقسم الطرق الموجودة لاستعادة العمق المتري من النقاط المرجعية المتفرقة عموماً إلى فئتين:

1. المحاذاة الأفينية العالمية (Global Affine Alignment): تفترض مقياساً وإزاحة موحدين عبر الصورة بأكملة. ورغم استقرارها، إلا أنها تفشل في المشاهد ذات الكائنات المتنوعة أو التخطيطات المعقدة حيث تكون الانحيازات غير موحدة.
2. الأساليب المحلية/الإقليمية (Local/Regional Approaches): تحاول أساليب مثل المحاذاة الأفينية المجزأة، والانحدار الموزون محلياً (LWLR)، والتحسين القائم على الشبكات، والتكيف المدرك للمناطق، نمذجة الانحيازات المتغيرة مكانياً. ومع ذلك، فإن هذه الأساليب غالباً ما تعتمد على افتراضات هيكلية قد لا تصمد في المشاهد الواقعية أو تؤدي إلى تجزئة مجموعة النقاط المرجعية المتفرقة، مما يؤدي إلى تقديرات غير مستقرة عندما تكون النقاط المرجعية غير كافية.

التحدي الجوهري هو أن استعادة حقول المقياس والإزاحة الكثيفة لكل بكسل من خلال نقاط مرجعية متفرقة هي مسألة غير محددة جيداً (ill-posed) بطبيعتها. الحلول الحالية تفرض نماذج هيكلية محددة مسبقاً قد تكون غير موثوقة في ظل التشتت الشديد للنقاط المرجعية.

المنهجية

يقترح المؤلفون صياغة استعادة العمق المتري كنمذجة لـ حقل مقياس متكيف مع الصورة. بدلاً من تصحيح خريطة العمق مباشرة، تعيد الطريقة صياغة التصحيح كتركيبة خطية منخفضة الأبعاد لخرائط أساس (basis maps) متعلمة.

1. التوصيف في الفضاء اللوغاريتمي (Parameterization in Log-Space)

يرتبط العمق الحقيقي $D_{gt}(x)$ بالعمق المقدر $D_{MDE}(x)$ عبر تحويل أفيني:
$$D_{gt}(x) = s(x) D_{MDE}(x) + t(x)$$
لتجنب مشكلات قياس التدرج المعتمد على العمق حيث تهيمن بكسلات العمق الكبير على عملية التحسين، يعمل المؤلفون في الفضاء اللوغاريتمي. حيث يعرّفون حقل المقياس اللوغاريتمي $\ell(x) = \log s(x)$ ويستوعبون حد الإزاحة $t(x)$ كتصحيح يعتمد على العمق ضمن حقل المقياس.

2. مولد خرائط الأساس (Basis Map Generator)

يتم نمذجة حقل المقياس اللوغاريتمي كتركيبة خطية من $K$ من خرائط الأساس المتكيفة مع الصورة:
$$\ell(x) = \sum_{m=1}^{K} w_m E_m(x) = E(x)^\top w$$
حيث $w \in \mathbb{R}^K$ هي أوزان خاصة بالصورة، و $E_m(x)$ هي خرائط الأساس.

يقوم شبكة عصبية تسمى مولد خرائط الأساس بإنتاج هذه الخرائط بناءً على ثلاثة مدخلات:

• التمثيلات الوسيطة ($F(x)$): سمات مستخرجة من هيكل الـ MDE قبل رأس العمق، تلتقط السياق الدلالي والهيكلي.
• العمق اللوغاريتمي المقدر: $\log D_{MDE}(x)$ وتدرجه المكاني، مما يشفر الهندسة المعتمدة على العمق.
• إحداثيات الصورة ($x$): لنمذجة الاتجاهات المكانية.

تتكون بنية المولد من:

• جذع تلافيفي (Convolutional trunk) مشترك ينتج السمات $H(x)$.
• رأس الأساس (Basis Head) يتنبأ بخرائط الأساس الأولية $B(x)$.
• رأس البوابات (Gating Head) يتنبأ بالأوزان المعيارية $G(x)$ (عبر softmax).
  الخرائط الأساسية النهائية تُحسب كـ $E(x) = G(x) \odot B(x)$. تسمح هذه التجزئة بإعادة استخدام الأنماط المكانية عبر مناطق مختلفة من الصورة مع التحكم في قدراتها عبر خرائط البوابات.

3. تقدير الأوزان عبر المربعات الصغرى (Weight Estimation via Least Squares)

يتم تحديد الأوزان $w$ عبر ملاءمة النموذج للنقاط المرجعية المترية المتفرقة $A = \{a_i\}$. لكل نقطة مرجعية $a_i$، يكون الهدف هو $y_i = \log D_{gt}(a_i) - \log D_{MDE}(a_i)$. يتم إيجاد الأوزان عن طريق حل مسألة المربعات الصغرى المنتظمة:
$$w^* = \arg \min_w \|Mw - y\|_2^2 + \lambda \|w\|_2^2$$
حيث $M$ هي مصفوفة قيم خرائط الأساس عند مواقع النقاط المرجعية. ينتج عن ذلك حل مغلق (closed-form)، مما يضمن الاستقرار حتى في حالات التشتت الشديد للنقاط المرجعية.

4. هدف التدريب (Training Objective)

يتم تدريب مولد خرائط الأساس باستخدام:

• خسارة كثيفة (Dense Loss): خسارة SmoothL1 بين العمق المتري المستعاد والعمق الحقيقي.
• خسارة النقاط المرجعية (Anchor Loss): خسارة MSE بين المقياس اللوغاريتمي المتوقع والمستهدف عند مواقع النقاط المرجعية.
• خسارة إلغاء الارتباط (Decorrelation Loss): تشجع على التعامد بين خرائط الأساس لمنع التكرار.
• تنظيم البوابة (Gating Regularization): خسارة الإنتروبيا السالبة لمنع التعيينات الحادة للغاية للبوابات.

المساهمات الرئيسية

1. إعادة الصياغة منخفضة الأبعاد: يقدم البحث صياغة حيث يتم اختزال استعادة العمق المتري إلى تقدير مجموعة صغيرة من الأوزان لخرائط أساس متكيفة مع الصورة، بدلاً من تعلم حقل مكاني معقد مباشرة.
2. القوة تجاه التشتت (Robustness to Sparsity): من خلال استخدام محلل مربعات صغرى مجمع عالمياً، تحقق الطريقة حلولاً مستقرة حتى مع عدد قليل جداً من النقاط المرجعية (مثلاً 1–9 نقاط لكل صورة)، متفوقة على الطرق التي تجزئ النقاط المرجعية أو تعتمد على الانحدار المحلي.
3. القابلية للتفسير: يوفر النهج تفكيكاً قابلاً للتفسير لتباينات المقياس المكانية. تكشف خرائط الأساس والأوزان المتعلمة كيفية هيكلة الانحيازات العالمية والمحلية.
4. القابلية العامة للتطبيق: الطريقة مستقلة عن البنية (architecture-agnostic)، حيث تتطلب فقط التمثيلات الوسيطة وتقديرات العمق من نموذج MDE مدرب مسبقاً. وهي لا تتطلب نماذج تقسيم (segmentation) خارجية أو بنيات خلفية محددة.

النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات KITTI و UrbanSyn و SUN RGB-D باستخدام نماذج DA3 و MiDaS كنماذج MDE ممثلة.

• الأداء: تفوقت الطريقة المقترحة ("Basis") باستمرار على النماذج المرجعية العالمية، والمجزأة، وLWLR، والقائمة على الشبكات، والمدركة للمناطق عبر جميع مجموعات البيانات وكثافات النقاط المرجعية.
  • في KITKI مع 10–15 نقطة مرجعية (النظام المنخفض)، حققت الطريقة AbsRel قدره 0.15 (لـ DA3) و 0.13 (لـ MiDaS)، وهو أفضل بكثير من النموذج المرجعي العالمي (0.31/0.17).
  • في UrbanSyn/SUN RGB-D، حققت AbsRel قدره 0.08 (لـ DA3) و 0.14 (لـ MiDaS) في نظام النقاط المرجعية المنخفض.
• التشتت الشديد: في اختبار "إسقاط النقاط المرجعية" الذي قلل النقاط إلى واحدة فقط، ظلت الطريقة مستقرة. كشف التحليل الطيفي أن النمط الذاتي المهيمن لمصفوفة تضمين النقاط المرجعية يتوافق تماماً مع قناة المقياس العالمية، مما يفسر قوة الطريقة.
• الدراسة الاستقصائية (Ablation): أكدت الدراسة أن التمثيلات الوسيطة ($F(x)$) حاسمة؛ حيث إن تعطيلها منع النموذج من الاستفادة من زيادة سعة الأساس ($K$).

الأهمية والادعاءات

يزعم المؤلفون أن نهجهم يوفر إطاراً عملياً لدمج المعلومات المترية المتفرقة في أنظمة MDE الحديثة. النقاط الرئيسية هي:

• تحسين الدقة: تحقق الطريقة دقة محاذاة عمق متري هي الأفضل في فئتها عبر مشاهد وكثافات نقاط مرجعية متنوعة.
• القوة (Robustness): توفر الصياغة منخفضة الأبعاد وتقدير المربعات الصغرى العالمي قوة كبيرة حيث تفشل الطرق المحلية.
• القابلية للتفسير: يوفر التفكيك إلى خرائط أساس طريقة جديدة لتحليل وفهم انحيازات المقياس والإزاحة في نماذج MDE.

يشير البحث بتواضع إلى أن الأداء لا يزال يعتمد على مدى إفادة النقاط المرجعية (التغطية المكانية والتنوع) وأن التحقق من نماذج MDE القائمة على CNN لا يزال عملاً مستقبلياً. ومع ذلك، تُقدم الصياغة المقترحة كحل قابل للتعميم يستوعب عدة استراتيجيات محاذاة موجودة كحالات خاصة.