ملخص تقني: GeoStereo

بيان المشكلة

تعد مطابقة الصور المجسمة (Stereo matching) وتقدير المتجهات العمودية للأسطح (Surface normal estimation) من المهام الأساسية في الرؤية ثلاثية الأبعاد، حيث توفران أوصافاً متكاملة لهندسة المشهد. وبينما حسنت النماذج التأسيسية الحديثة دقة مطابقة الصور المجسمة، لا تزال النهج التنبؤية المباشرة (feed-forward) تعاني في السيناريوهات الصعبة مثل البيئات منخفضة الإضاءة، والأسطح شديدة الانعكاس، والأجسام الشفافة، والمناطق ضعيفة النسيج. وتُعزى حالات الفشل هذه إلى التوزيع طويل الذيل (long-tail distribution) لبيانات التدريب والقيود المتأصلة في نماذج التنبؤ المباشر التي تتطلب كميات هائلة من البيانات للتعامل مع المناطق الهندسية غير محددة المعالم (ill-posed). علاوة على ذلك، رغم أن نماذج الانتشار (diffusion models) أظهرت واعدية في تقدير العمق أحادي العين وتقدير المتجهات العمودية، إلا أن دمجها مع هندسة الصور المجسمة للتنبؤ المشترك بالتباعد (disparity) والمتجهات العمودية لا يزال غير مستكشف بشكل كافٍ.

المنهجية

يقترح المؤلفون GeoStereo، وهو إطار عمل موحد يربط بين مسار مطابقة صور مجسمة تنبئي مباشر وفرع لتقدير المتجهات العمودية يعتمد على الانتشار. وتتمثل الفلسفة الجوهرية في الاستفيد من الضوابط الهيكلية القوية لنماذج الانتشار لتعزيز تقدير التباعد في المناطق الغامضة، مع استخدام القيود الهندسية لتباعد الصور المجسمة لتوجيه التنبؤ بالمتجهات العمودية.

بنية إطار العمل

كما هو موضح في الورقة البحثية، يعمل إطار العمل من خلال مسارين رئيسيين مترابطين:

1. فرع مطابقة الصور المجسمة (Stereo Matching Branch):

   • يستخدم مستخرج ميزات مشترك الأوزان (مُهيأ من ضوابط أحادية العين قوية مثل DepthAnythingV2) لمعالجة أزواج الصور المجسمة المصححة ($I_l, I_r$).
   • يبني حجم تكلفة هجين ويستخدم عملية (soft argmin) لتوليد تباعد أولي ($D_{init}$).
   • يقوم بتحسين هذا التنبؤ الأولي باستخدام وحدة تحديث تعتمد على (ConvGRU) لإنتاج التباعد النهائي ($D_{final}$).

2. التهيئة من التباعد إلى المتجهات العمودية (D2N):

   • لسد الفجوة بين المهمتين، يتم تحويل $D_{init}$ إلى سابق (prior) للمتجهات العمودية للأسطح يكون خشناً ومعتمداً على الهندسة ($N_{init}$).
   • يتم تحقيق ذلك عن طريق تحويل التباعد إلى تمثيل عمق نسبي ($Z$)، وبناء خريطة نقاط شبه ثلاثية الأبعاد، وحساب الاتجاهات المماسية المحلية عبر الفروق المركزية لاستخراج متجه المتجه العمودي الأولي.
   • توفر هذه الخطوة نقطة انطلاق هندسية مهيكلة لعملية الانتشار، مما يقلل من الغموض.

3. فرع تقدير المتجهات العمودية القائم على الانتشار (Diffusion-Based Normal Estimation Branch):

   • الاشتراط المدخل (Input Conditioning): يستقبل الفرع مدخلين رئيسيين:
     • السابقة $N_{init}$ المدركة للهندسة والمستمدة من التباعد.
     • شرط الإسقاط إلى منظور الرؤية اليسرى ($I_{r \to l}$)، حيث يتم إسقاط الصورة اليمنى في نظام إحداثيات الرؤية اليسرى باستخدام $D_{init}$. يضمن ذلك المحاذاة المكانية ويوفر معلومات مظهر مكملة عبر الرؤى المتقاطعة.
   • عملية إزالة الضجيج (Denoising Process): تقوم شبكة U-Net (مبنية على Stable Diffusion v2.1) بعملية إزالة ضجيج تكرارية. يتم تدريب النموذج باستخدام إعادة بارامترية $x_0$ للتنبؤ بالكمون (latent) النظيف مباشرة.
   • المخرج: يتم فك تشفير الكمون المنقى عبر فك تشفير VAE لإنتاج خريطة المتجهات العمودية النهائية عالية الدقة ($N_{final}$).

استراتيجية التحسين

يستخدم إطار العمل استراتيجية تدريب اتساق من خلال نهج ذي مرحلتين:

• المرحلة 1: يتم تحسين فروع التباعد والمتجهات العمودية بشكل منفصل للحصول على تنبؤات أولية مستقرة.
• المرحلة 2: يتم تحسين إطار العمل بأكمله بشكل مشترك. تجمع دالة الخسارة الإجمالية بين خسارة التباعد ($L_{disp}$) وخسارة تقدير المتجهات العمودية ($L_{norm}$).
• تدفق التدرج (Gradient Flow): من الضروري ملاحظة أن كل من تهيئة D2N وعمليات الإسقاط إلى منظور الرؤية اليسرى قابلة للاشتقاق بالنسبة لـ $D_{init}$. وهذا يسمح بتدفق التدرجات من هدف المتجهات العمودية للعودة إلى فرع الصور المجسمة، مما يمكن ضوابط الانتشار من تنظيم تقدير التباعد بينما توجه هندسة الصور المججمة تحسين المتجهات العمودية.

المساهمات الرئيسية

1. إطار عمل موحد: اقتراح GeoStereo، الذي يدمج مطابقة الصور المججمة التنبؤية المباشرة مع تقدير المتجهات العمودية القائم على الانتشار للتنبؤ المتزامن بالتباعد والمتجهات العمودية للأسطح.
2. آلية الربط: تصميم آلية تفاعل فعالة حيث يوجه التباعد تهيئة المتجهات العمودية (D2N) ويوفر شروطاً متوافقة عبر الرؤى المتقاطعة (Warp-to-Left)، بينما يوفر فرع الانتشار ضوابط هيكلية لتعزيز التباعد في المناطق غير محددة المعالم.
3. التعميم الصفري (Zero-Shot Generalization): إظهار أداء قوي في السيناريوهات الصعبة وغير المرئية (الإضاءة المنخفضة، الانعكاسات، الشفافية) دون الحاجة لضبط دقيق للنطاق المستهدف.

النتائج التجريبية

قيم المؤلفون GeoStereo على عدة اختبارات معيارية للتعميم الصفري، مقارنة بالأساليب التنبؤية المباشرة والأساليب القائمة على الانتشار ذات الأداء العالي (SOTA).

• تقدير التباعد: في الاختبارات التي تشمل KITTI وNYUv2 وScanNet وHypersim وDREDS، حقق GeoStereo أداءً من المرتبة الأولى أو تنافسياً للغاية. على سبيل المثال، في KITTI، حقق EPE قدره 0.8642 ومعدل قيم متطرفة D1 بنسبة 2.88%، متفوقاً على FoundationStereo (0.8679 EPE و2.96% D1) وغيرها من نماذج SOTA.
• تقدير المتجهات العمودية للأسطح: في الاختبارات الداخلية (iBims-1, NYUv2, DIODE, ScanNet)، قدمت الطريقة أدق تقدير للمتجهات العمودية أو نتائج تنافسية للغاية. وفي iBims-1، حققت متوسط خطأ زاوي قدره 17.00 درجة و68.92% من البكسلات بخطأ أقل من 11.25 درجة، متفوقة على Marigold وStableNormal.
• الأداء النوعي: تسلط المقارنات البصرية (الشكل 5) الضوء على التحسينات الكبيرة في المناطق الصعبة مثل الأسطح العاكسة، والأجسام الشفافة، والمناطق منخفضة الإضاءة، حيث ينتج الأسلوب تباعداً أكثر موثوقية وحدوداً أكثر حدة للمتجهات العمودية مقارنة بالنماذج المرجعية.
• دراسات الاستئصال (Ablation Studies):
  • البنية: تفوق التصميم المتوازي الذي يجمع بين شبكات الانتشار والشبكات التنبؤية المباشرة على التصميمات المتسلسلة أو التصميمات المتوازية التنبؤية البحتة.
  • الإسقاط إلى منظور الرؤية اليسرى (Warp-to-Left-View): أدى استخدام شرط الرؤية اليمنى المسقط أعطى نتائج أفضل من استخدام الرؤية اليمنى الخام أو الرؤية اليسرى وحدها، مما يؤكد قيمة الإشارات المتقاطعة المتوافقة مكانياً.
  • تهيئة D2N: أدى إزالة تهيئة التباعد إلى المتجهات العمودية إلى تدهور الأداء في كلتا المهمتين، مما يؤكد ضرورة السابقة الهندسية لعملية الانتشار.

الأهمية والادعاءات

تدعي الورقة أن GeoStereo يمثل خطوة مهمة للأمام في تقدير الهندسة ثلاثية الأبعاد القوية من خلال دمج مهمتين متكاملتين بفعالية. تكمن أهميته الأساسية في:

• التغلب على قيود التنبؤ المباشر: من خلال دمج ضوابط الانتشار، يعالج إطار العمل أوجه القصور في مطابقة الصور المجسمة التقليدية في المناطق غير محددة المعالم (مثل الانعكاسات والشفافية) حيث تكون المراسلات غامضة.
• التعزيز المتبادل: يوضح التصميم أن تقدير التباعد وتقدير المتجهات العمودية يمكن أن يستفيدا من بعضهما البعض؛ حيث يوفر فرع الانتشار قيوداً هيكلية للتباعد، بينما توفر هندسة الصور المجسمة تهيئة موثوقة لتحسين المتجهات العمودية.
• التعميم: يحقق الأسلوب تعميماً صفرياً قوياً عبر مجموعات بيانات متنوعة اصطناعية وواقعية، مما يشير إلى أن الضوابط الهندسية المتعلمة قوية تجاه تغيرات النطاق (domain shifts).

يشير المؤلفون إلى أنه بينما يعد الأسلوب فعالاً، فإن تضمين فرع الانتشار يضيف عبئاً حسابياً، مما يترك مجالاً للعمل المستقبلي على تحسين الكفاءة والتوسع في مهام هندسية جوهرية أخرى مثل "الألبيدو" (albedo) وتقدير المواد.