ملخص تقني: تقدير العمق أحادي العين القابل للتركيز (FDE)

صياغة المشكلة

تتفوق نماذج التأسيس الحالية لتقدير العمق أحادي العين (مثل Depth Anything، وUniDepth، وMetric3D) في استعادة الهندسة الكثيفة للمشهد عبر نطاقات متنوعة. ومع ذلك، فإنها مُحسّنة بشكل أساسي باستخدام أهداف موحدة لكل بكسل تعامل جميع مناطق الصورة بالتساوي. هذا النهج "المتمحور حول الصورة" يفشل في تمييز المناطق المستهدفة المحددة من قبل المستخدم أو ذات الصلة بالمهمة عن السياق المحيط. في تطبيقات مثل الروبوتات والذكاء الاصطناعي المتجسد، حيث تكون الدقة بالقرب من جسم مستهدف وانتقالات الحدود الحادة أمراً بالغ الأهمية، غالباً ما يؤدي التحسين العالمي الموحد إلى ضعف دقة المقدمة (foreground) وضبابية الحدود، حتى عندما تظل هندسة المشهد العالمية متماسكة.

لمعالجة هذه الفجوة، قدم المؤلفون تقدير العمق أحادي العين القابل للتركيز (FDE). يعيد FDE صياغة مهمة تقدير العمق من التنبؤ الكثيف الموحد إلى الاستنتاج المشروط بالهدف. وبالنظر إلى صورة مدخلة ومنطقة مستهدفة يحددها المستخدم (عبر صندوق أو مطالبات نصية)، يُطلب من النموذج:

1. إعطاء الأولوية لدقة العمق في منطقة الهدف في المقدمة.
2. الحفاظ على انتقالات عمق حادة عند حدود الهدف.
3. الحفاظ على هندسة مشهد عالمية متماسكة عبر الصورة بأكملها.

المنهجية: FocusDepth

لحل مهمة FDE، اقترح المؤلفون FocusDepth، وهو إطار عمل لتقدير العمق النسبي أحادي العين المشروط بالمطالبة (prompt-conditioned). الجوهر الفكري هو الجمع بين المسبقات المتكاملة للتقطيع القابل للمطالبة (Segment Anything Model 3، أو SAM3) ونماذج التأسيس الهندسية الكثيفة (عائلة Depth Anything، أو DAs).

نظرة عامة على البنية

يتكون FocusDepth من فرعين أساسيين:

1. فرع هندسة العمق (Geometry Depth Branch): يستخدم نماذج DAs المدربة مسبقاً (DA2 أو DA3) لاستخراج رموز هندسية متعددة المقاييس ($X_g$) تمثل بنية المشهد العالمية.
2. الفرع المشروط بالمطالبة (Prompt-Conditioned Branch): يستخدم SAM3 لمعالجة الصورة المدخلة والمطالبة الخاصة بالمستخدم (صندوق أو نص) لتوليد ميزات رموز مشروطة بالمطالبة ($X_p$) تحدد المنطقة المستهدفة.

الوحدة المركزية: الاندماج المكاني المتوافق متعدد المقاييس (MSSA)

الابتكار المركزي هو وحدة MSSA، التي تضخ الإشارات المشروطة بالمطالبة في التمثيل الهندسي دون تعطيل المسبق الهندسي المدرب مسبقاً. تعمل MSSA في كل مقياس من مقاييس مشفر الهندسة وتتضمن ثلاث خطوات رئيسية:

• المحاذاة المكانية حسب المقياس: بما أن كلا الفرعين يعالجان الصورة على نفس شبكة بقع (patch grid) لـ ViT، فإن الرموز تكون في توافق مكاني واحد لواحد. يتم إسقاط رموز المطالبة في فضاء رموز الهندسة الخاص بكل مقياس ودمجها مع رموز الهندسة.
• الاندماج الشرطي الموجه (Routed Conditional Fusion): تقوم طبقة خفيفة الوزن من "خليط الخبراء" (Mixture of Experts - MoE) بمعالجة الرموز المدمجة. يقوم الموجه (router) بحساب تركيبات مخرجات الخبراء المعتمدة على المدخلات، مما يسمح للنموذج بتطبيق تصحيحات مختلفة بناءً على الموقع المكاني دون إشراف صريح لمناطق محددة (المقدمة مقابل الخلفية).
• مخرج الاندماج المبوّب (Gated Fusion Output): لمنع إشارات المطالبة من الكتابة فوق الهندسة العالمية، يتحكم بوابة قابلة للتعلم ($G_s$) في عملية الضخ. الميزة النهائية هي مجموع مرجح للميزات الموجهة ورموز الهندسة الأصلية: $Y_s = G_s \odot F_s + (1 - G_s) \odot X_g^s$. وهذا يضمن تطبيق التصحيحات المشروطة بالمطالبة بشكل انتقائي مع الاحتفاظ بالمسبق العالمي.

هدف التعلم والتدريب

يتم تدريب النموذج باستخدام دالة خسارة مدركة للمنطقة تقسم الصورة إلى ثلاث مناطق بناءً على القناع الحقيقي (ground-truth mask): المقدمة (Foreground)، الحدود (Boundary)، والعالمية (Global). إجمالي الخسارة ($L$) هو مجموع خسائر العمق ($L_{fg}, L_{bd}, L_{glb}$) المحسوبة عبر هذه المناطق، بالإضافة إلى خسارة التقطيع المساعدة ($L_{seg}$).

يتبع التدريب استراتيجية مرحلتين لضمان الاستقرار:

1. المرحلة 1: يتم تحسين وحدة MSSA فقط بينما تظل جميع النماذج الخلفية (backbones) المدربة مسبقاً ثابتة، مما يسمح لـ MSSA بتعلم المحاذاة دون المساس بالمسبق الهندسي.
2. المرحلة 2: يتم تحسين مُفكك العمق (depth decoder)، ومحول SAM3 الموجه بالمطالبة، ومفكك التقطيع المساعد بجانب MSSA، بينما تظل المشفرات ثابتة.

المعيار المرجعي: FDE-Bench

لتقييم FDE، وضع المؤلفون FDE-Bench، وهو مجموعة معايير تحول مجموعات بيانات RGB-D الموجودة إلى ثلاثيات (صورة–هدف–عمق) معيارية.

• مجموعات البيانات: تم إنشاؤها من NYU v2، وTUM RGB-D، وYCB-Video، وRLBench، وRoboTwin، لتغطي المشاهد الداخلية، والأجسام الموجودة على الطاولة، وبيئات التحكم المتجسد.
• النطاق: يحتوي على 252.9 ألف ثلاثية للتدريب و72.5 ألف ثلاثية للتحقق، تغطي 972 فئة مستهدفة.
• مقاييس التقييم: على عكس المعايير القياسية التي تبلغ عن خطأ الصورة الكاملة، يقيم FDE-Bench الأداء عبر ثلاث مناطق متكاملة:
  • المقدمة (Foreground): جودة العمق المحلية للهدف.
  • الحدود (Boundary): حدة انتقال العمق.
  • العالمية (Global): الاتساق الهندسي للصورة بأكملها.
    تشمل المقاييس المبلغ عنها $\delta_1$ وAbsRel، والتي تُحسب بطريقة لكل هدف لمنع الهيمنة من قِبل الصور التي تحتوي على أهداف كثيرة.

النتائج التجريبية

أُجريت التجارب على FDE-Bench لمقارنة FocusDepth مقابل النماذج التأسيسية صفرية التقدير (UniDepth, Metric3D, DA2, DA3) والخطوط المرجعية المحسنة عالمياً (DA2-ft, DA3-ft).

• مكاسب الأداء: يتفوق FocusDepth باستمرار على الخطوط المرجعية المحسنة عالمياً، لا سيما في المناطق المركزية للهدف. على سبيل المثال، في RLBench مع مطالبات الصندوق، خفض FocusDepth(DA3) خطأ AbsRel للحدود من 0.073 إلى 0.049 وAbsRel للمقدمة من 0.095 إلى 0.056 مقارنة بـ DA3-ft، بينما حسن في الوقت نفسه AbsRel العالمي من 0.042 إلى 0.030.
• متانة المطالبة: أظهرت دراسة حول صحة المطالبة أنه بينما تعطي المطالبات الصحيحة أفضل النتائج، فإن حتى المطالبات الخاطئة أو الفارغة تؤدي إلى أداء أفضل من خط الأساس الذي لا يستخدم مطالبة، مما يشير إلى أن الفرع المشروط بالمطالبة يوفر إشارات محلية وعالمية مفيدة حتى بدون توجيه مثالي.

1. التحليل النوعي: توضح التصورات أن FocusDepth ينتج حدوداً أكثر حدة للهدف وأخطاء عمق أقل في المنطقة المحددة مقارنة بالضبط الدقيق القياسي، دون إدخال عيوب في الخلفية.

دراسات الاستئصال (Ablation Studies)

تسلط دراسات الاستئصال على RLBench الضوء على أهمية خيارات التصميم المحددة:

• المحاذاة المكانية: يتسبب تعطيل الارتباط المكاني بين رموز المطالبة والرموز الهندسية (الخلط/shuffling) في أكبر تدهور، مما يزيد من Global AbsRel بنسبة تصل إلى 13.8%. وهذا يؤكد أن المحاذاة المكانية هي العامل التصميمي الرئيسي.
• الاندماج الموجه والمخصص للمقياس: إزالة الاندماج المخصص للمقياس أو استبدال موجه MoE بشبكة MLP واحدة يؤدي باستمرار إلى سوء دقة المقدمة والحدود، مما يشير إلى ضرورة الاندماج المعتمد على المقياس والشرطي.
• الضخ المبوّب (Gated Injection): تؤدي إزالة آلية البوابة إلى تدهور مستمر، مما يؤكد دورها في الموازنة بين تصحيحات المطالبة والمسبق الهندسي المدرب مسبقاً.
• استراتيجية التدريب: تضعف استراتيجية التدريب من مرحلة واحدة عملية الصقل المحلي، مما يؤكد صحة استراتيجية المرحلتين لفصل محاذاة النماذج المتقاطعة عن التكيف اللاحق.

الأهمية والادعاءات

يدعي البحث أن FDE يمثل صياغة ملموسة لمهمة تقدير العمق ذي الأولوية للمنطقة، متجاوزاً قيود الأهداف الموحدة المتمحورة حول الصورة. يؤكد المؤلفون أن FocusDepth ينجح في نقل الأدلة المستندة إلى المطالبة إلى تمثيلات هندسية كثيفة عبر MSSA، مما يسمح بصقل شرطي محاذٍ مكانياً ومبوّب.

تكمن الأهمية في إثبات إمكانية تحسين دقة الهدف المحلية ودقة الحدود دون المساس بالاتساق الهندسي للمشهد العالمي. يضع المؤلفون FDE كخطوة ضرورية للتطبيقات التي تتطلب تفاعلاً دقيقاً مع أجسام محددة (مثل التحكم الروبوتي) حيث قد تفشل نماذج العمق القياسية في إعطاء الأولوية للهندسة ذات الصلة. ويختتم العمل بالإشارة إلى القيود، مثل الحاجة إلى تدريب مشترك واسع النطاق ومزيد من الاستكشاف لتطبيقات المهام اللاحقة، والتي تُترك للعمل المستقبلي.