JEPADepth: Masked Predictive Representation Learning for Self-Supervised Monocular Depth Estimation

تخيل أنك تحاول تعليم روبوت كيف يرى العالم ثلاثي الأبعاد، تماماً كما يفعل البشر، ولكن ليس لديك سوى كاميرا واحدة ولا تملك مسطرة لقياس المسافات. هذا هو التحدي المتمثل في "تقدير العمق أحادي الكاميرا" (monocular depth estimation). لفترة طويلة، كانت أفضل طريقة لتعليم الروبوت هذه الحيلة هي عرض صورتين تم التقاطهما بفارق ثانية واحدة وسؤاله عن مدى إزاحة العالم بينهما. الأمر يشبه رفع إبهامك وإغلاق عين واحدة، ثم الأخرى؛ حيث يقوم دماغك بحساب المسافة بناءً على مقدار "قفزة" إبهامك. في عالم الذكاء الاصطناعي، يسمى هذا "إعادة البناء الضوئي" (photometric reconstruction). يحاول الكمبيوتر تعديل صورة لتشبه الأخرى، وإذا نجحت العملية الحسابية، فإنه يفترض أنه قد خمن العمق بشكل صحيح.

ومع ذلك، فإن هذه الطريقة هشة نوعاً ما. فهي تعتمد بشكل كبير على افتراض أن الإضاءة تظل ثابتة وأن الأشياء لا تتحرك أو يتغير شكلها. إذا مرت سيارة، أو سطعت الشمس فجأة على طريق مبلل، يصاب الكمبيوتر بالارتباك لأن حسابات "قفزة الإبهام" تنهار. إنه يشبه محاولة حل لغز حيث تتغير ألوان قطع اللغز باستمرار. ولجعل هذه الروبوتات أكثر ذكاءً وقوة، يبحث العلماء عن طرق لتعليمها ليس فقط مطابقة البكسلات، بل فهم بنية المشهد—مثل معرفة أن الشجرة هي جسم صلب له جذع وأغصان، بغض النظر عما إذا كانت الشمس مشرقة أو كان الجو غائماً. وهنا يأتي دور الورقة البحثية الجديدة، JEPADepth، بحيلة تدريبية مبتكرة.

الفكرة الكبرى للورقة: التعليم من خلال ملء الفراغات

يقترح المؤلفان، أيونوت جريجور وكالين أدريان بوبا من جامعة بوليتكنيكا في تيميشوارا، طريقة تسمى JEPADepth. فكر في نهجهما كأنه يعطي الروبوت "اختبار ملء الفراغات"، ولكن بدلاً من الكلمات، تكون الفراغات أجزاءً من الصورة، وبدلاً من تخمين الحروف المفقودة، يتعين على الروبوت تخمين معنى الأجزاء المفقودة.

في الطريقة القديمة (إعادة البناء الضوئي)، يحاول الروبوت نسخ الألوان والسطوع الدقيقين لصورة مجاورة. إنه يشبه آلة التصوير التي تحاول إعادة إنتاج صورة بدقة؛ فإذا كانت الورقة مجعدة أو الحبر ملطخاً، تفشل عملية النسخ.

أما في طريقة JEPADepth الجديدة، فيستخدم الروبوت استراتيجية "التنبؤ المقنع" المستوحاة من تقنية تسمى I-JEPA. وإليك كيف تعمل:

1. القناع (The Mask): يأخذ الكمبيوتر صورة ويغطي عدة أجزاء عشوائية منها (مثل وضع ملاحظات لاصقة فوق أجزاء من صورة).
2. التخمين: ينظر الروبوت إلى الأجزاء المرئية (السياق) ويحاول التنبؤ بما يجب أن تبدو عليه الأجزاء المخفية، ليس من حيث البكسلات الدقيقة (الألوان)، بل من حيث "المفاهيم" أو "الميزات" (مثل "هذا جذع شجرة" أو "هذا طريق").
3. المعلم: توفر شبكة "معلم" خاصة (وهي مجرد نسخة من الدماغ الرئيسي الذي يتحدث ببطء) الإجابة الصحيحة لما تمثله تلك الأجزاء المخفية. يقارن الروبوت تخمينه بإجابة المعلم ويتعلم من الفرق.

السحر يكمكمن في أن هذا يحدث في "فضاء التمثيل" (representation space). تخيل أن الروبوت لا يحاول تخمين الدرجة الدقيقة لخضرة ورقة شجر، بل يخمن فكرة الورقة. هذا يجعل من الصعب جداً خداع الروبوت بتغيرات الإضاءة أو الملمس. فإذا سقطت الشمس على الورقة بشكل مختلف، تظل "فكرة" الورقة كما هي، لذا يظل الروبوت يحصل على العمق بشكل صحيح.

ما وجدوه: أذكى، وليس أكبر فحسب

اختبر الباحثون هذه الطريقة الجديدة على مجموعة بيانات KITTI، وهي مجموعة قياسية من فيديوهات القيادة المستخدمة لتدريب السيارات ذاتية القيادة. وقارنوا نموذج JEPADepth الجديد بأفضل النماذج الموجودة.

إليك الأخبار الجيدة: JEPADepth يعمل.

• دقة أفضل: عند اختباره على مجموعة بيانات KITTI، تفوق النموذج الجديد على نماذج "المعيار الذهبي" السابقة. على سبيل المثال، في اختبار قياسي، حقق معدل خطأ (يسمى AbsRel) قدره 0.101، وهو أفضل من أفضل نموذج قائم على الـ Transformer السابق (MonoViT) وأفضل بكثير من النماذج القديمة القائمة على الشبكات العصبية الالتفافية (CNN).
• قوة الـ "Zero-Shot": الاكتشاف الأكثر إثارة هو مدى قدرة الروبوت على التعميم في أماكن جديدة. تم تدريب النموذج فقط على KITKI (الذي يشبه الطرق السريعة في كاليفورنيا)، ولكنهم اختبروه بعد ذلك على Cityscapes (مجموعة بيانات لمدن أوروبية مزدحمة) وعلى Make3D (مجموعة بيانات لمشاهد خارجية) دون إعطائه أي تدريب إضافي أو "ضبط دقيق".
  • في Cityscapes، تعادل JEPADepth مع الأفضل دقة وكان المتصدر في 5 من أصل 7 مقاييس.
  • في Make3D، حقق أفضل دقة (AbsRel قدره 0.275) وأفضل خطأ لوغاريتمي (RMSElog قدره 0.143)، متفوقاً حتى على أقوى المنافسين.

يشير هذا إلى أنه من خلال تعلم التنبؤ بـ "بنية" المشهد بدلاً من مجرد نسخ البكسلات، تعلم الروبوت فهماً أكثر شمولية للمساحة ثلاثية الأبعاد يعمل حتى في البيئات التي لم يرها من قبل.

المقايضة: القليل من الواجب الإضافي، لا يوجد واجب إضافي لاحقاً

قد تتساءل: "هل يجعل هذا الروبوت أبطأ أو يتطلب حاسوباً أكبر؟" لقد حرص المؤلفون على تصميم هذا بحيث تكون الإجابة هي لا.

عملية "ملء الفراغات" (جزء JEPA) تتطلب بالفعل بعض العمل الإضافي أثناء تعلم الروبوت. يتعين على الكمبيوتر إجراء خطوة إضافية للتنبؤ والمقارنة مع المعلم. أضاف هذا حوالي 16% إلى إجمالي وقت التدريب (استغرق حوالي 8.6 ساعة بدلاً من 7.4 ساعة على وحدة معالجة رسومات عالية الأداء واحدة).

ومع ذلك، بمجرد انتهاء التدريب، يتم التخلص من أجزاء "المعلم" و"التنبؤ". الروبوت النهائي الذي يخرج إلى العالم هو تماماً بنفس حجم وسرعة النسخة القياسية. الأمر يشبه طالباً يحل مسائل تدريبية إضافية في المنزل ليصبح أذكى، ولكنه في يوم الاختبار، يحتاج فقط إلى استخدام المعرفة التي اكتسبها، وليس أوراق التدريب الإضافية. تؤكد الورقة أن تكلفة التدريب الإضافية هذه تؤدي إلى نموذج فعال في التشغيل ولكنه أكثر ذكاءً بكثير.

ما تقول الورقة إنه ليس

كان المؤلفون واضحين أيضاً بشأن ما لا تمثله طريقتهم.

• هي ليست حلاً سحرياً يحل جميع مشاكل تقدير العمق. فقد أشاروا إلى أن "المفكك" (decoder) الحالي (الجزء الذي يحول دماغ الروبوت إلى خريطة عمق نهائية) لا يزال بسيطاً نسبياً. لقد حاولوا استبداله بتصميم أكثر تعقيداً (يسمى DPT)، لكن ذلك لم يساعد في إعدادهم ذاتي التوجيه، مما يشير إلى أن العائق يكمكن في كيفية استخدام الروبوت لميزاته المتعلمة، وليس في الميزات نفسها.
• هي ليست طريقة تعمل بدون نقطة انطلاق قوية. أظهرت التجارب أنه إذا بدأوا بدماغ عشوائي غير مدرب بدلاً من استخدام دماغ "DINOv3" مدرب مسبقاً، فإن الطريقة ستفشل فشلاً ذريعاً. حيلة "ملء الفراغات" لا تعمل إلا إذا كان لدى الروبوت بالفعل مفردات جيدة من المفاهيم البصرية للبدء بها.
• هي لا تعتمد على إعادة بناء مثالية للبكسلات. تجادل الورقة صراحة ضد فكرة أن التنبؤ بألوان البكسلات الدقيقة هو أفضل طريقة لتعلم العمق. أظهرت اختباراتهم أن التنبؤ بـ "الميزات" (المعنى المجرد للصورة) يعمل بشكل أفضل من محاولة تخمين اللون الدقيق لكل بكسل.

الخلا الخلاصة

تشير JEPADepth إلى أن مستقبل تعليم الروبوتات رؤية العمق لا يقتصر فقط على عرض المزيد من الصور أو جعل الصور أكثر سطوعاً. بل يتعلق بتعليمهم فهم قصة المشهد. من خلال إضافة لعبة "خمن الجزء المخفي" إلى روتين التدريب القياسي، أنشأ المؤلفون نموذجاً أكثر دقة، وأكثر قوة تجاه تغيرات الإضاءة والمناظر الطبيعية، وأفضل في التعامل مع البيئات الجديدة التي لم يسبق له رؤيتها من قبل—كل ذلك دون جعل الروبوت النهائي أثقل أو أبطأ. إنها خطوة واعدة نحو جعل السيارات ذاتية القيادة والروبوتات "ترى" العالم حقاً، لا أن تكتفي بنسخه فقط.