Edge-Guided Geometry Attention for Iterative Stereo Matching

لكي يرى الحاسوب العالم في ثلاثة أبعاد، يجب عليه حل لغز تحله العيون البشرية دون عناء: وهو تحديد مدى بعد كل نقطة مفردة في المشهد. هذه العملية، المعروفة باسم "المطابقة المجسمة" (stereo matching)، تعمل من خلال مقارنة صورتين تم التقاطهما من موقعين مختلفين قليلاً، تماماً كما تفعل عيوننا اليسرى واليمنى. يبحث الحاسوب عن أنماط متطابقة بين الصورتين لحساب العمق. ومع ذلك، تصبح هذه المهمة صعبة للغاية في العالم الحقيقي؛ فعندما يكون السطح ناعماً ويفتقر إلى الملمس، أو عندما يكون الجسم مخفياً جزئياً، أو عندما يتغير البعد بسرعة، غالباً ما يفقد الحاسوب طريقه. قد يقوم بتنعيم الحواف الحادة لمبنى ما، أو قد يفشل في تمييز سلك رفيع مقابل خلفية معقدة. ولكي تتمكن الروبوتات، والسيارات ذاتية القيادة، وأجهزة المسح ثلاثية الأبعاد من التنقل بأمان، فإنها تحتاج إلى نظام يمكنه رؤية هذه التفاصيل الدقيقة بوضوح دون أن يرتبك بسبب الغموض.

لقد طور فريق من الباحثين في جامعة تشينغداو للتكنولوجيا نهجاً جديداً لحل هذه المشكلات المحددة، يُسمى EGA-Stereo. وبدلاً من محاولة إجبار الحاسوب على رؤية كل شيء دفعة واحدة، تعمل طريقتهم مثل محرر دقيق، يقوم بتنقيح خريطة العمق خطوة بخضوة. لقد وجدوا أن الأنظمة السابقة كانت تعاني غالباً لأنها إما احتفظت بالكثير من المعلومات المربكة أو تخلصت من الكثير من التفاصيل أثناء عملية التنقيح. ولإصلاح ذلك، بنى الباحثون نظاماً يختار بعناية أكثر الأدلة موثوقية من الصور مع إيلاء اهتمام خاص للحواف حيث تبدأ الأشياء وتنتهي. ومن خلال الجمع بين بيانات الصورة الخام وطريقة أكثر ذكاءً للتعامل مع الحدود، ينتج نظامهم رؤية للعالم أكثر حدة ودقة من الطرق السابقة.

يكمن جوهر ابتكارهم في كيفية تعامل الحاسوب مع "حجم التكلفة" (cost volume)، وهو في الأساس قائمة ضخمة لكل تطابق محتمل يفكر فيه الحاسوب بين الصورتين. غالباً ما تقوم الطرق التقليدية بضغط هذه القائمة في وقت مبكر جداً، مما يؤدي إلى فقدان التفاصيل الدقيقة اللازمة لرؤية الأجسام الرفيعة أو الزوايا الحادة. يقدم النظام الجديد عملية دمج انتقائية تحافظ على السياق العام للمشهد ولكنها أيضاً تعيد حقن إشارات المطابقة التفصيلية الخام في الأماكن التي تشتد الحاجة إليها. تخيل أميناً للمكتبة يقوم عادةً بتلخيص كتاب للقراءة السريعة، لكنه يقرر إبقاء الصفحات الأصلية المفصلة متاحة للفصول الأكثر تعقيداً؛ هكذا يحافظ النظام على الأدلة دقيقة التفاصيل المطلوبة لحل المناطق الصعبة.

بمجرد حصول الحاسوب على هذه المعلومات الغنية والمدمجة، يجب عليه تكثيفها في شكل مدمج لتحديث تقدير العمق بشكل متكرر. صمم الباحثون آلية تعمل مثل كشاف الضوء، حيث تركز انتباه الحاسوب على قيم العمق الأكثر احتمالاً مع تقليل الضجيج. والأهم من ذلك، أن هذا الكشاف يتم توجيهه بواسطة الحواف المرئية في الصورة. فإذا رأى الحاسوب خطاً حاداً في الصورة، فإنه يعرف أن يكون دقيقاً جداً بشأن العمق عند ذلك الخط المحدد، ولكن إذا كانت المنطقة ناعمة، فإنه يسمح بتفسير أوسع وأكثر سلاسة. وهذا يمنع الخطأ الشائع حيث تجعل خرائط العمق حواف الأجسام ضبابية، مما يجعلها تبدو ناعمة أو غير واضحة.

النتائج التي حققها هذا النهج قابلة للقياس وهامة. فعند اختباره على مجموعة بيانات اصطناعية كبيرة مصممة لتحدي إدراك العمق، حقق النظام الجديد معدل خطأ قدره 0.45 بكسل فقط، وهو رقم يمثل متوسط المسافة بين العمق المتوقع والعمق الحقيقي. ويمثل هذا تحسناً عن الطرق الرائدة السابقة، التي أظهرت أخطاءً أعلى قليلاً. كما أدى النظام أداءً استثنائياً في مجموعات بيانات القيادة في العالم الحقيقي، حيث حدد بدقة عمق الأجسام في مشاهد المرور المعقدة بأخطاء أقل من منافسيه. ولعل الأمر الأكثر إثارة للإعجاب هو أنه عندما اختبر الباحثون النظام على أنواع جديدة تماماً من البيئات التي لم يسبق له رؤيتها أثناء التدريب، فقد تفوق لا يزال على النماذج الأساسية، مما يشير إلى أنه تعلم فهماً قوياً للهندسة بدلاً من مجرد حفظ مشاهد معينة.

يقر الباحثون بأنه بينما يعد نظامهم أكثر دقة، فإن عملية تنقيح الصورة خطوة بخطوة لا تزال تستغرق وقتاً، مما قد يشكل عقبة أمام التطبيقات في الوقت الفعلي على الأجهزة الصغيرة. ومع ذلك، توضح الدراسة أنه من خلال الموازنة بعناية بين الحاجة إلى السياق العام والحاجة إلى تفاصيل حادة تراعي الحواف، فمن الممكن بناء أنظمة مطابقة مجسمة ترى العالم بوضوح أكبر. ويشير العمل إلى أن مفتاح إدراك العمق الأفضل لا يكمن فقط في معالجة المزيد من البيانات، بل في معرفة أي قطع من المعلومات يجب الوثوق بها ومتى يجب ترك الإشارات الهيكلية للصورة لتوجيه القرار النهائي.