HOT-POT: Optimal Transport for Sparse Stereo Matching
تقترح هذه الورقة HOT-POT، وهو إطار عمل غير مُشرف للمطابقة المجسمة المتناثرة يستفيد من النقل الأمثل مع مسافات الخطوط الاندماجية ومسافات الأشعة ثلاثية الأبعاد للتغلب على التحديات الهندسية وتمكين المطابقة الفعالة للميزات والأجسام، لا سيما لمواءمة اصطلاحات المعالم الوجهية المتباينة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الرؤية الحاسوبية، يمثل منح الآلات القدرة على رؤية العمق تحدياً جوهرياً. فتماماً كما تعمل العينان البشريتان معاً لتقدير المسافة من خلال مقارنة رؤيتين مختلفتين قليلاً لنفس المشهد، يمكن دمج الكاميرات لإعادة بناء عالم ثلاثي الأبعاد من صور مسطحة. هذه العملية، المعروفة باسم "المطابقة المجسمة" (stereo matching)، هي المحرك وراء اكتشاف العوائق في السيارات ذاتية القيادة والمسح ثلاثي الأبعاد للوجوه لأغراض أمنية أو طبية. ومع ذلك، فإن العالم الحقيقي فوضوي؛ فالضوء يتغير، والأجسام تحجب بعضها البعض، وغالباً ما تلتقط الكاميرات أنواعاً مختلفة من المعلومات، مثل الضوء المرئي مقابل الحرارة. وعندما تعتمد هذه الأنظمة على بيانات متفرقة (sparse data) — أي أنها تتبع فقط نقاطاً رئيسية قليلة مثل زوايا العين أو طرف الأنف بدلاً من كل بكسل — تصبح المهمة صعبة للغاية؛ إذ يمكن لخطأ ضئيل في تحديد موقع نقطة ما أن يفسد الحسابات بأكملها، مما يؤدي إلى نموذج ثلاثي الأبعاد مشوه أو مكسور.
لقد طور فريق من الباحثين من مؤسسات في ألمانيا وفرنسا وتايوان واليابان نهجاً رياضياً جديداً لحل هذه المشكلة تحديداً. فقد ركزوا على سيناريو حيث تنظر كاميرتان، إحداهما تلتقط الضوء المرئي القياسي والأخرى تلتقط الحرارة الحرارية، إلى الوجوه نفسها. والهدف هو مطابقة النقاط المحددة على الوجه التي تراها الكاميرا الأولى مع النقاط المقابلة التي تراها الكاميرا الثانية، حتى عندما تكتشف الكاميرتان أعداداً مختلفة من النقاط أو عندما تكون بعض أجزاء الوجه مخفية. وللقيام بذلك، لجأ الباحثون إلى مفهوم يُسمى "النقل الأمثل" (optimal transport). تخيل محاولة نقل كومة من الرمل من موقع إلى آخر بأقل قدر من الجهد؛ النقل الأمثل هو الإطار الرياضي لإيجاد هذا المسار الأكثر كفاءة. وفي هذا السياق، "الرمل" هو مجموعة النقاط على الوجه، و"الجهد" هو المسافة التي يعتقد الكمبيوتر أنه يحتاج لتحريك نقطة ما من أجل إيجاد مطابقتها.
أدرك الباحثون أن الطريقة القياسية لقياس المسافة بين هذه النقاط غالباً ما تكون فضفاضة للغاية. تعتمد الطرق التقليدية على قاعدة هندسية تُسمى "قيد إببولار" (epipolar constraint)، والتي تنص أساساً على أن النقطة التي تراها كاميرا واحدة يجب أن تقع على خط محدد عند رؤيتها من منظور الكاميرا الأخرى. وبينما تعد هذه القاعدة سليمة رياضياً، وجد الباحثون أنه في الظروف الواقعية المليئة بالضجيج، يمكن أن تقع نقاط عديدة على نفس الخط، مما يجعل من المستحيل معرفة أي منها هو المطابق الحقيقي. ولإصلاح ذلك، اقترحوا طريقة جديدة لقياس المسافة تعتمد على الأشعة الضوئية ثلاثية الأبعاد الفعلية التي تنتقل من عدسات الكاميرا إلى المشهد. فبدلاً من مجرد التحقق مما إذا كانت النقطة تقع على خط ما، تحسب طريقتهم أقصر مسافة بين خطي الرؤية غير المرئيين الممتدين من كل كاميرا إلى النقطة في الفضاء. فإذا تقاطع الخطان أو اقتربا جداً من بعضهما أمام الكاميرات، يكون ذلك مطابقة جيدة. أما إذا فات بعضهما بعضاً أو تقاطعا خلف الكاميرات حيث لا يمكن رؤية المشهد، فيتم رفض المطابقة.
ولجعل هذا الأمر أكثر متانة، أضاف الفريق طبقة من "تنظيم العمق". فقد علموا أن الأشياء في غرفة نموذجية لا يمكن أن تكون بعيدة بشكل لانهائي أو قريبة بشكل مستحيل. ومن خلال وضع حدود معقولة للمسافة التي يمكن أن تصل إليها النقطة المتطابقة، منعوا الكمبيوتر من القيام بتخمينات جامحة قد تؤدي إلى جعل الوجه يطفو في فضاء عميق أو ينهار داخل عدسة الكاميرا. وقد اختبروا "مسافة الشعاع" الجديدة هذه مقابل الطريقة التقليدية باستخدام وجوه ثلاثية الأبعاد مولدة حاسوبياً وفيديوهات حقيقية لأشخاص يتحركون في غرفة. وفي المحاكاة التي أضافوا فيها ضجيجاً عشوائياً للبيانات لمحاكاة العيوب في العالم الحقيقي، تفوقت الطريقة الجديدة باستمرار على الطريقة القديمة؛ حيث قللت من عدد المطابقات غير الصحيحة بشكل كبير، مما أبقى الأشكال ثلاثية الأبعاد المعاد بناؤها أقرب بكثير إلى الحقيقة.
كما عالج الباحثون مشكلة مطابقة الأجسام بأكملها، مثل الوجوه الكاملة، وليس فقط النقاط الفردية. فأحياناً ترى إحدى الكاميرات وجهاً بوضوح بينما تراه الأخرى بشكل جزئي، أو يكتشف البرنامج عدداً مختلفاً من المعالم في كل جانب. وللتعامل مع ذلك، بنوا نظاماً ذا خطوتين: أولاً، يقوم الكمبيوتر بمطابقة النقاط داخل كل زوج من الوجوه لمعرفة مدى تشابهها. ثم، ينظر إلى مجموعة الوجوه كاملة ويقرر أي وجه في الصورة الأولى يتوافق مع أي وجه في الصورة الثانية. وقد أثبت هذا النهج الهرمي استقراراً ملحوظاً. ففي الاختبارات التي أجريت على فيديوهات حقيقية لثلاثة أشخاص يتحركون في غرفة، نجح النظام الجديد في مطابقة كل وجه في كل إطار بشكل صحيح، بينما فشلت الطريقة التقليدية في مطابقة الوجوه الصحيحة في ما يقرب من ربع الحالات.
تُظهر هذه الدراسة أنه من خلال الجمع بين هندسة أشعة الضوء وطريقة ذكية لتنظيم عملية المطابقة، يمكن للكمبيوترات أن تصبح أكثر موثوقية في الرؤية ثلاثية الأبعاد، حتى عندما تكون البيانات متفرقة أو تأتي من أنواع مختلفة من الكاميرات. وهذا له تداعيات عملية في مجالات مثل فحص الصحة العامة، حيث يتطلب تحديد الأفراد الذين يعانون من ارتفاع في درجات حرارة الجسم مطابقة الوجوه بدقة عبر أنواع مختلفة من الكاميرات لمنع انتشار الأمراض المعدية. ويشير العمل إلى أنه مع الأدوات الرياضية الصحيحة، يمكن للآلات أن تتعلم رؤية العالم بوضوح يضاهي الإدراك البشري، حتى عندما تكون الرؤية غير مثالية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.