Depth-guided Multi-view Exposure Bracketing for HDR Robot Vision
تتناول هذه الورقة نقص المعايير المرجعية لإدراك النطاق الديناميكي العالي (HDR) في الأنظمة الروبوتية متعددة المستشعرات من خلال تقديم مجموعة بيانات واسعة النطاق واقعية وافتراضية إلى جانب DMEB، وهي طريقة جديدة لـ HDR بلقطة واحدة تستفيد من تعريض متعدد المشاهد موجه بالعمق لتحقيق تصوير قوي تحت ظروف الإضاءة القاسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تتجه الروبوتات والهواتف الذكية بشكل متزايد نحو التزود بكاميرات ترى العالم بأبعاد ثلاثية، باستخدام مستشعرات العمق لفهم مدى بعد الأجسام. كما تحتاج هذه الآلات إلى الرؤية بوضوح في ظروف إضاءة قد تعمي العين البشرية، مثل وهج مصباح السيارة في نفق مظلم أو انعكاس الشمس الساطعة على شارع مبلل. ولالتقاط مثل هذه المشاهد، تعتمد الكاميرات عادةً على تقنية تسمى "تدرج التعريض" (exposure bracketing)، حيث تلتقط عدة صور في تتابع سريع، كل منها بإعداد سطوع مختلف، ثم تدمجها في صورة واحدة عالية الجودة. ومع ذلك، فإن هذه الطريقة تشوبها ثغرة حرجة: إذا كان المشهد متحركاً، فإن الوقت المستغرق لالتقاط تلك الصور المتعددة يتسبب في ضبابية الصورة النهائية أو تمزقها، تماماً مثل صورة طفل يركض التُقطت بسرعة غالق بطيئة. وبينما يمكن لبعض الكاميرات المتقدمة التقاط جميع مستويات السطوع اللازمة في لحظة واحدة، إلا أنها باهظة الثمن ونادرة. ويبقى السؤال: كيف يمكن للآلات العادية، المزودة بكاميرات ومستشعرات عمق قياسية، أن ترى النطاق الكامل للضوء في لحظة واحدة حادة دون انتظار توقف العالم عن الحركة؟
لقد طور فريق من الباحثين من جامعة "بوستيك" (POSTECH) في كوريا الجنوبية نهجاً جديداً يجيب على هذا السؤال من خلال تغيير مصدر مستويات السطوع المختلفة. فبدلاً من مطالبة كاميرا واحدة بالتقاط صور متعددة عبر الزمن، طلبوا من مجموعة من الكاميرات التقاط صورة واحدة لكل منها، في اللحظة ذاتها تماماً، ولكن مع ضبط كل كاميرا على مستوى سطوع مختلف جذرياً. ولإنجاح ذلك، بنوا منصة روبوتية مخصصة تحمل ست كاميرات قياسية ومستشعر عمق، كما اختبروا الفكرة على هاتف آيفون 13 برو، الذي يحتوي على ثلاث كاميرات ومستشعر عميد مدمج في خلفيته. أنشأ الباحثون مجموعة ضخمة جديدة من البيانات، تتضمن أكثر من مائة مشهد من العالم الحقيقي التقطها الروبوت الخاص بهم، ومجموعة أصغر من الصور من جهاز الآيفون، وعشرين تسلسلاً فيديو محاكياً تم إنشاؤه بواسطة برنامج حاسوبي. وتسمح هذه المجموعة من البيانات باختبار مدى قدرة الآلة على إعادة بناء صورة مثالية عندما لا تكون المدخلات مختلفة في الزمن فحسب، بل مختلفة أيضاً في التعريض والمنظور.
يكمن جوهر حلهم في طريقة أطلقوا عليها اسم "تدرج التعريض متعدد الرؤى الموجه بالعمق". وببساطة، يأخذ النظام الصور من جميع الكاميرات ويستخدم معلومات العمق — وهي خريطة توضح مدى بعد كل نقطة في المشهد — لضبطها بدقة. ولأن الكاميرات تنظر إلى المشهد من زوايا مختلفة قليلاً، يستخدم النظام خريطة العمق لـ "تعديل" (warp) الصور بحيث تصطف وكأنها التقطت جميعها من نفس الموقع. هذا التوجيه الهندسي أمر بالغ الأهمية لأنه يسم يتيح للنظام الوثوق في عملية المحاذاة حتى عندما تكون الاختلافات في السطوع بين الكاميرات شديدة. فبدون خريطة العمق هذه، سيتعين على النظام تخمين كيفية محاذاة الصور بناءً على الأنماط البصرية، وهي مهمة تفشل فشلاً ذريعاً عندما ترى إحدى الكاميرات ضوءاً ساطعاً بينما ترى أخرى ظلاً مظلماً. ومن خلال الاعتماد على مستشعر العمق، يستطيع النظام دمج البكسلات الأكثر عتمة، والمتوسطة، والأكثر سطوعاً من الكاميرات المختلفة في صورة واحدة ذات نطاق ديناميكي عالٍ (HDR) بشكل فوري.
إن نتائج هذا النهج كبيرة؛ فعند اختباره على مجموعتهم الجديدة من البيانات، أنتجت الطريقة صوراً أكثر وضوحاً مع أخطاء أقل مقارنة بالتقنيات الحالية التي تحاول محاذاة الصور المتحركة بناءً على الأنماط البصرية وحدها. وفي المشاهد ذات الإضاءة القاسية، مثل وجود مصدر ضوء ساطع مقابل خلفية مظلمة، نجحت الطريقة الجديدة في إظهار التفاصيل التي فاتتها أو شوهتها الأساليب الأخرى. ووجد الباحثون أن إضافة المزيد من الكاميرات إلى النظام أدى إلى تحسين الجودة بشكل أكبر، مما سمح للآلة بالتقاط نطاق أوسع من الضوء. فعلى سبيل المثال، بينما كان الإعداد المكون من ثلاث كاميرات قادراً على التعامل مع معظم المواقف، فإن توسيع النظام إلى ثماني كاميرات سمح بتمييز التفاصيل الدقيقة في الأجزاء الأكثر سطوعاً من الصورة والتي قد تضيع لولا ذلك. وقد ظل هذا التحسن ثابتاً سواء كانت الصور قادمة من منصة الروبوت المخصصة، أو من الآيفون، أو من البيئة المحاكية.
وإلى جانب جعل الصور تبدو أجمل، أظهر الباحثون أن هذه الرؤية الأكثر وضوحاً تساعد الروبوتات على الرؤية بشكل أفضل في المهام العملية. فقد اختبروا النظام عبر الطلب منه تحديد السيارات في مشهد به مصابيح أمامية مبهرة. فالطرق القياسية، التي تعاني في محاذاة الصور بشكل صحيح تحت مثل هذا الضوء القوي، غالباً ما تفشل في التعرف على شكل المركبات، حيث تخلط بين الوهج وجزء من السيارة أو تغفل عن وجود السيارة تماماً. في المقابل، حافظت الطريقة الجديدة على التفاصيل الهيكلية للسيارات، مما سمح لنظام الكشف بتحديدها بدقة. وهذا يشير إلى أن منح الروبوتات القدرة على رؤية النطاق الكامل للضوء في لقطة واحدة يمكن أن يجعلها أكثر أماناً وموثوقية في البيئات الواقعية حيث تتغير الإضاءة بسرعة وبشكل غير متوقع. كما أظهر العمل أن هذه التكنولوجيا لا تقتصر على الروبوتات المخصصة والمكلفة؛ بل يمكنها العمل بفعالية على الأجهزة الاستهلاكية مثل الهواتف الذكية، بشرط امتلاكها لكاميرات متعددة ومستشعر عمق.
يقر الباحثون بأن نظامهم الحالي يتطلب أن تتشارك الكاميرات ومستشعرات العمق في رؤية مشتركة للعالم لكي يعمل، وهو قيد يحد من أماكن وضع المستشعرات. وبالنظر إلى المستقبل، يقترحون أن الخطوة التالية ستكون الانتقال إلى ما هو أبعد من إنشاء صور مسطحة ثنائية الأبعاد، وبدلاً من ذلك بناء تمثيل ثلاثي الأبعاد كامل للمشهد يلتقط تفاصيل النطاق الديناميكي العالي في الفراغ. ومع ذلك، تثبت الدراسة في الوقت الحالي أنه من خلال الجمع بين الكاميرات القياسية ومستشعرات العمق وطريقة جديدة لدمج بياناتها، يمكن للآلات تحقيق مستوى من الرؤية كان محصوراً في السابق في المعدات المتخصصة وعالية التكلفة. وهذا يفتح الباب أمام أنظمة روبوتية أكثر قوة وقدرة يمكنها العمل بموثوقية في ظروف الإضاءة المعقدة والقاسية في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.