KLTNet: Learning Sparse Feature Tracking for Robust and Accurate Monocular Visual-Inertial Odometry
تقترح الورقة البحثية KLTNet، وهو متتبع سمات متفرق خفيف الوزن وقائم على التعلم يستبدل خوارزمية KLT الكلاسيكية في أنظمة التقدير الملاحي البصري-القصوري عبر الجمع بين بنية من الخشن إلى الناعم ومن الكثيف إلى المتفرق وأوزان ثقة متباينة الخواص لتحقيق تقدير حالة قوي ودقيق وفي الوقت الفعلي، لا سيما في البيئات ذات القوام المنخفض أو الحركة العالية.
لفهم كيف يعرف الروبوت أو السيارة ذاتية القيادة مكان وجودها، تخيل أنها تسير في غرفة مظلمة وعيناها مغمضتان، معتمدة فقط على الشعور بخطواتها وذاكرتها الباهتة عن الجدران التي مرت بها. هذا هو تحدي "تقدير الموضع البصري-القصوري" (visual-inertial odometry)، وهي تقنية تسمح للآلات برسم خرائط لمحيطها وتتبع حركتها باستخدام الكاميرا ومستشعر الحركة فقط. تعمل الكاميرا بمثابة العينين، حيث تمسح العالم باستمرار بحثًا عن نقاط اهتمام مميزة، مثل زاوية طاولة أو شق في الرصيف. ثم تحاول الآلة تتبع هذه النقاط من صورة إلى أخرى، وتحسب المسافة التي تحركتها بناءً على كيفية تحرك تلك النقاط. لعقود من الزمن، كانت الطريقة الأكثر شيوعًا للقيام بذلك هي طريقة تسمى "KLT"، والتي تعمل مثل زوج من العينين يحاولان التركيز على ذرة غبار واحدة وتتبعها إطارًا تلو الآخر. إنها سريعة وفعالة، لكن لديها نقطة ضعف: إذا كانت الغرفة بسيطة للغاية، أو إذا تحركت الكاميرا بسرعة كبيرة، فإن ذرة الغبار تختفي، وتفقد الآلة طريقها، لتنحرف عن المسار دون أن تدرك ذلك.
لقد طور باحثون في جامعة شانغهاي جياو تونغ نظامًا جديدًا يسمى "KLTNet" لحل هذه المشكلة. فبدلاً من مجرد التحديق في نقطة واحدة والأمل في بقائها مرئية، يأخذ نظامهم نظرة أوسع قبل التكبير. فهو ينظر أولاً إلى المشهد بأككامل للحصول على فكرة تقريبية عن كيفية تحرك الكاميرا، تمامًا مثل شخص يلقي نظرة خاطفة على الغرفة بأكملها ليتعرف على اتجاهاته قبل التركيز على جسم معين. تساعد هذه النظرة الواسعة الأولية النظام على البقاء في المسار الصحيح حتى عندما تدور الكاميرا بسرعة أو عندما تكون الجدران ملساء جدًا بحيث لا توفر الكثير من التفاصيل. وبمجرد أن يكون لدى النظام فكرة تقريبية عن مكان وجود النقطة، فإنه يقوم بعد ذلك بإجراء تعديل دقيق ومتقن باستخدام رقعة صغيرة من الصورة تتضمن نقطة البداية الأصلية، والموقع السابق، والموقع الحالي. ومن خلال إبقاء نقطة البداية الأصلية ثابتة كمرجع، يمنع النظام الأخطاء الصغيرة التي تتراكم عادةً بمرور الوقت من إفساد الحساب بأكمله.
اختبر الفريق هذا المتتبع الجديد عن طريق توصيله بأنظمة الملاحة الموجودة المستخدمة في الروبوتات والطائرات بدون طيار. وقد مرروه عبر مجموعة متنوعة من البيئات الصعبة، بما في ذلك الممرات الطويلة الفارغة ذات الجدران البيضاء حيث تفشل الأنظمة التقليدية غالبًا، والمتواليات التي تتضمن حركات سريعة ومتقطعة. وفي هذه الاختبارات، تفوق النظام الجديد باستمرار على الطريقة القديمة. وفي معايسات قياسية تستخدم لقياس ملاحة الروبوتات، قلل النهج الجديد إجمالي خطأ المسافة بنسبة 34 بالمائة في مجموعة واحدة من الاختبارات وبنسبة 49 بالمائة في مجموعة أخرى. ولعل الأهم من ذلك هو أن النظام ظل مستقرًا في الممرات ذات الأنسجة المنخفضة حيث تنحرف الطريقة القديمة بشكل كبير، بينما ظل يؤدي بنفس كفاءة الطريقة القديمة في الظروف الأسهل. كما علم الباحثون النظام تخصيص درجة ثقة لكل نقطة يتتبعها، مما يسمح للروبوت بالوثوق بالنقاط التي تبدو واضحة وتجاهل النقاط الضبابية أو المربكة. ساعدت هذه الطبقة الإضافية من التقدير الروبوت على اتخاذ قرارات أفضل بشأن موقعه.
يكمن نجاح هذا العمل في قدرته على الجمع بين سرعة التتبع البسيط ومتانة تقنيات الرؤية الحاسوبية الأكثر تعقيدًا، كل ذلك مع العمل بسرعة كافية لاستخدامه على الأجهزة الصغيرة التي تعمل بالبطارية. وقد أثبت الباحثون أن نظامهم يمكنه العمل في الوقت الفعلي على كمبيوتر مدمج بحجم كتاب صغير، مما يثبت أنه لا يتطلب خوادم ضخمة تستهلك الكثير من الطاقة للعمل. ومن خلال استبدال طريقة التتبع القديمة الهشة بهذا النهج الهجين الجديد، فقد منحوا الآلات طريقة أكثر موثوقية لرؤية العالم، مما يضمن قدرتها على إيجاد طريقها عبر المساحات المزدحمة والفارغة من بيئتنا المادية.
ملخص تقني: KLTNet
بيان المشكلة
تعتمد أنظمة التقدير البصري-القصوري (VIO) القائمة على الميزات بشكل كبير على تتبع الميزات المتفرقة لتقدير الحالة. ويُستخدم متتبع "كانادي-لوكاس-توماسي" (KLT) الكلاسيكي على نطاق واسع نظرًا لكفاءته ودقته من إطار إلى إطار. ومع ذلك، يعتمد KLT بشكل أساسي على رقع الصور المحلية، مما يجعله عرضة للفشل في البيئات ذات النسيج المنخفض (low-texture) أو أثناء الحركة السريعة حيث يكون السياق المحلي غير كافٍ. وبينما توفر طرق التدفق البصري الكثيفة الحديثة (مثل RAFT وSEA-RAFT) توافقًا عالميًا قويًا من خلال استغلال سياق الصورة بالكامل، فإن استبدال KLT مباشرةً بأخذ عينات متفرقة من التدفق الكثيف يؤدي إلى مشكلة جديدة: وهي أن تسلسل تقدير التدفق الزوجي المستقل بشكل متكرر يؤدي إلى تراكم أخطاء التتبع الصغيرة بمرور الوقت، مما يقلل من دقة التقدير طويل الأمد. علاوة على ذلك، فإن الأنظمة متعددة الإطارات المتعلمة الحالية (مثل DROID-SLAM وDPVO) مرتبطة ارتباطًا وثيقًا بالأنظمة الخلفية (back-ends) الخاصة بها، مما يجعل من الصعب دمجها كبدائل جاهزة للأنظمة الأمامية لـ VIO التي تعتمد على KLT.
المنهجية
يقترح المؤلفون KLTNet، وهو متتبع ميزات متفرقة خفيف الوزن، يعتمد على التعلم، وقابل للتركيب والتشغيل (plug-and-play)، صُمم ليحل محل متتبعات KLT الكلاسيكية في أنظمة VIO الحالية. يستخدم KLTNet بنية من الخشن إلى الناعم (coarse-to-fine) ومن الكثيف إلى المتفرق (dense-to-sparse) تتكون من ثلاثة مكونات رئيسية:
1. تهيئة التدفق الكثيف الخشن (CoarseFlowNet)
لمعالجة عدم موثوقية الرقع المحلية في الظروف الصعبة، يقوم KLTNet أولاً بتقدير التدفق البصري الكثيف منخفض الدقة لالتقاط إشارات الحركة العالمية.
البنية: تم تكييف هذه الشبكة من SEA-RAFT، وهي تعالج صورًا منخفضة الدقة (1/4 الدقة) لتقليل التكلفة الحسابية. وتستخدم شبكة استخراج الميزات (FEN) وشبكة ترميز السياق (CEN) لبناء حجم تكلفة (cost volume)، والذي يتم تحسينه بشكل متكرر بواسطة شبكة عصبية متكررة (RNN) خفيفة الوزن.
الوظيفة: توفر تقديرًا أوليًا قويًا للموقع للميزات المتفرقة عن طريق استخراج ناقلات التدفق المتفرقة من حقل التدفق الكثيف، مما يعمل كتهيئة عالمية لمرحلة التحسين اللاحقة.
2. تحسين الثلاثي-الرقعة المتفرق الدقيق (TriPatchRefiner)
لتصحيح الأخطاء المتراكمة من انتشار التدفق الزوجي المتكرر وتحسين الاتساق الزمني، يقدم KLTNet مرحلة تحسين تدمج رقعة مرجعية ثابتة.
هيكل الثلاثي: بالنسبة لميزة يتم تتبعها، تعالج الشبكة ثلاثية من رقع الصور:
X0 (المرجع): رقعة ثابتة تم استخراجها عند بدء تتبع الميزة.
Xj−1 (السابقة): الرقعة من الإطار السابق.
Xj (الحالية): الرقعة المستخرجة حول التنبؤ الخشن في الإطار الحالي.
الآلية: على عكس تتبع الأجسام حيث يتم تحديث المرجع، تظل X0 ثابتة طوال عمر التتبع. يوفر هذا مرساة مستقرة للحد من الانجراف المتراكم. تقوم الشبكة بترميز هذه الرقع وعروض التدفق (flow priors) لتقدير الإزاحة الدقيقة (Δfj) ومصفوفة وزن الثقة (Wj).
الإشراف: بدلاً من الاعتماد فقط على خسارة إعادة الإسقاط (reprojection loss)، يتم الإشراف على الشبكة من خلال التثليث متعدد المشاهد التفاضلي.
العملية: تتنبأ الشبكة بموقع الميزة ثنائي الأبعاد ومصفوفة وزن موجبة محددة (2×2). تُستخدم هذه القيم لتثليث نقطة ثلاثية الأبعاد عبر التحويل الخطي المباشر (DLT) متبوعًا بتحسين غير خطي مرجح بالثقة.
الهدف: تقلل دالة الخسارة من خطأ التثليث، مما يشجع الشبكة على تعلم أوزان تتوافق مع الهندسة متعددة المشاهد. وهذا يسمح لنظام VIO بخفض وزن الملاحظات ذات المظهر المحلي غير الموثوق (مثل التغيرات في الإضاءة أو تغير زاوية الرؤية).
المساهمات الرئيسية
متتبع KLTNet: متتبع ميزات متفرقة مستقل، قابل للتركيب والتشغيل، يجمع بين التهيئة بالتدفق الكثيف العالمي وتحسين الثلاثي-الرقعة. يحسن قوة التتبع، والدقة، والاتساق الزمني دون الحاجة إلى تغيير شامل لنظام VIO.
التثليث التفاضلي للأوزان: تقديم استراتيجية تثليث تفاضلية لتعلم أوزان الملاحظات متباينة الخواص. توفر هذه الأوزان ثقة اتجاهية لملاحظات الميزات، مما يسمح بالتوزين التكيفي في مقدرات VIO المتوافقة.
التكامل والأداء: التكامل الناجح في VINS-Mono وOpenVINS، مما أظهر تحسينات كبيرة في دقة التقدير (odometry) مقارنة بـ KLT الكلاسيكي مع الحفاظ على الأداء في الوقت الفعلي.
النتائج التجريبية
قيم المؤلفون KLTNet على عدة اختبارات معيارية عامة (EuRoC، TUM-VI، Replica، KITTI-360) وعلى مجموعة بيانات تم جمعها ذاتيًا تتميز بنسيج منخفض.
دقة تتبع الميزات: في مجموعة بيانات Replica، حقق KLTNet دقة تتبع أعلى باستمرار من KLT الكلاسيكي وRAFT/SEA-RAFT المتفرقة، خاصة عند عتبات الخطأ المنخفضة (1-3 بكسل). كما أظهر معدل تراكم أخطاء أبطأ بمرور الوقت مقارنة بالنماذج المرجعية.
دقة VIO (EuRoC & TUM-VI):
عند دمجه مع VINS-Mono، قلل KLTNet من متوسط خطأ المسار المطلق (ATE) بنسبة 34% في EuRoC و 49% في TUM-VI مقارنة بـ KLT الكلاسيكي.
عند دمجه مع OpenVINS، قلل من ATE بنسبة 33% في EuRoC.
في المقابل، غالبًا ما أدى استبدال KLT ببساطة بـ RAFT أو SEA-RAFT المتفرقة إلى تدهور في الأداء أو مكاسب هامشية، مما يسلط الضೆء على ضرورة آليات التحسين والمرجع الثابت.
القوة والمتانة:
البيئات ذات النسيج المنخفض: في مجموعة بيانات تم جمعها ذاتيًا تتميز بجدران بيضاء موحدة، حافظ KLTNet على تتبع مستقر حيث عانت الطرق الأخرى (DM-VIO، DPVO) وKLT الكلاسيكي من انجراف كبير أو فشل.
الظروف الخارجية/الإضاءة: في KITTI-360 وUMA-VI (تغيرات الإضاءة)، حقق KLTNet أدنى أخطاء نسبية في الإزاحة والدوران، مما أظهر قدرة قوية على التعميم.
الكفاءة: حقق KLTNet أداءً في الوقت الفعلي على منصة NVIDIA Jetson AGX Orin المدمجة مع استهلاك منخفض لذاكرة وحدة معالجة الرسومات، مما يؤكد ملاءمته للانتشار في البيئات محدودة الموارد.
الأهمية والادعاءات
يزعم البحث أن KLTNet يقدم حلاً عمليًا للقيود التي تواجه متتبعات KLT الكلاسيكية دون تعقيد التكامل لأنظمة VIO المتعلمة بالكامل (end-to-end). ومن خلال فصل الواجهة الأمامية المتعلمة عن النظام الخلفي، يعمل KLTNet كبديل مباشر وجاهز للتركيب يعزز المتانة في السيناريوهات الصعبة (الحركة السريعة، النسيج المنخفض) مع الحفاظ على واجهة التتبع التقليدية لأنظمة VIO. ويؤكد المؤلفون أن الجمع بين التهيئة العالمية، وتحسين المرجع الثابت، والأوزان المرجحة هندسيًا هو أمر بالغ الأهمية لتحقيق كل من الدقة العالية والاتساق الزمني في تتبع الميزات المتفرقة.