3D Densification for Multi-Map Monocular VSLAM in Endoscopy
تقترح هذه الورقة طريقة لتكثيف وتحسين نظام الملاحة البصرية المتزامنة أحادية الكاميرا متعدد الخرائط والمنخفض الكثافة المستخدم في التنظير الداخلي، وذلك عبر محاذاة تنبؤات NN LightDepth مع الخرائط الفرعية لـ CudaSIFT باستخدام خوارزمية LMedS، مما يؤدي بفعالية إلى إزالة القيم المتطرفة والتخفيف من غموض المقياس لإنتاج خرائط ثلاثية الأبعاد موثوقة بدقة جذر متوسط مربعات تبلغ 4.15 ملم.
المؤلفون الأصليون:X. Anadón, Javier Rodríguez-Puigvert, J. M. M. Montiel
تخيل أنك تحاول بناء نموذج ثلاثي الأبعاد لكهف مظلم ومتعرج (داخل القولون) باستخدام كاميرا واحدة فقط مثبتة على عصا. هذا هو بالضبط ما يفعله الأطباء أثناء عملية تنظير القولون. تكمن المشكلة في أن الكهف زلق، والإضاءة تتغير باستمرار، وأحياناً تغطي المياه أو الضباب عدسة الكاميرا.
الطريقة القديمة: رسم تخطيطي غير دقيق في السابق، كانت أفضل الأنظمة الحاسوبية لهذه المهمة تشبه رسام خرائط سريع وحذر للغاية، لا يفعل سوى وضع نقاط لتحديد أماكن الجدران. كان هذا النظام (المسمى CudaSIFT-SLAM) بارعاً في معرفة أين تتحرك الكاميرا، حتى لو فقدت الكاميرا مسارها واضطر لتبدأ من جديد. ومع ذلك، كانت الخريطة التي ينتجها تشبه رسماً تخطيطياً مكوناً من نقاط مبعثرة وضوضائية.
المشكلة: كانت النقاط غالباً في أماكن خاطئة (قيم متطرفة)، ولم يكن عددها كافياً لرؤية الشكل الفعلي للجدران. لقد كانت "متباعدة" (sparse) جداً بحيث لا يمكن الاستفادة منها لطبيب يحاول رؤية آفة صغيرة أو قياس حجم لحمية.
الحل الجديد: ملء الفراغات يقترح مؤلفو هذه الورقة البحثية تعاوناً ذكياً من خطوتين لتحويل خريطة النقاط المبعثرة تلك إلى سطح ثلاثي الأبعاد صلب وناعم.
الفنان "المُخمّن" (LightDepth): يستخدمون أداة ذكاء اصطناعي حديثة تسمى LightDepth. فكر في هذا الذكاء الاصطناعي كفنان ينظر إلى صورة واحدة ويخمن مدى بعد كل شيء بناءً على كيفية تلاشي الضوء (بما أن الكاميرا والضوء موجودان على نفس العصا، فإن الأشياء تصبح أكثر عتمة كلما ابتعدت). يمكن لهذا الذكاء الاصطناعي ملء الصورة بأكملة بمعلومات العمق، ولكن لديه عيب: هو لا يعرف الحجم الحقيقي. قد يعتقد أن الغرفة عرضها 10 أقدام أو 100 قدم؛ هو يعرف فقط أن الشكل صحيح، لكن المقياس غير دقيق.
المحقق "الباحث عن الحقيقة" (LMedS): هنا يحدث السحر. يأخذ النظام الصورة الكاملة من "الفنان المُخمّن" والنقاط المبعثرة من "رسام الخرائط". يحتاج النظام إلى مطابقة الصورة الكاملة مع تلك النقاط.
لأن النقاط مليئة بالضجيج (بعضها خاطئ)، لا يمكنك مجرد حساب متوسطها.
بدلاً من ذلك، يستخدم النظام حيلة رياضية تسمى LMedS (أقل مربع متوسط). تخيل مجموعة من الناس يخمنون ارتفاع مبنى؛ معظمهم قريب من الحقيقة، لكن القليل منهم يصرخ بأرقام جنونية. يقوم LMedS بتجاهل هؤلاء الصارخين ويجد "المنطقة الوسطى" التي تناسب معظم الناس.
يسمح هذا للنظام بتحديد المقياس الصحيح، والأهم من ذلك، التخلص من النقاط السيئة (القيم المتطرفة) التي لا تتناسب مع الصورة الجديدة الأكثر كثافة.
النتيجة: نموذج سلس ودقيق بمجرد أن يقوم النظام بمحاذاة "التخمين" مع "الحقيقة" وتنظيف الضجيج، فإنه يدمج كل شيء معاً لإنشاء سطح ثلاثي الأبعاد كثيف وسلس (باستخدام طريقة تسمى Marching Cubes).
ما أثبتوه:
السرعة: قاموا بهذا في أقل من 200 مللي ثانية لكل إطار. وهذا سريع بما يكفي لاعتباره "وقتًا حقيقيًا" (real-time) في الإجراءات الطبية.
الدقة: اختبروا النظام على قولون اصطناعي (phantom) حيث يعرفون شكله بدقة. كانت الخريطة القديمة (النقاط) تعاني من أخطاء ضخمة (بمتوسط 99 ملم في بعض الحالات). نجحت الطريقة الجديدة في خفض هذا الخطأ إلى حوالي 4.15 ملم.
المتانة: اختبروا النظام على فيديوهات تنظير قولون حقيقية حيث تتغطى الكاميرا بالماء أو تفقد المسار. نجح النظام في تنظيف البيانات الفوضوية وبناء خريطة ثلاثية الأبعاد موثوقة دون الحاجة إلى إعادة تدريبه لكل مستشفى أو كاميرا محددة.
باختصار: تصف الورقة البحثية طريقة تأخذ خريطة ثلاثية الأبعاد مهتزة وغير مكتملة مكونة من نقاط مبعثرة، وتستخدم مُخمّناً للعمق يعمل بالذكاء الاصطناعي لملء الفجوات. ثم يقوم مرشح رياضي ذكي بتنقية الأخطاء وتصحيح الحجم، مما ينتج عنه نموذج ثلاثي الأبعاد سلس ودقيق لداخل القولون، وكل ذلك بينما لا تزال الكاميرا في حالة حركة.
ملخص تقني: التكثيف ثلاثي الأبعاد لخرائط VSLAM أحادية الكاميرا متعددة الخرائط في التنظير الداخلي
بيان المشكلة أثبتت تقنية التحديد المتزامن للموقع ورسم الخرائط البصرية أحادية الكاميرا (Monocular VSLAM) المطبقة في التنظير الداخلي، وتحديداً باستخدام نهج الخرائط المتعددة مثل CudaSIFT-SLAM، فاعلية في تتبع الكاميرا بشكل قوي. نجحت هذه الأنظمة في استعادة التتبع بعد حالات الفقد المتكررة الناتجة عن ضبابية الحركة، أو الحجب الزمني، أو التفاعل مع الأدوات، أو تدفقات المياه. ومع ذلك، فإن التمثيلات ثلاثية الأبعاد الناتجة تكون متفرقة، مشوبة بالضجيج، وتحتوي على نسبة عالية من النقاط غير الدقيقة والقيم المتطرفة. وبناءً على ذلك، فإن هذه الخرائط المتفرقة غير كافية للتطبيقات السريرية التي تتطلب تمثيلاً كثيفاً للبيئة، مثل تقييم أحجام الآفات، أو ضمان تغطية المخاط المخاطي بالكامل، أو تقليل مخاطر تفويت المناطق الحرجة. علاوة على ذلك، تعاني الأنظمة القياسية القائمة على الميزات في المناطق ذات الملمس المنخفض (low-texture) الشائعة في بيئات التنظير الداخلي، بينما تفتقر الطرق المباشرة غالباً إلى إغلاق الحلقة (loop closure) وقدرات تعدد الخرائط الضرورية للتعافي من فشل التتبع.
المنهجية يقترح المؤلفون طريقة تكثيف ما بعد المعالجة تدمج التتبع القوي للكاميرا لنظام SLAM القائم على الميزات مع التنبؤ بالكثافة العميقة لشبكة ذاتية الإشراف أحادية الرؤية. يعمل النظام كما يلي:
الأنظمة المدخلة: يستخدم خط المعالجة (pipeline) نظام CudaSIFT-SLAM لتوليد خرائط متعددة متفرقة (خرائط فرعية محددة بنقاط ثلاثية الأبعاد وإطارات مفتاحية) ونظام LightDepth، وهو شبكة ذاتية الإشراف تعتمد على انخفاض الإضاءة، للتنبؤ بخرائط عمق كثيفة (up-to-scale).
محاذاة المقياس وتصفية القيم المتطرفة: بما أن نظام SLAM أحادي الكاميرا يعاني من غموض المقياس (scale ambiguity) وأن النقاط المتفرقة مشوبة بالضجيج، تقوم الطريقة بمحاذاة تنبؤات العمق الكثيفة مع السحب النقطية ثلاثية الأبعاد المتفرقة باستخدام أقل وسيط المربعات (Least Median of Squares - LMedS).
لكل إطار مفتاحي، يحسب النظام مقترح المقياس لكل نقطة في الخريطة المتفرقة عن طريق إسقاط البكسل عكسياً باستخدام خريطة العمق الكثيفة.
يتم استخدام LMedS لتحديد مقياس قوي وعتبة مسافة ديناميكية للتمييز بين النقاط الصحيحة (inliers) والقيم المتطرفة الزائفة. وقد فُضل هذا النهج على RANSAC لأن المقياس غير معروف وتعتمد أخطاء النقاط ثلاثية الأبعاد بشكل غير خطي على العمق.
يتم تحديد النقاط الصحيحة، ثم يتم تحسين المقياس النهائي باستخدام تحسين غير خطي مع دالة تأثير قوية.
الدمج الكثيف: بمجرد محاذاة وقياس خرائط العمق الكثيفة مع نقاط الخريطة المتفرقة، يقوم النظام بدمج ملاحظات RGB-D المقاسة باستخدام دالة المسافة الموقعة المقطوعة (TSDF).
استخراج السطح: يتم استخراج السطح العالمي صراحة من الـ TSDF باستخدام خوارزمية المكعبات المارة (Marching Cubes).
المساهمات الرئيسية
إعادة بناء السطح ثلاثي الأبعاد الكثيف: تحقق الطريقة إعادة بناء كثيفة في أقل من 200 مللي ثانية لكل إطار مفتاحي، مما يجعلها مناسبة للتطبيقات في الوقت الفعلي.
إزالة القيم المتطرفة بقوة: من خلال استخدام LMedS، تنجح الطريقة في تصفية النقاط الزائفة المتأصلة في خرائط SLAM المتفرقة دون الحاجة إلى عتبات مسافة ثابتة محددة مسبقاً.
الاستقلالية عن المجال: يزيل هذا النهج الحاجة إلى تكييف المجال (domain adaptation)، حيث أن مكونات النظام مستقلة عن مواصفات مجال محدد.
التحقق من الصحة: تم التحقق من الطريقة تجريبياً باستخدام مجموعة بيانات C3VD phantom colon (بما في ذلك تسلسلات الفحص والمسح) واختبارت نوعياً على تسجيلات تنظير القولون الحقيقية من مجموعة بيانات Endomapper.
النتائج التجريبية
الدقة: في مجموعة بيانات C3VD، تحقق الطريقة المقترحة دقة RMS قدرها 4.15 مم ودقة الوسيط المطلق (MedA) قدرها 2.60 مم. ويمثل هذا تحسناً كبيراً مقارنة بمخرجات CudaSIFT-SLAM الخام، التي سجلت دقة RMS بلغت 99.07 مم (مما يشير إلى حجم كبير من القيم المتطرفة) رغم أن MedA بلغ 2.01 مم.
الكثافة: تزيد عملية التكثيف عدد نقاط الخريطة بمعامل أكبر من 60 مقارنة بالخرائط المتفرقة الأصلية.
المقارنة: تنتج الطريقة خرائط بدقة مماثلة لـ LightNeus (وهو نهج رندر عصبي حديث) ولكن بتكلفة حسابية أقل بكثير ودون الحاجة إلى وضعيات كاميرا أرضية للتدريب أو المحاذاة.
الأداء: يبلغ إجمالي وقت المعالجة لكل إطار مفتاحي حوالي 186 مللي ثانية (استنتاج LightDepth: 22 مللي ثانية، محاذاة LMedS: 138 مللي ثانية، دمج TSDF: 26 مللي ثانية، Marching Cubes: 117 مللي ثانية)، مما يتناسب مع ميزانية الـ 200 مللي ثانية المتاحة.
التتبع: في تسلسلات الفحص التي تشهد حالات فشل متكررة في التتبع، حافظ نظام CudaSIFT-SLAM الأساسي على مسار كاميرا بـ RMS ATE قدره 3.09 مم، ونجح في تحديد موقع 83.32% من الإطارات.
الأهمية والادعاءات يدعي البحث أن الجمع المقترح بين CudaSIFT-SLAM وLightDepth ينجح في تنقية الخرائط المتعددة المتفرقة من النقاط الزائفة وتكثيفها، مما يتيح تتبعاً قوياً للكاميرا في إجراءات التنظير الداخلي الحقيقية. يؤكد المؤلفون أن نهجهم يعالج غموض المقياس المتأصل في شبكات تقدير العمق أحادية الكاميرا من خلال محاذاة تنبؤات العمق الكثيفة بقوة مع المقياس الواحد للخريطة المتفرقة. ويؤكدون أن الطريقة تحقق دقة تنافسية مقابل التقنيات الحديثة مع العمل ضمن قيود الوقت الفعلي ودون الحاجة إلى أجهزة استشعار عمق إضافية أو بيانات وصفية للعمق الأرضي. وقد تم تحديد العمل المستقبلي في دمج تقديرات العمق المستندة إلى الشبكات العصبية مباشرة في خط معالجة V-SLAM المتسلسل من أجل التهيئة، وإعادة التوطين، وضبط الحزمة (bundle adjustment).