Boosting Generalizable Depth Estimation in Endoscopy by Mixture of Lightweight Experts and Intrinsic Image Alignment

تخيل أنك تحاول التنقل في كهف مظلم ورطب باستخدام مصباح يدوي فقط. إذا ارتد الضوء عن الجدران الرطبة بطرق غريبة، أو إذا بدا الكهف مختلفًا في كل مرة تدور فيها حول زاوية، فسيصبح من الصعب للغاية معرفة مدى بعد الجدر walls. هذا هو بالضبط التحدي الذي يواجهه الأطباء أثناء الجراحات طفيفة التوغل، حيث تُستخدم كاميرات صغيرة (المناظير) داخل جسم الإنسان. فداخل الجسم بيئة معقدة: الأنسجة لامعة، والأضواء يمكن أن تنعكس بشكل جامح، وحتى تشريح كل مريض يبدو مختلفًا عن الآخر. ولمساعدة الروبوتات والجراحين على "الرؤية" ثلاثية الأبعاد، يستخدم العلماء تقنية تسمى تقدير العمق (depth estimation)، وهي ببساطة محاولة الكمبيوتر لتخمين مدى بعد الأشياء بمجرد النظر إلى صورة مسطحة. وبينما أصبحت الحواسيب جيدة في هذا الأمر في العالم الخارجي (مثل السيارات ذاتية القيادة)، إلا أنها غالبًا ما ترتبك داخل الجسم لأن الإضاءة غير متسقة والأنماط فريدة من نوعها.

يقدم هذا البحث نظامًا ذكيًا جديدًا يسمى EndoMINI، صُمم لمساعدة هذه الكاميرات على فهم العمق بشكل أفضل، حتى عندما تكون الإضاءة فوضوية أو المشهد متغيرًا. استخدم الباحثون في بناء هذا النظام حيلتين رئيسيتين. أولاً، قاموا بإنشاء "فريق من المتخصصين" بدلاً من الاعتماد على عقل عام واحد. فكر في الأمر كأنه مدرسة، فبدلاً من وجود معلم واحد يحاول تدريس كل المواد لكل الطلاب، لديك مفتاح ذكي يختار أفضل معلم للدرس المحدد — سواء كان رياضيات، أو فنًا، أو تاريخًا. وفي عقل الكمبيوتر، يعني هذا أنه يمكنه التبديل فورًا إلى وضع "الخبير" المناسب اعتمادًا على ما إذا كان ينظر إلى كبد لامع أو أمعاء باهتة. ثانيًا، علموا الكمبيوتر كيف يتجاهل الوهج. تمامًا كما قد تغمض عينيك قليلاً لترى ما وراء الانعكاس على نافذة، يتعلم هذا النظام كيفية فصل "لون" النسيج عن "لمعان" الضوء، مما يسمح له بقياس المسافة بدقة حتى عندما يرتد الضوء في كل مكان.

اختبر الفريق نظام EndoMINI الجديد على عدة مجموعات بيانات، بما في ذلك مجموعة تسمى SCARED، ووجدوا أنه أفضل في تخمين المسافات من الطرق السابقة، سواء عندما تم تدريبه على صور مشابهة أو عندما اضطر للتخمين على فيديوهات جديدة تمامًا لم يسبق له رؤيتها (وهو اختبار يسمى "zero-shot"). كما أظهروا أنه يمكنه تحديد كيفية تحرك الكاميرا بل وحتى التنبؤ بإعدادات الكاميرا نفسها دون إخباره مسبقًا. وتشير النتائج إلى أن استخدام هذا المزيج من الخبراء المتخصصين وتجاهل الوهج المربك يمكن أن يوفر رؤية ثلاثية الأبعاد أكثر وضوحًا للجراحين، مما قد يجعل الجراحة الروبوتية أكثر أمانًا ودقة.

المشكلة: لماذا يعد عمق المنظار أمرًا صعبًا؟

تقدير العمق هو فن معرفة مدى بعد الأشياء عن الكاميرا. في العالم الخارجي، أصبح الكمبيوتر جيدًا جدًا في هذا، ولكن داخل جسم الإنسان، يعد الأمر كابوسًا. يشير البحث إلى "شريرين" رئيسيين:

1. مشكلة "اللمعان": الأنسجة داخل الجسم رطبة وعاكسة. ينعكس الضوء عنها بطرق لا يمكن التنبؤ بها، مما يجعل السطح المسطح يبدو وكأنه نتوء أو حفرة.
2. مشكلة "الاختلاف في كل مرة": كل مريض مختلف، وحتى أجزاء الجسم المختلفة لنفس المريض تبدو فريدة. فالنموذج الذي تم تدريبه للتعرف على نوع معين من الأنسجة قد يرتبك تمامًا عند مواجهة نوع آخر.

حاولت الطرق الموجودة إصلاح ذلك، لكنها غالبًا ما واجهت صعوبة في التكيف مع هذه المشاهد الجديدة أو في تجاهل الوهج المبهر للأضواء.

الحل: فريق من الخبراء وفلتر للوهج

يقترح المؤلفون EndoMINi، وهو إطار عمل جديد يعالج هذه القضايا من خلال نهجين مبتكرين.

1. خليط من الخبراء منخفضي الرتبة (MiLoRE)
تخيل مكتبة حيث يتعين عليك عادةً سؤال أمين مكتبة واحد للمساعدة. إذا سألته عن كتاب نادر، فقد لا يعرف الإجابة. الآن، تخيل مكتبة بها روبوت ذكي يعرف بالضبط أي متخصص يستدعي. إذا سألت عن التاريخ، فإنه يستدعي خبير التاريخ؛ وإذا سألت عن العلوم، فإنه يستدعي خبير العلوم.

في EndoMINI، يستخدم الكمبيوتر "خليطًا من الخبزاء منخفضي الرتبة" (MiLoRE). فبدلاً من امتلاك عقل واحد ضخم وجامد يحاول تعلم كل شيء، يحتوي النظام على "موجه" (router) ينظر إلى الصورة ويقرر أي وحدات "خبير" صغيرة ومتخصصة سيقوم بتنشيطها.

• كيف يعمل: يستخدم النظام تقنية LoRA (التكيف منخفض الرتبة)، وهي تشبه إضافة طبقة صغيرة قابلة للتعديل من "عجلات التدريب" إلى عقل ذكي موجود مسبقًا. يحتوي نظام MiLoRE على عدة خبراء صغار من هذا النوع. عندما ترى الكاميرا نوعًا معينًا من الأنسجة، يختار الموجه أفضل خبير (أو مزيجًا منهم) للتعامل مع ذلك المشهد المحدد.
• النتيجة: يسمح هذا للنموذج بالتكيف بسرعة مع المشاهد التنظيرية المختلفة دون الحاجة إلى إعادة تدريبه بالكامل من البالبداية. إنه نظام فعال ومرن.

2. محاذاة الصور الجوهرية (IIA)
الآن، دعونا نتحدث عن الوهج. عندما تلتقط صورة لجسم لامع، فإن البقعة الساطعة تجعل من الصعب رؤية الشكل الحقيقي للجسم. يقدم البحث طريقة لفصل "اللون الحقيقي" للجسم عن "لمعان" الضوء.

• التشبيه: فكر في لوحة فنية. الطلاء نفسه هو "الانعكاس" (اللون الحقيقي للنسيج)، والضوء الذي يسقط عليه هو "التظليل". يتعلم نظام البحث كيفية فصل هذين العنصرين. فهو يستخدم شبكة خاصة لتفكيك الصورة إلى "خريطة انعكاس" (ما يبدو عليه النسيج فعليًا) و"خريطة تظليل" (أين يسقط الضوء).
• السحر: من خلال محاذاة خرائط "الانعكاس" بين إطارات الفيديو المختلفة، يمكن للنظام حساب العمق دون الارتباك بسبب تغير الأضواء. إنه يقول أساسًا: "تجاهل البقعة الساطعة؛ وانظر إلى اللون الحقيقي الموجود تحتها".

ماذا وجدوا؟

اختبر الباحثون نظام EndoMINI على ثلاث مجموعات بيانات مختلفة: SCARED و Hamlyn و SERV-CT. تحتوي هذه المجموعات على فيديوهات حقيقية من عمليات جراحية روبوتية.

• الأداء تحت الإشراف: في مجموعة بيانات SCARED، حيث تم تدريب النموذج باستخدام إجابات معروفة، تفوق EndoMINI على جميع الطرق الرائدة الأخرى. على سبيل المثال، حقق خطأ نسبي مطلق (RelAbs) قدره 0.047، وهو أقل (أفضل) من ثاني أفضل طريقة وهي EndoDAC التي حققت 0.052.
• أداء الـ Zero-Shot: هذا هو الاختبار الحقيقي. تم تدريب النموذج على SCARED ثم طُلب منه تخمين الأعماق في مجموعتي بيانات Hamlyn و SERV-CT دون أي تدريب إضافي. ولا يزال EndoMINI في الصدارة، مما يظهر قدرته على التعميم في بيئات جديدة. في مجموعة بيانات Hamlyn، حقق خطأ نسبي مطلق قدره 0.140، متفوقًا على أفضل نتيجة سابقة وهي 0.143 (DVSMono).
• حركة الكاميرا وإعداداتها: لم يقم النظام بتخمين العمق فحسب؛ بل حدد أيضًا كيفية تحرك الكاميرا (ego-motion) بل وتنبأ بإعدادات الكاميرا الداخلية (intrinsics) بدقة عالية، متفوقًا على الطرق التي تعتمد على الإعدادات المقدمة مسبقًا.

لماذا يهم هذا الأمر؟

يخلص البحث إلى أنه من خلال الجمع بين "فريق من الخبراء" المرن (MiLoRE) وطريقة ذكية لتجاهل الوهج (محاذاة الصور الجوهرية)، يخلق EndoMINI رؤية ثلاثية الأبعاد أكثر موثوقية للجراحة التنظيرية. هذا ليس مجرد تعديل بسيط؛ بل هو خطوة كبيرة نحو جعل الجراحة الروبوتية أكثر أمانًا ودقة، حيث يمكن للروبوت أخيرًا "رؤية" العالم داخل الجسم بوضوح كما يأمل الجراح البشري. ويشير المؤلفون إلى أن هذا الإدراك عالي الجودة ثلاثي الأبعاد يمكن أن يكون نقطة تحول في الإجراءات طفيفة التوغل، مما يساعد الجراحين على التنقل في التشريح المعقد بثقة.