Depth Augmented and FE Free 3D/2D Liver Registration for Laparoscopic Liver AR
تقدم هذه الورقة مساراً لعملية تسجيل ثلاثي الأبعاد إلى ثنائي الأبعاد معززاً بالعمق وخالياً من العناصر المحدودة للواقع المعزز لجراحة الكبد بالمنظار، يجمع بين التهيئة الصلبة القائمة على FoundationPose ونمذجة التشوه الإحصائي الخاصة بالمريض لتحقيق محاذاة دقيقة مع تقليل التعقيد الهندسي.
المؤلفون الأصليون:Hanyuan Zhang, Lucas He, Runlong He, Weixi Yi, Abdolrahim Kadkhodamohammadi, Danail Stoyanov, Brian R. Davidson, Evangelos B. Mazomenos, Matthew J. Clarkson
المؤلفون الأصليون: Hanyuan Zhang, Lucas He, Runlong He, Weixi Yi, Abdolrahim Kadkhodamohammadi, Danail Stoyanov, Brian R. Davidson, Evangelos B. Mazomenos, Matthew J. Clarkson
تخيل أنك تحاول التنقل في متاهة معقدة ومتغيرة داخل جسم مريض باستخدام كاميرا فيديو، ولكن ليس لديك سوى خريطة ثلاثية الأبعاد ثابتة للمتاهة تم إنشاؤها قبل الجراحة. ما هي المشكلة؟ المتاهة (الكبد) لينة، طرية، وتغير شكلها مع حركة الجراح. وعلاوة على ذلك، يمكنك فقط رؤية جزء صغير من المتاهة في أي وقت، وغالبًا ما تكون لقطات الفيديو ضبابية أو تحتوي على انعكاسات غريبة.
تقدم هذه الورقة نظام "GPS" جديد لجراحة الكبد بالمنظار يساعد في إسقاط تلك الخريطة ثلاثية الأبعاد الثابتة على الفيديو المباشر بدقة، حتى عندما ينضغط الكبد ويتغير شكله.
أولاً، يحتاج النظام إلى معرفة أين تنظر الكاميرا بالنسبة للكبد.
الطريقة القديمة: حاولت الطرق السابقة مطابقة حدود الكبد في الفيديو مع الخريطة ثلاثية الأبعاد. ولكن إذا كان الكبد ملتوياً أو مخفياً، فقد يبدو الخط الخارجي متشابهاً من زوايا مختلفة، مما يؤدي إلى الارتباك.
الحيلة الجديدة: أضاف المؤلفون "رؤية العمق" إلى المزيج. فكر في الأمر كأنك تمنح الكمبيوتر نظارات ثلاثية الأبعاد. بدلاً من مجرد النظر إلى الخط الخارجي المسطح، يستخدم النظام ذكاءً اصطناعيًا خاصًا (يعتمد على أداة تسمى FoundationPose) للنظر إلى شكل ومسافة سطح الكبد.
التشبيه: تخيل أنك تحاول تخمين مكان وقوف صديق لك في غرفة مظلمة بمجرد النظر إلى ظله على الحائط (الخط الخارجي). هذا أمر صعب. ولكن إذا كنت تعرف أيضًا مدى بعد ظله عن الحائط (العمق)، فيمكنك تحديد موقعه بدقة أكبر بكثير. هذا التخمين "المعزز بالعمق" يمنح النظام بداية قوية.
2. "الضبط الدقيق" (التسجيل غير الصلب - Non-Rigid Registration)
بمجرد إجراء التخمين التقريبي، قد يظل الكبد مضغوطًا أو ملتوياً بشكل مختلف قليلاً عن خريطة ما قبل الجراحة. يحتاج النظام إلى ثني الخريطة ثلاثية الأبعاد لتتطابق مع الفيديو المباشر.
الطريقة القديمة: تستخدم العديد من الأنظمة محاكاة فيزيائية معقدة (مثل نماذج العناصر المحدودة - Finite Element models) للتنبؤ بكيفية انثناء الكبد. هذا يشبه محاولة محاكاة فيزياء كل جزيء من جزيئات الهلام (الجلي). إنه أمر بطيء للغاية ومعقد، ويتطلب تخمين "صلابة" الكبد، والتي تختلف من شخص لآخر.
الحيلة الجديدة: بنى المؤلفون "مكتبة إحصائية" لكيفية تشوه الكبد عادةً. لقد أخذوا مئات الفحوصات للكبد، وقاموا بضغطها وتمديدها رياضياً، ووجدوا أكثر أنماط الحركة شيوعاً.
التشبيه: بدلاً من محاكاة فيزياء قطعة معينة من الطين الاصطناعي، تخيل أن لديك "قالباً" لأكثر الطرق شيوعاً التي ينثني بها الطين عادةً. عندما يتحرك الكبد، يقوم النظام ببساطة بتعديل القالب وفقاً لهذه "أنماط الانثناء" المعروفة بدلاً من حساب الفيزياء من الصفر. هذا أسرع بكثير ولا يتطلب معرفة "صلابة" كبد المريض بدقة.
3. النتائج: ماذا حدث بالفعل؟
اختبر الفريق ذلك على بيانات فيديو جراحية حقيقية.
الدقة: قاموا بقياس مدى قرب الخريطة ثلاثية الأبعاد من الأورام والأوعية الدموية الفعلية (ما يسمى بخطأ تسجيل الهدف - Target Registration Error). كانت طريقتهم الجديدة أكثر دقة من الطرق السابقة، بمتوسط خطأ يبلغ حوالي 14.7 مليمتر.
فرق "العمق": عندما أزالوا "رؤية العمق" واكتفوا بالخطوط الخارجية فقط، أصبح النظام أسوأ. وقد أثبت هذا أن رؤية الشكل ثلاثي الأبعاد تساعد في حل مشكلة الارتباك الناتج عن الرؤية الجزئية.
مفاجأة "السطح مقابل الهدف": هذا اكتشاف رئيسي. لقد اكتشفوا أنه حتى لو بدا السطح للكبد متطابقاً تماماً على الشاشة، فقد تظل الأهداف الداخلية (مثل الورم) في المكان الخاطئ.
التشبيه: تخيل بالوناً عليه ملصق من الداخل. إذا ضغطت البالون، فقد يبدو الجزء الخارجي منه متطابقاً مع قالب ما تماماً، ولكن الملصق في الداخل قد يتحرك إلى مكان مختلف بناءً على كيفية ضغطك له. توضح الورقة أن مطابقة السطح ليست كافية؛ بل يجب أيضاً مطابقة طريقة حركة الجزء الداخلي.
4. السرعة والعملية
السرعة: طريقتهم الجديدة أسرع بكثير من الطرق القديمة القائمة على الفيزياء. فهي تستغرق حوالي 2 إلى 3 ثوانٍ لكل إطار لإجراء التعديل، مقارنة بـ 30-60 ثانية للطرق الأقدم. وهذا يجعلها عملية للاستخدام أثناء الجراحة الحية.
القيود: تشير الورقة إلى أنه بالنسبة لهذا الاختبار المحدد، استخدموا خطوطاً خارجية "مرسومة يدوياً" (مثل رسم إنسان لحدود الكبد على الفيديو) لضمان عدالة الاختبار. لم يختبروا النظام الكامل مع الرسم الآلي بالذكاء الاصطناعي بعد، لذا فإن جزء الـ "GPS" جاهز، لكن جزء "رسم الخريطة" لا يزال بحاجة إلى عمل للوصول إلى نظام آلي بالكامل.
باختة: تقدم الورقة طريقة أسرع وأذكى لمطابقة خريطة الكبد ثلاثية الأبعاد مع فيديو جراحي مباشر. فهي تستخدم "رؤية العمق ثلاثية الأبعاد" للحصول على وضعية بداية جيدة، وتستخدم "مكتبة من انثناءات الكبد الشائعة" للتكيف مع الضغط، متجنبةً عمليات المحاكاة الفيزيائية البطيئة والمعقدة. كما تحذر الجراحين من أن المطابقة المثالية للسطح لا تضمن تطابق الأهداف الداخلية بشكل مثالي.
ملخص تقني: تسجيل الكبد ثلاثي الأبعاد–ثنائي الأبعاد المعزز بالعمق والخالي من العناصر المحدودة (FE-Free) للواقع المعزز في جراحة الكبد بالمنظار
بيان المشكلة يعد التسجيل الدقيق لنماذج الكبد ثلاثية الأبعاد قبل الجراحة مع الفيديو ثنائي الأبعاد أثناء الجراحة شرطاً أساسياً لتوجيه فعال بالواقع المعزز (AR) في جراحة الكبد بالمنظار. ومع ذلك، تعيق هذه المهمة مشكلات مثل الرؤية الجزئية للعضو، والانعكاسات المرآتية، وتشوه الأنسجة الكبير. تعتمد النهج الحالية عادةً على مرحلتين: تهيئة صلبة (غالباً ما تعتمد على الخطوط الخارجية/الكنتور) وتسجيل تشوهي. وتعتمد طرق التسجيل التشوهي الحالية غالباً على نماذج العناصر المحدودة (FE)، والتي تفرض تعقيداً حسابياً وهندسياً عالياً بسبب الحاجة إلى بارامترات ميكانيكية غير مؤكدة خاصة بالمريض (مثل تباين صلابة الأنسجة مع حالات التليف أو التشحم الكبدي). علاوة على ذلك، تعاني طرق التهيئة الصلبة غالباً من غموض في اتجاه الرؤية عند الاعتماد فقط على الخطوط الخارجية تحت ظروف الحجب أو التشوه.
المنهجية يقترح المؤلفون مسار تسجيل هجين، خالٍ من العناصر المحدودة (FE-free)، يتكون من مرحلتين رئيسيتين:
التهيئة الصلبة المعززة بالعمق:
البنية: يكيّف هذا الأسلوب وحدة RefineNet من نموذج FoundationPose، المصمم أصلاً لتتبع الوضعية باستخدام RGB-D، ليتناسب مع مشاهد الكبد عبر المنظار.
تعديل المدخلات: بدلاً من مدخلات RGB-D القياسية، تقبل الشبكة تنسوراً مكوناً من 5 قنوات يضم خرائط خطوط خارجية متعددة الفئات (الحافة اليمنى، الحافة اليسرى، الأربطة، والظلية) وخريطة عمق أحادية (monocular depth map) مقنعة (تم تقديرها عبر Depth Anything V2).
التدريب والخسارة: تم تدريب الشبكة من الصفر باستخدام عمليات رندرة اصطناعية مع تعزيزات خاصة بكل نمط (مثل ترقيق الخطوط الخارجية ومحو العمق). وبخلاف التنفيذ الأصلي الذي يشرف على الدوران والترجمة بشكل مستقل، يستخدم هذا النهج خسارة متوسط المربعات (MSE) للسطح، والتي تعاقب مباشرة عدم محاذاة رؤوس مش (mesh) الكبد ثلاثي الأبعاد المحولة مقابل الملاحظة المستهدفة.
الاستدلال: تتنبأ الشبكة بتحديث للوضعية (6-DoF) في تمريرة واحدة (one-shot)، مما يوفر نقطة بداية قوية تقلل من خطر التقارب نحو القيم المحلية السيئة.
التحسين غير الصلب الخالي من العناصر المحدودة (FE-Free):
نموذج التشوه الإحصائي: بدلاً من المحاكاة البيوميكانيكية، يتم بناء نموذج تشوه إحصائي خاص بالمريض. يتضمن ذلك محاذاة مجموعة من نماذج الكبد (Montana-Brown et al.) مع نموذج المريض قبل الجراحة، متبوعاً بخوارزمية ICP غير الصلبة (Non-Rigid ICP) لإنشاء ارتباطات كثيفة.
تقليل الأبعاد: يتم تطبيق تحليل المكونات الرئيسية (PCA) على ناقلات الإزاحة لكل رأس مستمدة من NICP. يتم الاحتفاظ بأول 10 أنماط رئيسية، والتي تلتقط حوالي 75% من تباين الشكل مع الحفاظ على مساحة تشوه مدمجة.
التحسين المشترك: يقوم النظام بتحسين الوضعية الصلبة (6-DoF) ومعاملات التشوه (PCA) العشرة (β) بشكل مشترك. تعمل دالة الهدف على تقليل مسافة "هاوسدورف" متعددة الفئات بين خطوط النموذج المصورة والتعليقات التوضيحية داخل العملية الجراحية.
استراتيجية التحسين: يتم استخدام استراتيجية (L-BFGS-B) من الخشن إلى الناعم. تبدأ العملية بتحسين الوضعية الصلبة مع تثبيت بارامترات الشكل، تليها عملية صقل مشتركة. هذا النهج أسرع بكثير (2-3 ثوانٍ لكل إطار) من المحسنات العالمية مثل (CMA-ES) التي تستغرق (30-60 ثانية)، مع الحفاظ على دقة مماثلة.
المساهمات الرئيسية
التهيئة المعززة بالعمق: تكييف مبتكر لـ FoundationPose يدمج إشارات الخطوط الخارجية متعددة الفئات مع العمق الأحادي لتهيئة الوضعية الصلبة، مما يحسن المتانة تحت ظروف الرؤية الجزئية دون الحاجة إلى إعادة بناء سطح ثلاثي الأبعاد صريح.
إطار عمل غير صلب خالٍ من العناصر المحدودة (FE-Free): إطار عمل للتسجيل يستخدم نموذج تشوه إحصائي خاص بالمريض تم تعلمه من ارتباطات NICP. يتيح ذلك صقل الشكل منخفض الأبعاد دون العبء الحسابي أو عدم اليقين في البارامترات المرتبط بنماذج العناصر المحدودة (FE).
تحليل انتقال التشوه: استقصاء حول كيفية تأثير محاذاة السطح على تحديد موقع الأورام لاحقاً. توضح الدراسة أن دقة مطابقة السطح لا تضمن بالضرورة انخفاض خطأ التسجيل المستهدف (TRE) للأهداف الداخلية، مما يسلط الض الضوء على الدور الحاسم لنقل الهدف المتسق مع التشوه.
النتائج
الأداء الكمي: تم التقييم باستخدام مجموعة بيانات سريرية عامة (Rabbani et al.) لـ 4 مرضى، حيث حقق الأسلوب المقترح متوسط TRE قدره 14.73 مم في إعداد الكنتور اليدوي المتحكم به. وقد تفوق هذا الأداء على عدة طرق موجودة تستخدم مدخلات يدوية، بما في ذلك Sil-B و LMR و NM.
المتانة: أظهر الأسلوب أداءً محسناً في "المريض 2"، وهو حالة تحدٍ معروفة ذات تشوه كبير ورؤية محدودة، مما قلل الأخطاء مقارنة بالتهيئة اليدوية والأساليب المرجعية الأخرى.
دراسات الاستئصال (Ablation Studies):
نمط المدخلات: أدت إضافة العمق الأحادي المقنع (Contour+Depth) إلى شبكة التهيئة إلى تحسين TRE النهائي (18.80 مم) مقارنة بالخطوط الخارجية وحدها (23.47 مم)، مما يؤكد فائدة العمق في حل غموض الوضعية.
رسم خرائط الأورام: أدت استراتيجيات مختلفة لنقل مواقع الأورام من النموذج قبل الجراحة إلى السطح المشوه أثناء الجراحة (FFD, TPS, Barycentric, Linear, RBF) إلى نتائج TRE متفاوتة رغم تماثل محاذاة السطح. حققت طريقة (Barycentric mapping) أدنى متوسط TRE (14.73 مم)، مما يؤكد أن دقة السطح وحدها غير كافية لتحديد الموقع الدقيق للأهداف الداخلية.
التقييم النوعي: في مجموعة بيانات خارجية بدون حقيقة أرضية (ground truth)، أنتج الأسلوب تراكبات (overlays) منطقية بصرياً ومتسقة مع المحاذاة اليدوية.
الأهمية والادعاءات يزعم البحث أن التهيئة المعززة بالعمق ونمذجة التشوه الإحصائية الخالية من العناصر المحدودة (FE-free) تقدم بديلاً واعداً لمسارات التسجيل التقليدية القائمة على العناصر المحدودة (FE) لتسجيل الكبد ثلاثي الأبعاد–ثنائي الأبعاد المحكوم. ويؤكد المؤلفون أن نهجهم يقلل التعقيد الهندسي عبر تجنب تقدير البارامترات البيوميكانيكية مع الحفاظ على الصلة السريرية من خلال مساحة تشوه مدمجة وخاصة بالمريض.
والأهم من ذلك، يسلط العمل الضوء على رؤية على مستوى النظام: تحسين محاذاة السطح لا يترجم تلقائياً إلى خفض خطأ تحديد موقع الهدف. يشير هذا إلى أنه بالنسبة لتوجيه الواقع المعزز ذي الصلة سريرياً، فإن دقة آلية نقل التشوه لا تقل أهمية عن جودة تسجيل السطح نفسه. ويشير المؤلفون إلى أن نتائجهم الحالية تعزل مكون التسجيل باستخدام الكنتور اليدوي؛ ويتطلب العمل المستقبلي تقييم المتانة الشاملة (end-to-end) باستخدام التجزئة التلقائية، ومزيداً من البحث في انتشار الأورام المتسق مع التشوه.