Real-time Rendering-based Surgical Instrument Tracking via Evolutionary Optimization
تقدم هذه الورقة إطار عمل لتتبع الأدوات الجراحية في الوقت الفعلي يستفيد من خوارزمية تطور اختيار (CMA-ES) والتحسين بالرندرة الدفعية لتقدير الوضعية وتكوينات المفاصل بشكل مشترك، محققةً دقة وكفاءة فائقتين في الظروف البصرية الصعبة مقارنة بالطرق السابقة.
المؤلفون الأصليون:Hanyang Hu, Zekai Liang, Florian Richter, Michael C. Yip
تخيل أنك تحاول توجيه يد روبوتية دقيقة للغاية وعالية التقنية داخل جسم مريض باستخدام كاميرا صغيرة فقط (مثل GoPro مثبتة على عصا). الهدف هو معرفة مكان أصابع الروبوت بالضبط وكيف تنثني، حتى يتمكن الجراح من التحكم بها بأمان.
المشكلة؟ رؤية الكاميرا غالباً ما تكون ضبابية، وحساسات الروبوت الخاصة به (التي تخبره بكيفية تحرك مفاصله) تكون أحياناً خاطئة بسبب الكابلات المرتخية، كما يمكن أن تختفي أذرع الروبوت خلف أدوات أخرى أو أنسجة. الأمر يشبه محاولة حل لغز ثلاثي الأبعاد وأنت ترتدي نظارات ضبابية ومعك شريك يستمر في الكذب بشأن مواضع يديه.
إليك كيف تحل هذه الورقة البحثية هذه المشكلة، مشروحة ببساية:
الطريقة القديمة: "المتنزه المرهق"
حاولت الطرق السابقة تحديد موقع الروبوت عن طريق وضع تخمين، ثم التحقق مما إذا كان يبدو صحيحاً، ثم اتخاذ خطوة صغيرة وحذرة نحو تخمين أفضل. فعلوا ذلك مراراً وتكراراً، مثل متنزه يحاول العثور على قاع وادٍ في الظلام عن طريق تحسس الأرض بقدم واحدة في كل مرة.
العيب: إذا بدأ المتنزه من فوق تلة صغيرة ("نهاية صغرى محلية")، فقد يعلق ظناً منه أنه في القاع، رغم أن الوادي الحقيقي بعيد جداً. أيضاً، اتخاذ خطوة واحدة صغيرة في كل مرة هو أمر بطيء للغاية.
الطة الجديدة: "سرب الطيور"
يقترح المؤلفون طريقة جديدة تستخدم ما يسمى بـ CMA-ES (استراتيجية التطور بتكييف مصفوفة التغاير). فكر في هذا ليس كمتنزه واحد، بل كـ سرب من الطيور أو سرب من النحل.
نهج السرب: بدلاً من اتخاذ خطوة واحدة، يقوم الكمبيوتر بإنشاء 70 سيناريو مختلفاً لـ "ماذا لو" (وضعيات مختلفة) في وقت واحد. الأمر يشبه إسقاط 70 طائرة بدون طيار (درون) في الغرفة للبحث عن الروبوت في آن واحد.
لعبة "الرندرة والمطابقة": لكل تخمين من هذه التخمينات السبعين، ينشئ الكمبيوتر فوراً صورة وهمية ("رندرة") لما يجب أن يبدو عليه الروبوت إذا كان هذا التخمين صحيحاً. ثم يقارن هذه الصورة الوهمية بالفيديو الحقيقي من الكاميرا.
تشبيه: الأمر يشبه لعب لعبة "حار وبارد". إذا كانت الصورة الوهمية لا تشبه الفيديو الحقيقي أبداً، فإن هذا التخمين "بارد". وإذا كانت متطابقة تقريباً، فهو "حار".
التعلم التطوري: ينظر الكمبيوتر إلى التخمينات السبعين ويقول: "حسناً، التخمينات التي كانت 'حارة' كانت قريبة. لنصنع تخميناتنا السبعين التالية حول تلك التخمينات الفائزة، ولكن مع إضافة بعض التباين العشوائي البسيط".
هذا هو التحسين التطوري: التخمينات "الأكثر لياقة" هي التي تنجو وتتكاثر لتنتج الجيل التالي من التخمينات.
تسريع العملية: لأن بطاقات الرسوميات الحديثة (GPUs) بارعة في رسم الصور، يمكن للكمبيوتر رسم جميع الصور الوهمية السبعين في نفس الوقت (بالتوازي). وهذا يجعل العملية سريعة للغاية، محولاً إياها من رحلة تنزه بطيئة خطوة بخطوة إلى بحث سريع جداً باستخدام سرب من الطائرات بدون طيار.
مكونات "الخلطة السرية"
خدعة "النظر إلى": غالباً ما تمتلك الأدوات الجراحية عموداً طويلاً ونحيفاً يمكنه الدوران حول نفسه مثل لقمة المثقاب دون تغيير موضع طرفه، وهذا يربك الحواسيب. ابتكر المؤلفون خدعة رياضية خاصة (تمثيل "النظر إلى") تخبر الكمبيوتر: "تجاهل العمود الدوار للحظة؛ فقط ركز على الاتجاه الذي يشير إليه الطرف". هذا يمنع الكمبيوتر من الارتباك بسبب الدوران.
"شبكة الأمان" (الترشيح الزمني): أحياناً تلتقط الكاميرا إطاراً سيئاً (ضبابياً جداً أو مظلماً). ولمنع الروبوت من الاهتزاز أو القفز بشكل مفاجئ، يستخدم النظام "مرشح كالمان" (Kalman Filter). فكر في هذا كأنه صانع سموذي. إذا كان أحد الإطارات عبارة عن قطعة فاكهة غريبة ومتعرجة، فإن المرشح يمزجها مع الإطارات السابقة والتالية لإنشاء حركة سلسة ومتسقة.
يدان، وعقل واحد: يمكن للنظام تتبع ذراعين روبوتيتين في وقت واحد. وبدلاً من وجود عقلين منفصلين يخمنان، هناك عقل كبير واحد يخمن لكلتا الذراعين معاً، مما يضمن عدم اصطدامهما ببعضهما أو ارتباكهما بشأن أي أداة هي الأخرى.
لماذا يهم هذا؟
السرعة: إنه يعمل في الوقت الفعلي (حوالي 43 إطاراً في الثانية)، مما يعني أن الجراح يرى موقع الروبوت فوراً، دون أي تأخير.
الدقة: لا يعلق في "النهايات الصغرى المحلية" (التلال الصغيرة) مثل الطرق القديمة. بل يجد القاع الحقيقي للوادي بشكل أكثر موثوقية بكثير.
لا حاجة لعلامات: لست بحاجة للصق ملصقات لامعة أو علامات خاصة على الروبوت. فهو يفهم الأمر بمجرد النظر إلى الفيديو، وهو أمر أكثر أماناً وسهولة في العمليات الجراحية.
باخت مختصر: تستبدل هذه الورقة البحثية البحث البطيء لشخص واحد بسرب ذكي وسريع من الطائرات بدون طيار الرقمية التي تتعلم من بعضها البعض لتجد موقع الروبوت الجراحي فوراً وبدقة، حتى عندما تكون الرؤية غير واضحة أو عندما تكون حساسات الروبوت الخاصة به تعطي معلومات خاطئة.
إليك ملخص تقني مفصل للورقة البحثية بعنوان "تتبع الأدوات الجراحية عبر التحسين التطوري القائم على الرندرة في الوقت الفعلي".
1. بيان المشكلة
يعد التتبع الدقيق والفعال للأدوات الجراحية المفصلية أمراً بالغ الأهمية للجراحة طفيفة التوغل بمساعدة الروبوت (RMIS)، مما يتيح تطبيقات مثل التحكم القائم على الرؤية، والواقع المعزز، والتعلم الروبوتي. ومع ذلك، تواجه الطرق الحالية تحديات كبيرة:
التدهور البصري: غالباً ما تعاني فيديوهات التنظير الداخلي من ضعف الإضاءة، وضبابية الحركة، وعدم وضوح السلسلة الكينماتيكية (الحركية).
الضجيج الكينماتيكي: تسبب النقل عبر الكابلات في الروبوتات الجراحية (مثل da Vinci) ضجيجاً وأخطاء في قياسات زوايا المفاصل.
قيود النهج الحالية:
الطرق القائمة على السمات (PnP): تعتمد على اكتشاف النقاط الرئيسية، وهو أمر غير موثوق في ظل جودة بصرية متدهورة وعرضة للفشل في البيئات التي لا تحتوي على علامات (markerless).
طرق الرندرة القابلة للتفاضل (Differentiable Rendering): رغم قوتها، إلا أنها تعتمد على التحسين القائم على التدرج (gradient-based optimization)، وهو مكلف حاسبياً، وعرضة للوقوع في النهايات الصغرى المحلية (local minima)، وغالباً ما يكون بطيئاً جداً للتتبع في الوقت الفعلي.
المستشعرات الخارجية: تتطلب إعدادات فيزيائية معقدة وعلامات مرجعية، مما يجعل من الصعب نشرها في سير العمل السريري القياسي.
الهدف هو تطوير إطار عمل للتتبع في الوقت الفعلي وبدون علامات يقوم بتقدير وضعية (6-DoF) وتكوينات المفاصل للأدوات الجراحية بشكل مشترك، بحيث يكون قوياً ضد البيانات الكينماتيكية الضوضائية والانسدادات البصرية.
2. المنهجية
يقترح المؤلفون إطار عمل مبتكر يستبدل التحسين القائم على التدرج باستراتيجية تكيف مصفوفة التغاير (CMA-ES) بالتزامن مع الرندرة بالدفعات (batch rendering).
خط الإنتاج الأساسي (الشكل 2)
معالجة المدخلات:
التقسيم (Segmentation): يستخدم Surgical SAM 2 لإنشاء أقنعة تقسيم فورية لأداة الجراحة من إطارات الفيديو RGB.
اكتشاف النقاط الرئيسية: تقوم شبكة متعلمة بتحديد مواقع أطراف الأدوات (end-effectors).
هدف التحسين:
يقوم النظام بتقليل دالة الخسارة L(I,Θ) التي تجمع بين خسارة الرندرة (متوسط مربع الخطأ MSE وخسارة المظهر بين القناع المُرندَر والقناع الملحوظ) وخسارة محاذاة النقاط الرئيسية.
تتضمن الحالة Θ وضعية الطرف النهائي (Trc∈SE(3)) وآخر ثلاث زوايا مفاصل مرئية (q=[q1,q2,q3]).
التحسين التطوري (CMA-ES):
بدلاً من حساب التدرجات، تحافظ CMA-ES على توزيع غاوسي (Gaussian distribution) فوق فضاء الحالة.
التقييم المتوازي: في كل تكرار، تقوم بسحب N من الوضعيات المرشحة من التوزيع الحالي.
الرندرة بالدفعات: يتم رندرة هذه المرشحات بالتوازي على وحدة معالجة الرسومات (GPU) باستخدام رندر "الصندوق الأسود" (NvDiffRast).
التحديث: يتم تحديث التوزيع بناءً على تصنيف اللياقة (fitness ranking) لأفضل المرشحين، والتحرك نحو الحل الأمثل دون الحاجة إلى خطوط أنابيب رندرة قابلة للتفاضل.
تمثيل الحالة والقيود:
تمثيل الكاميرا "النظر إلى" (Look-at Camera): يفصل دوران العمود عن المكونات الدورانية الأخرى للتعامل مع التماثل الدوراني بمقدار 180 درجة للأدوات.
إعادة التمثيل بجيب التمام (Cosine Reparameterization): يفرض حدود المفاصل الفيزيائية (قيود الصندوق) دون تشويه توزيع العينات، وهي مشكلة شائعة في الاستراتيجيات التطورية.
الترشيح الزمني:
يتم تطبيق مرشح كالمان (Kalman filter) مع نموذج حركة ثابت السرعة على تقديرات CMA-ES لتقليل الارتجاف (jitter) وضمان الاتساق الزمني. تقوم الحالة المُرشحة بتهيئة توزيع البحث للإطار التالي.
التوسيع لليدين (Bi-Manual Extension):
يمتد إطار العمل لتتبع ذراعين من خلال دمج ناقلات الحالة لكلا الذراعين.
تُستخدم مصفوفة تغاير قطرية كتلية (block-diagonal covariance matrix) لتقييد تطور كل ذراع بشكل مستقل، مما يمنع الارتباطات الزائفة أثناء تحسينهما معاً.
3. المساهمات الرئيسية
إطار عمل متكامل ومبتكر: نظام تتبع في الوقت الفعلي يستفيد من CMA-ES، والرندرة بالدفعات، والترشيح الزمني لتوفير تقدير قوي للوضعية من كاميرا أحادية العدسة.
المعايرة المشتركة: صيغة تقوم بمعايرة وضعية الأداة والأخطاء الكينماتيكية في آن واحد، وتعمل بفعالية مع أو بدون مدخلات زوايا المفاصل. وهذا يتيح التحكم في التغذية الراجعة البصرية والمعايرة عبر الفيديو عبر الإنترنت.
القدرة على تتبع اليدين: توسيع لتتبع أداتين مفصلتين في وقت واحد ضمن إطار تحسين مشترك مع عبء حوسبي بسيط.
الأداء: أظهر تفوقاً في الدقة والسرعة مقارنة بالطرق القائمة على التدرج ومرشحات الجسيمات (particle filters)، خاصة في سيناريوهات البيانات الضوضائية أو التهيئة الأولية السيئة.
4. النتائج التجريبية
تم تقييم الطريقة على مجموعات بيانات اصطناعية وواقعية (SurgPose ومجموعة بيانات تم جمعها خصيصاً).
النتائج النوعية:
القوة (Robustness): على عكس التدرج المنحدر (GD)، الذي غالباً ما يتوقف في النهايات الصغرى المحلية ويراكم الانحراف، تستطيع CMA-ES التعافي من أخطاء التتبع (مثل الإطار 250) وتحافظ على المحاذاة حتى بدون مدخلات زوايا المفاصل.
الدقة: تنتج الطريقة تتبعاً أكثر سلاسة واستقراراً مع محاذاة أفضل لطرف الأداة مقارنة بمرشحات الجسيمات (Richter et al.) وخطوط أساس GD.
النتائج الكمية (الجدول I و II):
الدقة: تفوقت CMA-ES بشكل كبير على GD و XNES في أخطاء الدوران، والترجمة، وزوايا المفاصل. في مجموعة بيانات SurgPose، حققت خطأ قناع (1-IoU) قدره 0.1177 (مع مدخلات المفاصل) مقارنة بـ 0.2476 لخط الأساس الخاص بمرشح الجسيمات.
الكفاءة: تحقق الطريقة المقترحة حوالي 43 إطاراً في الثانية (بما في ذلك التقسيم والتحسين) على بطاقة NVIDIA RTX 4090.
كفاءة التكرار: تحقق CMA-ES نتائج أفضل مع 3 تكرارات فقط لكل إطار، بينما يتطلب GD من 10 إلى 20 تكراراً للتقارب، ومع ذلك تعمل CMA-ES بنحو 37% فقط من وقت تشغيل خط أساس GD.
الدراسة الاستئصالية (Ablation): يؤدي إزالة خسارة النقاط الرئيسية إلى تدهور الأداء، واستبدال كاشف النقاط الرئيسية المتعلم بالطرق التقليدية (OpenCV) يسبب فشلاً كبيراً، مما يبرز أهمية الإشراف البصري القوي.
5. الأهمية
يعالج هذا العمل عقبة حرجة في الروبوتات الجراحية: المقايضة بين قوة التتبع والسرعة الحسابية.
الأثر السريري: من خلال تمكين التتبع الموثوق في الوقت الفعلي وبدون علامات، يسهل النظام التطبيقات المتقدمة مثل التوجيه بالواقع المعزز والتحكم في الحلقة المغلقة القائم على الرؤية دون الحاجة إلى مستشعرات خارجية مرهقة.
التقدم الخوارزمي: يثبت أن استراتيجيات التحسين التطوري (CMA-ES)، عند اقترانها بالرندرة بالدفعات المتسارعة عبر GPU، يمكن أن تتفوق على طرق الرندرة القابلة للتفاضل القائمة على التدرج من حيث سرعة التقارب والمتانة تجاه النهايات الصغرى المحلية.
القدرة على التعميم: قدرة إطار العمل على العمل بدون مدخلات زوايا المفاصل تجعله قابلاً للتكيف للغاية لعمليات "المعايرة عبر الإنترنت" لفيديوهات الجراحة، وهو أمر ضريد لتوليد بيانات التدريب والتعلم الروبوتي في بيئات جراحية متنوعة.
القيود والعمل المستقبلي: تعتمد الطريقة حالياً على تقسيم دقيق؛ حيث يمكن أن تؤدي عمليات الانسداد أو الأقنعة الضوضائية إلى انتشار الأخطاء. يهدف العمل المستقبلي إلى دمج استراتيجيات تقسيم أكثر قوة والاستفادة من منصات الرندرة عالية الإنتاجية لتوسيع نطاق النهج بشكل أكبر.