SWoMo: Neuro-Symbolic World Model for Cataract Surgery Simulation

ملخص تقني: SWoMo – نموذج عالم عصبي-رمزي لمحاكاة جراحة المياه البيضاء (الكاتاركت)

بيان المشكلة
تعد محاكاة الجراحة الواقعية أمراً ضرورياً لتدريب الجراحين المبتدئين وتطوير وكلاء جراحيين ذاتيي التشغيل. وبينما توفر "نماذج العالم" (World Models) مساراً للمحاكاة التفاعلية القابلة للتوسع عبر التنبؤ بحالات المريض المستقبلية بناءً على الملاحظات والأفعال، فإن النهج الحالية المتطورة تواجه صعوبة في تلبية ثلاثة معايير حاسمة للتطبيق السريري:

1. الواقعية البصرية: تفتقر أجهزة المحاكاة غالباً إلى الدقة المطلوبة لتقليل الفجوة بين المحاكاة والواقع (sim-to-real)، لا سيما في نمذجة التفاعلات المعقدة بين الأدوات والأنسجة والقوام (textures).
2. التفاعلات المرتكزة فيزيائياً: تفشل العديد من الطرق في ضمان التزام التفاعلات بالقوانين الفيزيائية، مما يحد من إمكانية نقل السلوكيات المتعلمة إلى البيئات الحقيقية عالية المخاطر.
3. التعميم: غالباً ما تتدهور النماذج الحالية بشكل كبير عند مواجهة سيناريوهات خارج نطاق التوزيع (OOD)، مثل هندسات الأدوات غير المرئية، أو زوايا الإدخال، أو سير العمل الجراحي الجديد، حيث يكون سلوكها مرتبطاً ارتباطاً وثيقاً بتوزيع التدريب.

تتفوق الطرق الحالية عادةً في مجال واحد فقط من هذه المجالات. فنماذج الفيديو التوليدية البحتة تفتقر إلى التكييف خطوة بخطوة للأفعال والترسيخ الفيزيائي، بينما تفتقر أجهزة المحاكاة التقليدية القائمة على الفيزياء غالباً إلى الواقعية البصرية وتواجه صعوبة في التعامل مع التشوهات المعقدة.

المنهجية
قدم المؤلفون SWoMo، وهو نموذج عالم عصبي-رمزي لجراحة المياه البيضاء يقوم بفصل توليد الحركة عن الواقعية البصرية. تتكون البنية من مكونين رئيسيين:

1. المكون الرمزي (الحركة والديناميكيات):

   • استراتيجية الاقتران العكسي: يقوم النظام باستخراج التكوينات التشريحية ($k_{anat}$) وحركية الأدوات ($k_{tool}$) من فيديوهات جراحية حقيقية. يتم اشتقاق المعلمات التشريحية (الأشكال البيضاوية للحدقة/القزحية، دوران وتدويل الكرة العينية) باستخدام nnU-Net وCoTracker، بينما يتم استرداد معلمات الأدوات (موضع الطرف، التوجه، التمفصل) باستخدام SASVi وSAM2.
   • محاكي قائم على القواعد: تقوم هذه المعلمات المستخرجة بتوجيه محاكي قائم على القواعد مبني على محرك الألعاب Godot. يقوم هذا المحاكي بإنشاء توأم رقمي للعين والأدوات الجراحية، مما ينتج تسلسلاً من الإطارات المحاكية ($\bar{x}$) والتقطيعات المقابلة لها ($\bar{m}$). يضمن ذلك تفاعلات مرتكزة فيزيائياً وتحكماً دقيقاً في ديناميكيات الأداة والأنسجة.
   • الرسوم البيانية للمشهد الرمزية (Symbolic Scene Graphs): من خلال الإطارات والتقطيعات المحاكية، يبني النظام رسوماً بيانية للمشهد ($G$). تشفر هذه الرسوم البيضاء هندسة الكائنات والعلاقات الهيكلية (مثل المراكز، الانتشار المكاني، التدفق البصري). يستخدم المؤلفون نوعين من مشفرات الرسوم البيانية (عالمي ومحلي) لالتقاط العلاقات الهيكلية وإشارات المظهر، والتي تعمل كإشارات تكييف لتخفيف عيوب عدم المحاذاة بين الفيديوهات المحاكية والحقيقية.

2. المكون العصبي (الواقعية البصرية):

   • نموذج انتشار الفيديو (Video Diffusion Model): يقوم نموذج انتشار لإزالة الضجيج ($\epsilon_\theta$) بتحويل التسلسل المحاكي ($\bar{x}$) والرسوم البيانية للمشهد ($G$) إلى فيديوهات جراحية واقعية ($x$).
   • التدريب على مرحلتين:
     • المرحلة الأولى: يتعلم النموذج توليد الصور والرسوم البيانية إلى فيديو، مشروطاً بالإطار الأول والرسوم البيانية للمشهد.
     • المرحلة الثانية: يتم استخدام نهج يعتمد على ControlNet لدمج تسلسل الفيديو المحاكي الكامل ($\bar{x}_{1:n}$) كإشارة تكييف. يسمح هذا للنموذج بتعديل الميزات الوسيطة دون تعطيل الأسبقية التوليدية المدربة مسبقاً، مما يضمن دقة بصرية عالية مع الالتزام بالحركة المحاكية.

المساهمات الرئيسية

• البنية المفككة: يقوم SWoMo صراحةً بفصل نمذجة حركة الجراحة/ديناميكيات التفاعل (التي يتم التعامل معها بواسطة المحاكي الرمزي) عن المظهر البصري (الذي يتم التعامل معه بواسطة نموذج الانتشار). يسمح هذا بالحفاظ الدقيق على حركة الأدوات والتشريح مع تعلم الأنسجة والتشوهات المعقدة من البيانات.
• الاقتران العكسي للتدريب: يقترح المؤلفون استراتيجية مبتكرة لإعادة بناء الفيديوهات الجراحية الحقيقية في المحاكي لتوليد مجموعات بيانات ضخمة ومزدوجة من الفيديوهات المحاكية والحقيقية. وهذا يتيح تدريب نموذج انتشار (فيديو-إلى-فيديو) للترجمة من المحاكاة إلى الواقع دون الحاجة إلى تسمية يدوية لكل إطار.
• تكييف الرسم البياني للمشهد: ثبت أن دمج الرسوم البيانية للمشهد كمدخلات تكييف أمر بالغ الأهمية للحفاظ على هوية الكائن وتقليل عيوب التنعيم بالقرب من حدود الأداة والأنسجة الناتجة عن عدم المحاذاة المتبقية.
• نقل الأسلوب غير الخاضع للإشراف: من خلال استخدام تمثيل وسيط مشترك (التسلسل المحاكي) الذي يشفر الهندسة والحركة بشكل مستقل عن المظهر، يتيح SWoMo نقل الأسلوب غير الخاضع للإشراف بين مجموعات بيانات مختلفة (مثل CATARACTS وCataract-1k) دون الحاجة لبيانات تدريب مزدوجة.

النتائج
أُجريت التجارب على مجموعتي بيانات CATARACTS وCataract-1k، مع التركيز على المراحل الجراحية الحرجة للسلامة.

• الأداء الكمي: تفوق SWoMo على عدة نماذج مرجعية (بما في ذلك StyleGAN-V، Endora، MedSora، LVDM، MOFA، وSG2VID) من حيث الدقة البصرية (FID، FVD، LPIPS) والالتزام بالتكييف (Bounding Box IoU، F1 score). وتحديداً، حقق FVD قدره 265.4 ودرجة F1 بلغت 0.412 على مجموعة بيانات CATARACTS، متفوقاً على أفضل طريقة تالية (SG2VID) في الالتزام بالتكييف.
• دراسات الاستئصال (Ablation Studies): أدى إزالة تكييف الرسم البياني للمشهد (SWoMo-✗SG) أو تكييف الصورة (SWoMo-✗IMG) إلى انخفاض ملموس في الأداء، مما يؤكد ضرورة كلا المكونين للتركيب عالي الدقة والالتزام.
• التعميم: أظهر النموذج القدرة على توليد نتائج معقولة لهندسات التفاعل غير المرئية، بما في ذلك اتجاهات دخول الأدوات الجديدة وتوليفات الأدوات التي لم تكن موجودة في بيانات التدريب.
• الفائدة اللاحقة: عند استخدامه كأداة توليد لتعزيز البيانات لتمييز المرحلة الجراحية (باستخدام MS-TCN++)، أدى SWoMo إلى تحسين الدقة ودرجات F1 مقارنة بالتدريب على البيانات الحقيقية وحدها ومقارنة بالتعزيز باستخدام طرق توليدية أخرى.

الأهمية
يزعم البحث أن SWoMo يعالج المقايضة بين الترسيخ الفيزيائي والواقعية البصرية التي أعاقت التطبيق السريري لنماذج عالم الجراحة. ومن خلال الجمع بين محاكي قائم على القواعد للديناميكيات ونموذج انتشار للمظهر، يلبي SWoMo المعايير الثلاثة الأساسية: يحقق واقعية بصرية عالية، ويضمن تفاعلات مرتكزة فيزيائياً، ويتعمم على سيناريوهات خارج نطاق التوزيع. ويؤكد المؤلفون أن هذا النهج يقلل من جهد التنفيذ المطلوب للمحاكيات (من خلال إلغاء الحاجة إلى نمذجة الأنسجة المعقدة يدوياً) مع الحفاظ على التحكم الدقيق في الأفعال الجراحية، مما يتيح بيئات تدريب أكثر فعالية وتطوير وكلاء جراحيين ذاتيي التشغيل.