Sample-Efficient Learning with Online Expert Correction for Autonomous Catheter Steering in Endovascular Bifurcation Navigation

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التعلم بكفاءة العينات باستخدام التصحيح الخبير عبر الإنترنت لتوجيه القسطرة ذاتياً في الملاحة الوعائية عند التفرعات".

1. بيان المشكلة

تتناول الورقة البحثية تحديات التوجيه الذاتي للقسطرة أثناء التدخلات داخل الأوعية الدموية، وتحديداً عند التفرعات الوعائية (حيث تنقسم الأوعية الدموية). وبينما تقلل الأنظمة المساعدة بالروبوت من التعرض للإشعاع وإجهاد المشغل، فإن تحقيق الاستقلالية الكاملة يظل أمراً صعباً بسبب:

• المكافآت الشحيحة (Sparse Rewards): تعاني طرق التعلم التعزيزي (RL) التقليدية من المكافآت النهائية الشحيحة (معرفة ما إذا تم الوصول إلى الهدف فقط في النهاية)، مما يؤدي إلى استكشاف غير فعال.
• النماذج الساكنة: تعتمد العديد من الطرق على نماذج ساكنة مسبقة ما قبل الجراحة تفشل في التكيف مع المتغيرات أثناء الجراحة، والغموض في التصوير، والتشريح الخاص بكل مريض.
• الديناميكيات المعقدة: يتضمن التفاعل بين القساطر المرنة والأوعية الدموية القابلة للتشوه الاحتكاك، والارتداد (backlash)، وتقاصر التصوير ثنائي الأبعاد (foreshortening)، مما يجعل التحكم الدقيق في الوقت الفعلي أمراً صعباً.
• مخاطر السلامة: الاستكشاف الصرف في الأنظمة الفيزيائية يعد أمراً خطيراً؛ لذا يتطلب النظام آليات لضمان الملاحة الآمنة أثناء التعلم.

2. المنهجية: إطار عمل SAC-EIL-GAIL

تقترح المؤلفة إطار عمل هجيناً يدمج بين التعلم بأسلوب الناقد والفاعل الناعم (Soft Actor-Critic - SAC)، والتعلم بالتقليد التنافسي التوليدي (Generative Adversarial Imitation Learning - GAIL)، والتصحيح الخبير عبر الإنترنت (Online Expert Correction - EIL). يعمل النظام على منصة روبوتية مع نموذج وعائي شفاف.

أ. بنية النظام

• الأجهزة (Hardware): إعداد روبوتي بذرعين حيث يتحكم أحد الذراعين في إدخال وتدوير القسطرة بينما يوفر الآخر الاستقرار.
• الإدراك (Perception): وحدة رؤية تعتمد على YOLO تكتشف طرف القسطرة، بينما يقوم نموذج U-Net بتجزئة (segmentation) القسطرة والأوعية من صور الأشعة السينية (fluoroscopic) أثناء الجراحة.
• تمثيل الحالة (State Representation): تتضمن الحالة الخط المركزي (centerline) المجرد، وموضع الطرف، والاتجاه المستمد من تجزئة الصور.

ب. المكونات الأساسية

1. نمذجة الحركة ذات الانحناء الثابت (Constant-Curvature Kinematic Modeling):

   • يتم نمذجة القسطرة باستخدام تقريب الانحناء الثابت.
   • تسمح خوارزمية استخراج الهيكل تحت-البكسلية (sub-pixel skeleton extraction) (الترقيق + تنعيم Savitzky-Golay) بملاءمة مسار القسطرة لنموذج هندسي، مما يتيح تقدير الوضع بدقة.

2. جدولة المكافآت الهجينة (SAC + GAIL):

   • SAC (الاستكشاف): يستخدم تعظيم الإنتروبيا لتعزيز الاستكشاف.
   • GAIL (التقليد): يستخدم مميزًا (discriminator) للتمييز بين مسارات الخبير ومسارات الوكيل، مما يولد مكافأة تقليد.
   • التوزين الديناميكي: آلية قائمة على دالة (sigmoid) تنقل أوزان المكافآت بسلاسة من سيطرة SAC (في بداية التدريب) إلى سيطرة GAIL (في مراحل التدريب المتأخرة). يسمح هذا للوكيل بالاستكشاف في البداية ثم صقل سياسته باستخدام الأولويات الخبيرة.
   • إجمالي المكافأة: $R_t = w_{SAC}(t) \cdot r_{SAC} + w_{GAIL}(t) \cdot r_{GAIL} + \epsilon_t$ (حيث تضيف $\epsilon_t$ العشوائية).

3. التصحيح الخبير عبر الإنترنت (EIL) والتحكم الضبابي (Fuzzy Control):

   • المُحفز (Trigger): عند اكتشاف تفرع وعائي، يوقف النظام التعلم التعزيزي الذاتي ويقوم بتفعيل وحدة "الخبير في الحلقة" (Expert-in-the-Loop).
   • التصحيح: يحدد الخبير (أو مسار خبير محدد مسبقاً) وضعاً مستهدفاً ($D_{target}, P_{target}$).
   • المتحكم المنطقي الضبابي (Fuzzy Logic Controller): يحسب أخطاء الإزاحة ($e_{trans}$) والدوران ($e_{rot}$) بين الوضع الحالي والوضع المستهدف. يقوم المتحكم الضبابي برسم هذه الأخطاء إلى أوامر تشغيل الروبوت (الإزاحة/الدوران) لتصحيح مسار القسطرة في الوقت الفعلي، مما يعوض عن أخطاء النمذجة وضوضاء الصورة.

3. المساهمات الرئيسية

1. إطار عمل موحد SAC-EIL-GAIL: دمج مبتكر للتعلم التعزيزي ذي الإنتروبيا القصوى، والتقليد التنافسي، والإشراف الخبير عبر الإنترنت. هذا التصميم يحسن كفاءة العينات واستقرار التدريب بشكل كبير مع تقليل الاعتماد على وظائف المكافأة المصممة يدوياً.
2. نمذجة حركية تحت-بكسلية: ربط نموذج الانحناء الثابت باستخراج الخط المركزي القائم على الهيكل يسمح بملاءمة المسار والتحكم في مدخلات الحركة بدقة تحت-بكسلية.
3. ملاحة التفرعات القوية: إن إدخال متحكم منطقي ضبابي مدفوع بتصحيحات الخبير عبر الإنترنت يتيح للنظام التعامل مع سيناريوهات التفرع المعقدة، وتعويض أخطاء النمذجة المستمدة من الصور في الوقت الفعلي.

4. النتائج التجريبية

أجريت التجارب على نموذج سيليكون ثلاثي الأبعاد لشريان كلوي باستخدام منصة روبوتية مخصصة. تمت مقارنة الطريقة المقترحة مع TD3، وSAC القياسي، وSAC-GAIL، وSAC-EIL.

• كفاءة التقارب:
  • حقق نظام SAC-EIL-GAIL التقارب في 123 حلقة (episode)، وهو انخفاض بنسبة 25.9% مقارنة بالأساس SAC (166 حلقة) وTD3 (175 حلقة).
  • انخفض وقت التقارب إلى 59.41 ثانية.
• معدل النجاح:
  • حقق معدل نجاح قدره 59.00%، متفوقاً على SAC (44.67%)، وTD3 (41.67%)، والمتغيرات المبتورة (SAC-GAIL: 53.67%، SAC-EIL: 51.33%).
• الدقة (تقليل الخطأ):
  • حقق أدنى متوسط خطأ موضعي قدره 82.58 بكسل.
  • يمثل هذا خطأً نسبياً بنسبة 83.8% مقارنة بأساس SAC (98.55 بكسل) وانخفاضاً كبيراً مقارنة بـ TD3 (208.76 بكسل).
• الأهمية الإحصائية: أكد تحليل المخطط الصندوقي (Boxplot) أن SAC-EIL-GAIL لديه تباين أقل وتوزيع خطأ أكثر إحكاماً، مع تحسينات ذات دلالة إحصائية ($p < 0.05$) على الطرق الأخرى.

5. الأهمية والعمل المستقبلي

• الأثر السريري: يثبت إطار العمل أن الجمع بين التعلم التعزيزي عالي كفاءة العينات والتصحيح الخبير عبر الإنترنت يمكن أن يحقق توجيهاً دقيقاً وموثوقاً للقسطرة في التفرعات الصعبة تشريحياً، وهي خطوة حاسمة نحو جراحة كاملة الاستقلالية داخل الأوعية الدموية.
• السلامة والقابلية للتكيف: يضمن النهج الهجين السلامة أثناء الاستكشاف من خلال الاستفادة من الأولويات الخبيرة والتصحيح الضبابي، مما يعالج فجوة "المحاكاة إلى الواقع" (sim-to-real) في البيئات الوعائية الديناميكية.
• الاتجاهات المستقبلية: يخطط المؤلفون لتوسيع النظام ليشمل التعاون بين الأدوات المتعددة (الأسلاك الموجهة والقساطر)، وتطوير آليات التغذية الراجعة الخبيرة التكيفية عبر الإنترنت، وتعزيز التعميم من خلال نقل التعلم من المحاكاة إلى الواقع للتشريحات الخاصة بكل مريض.

باختصار، تقدم هذه الورقة حلاً قوياً لمشكلات عدم كفاءة العينات والسلامة في ملاحة القسطرة ذاتياً من خلال إنشاء حلقة تآزرية بين التعلم التعزيزي، والتقليد التنافسي، والتحكم الضبابي الموجه بالخبير في الوقت الفعلي.