Real-time Monocular 2D and 3D Perception of Endoluminal Scenes for Controlling Flexible Robotic Endoscopic Instruments
تقدم هذه الورقة منصة إدراك بصري أحادية العين تعمل في الوقت الفعلي، وتتميز بخوارزميات ثنائية وثلاثية الأبعاد قائمة على التعلم ومحاكي قائم على الفيزياء، مما يعزز بشكل كبير التحكم والكفاءة للأدوات الجراحية الروبوتية المستمرة للجراحة داخل التجويف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول إجراء جراحة دقيقة داخل نفق ملتوٍ ومظلم (مثل القولون أو المثانة البشرية) باستخدام معكرونة طويلة ومرنة بدلاً من مشرط صلب. هذا هو التحدي الذي تفرضه الجراحة داخل التجويف (endoluminal surgery). ينظر الجراح من خلال كاميرا صغيرة (منظار)، ويحاول توجيه هذه "المعكرونات" الروبوتية المرنة لقطع الأورام دون وخز أو تمزيق الجدران السليمة المحيطة بها.
ما هي المشكلة؟ من الصعب للغاية رؤية ما يحدث بشكل ثلاثي الأبعاد. فالكاميرا مجرد عين ثنائية الأبعاد، والروبوت متعرج وغير قابل للتنبؤ. الأمر يشبه محاولة ركن سيارة في مرآب ضيق وأنت معصوب العينين، وتعتمد فقط على مرآة خلفية تعرض صورة مسطحة ومربكة.
تقدم هذه الورقة البحثية "نظام الرؤية الفائقة" (Super-Vision System) لهذه الروبوتات الجراحية. يستخدم هذا النظام الذكاء الاصطناعي (AI) لتحويل ذلك الفيديو المسطح والمربك إلى خريطة ثلاثية الأبعاد واضحة في الوقت الفعلي. وإليك كيف يعمل ذلك، مقسماً إلى مفاهيم بسيطة:
1. "النظارات الذكية" للروبوت (الإدراك ثنائي وثلاثي الأبعاد)
يعمل النظام مثل نظارات ذكية للجراح. فهو ينظر إلى بث الفيديو القياسي من المنظار ويقوم بثلاث عمليات سحرية في آن واحد:
- تحديد مكان المعكرونة (التقسيم ثنائي الأبعاد - 2D Segmentation): أولاً، يحدد النظام فوراً مكان الذراعين الروبوتيين المرنين في الفيديو. الأمر يشبه قلم التحديد الذي يرسم تلقائياً خطاً مضيئاً حول أذرع الروبوت، حتى لو كانت تلتوي أو تنعطف أو تختفي جزئياً.
- التنبؤ بالتمايل (تقدير الحالة ثلاثية الأبعاد - 3D State Estimation): بما أن الروبوت مرن، فإن معرفة مكان الطرف ليست كافية؛ بل يجب معرفة شكل الهيكل بأكما له. يتنبأ الذكاء الاصطناعي بالشكل ثلاثي الأبعاد للروبوت في الوقت الفعلي. إنه يشبه امتلاك "حاسة سادسة" تعرف بالضبط كيف تنحني المعكرونة، حتى لو جعلها زاوية الكاميرا تبدو مسطحة. والأهم من ذلك، أنه يخبر الجراح: "أنا متأكد تماماً من هذا الشكل" أو "أنا مرتبك قليلاً هنا"، مما يعطي درجة ثقة لكل تخمين.
- قياس المسافة (العمق ثلاثي الأبعاد - 3D Depth): أخيراً، يحسب النظام مدى بعد الروبوت عن جدران الأنسجة. فهو يحول الفيديو المسطح إلى خريطة عمق (مثل الخريطة الطبوغرافية)، مما يوضح بدقة مدى قرب الروبوت من الأعضاء الحساسة، وهذا يمنع الاصطدامات العرضية.
2. "صالة الألعاب الرياضية للواقع الافتراضي" (المحاكي)
لتعليم الذكاء الاصطناعي كيفية القيام بذلك، احتاج الباحثون إلى كمية هائلة من بيانات التدريب. ولكن لا يمكنك تصوير آلاف العمليات الجراحية على بشر حقيقيين لتدريب روبوت.
لذلك، قاموا ببناء محاكي فيديو فائق الواقعية.
- تخيل محرك فيديو (مثل تلك المستخدمة في الأفلام) حيث أنشأوا نماذج رقمية للأعضاء البشرية والأدوات الروبوتية.
- قاموا ببرمجة الأدوات الرقمية لتتحرك تماماً مثل الأدوات الحقيقية.
- استخدموا هذه "الصالة الرياضية" لتوليد آلاف الساعات من فيديوهات الجراحة الوهمية. تدرب الذكاء الاصطناعي على هذه الفيديوهات الوهمية أولاً، ليتعلم التعرف على الأنماط، قبل اختباره على بيانات حقيقية. الأمر يشبه تدريب الطيار في جهاز محاكاة الطيران قبل قيادة طائرة حقيقية.
3. النتائج: من "الارتباك" إلى "البراعة"
اختبر الباحثون هذا النظام على نموذج روبوتي أولي باستخدام أعضاء خنازير (وهي بديل شائع للأنسجة البشرية). كانت النتائج مذهلة:
- السرعة: عندما كان على الجراحين توجيه الروبوت على طول مسار محدد، ساعدهم النظام على الانتهاء أسرع بنسبة 70%. إنه الفرق بين التخبط في الظلام وبين وجود نظام تحديد مواقع (GPS) يخبرك بالضبط أين تنعطف.
- الأمان: منح النظام الجراحين فهماً أفضل بكثير للمساحة ثلاثية الأبعاد. فقد استطاعوا رؤية مدى قرب الروبوت من الأنسجة بدقة، مما قلل من خطر الضرر العرضي.
- الثقة: حتى المستخدمين غير المتمرسين قدموا أداءً يقارب أداء الخبراء بمجرد أن بدأ النظام في مساعدتهم.
الصورة الكبيرة
فكر في هذه التكنولوجيا كأنها تمنح الجراح رؤية أشعة إكس وخريطة ثلاثية الأبعاد في آن واحد.
حالياً، يشبه الجراحون الأشخاص الذين يحاولون تجميع أحجية معقدة في غرفة مظلمة باستخدام مصباح يدوي واحد فقط. هذا النظام الجديد يضيء الأنوار، ويظهر لهم الصورة الموجودة على الصندوق، ويحدد لهم القطع التي يحتاجون للإمساك بها. إنه يجعل الجراحة طفيفة التوغل أكثر أماناً، وأسرع، ومتاحة لمزيد من الأطباء، مما قد ينقذ الأرواح بجعل هذه الإجراءات الدقيقة أكثر موثوقية.
باختاً: لقد بنوا عقلاً يعمل بالذكاء الاصطناعي يراقب كاميرا الجراحة، ويحدد بدقة مكان الروبوت في الفضاء ثلاثي الأبعاد، ويقيس المسافة إلى الأعضاء، ويساعد الجراح على التحكم في الروبوت بدقة محرك الدمى الماهر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.