Toward Mask Annotation-Free Surgical Instrument Segmentation from Endoscopic Images Using Text-Prompted Segment Anything Model 3 (SAM3)

تخيل أنك تحاول تعليم روبوت إجراء عملية جراحية. للقيام بذلك بأمان، يحتاج الروبوت إلى معرفة مكان الأدوات الجراحية بدقة في بث الفيديو، والتمييز بين مقص وبين قطعة من الأنسجة أو ظلاً. يسمى هذا "تجزئة الأدوات الجراحية". لفترة طويلة، كانت الطريقة الوحيدة لتعليم الروبوت هذه المهارة هي استئجار خبراء بشريين لرسم حدود بكسل تلو الآخر حول كل أداة في آلاف الساعات من الفيديو. هذا يشبه محاولة تعليم طفل التعرف على كلب من خلال عرض مليون صورة حيث قام شخص ما بتلوين الفراء بدقة لكل كلب بمفرده. هذا الأسلوب فعال، لكنه بطيء، ومكلف، ويصعب توسيع نطاقه.

مؤخراً، وصل نوع جديد من الذكاء الاصطنال يسمى "نموذج أي شيء يتم تجزئته" (أو SAM) إلى الساحة. فكر في SAM كقلم تحديد فائق القدرة يمكنه تلوين أي جسم في صورة فوراً إذا أشرت إليه أو أعطيته أمراً نصياً بسيطاً مثل "أداة". لقد تم تدريبه على ملايين الصور اليومية، لذا فهو بارع في العثور على الأشياء في العالم الحقيقي. ومع ذلك، عندما حاول الباحثون استخدام قلم التحديد هذا في العالم الغريب واللامع والمربك لفيديوهات الجراحة داخل الجسم، ارتبك. لم يفهم الروبوت أن "المقبض" أو "المقص" يعني نفس الشيء في فيديو جراحي كما هو الحال في صورة لمطبخ. كانت الفجوة بين تدريب الروبوت والواقع الجراحي واسعة جداً، ولم يكن مجرد الصراخ باسم الأداة كافياً.

تعالج هذه الورقة البحثية التي كتبها ناكول بوديل وزملاؤه هذه المشكلة تحديداً. أرادوا معرفة ما إذا كان بإمكانهم جعل الروبوت يجد الأدوات الجراحية ويحدد هويتها دون الحاجة إلى أي خطوط مرسومة يدوياً (أقنعة) أو إشارة يدوية. لم يكتفوا بمحاولة إجبار الروبوت على فهم أسماء أدوات محددة؛ بل بنوا بدلاً من ذلك "فريق تحقيق" مكون من خطوتين. أولاً، استخدموا قلم التحديد (نسخة جديدة تسمى SAM3) مع أمر عام وبسيط: "أداة". نجح هذا في العثور على شكل الأدوات، حتى لو لم يكن يعرف أسماءها بعد. ثم مرروا هذه الأشكال إلى ذكاء اصطناعي ثانٍ، وهو "عقل" يسمى Qwen، والذي تم تعليمه النظر إلى الأشكال المحددة وتخمين نوع الأداة.

كانت النتائج مزيجاً من "ليس مثالياً تماماً بعد" و"واعدة للغاية". وجد الفريق أنه بينما لم يتفوق أسلوبهم الجديد المكون من خطوتين على أفضل الروبوتات التي تم تدريبها باستخدام آلاف الخطوط المرسومة يدوياً، إلا أنه كان تحسناً هائلاً مقارط بمجرد محاولة استخدام قلم التحديد مباشرة باستخدام أسماء الأدوات. في الواقع، غالباً ما فشلت الطريقة المباشرة تماماً، حيث كانت تفقد الأدوات بالكامل أو تخطئ في أسمائها. نجح الأسلوب الجديد في تحديد الأدوات في حالات عديدة، مما أثبت أنه يمكنك جعل الروبوت "يرى" الأدوات الجراحية دون العبء الثقيل للرسم اليدوي. ومع ذلك، يلاحظ المؤلفون بحذر أن النظام لا يزال يرتكب أخطاء، خاصة عندما تكون الأدوات مخفية أو عندما يرسم قلم التحديد أشكالاً غير دقيقة. ويقترحون أنه على الرغم من أن هذا ليس حلاً سحرياً يحل كل شيء اليوم، إلا أنه يفتح باباً لمستقبل يمكن فيه للروبوتات الجراحية أن تتعلم بشكل أسرع وأرخص بكثير، دون الحاجة إلى جيوش من البشر لرسم كل صورة.