Bootstrapping Vision-Language Model for Hysteroscopic Surgical Scene Segmentation
تقدم هذه الورقة البحثية نموذج VLM-hyster، وهو أول نموذج للرؤية واللغة لتقسيم المشاهد الجراحية في تنظير الرحم، والذي يستفيد من المطالبات النصية والتقطير المقنع للتغلب على التحديات البصرية مثل الشوائب وتشابه الآفات، محققاً أداءً هو الأفضل في فئته تم التحقق منه عبر مجموعة بيانات ضخمة متعددة المراكز تضم 4,020 صورة مشروحة.
المؤلفون الأصليون:Jun Huang, Meiyi Chen, Zijie Yue, Yuhang Xiao, Fang Li, Hanli Wang, Xiaowen Tong, Yi Guo, Miaojing Shi
تخيل أنك تحاول تعليم كمبيوتر كيف "يرى" داخل جسم الإنسان، ليس باستخدام الأشعة السينية أو أجهزة الرنين المغناطيسي، بل من خلال كاميرا صغيرة مهتزة على عصا تسمى منظار الرحم (hysteroscope). هذا هو عالم جراحة منظار الرحم، حيث ينظر الأطباء داخل الرحم لإصلاح مشكلات مثل الأورام أو إزالة أجهزة تنظيم الحمل. لكن الجزء الصعب هنا هو أن داخل الرحم مكان فوضوي وزلق؛ فهو مليء بالسوائل، والدم، والانعكاسات الغريبة من ضوء الكاميرا، مما يجعله يبدو كأنه مشهد تحت الماء ضبابي ومشوه. بالنسبة للكمبيوتر، فإن التمييز بين نمو حميد، وورم خطير، ومقص جراحي أمر صعب للغاية لأنها جميعًا قد تبدو متطابقة تقريبًا في هذه البيئة المائية الضبابية.
ولمساعدة الحواسيب على فهم هذا، يعمل العلماء على بناء "نماذج الرؤية واللغة" (Vision-Language Models - VLMs). فكر في هذه النماذج كطلاب أذكياء للغاية قرأوا ملايين الكتب ونظروا إلى ملايين الصور؛ فهم يعرفون أن "القطة" عادة ما يكون لها فراء وشارب، وأن "الكلب" ينبح. وفي العالم الطبي، يحاول الباحثون تعليم هذه النماذج كيفية قراءة "نص" المرض (مثل "هذا يبدو كأنه لحمية") أثناء النظر إلى "صورة" الجراحة. الهدف هو إنشاء مساعد ذكاء اصطناعي يمكنه الإشارة فورًا وبدقة إلى مكان الأدوات وأين توجد المشكلات، لمساعدة الجراحين على التنقل بأمان وسرعة. يتعمق هذا البحث في هذا التحدي تحديدًا، متسائلًا: هل يمكننا تعليم الكمبيوتر ليكون مرشدًا أفضل في هذا العالم المائي الفوضوي من الطرق الحالية الأفضل؟
يقول مؤلفو هذه الورقة البحثية: نعم، وقد بنوا أداة جديدة تسمى VLM-hyster لإثبات ذلك. لقد أدركوا أن نماذج الذكاء الاصطناعي السابقة كانت تشبه محاولة تخمين ما يوجد في غرفة مظلمة بمجرد التحسس؛ حيث كانت تعتمد فقط على الصورة. أما VLM-hyster، فهو يشبه إعطاء الكمبيوتر مصباحًا يدويًا وخريطة في نفس الوقت. إنه يستخدم نهج "الرؤية واللغة"، مما يعني أنه لا يكتفي بالنظر إلى الصورة فحسب، بل "يقرأ" أيضًا وصفًا نصيًا محددًا لكل شيء يحتاج للعثور عليه، مثل "حلقة الكي الكهربائي" أو "لحمية بطانة الرحم".
ولجعل هذا يعمل، ابتكر الفريق نظام تدريب خاصًا. تخيل أنك تعلم طفلًا كيف يجد كرة حمراء وسط كومة من الألعاب؛ فبدلاً من مجرد إظهار الكرة له، تقول له: "ابحث عن الكرة الحمراء"، ثم تغطي جميع الألعاب التي ليست كرات حمراء حتى يضطر الطفل للتركيز فقط على الأجز
ملخص تقني: تمهيد نموذج رؤية-لغة لتقسيم المشاهد الجراحية في منظار الرحم
بيان المشكلة يعد تقسيم المشهد الجراحي في منظار الرحم أمراً بالغ الأهمية للتدخل بمساعدة الكمبيوتر، والملاحة الجراحية، وتقييم المهارات. ومع ذلك، تواجه هذه المهمة تحديات فريدة تعيق أداء نماذج التعلم العميق الحالية. وتشمل هذه التحديات ما يلي:
التشابه المورفولوجي العالي: غالباً ما تتشارك الآفات المختلفة (مثل السلائل بطانة الرحم مقابل فرط التنسج السلائلي) في خصائص بصرية متشابهة، مثل الأنماط الوعائية غير المنتظمة والهياكل الغدية غير المتجانسة، مما يؤدي إلى محدودية القدرة على التمييز بين الفئات.
الشوائب أثناء العملية: تحتوي فيديوهات الجراحة بشكل متكرر على انعكاسات لامعة، وضبابية حركة، وعوائق ناتجة عن الدم أو السوائل، مما يقلل من جودة التقسيم.
ندرة ونطاق البيانات: اقتصرت الأبحاث السابقة على التقسيم أحادي الهدف (مثل الفقاعات أو آفات محددة فقط) أو اعتمدت على تسميات صناديق الإحاطة (bounding box) بدلاً من الأقنعة لكل بكسل. وهناك نقص في مجموعات البيانات واسعة النطاق ومتعددة الفئات ذات التسميات التفصيلية لمشاهد منظار الرحم.
المنهجية: VLM-hyster يقترح المؤلفون VLM-hyster، وهو أول إطار عمل يعتمد على نموذج الرؤية-اللغة (VLM) مصمم خصيصاً لتقسيم المشاهد الجراحية في منظار الرحم. تتكون البنية من مكونين رئيسيين:
عمود فقري للتقسيم (Segmentation Backbone):
المُشفّر (Encoder): يستخدم مُشفّر الصور من نموذج MedCLIP المدرب مسبقاً. وبدلاً من استخدام الطبقة النهائية فقط، يستخرج النموذج ميزات متعددة المقاييس من الكتل رقم 4 و8 و12 من المحول (transformer) لالتقاط كل من التفاصيل منخفضة المستوى (الحواف، الأنسجة) والمعلومات الدلالية عالية المستوى.
المُفكك (Decoder): مُفكك يعتمد على "Vision Transformer" مع وصلات تخطي (مستوحى من U-Net) يدمج هذه الميزات متعددة المقاييس لإنتاج تنبؤات كثيفة لكل بكسل لـ 15 فئة (بما في ذلك الآفات والأدوات الجراحية).
فرع التقطير المقنع (Masked Distillation Branch):
المطالبات النصية (Text Prompts): يتم إنشاء مطالبات نصية خاصة بكل فئة باستخدام القالب "the [category] in hysteroscopic image" ويتم تشفيرها عبر مُشفّر النصوص الخاص بـ MedCLIP.
تصفية الارتباط (Correlation Filtering): تقوم آلية بحساب الارتباط بين الميزة النصية العالمية والرموز البصرية (visual tokens). ويتم تحديد الرموز البصرية ذات الارتباط المنخفض بالمطالبة النصية كرموز قد تكون غير ذات صلة.
استراتيجية التغطية (Masking Strategy): خلال التدريب، يتم اختيار أدنى 50% من الرموز المرتبطة، ويتم تغطية 25% منها عشوائياً (مما ينتج عنه نسبة تغطية إجمالية قدرها 12.5%). ويتم تدريب النموذج على إعادة بناء التقسيم من الرموز المرئية المتبقية، مما يجبره على التركيز على المناطق المتوافقة دلالياً.
خسارة التقطير (Distillation Loss): تضمن خسارة الاتساق أن مخرجات الفرع المقنع تتوافق مع العمود الفقري الرئيسي للتقسيم، مما يعمل على تحسين محاذاة الميزات بين الوسائط البصرية والنصية.
المساهمات الرئيسية
إطار عمل مبتكر: تقديم VLM-hyster، الذي يقوم بتمهيد نموذج VLM لتقسيم منظار الرحم من خلال دمج المطالبات النصية الخاصة بالفئة وفرع التقطير المقنع لتحقيق محاذاة دقيقة بين المرئي والنصي.
أول مجموعة بيانات واسعة النطاق: بناء مجموعة بيانات TJ-HS، وهي أول مجموعة بيانات لتقسيم المشاهد الجراحية في منظار الرحم. تحتوي على 4,020 صورة عالية الدقة من 48 مريضاً من ثلاث مستشفيات، مع تسميات للأقنعة على مستوى البكسل لـ 15 فئة ممثلة (مثل سلائل بطانة الرحم، وحلقات الكي الكهربائي، والمقصات). تم التحقق من التسميات من قبل أطباء نساء ذوي خبرة.
أداء رائد (State-of-the-Art): يحقق النموذج أداءً فائقاً مقارنة بالشبكات العصبية الالتفافية التقليدية (UNet++، DeepLabV3)، والنماذج القائمة على المحولات (Swin-UNet)، ومتغيرات VLM/SAM الموجودة (Med-SAM، Med-VLM).
النتائج التجريبية
الأداء الكمي: في مجموعة الاختبار المستبعدة، حقق VLM-hyster معدل تقاطع فوق الاتحاد الإجمالي (OIoU) بنسبة 80.35%، ومعامل تشابه Dice المتوسط (DSC) بنسبة 82.51%، ومتوسط IoU (MIoU) بنسبة 76.04%. وهذا يتفوق بشكل كبير على أفضل طريقة تعتمد على VLM (Med-VLM، OIoU 76.83%) ومتغيرات SAM.
المتانة والقدرة على التعميم:
التحقق متعدد المراكز: حافظ النموذج على أداء عالٍ في مجموعات الاختبار الخارجية من مستشفيين آخرين (مجموعة الاختبار الخارجية A: OIoU 76.03%؛ مجموعة الاختبار الخارجية B: OIoU 75.14%).
التحقق الاستباقي: في دراسة استباقية على بيانات سريرية جديدة، حقق النموذج OIoU بنسبة 79.03%، مما يؤكد قابليته للتطبيق في العالم الحقيقي.
تقييم الخبراء: قيم أربعة من أطباء النساء ذوي الخبرة جودة تقسيم VLM-hyster بدرجة أعلى بكثير (متوسط درجة 8.82/10) من النماذج المرجعية الأخرى.
دراسات الاستئصال (Ablation Studies): أدى إزالة فرع التقطير المقنع إلى انخفاض في الأداء بنسبة ~7.4% في OIoU. كما تم التحقق من أن استخدام مشفرات MedCLIP واستخراج الميزات متعددة المقاييس أمر حاسم للأداء.
الأهمية والادعاءات يزعم البحث أن VLM-hyster يمثل تقدماً كبيراً في الجراحة المساعدة بالذكاء الاصطناعي في منظار الرحم من خلال:
تمكين التحديد الدقيق: توفير تحديد دقيق على مستوى البكسل لكل من الأدوات الجراحية والآفات المرضية المتنوعة، وهو أمر ضريد لاتخاذ القرارات الملاحية والجراحية.
التعامل مع الغموض: إظهار قدرة محسنة على التمييز بين الفئات المتشابهة بصرياً (مثل أنواع مختلفة من فرط التنسج) من خلال دمج المعرفة النصية، وهي مهمة تعاني منها النماذج البصرية البحتة غالباً.
الفائدة السريرية: تقديم أساس للمساعدين التفاعليين بالذكاء الاصطناعي الذين يمكنهم مساعدة أطباء النساء المبتدئين في تحديد مواقع الآفات، وفهم المعالم التشريحية، وتجنب المضاعفات مثل الثقب أو الاستئصال المفرط.
إنشاء الموارد: إنشاء معيار شامل ومتعدد المراكز يعالج النقص السابق في البيانات واسعة النطاق والموسومة لهذا المجال الجراحي المحدد.
يقر المؤلفون بالقيود، بما في ذلك تدريب النموذج على منطقة جغرافية واحدة (المرضى من شرق آسيا) واعتماده الحالي فقط على صور منظار الرحم دون وسائط تكميلية (CT/MRI). كما يشيرون إلى تحديات الأداء في ظروف الإضاءة القصوى (الإضاءة المنخفضة أو التعرض المفرط للضوء).