💻 computer science

GroundedSurg: A Multi-Procedure Benchmark for Language-Conditioned Surgical Tool Segmentation

تقدم هذه الورقة GroundedSurg، وهو أول معيار متعدد الإجراءات مصمم لتقييم تقسيم أدوات الجراحة على مستوى الحالة والمشروط باللغة، وذلك عبر إقران الصور الجراحية بالأوصاف اللغوية الطبيعية والتعليقات التوضيحية المكانية الدقيقة لمعالجة أوجه القصور في نماذج التقييم الحالية القائمة على الفئات في الذكاء الاصطناًعي السريري.

المؤلفون الأصليون: Tajamul Ashraf, Abrar Ul Riyaz, Wasif Tak, Tavaheed Tariq, Sonia Yadav, Moloud Abdar, Janibul Bashir

نُشر 2026-03-03

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tajamul Ashraf, Abrar Ul Riyaz, Wasif Tak, Tavaheed Tariq, Sonia Yadav, Moloud Abdar, Janibul Bashir

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدخل مطبخاً مزدحماً وعالي الخطورة، حيث يعمل فريق من الطهاف على إعداد وجبة معقدة. المطبخ يعج بالحركة، والبخار يتصاعد، وهناك العشرات من السكاكين والملاعق والملاقط المتطابقة تماماً والمبعثرة عبر الطاولة.

الآن، تخيل أنك رئيس الطهاة، وتحتاج إلى إعطاء تعليمات سريعة لمساعد جديد (روبوت ذكاء اصطناعي) لمساعدتك.

الطريقة القديمة (الذكاء الاصطناعي الحالي):
تقول: "التقط سكيناً".
ينظر الروبوت حوله، فيرى عشر سكاكين، فيلتقط واحدة منها عشوائياً. هو لا يعرف أي سكين كنت تقصد. رب Maybe كنت تريد تلك التي تقطع شريحة اللحم، وليس تلك التي تجلس هناك لتنظيف طبق. في عالم الجراحة الحقيقي، يمكن أن تكون هذه الغلطة كارثية. قد يلتقط الروبوت الأداة الخاطئة، مما يسبب تصادماً أو تأخيراً.

الطريقة الجديدة (GroundedSurg):
تقدم هذه الورقة البحثية "اختباراً" جديداً يسمى GroundedSurg لتعليم الروبوتات كيفية فهم الأداة التي تقصدها بالضبط، حتى عندما يكون هناك العديد من الأدوات المتشابهة.

إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. المشكلة: "أي واحد؟"

في الجراحة، قد يقول الجراح: "ناولني جهاز الـ Harmonic Ace الذي يقوم حالياً بقطع الأنسجة".

التحدي: قد يكون هناك ثلاثة أجهزة "Harmonic Ace" في مجال الرؤية. واحد يقطع، وواحد خامل، وواحد يمسكه ممرض.
الذكاء الاصطناعي القديم: يعرف فقط اسم الأداة. يرى "Harmonic Ace" فيلتقط أول واحد يجده.
الهدف: يحتاج الذكاء الاصطناعي إلى فهم القصة (إنه يقطع) والموقع (ذلك الجهاز المحدد في منتصف الحدث).

2. الحل: "صالة تدريب" جديدة

قام المؤلفون ببناء صالة تدريب ضخمة (مجموعة بيانات) لهذه الروبوتات التي تعمل بالذكاء الاصطناعي.

الصور: التقطوا أكثر من 600 صورة من عمليات جراحية حقيقية (جراحة العين، جراحة المعدة، الجراحة الروبوتية، إلخ).
التعليمات: بدلاً من مجرد وضع تسمية مثل "هذه سكين"، كتبوا جملًا طبيعية مثل: "ابحث عن المقصات التي تمسك بجدار المعدة مفتوحاً".
نموذج الإجابة: لكل جملة، رسموا صندوقاً دقيقاً حول الأداة المحددة وحددوا نقطة مركزها. الأمر يشبه إعطاء الروبوت خريطة كنز عليها علامة "X" على العنصر المحدد، وليس فقط المنطقة العامة.

3. الاختبار: هل يستطيع الروبوت الاستماع؟

اختبروا أذكى روبوتات الذكاء الاصطناعي المتاحة اليوم (مثل تلك التي تشغل برامج الدردشة الآلية ومولدات الصور) باستخدام هذه الصالة التدريبية الجديدة.

النتيجة: واجهت الروبوتات صعوبة. حتى "الأذكى" منها أخطأ بنسبة 80% من الوقت عندما طُلب منها العثيد من الأداة المحددة بناءً على جملة.
التشبيه: الأمر يشبه سؤال طالب: "ابحث عن السيارة الحمراء التي تبتعد وهي تسير"، في موقف سيارات مليء بالسيارات الحمراء. الطلاب (نماذج الذكاء الاصطناعي) غالباً ما يشيرون إلى سيارة حمراء متوقفة أو سيارة زرقاء، فاشلين في فهم جزء "وهي تبتعد".

4. لماذا هذا مهم

تظهر الورقة البحثية أنه لكي يكون الذكاء الاصطناعي مفيداً حقاً في غرفة العمليات، لا يمكنه أن يكون مجرد "مُصنف" (يتعرف على الأشياء). بل يجب أن يكون "مساعداً مدركاً للسياق".

الذكاء الاصطناعي الحالي: "أنا أرى مشرطاً".
الذكاء الاصطناعي المستقبلي (ما يسعى إليه GroundedSurg): "أرى ثلاثة مشارط. الأداة التي تتحدث عنها هي التي تلمس الكبد، وليست تلك الموجودة على الصينية. سأوجه الذراع الروبوتية إلى تلك تحديداً".

الخلاصة الكبرى

فكر في GroundedSurg كاختبار قيادة جديد للسيارات ذاتية القيادة.

الاختبار القديم: "هل يمكنك التوقف عند الإشارة الحمراء؟" (نعم، سهل).
الاختبار الجديد: "هل يمكنك التوقف عند الإشارة الحمراء تحديداً لأن هناك مشاة يخطون من على الرصيف، رغم أن الإشارة خضراء لحركة المرور المتقاطعة؟"

تخلص الورقة البحثية إلى أنه بينما يجيد الذكاء الاصطناعي الحالي "الرؤية"، فإنه سيء جداً في فهم السياق لما يراه. يوفر GroundedSurg أول "امتحان" حقيقي في العالم الواقعي لإصلاح ذلك، مما يضمن أن روبوتات الجراحة المستقبلية لن ترى الأدوات فحسب، بل ستفهم ما يحاول الجراح فعله بالفعل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "GroundedSurg: معيار متعدد الإجراءات لتجزئة الأدوات الجراحية المشروطة باللغة".

1. بيان المشكلة

يركز معظم أبحاث الذكاء الاصطناعي الجراحي الحالية بشكل أساسي على التجزئة على مستوى الفئة (category-level segmentation)، حيث تكتشف النماذج جميع مثيلات الفئات المحددة مسبقاً (مثل "المقصات" أو "الملاقط") دون التمييز بين مثيلات محددة في المشهد. ومع ذلك، فإن اتخاذ القرار السريري في العالم الحقيقي يتطلب غالباً تأصيلاً على مستوى المثيل (instance-level grounding): أي تحديد أداة محددة بناءً على دورها الوظيفي، أو علاقتها المكانية، أو تفاعلها مع التشريح (على سبيل المثال: "أداة Harmonic Ace التي تقوم بتشريح الأنسجة حالياً" مقابل واحدة أخرى من نفس النوع لكنها في حالة خمول).

تفتقر المعايير (benchmarks) الحالية إلى القدرة على تقييم هذا التباين الدقيق؛ فهي إما:

تركز فقط على تجزئة الفئات دون اشتراط اللغة.
تستخدم مجموعات بيانات التأصيل اللغوي البصري العامة (مثل RefCOCO) التي لا تلتقط التعقيد البصري، والانسدادات، والمورفولوجيا الدقيقة للبيئات الجراحية.

الفجوة: لا يوجد معيار موحد يربط المراجع اللغوية الطبيعية بالتوطين الدقيق على مستوى البكسل لمثيلات أدوات جراحية محددة في مشاهد عملياتية مزدحمة ومتعددة الأدوات.

2. المنهجية

أ. معيار GroundedSurg

قدم المؤلفون GroundedSurg، وهو أول معيار للتأصيل الجراحي على مستوى المثيل والمشروط باللغة.

تكوين مجموعة البيانات:
- النطاق: حوالي 612 صورة جراحية و1,071 تسمية توضيحية على مستوى الأداة.
- التنوع: يغطي 4 مجالات جراحية متميزة: طب العيون، جراحة المناظير، الجراحة الروبوتية، والجراحة المفتوحة (بما في في ذلك استئصال المعدة، واستئصال المرارة، واستئصال الكلية).
- هيكل التسميات التوضيحية: يتكون كل مثيل من:
  1. صورة جراحية ( $I$ ): إطارات عالية الدقة من داخل غرفة العمليات.
  2. استعلام بلغة طبيعية ( $T$ ): نص وصفي يصف دور أداة محددة، أو علاقتها المكانية، أو تفاعلها التشريحي (مثال: "حدد أداة Harmonic Ace المستخدمة لتشريح...").
  3. التوطين المكاني: صناديق الإحاطة ( $B$ ) والنقاط المركزية ( $C$ ) لفرض التوطين الخشن.
  4. قناع على مستوى البكسل ( $M$ ): تجزئة دقيقة للأداة المستهدفة.
خط إنتاج تنقيح البيانات:
1. التوليد: يتم توليد الاستعلامات الأولية باستخدام نموذج رؤية-لغة (Qwen-2.5 VL-Instruct) مشروط بالمحتوى البصري والبيانات المكانية.
2. التحقق السريري: قام الأطباء والخبراء بمراجعة جميع الاستعلامات الـ 1,071 للقضاء على الهلوسة، وتصحيح عدم الاتساق الدلالي، وضمان التوافق مع السياق الجراحي.
3. التقييد: يتم تخزين المطالبات والقوالب المنقحة في مخطط JSON موحد.

ب. صياغة المشكلة

تُعرف المهمة بأنها مشكلة تجزئة مشروطة باللغة على مستوى المثيل.

المدخلات: صورة $I$ واستعلام نصي $T$ .
الهدف: تعلم رسم خرائط $f(I, T) \rightarrow \hat{M}$ للتنبؤ بقناع التجزئة للمثيل المحدد الموصوف في $T$ .
التقييم: يُعامل كأزواج مستقلة من (صورة-استعلام) لمنع التداخل بين المثيلات. تشمل المقاييس: التقاطع فوق الاتحاد (IoU)، معامل Dice، تقاطع صندوق الإحاطة (Bounding Box IoU)، وخطأ المسافة المعياري (NDE) للنقاط المركزية.

ج. الإعداد التجريبي

النماذج التي تم تقييمها: مجموعة شاملة من نماذج الرؤية واللغة (VLMs) بما في ذلك النماذج مفتوحة المصدر (Qwen, Gemma, LLaMA)، والنماذج الموجهة نحو الاستنتاج (VisionReasoner)، والنماذج المتخصصة في المجال الطبي (MedMO, MedGemma)، والنماذج مغلقة المصدر (GPT-4o, GPT-5.2).
البروتوكول: تقييم "صفر من التدريب" (Zero-shot evaluation) (بدون ضبط دقيق).
خط الإنتاج: تتنبأ النماذج بمخرجات توطين مهيكلة (صندوق إحاطة + نقطة مركزية)، والتي يتم إسقاطها بعد ذلك على خلفية تجزئة مجمدة (SAM2 أو SAM3) لإنشاء القناع النهائي.

3. المساهمات الرئيسية

إعادة تصور الإدراك الجراحي: التحول من نموذج التعرف على الفئات إلى مهام التأصيل اللغوي البصري التي تتطلب حل المراجع المعتمدة على السياق لمثيلات محددة.
معيار GroundedSurg: مجموعة بيانات مبتكرة تدمج الأوصاف اللغوية الطبيعية مع التوطين المكاني الصريح (صناديق، نقاط) وقوالب على مستوى البكسل عبر 4 إجراءات جراحية متنوعة.
التقييم المنهجي: وضع بروتوكول صارم لقياس كل من حل المرجع اللغوي ودقة التوطين على مستوى البكسل في مشاهد جراحية واقعية متعددة الأدوات.
التحقق السريري: خط إنتاج شبه آلي تم التحقق منه من قبل متخصصين طبيين لضمان الصحة الدلالية والقضاء على الهلوسة في المطالبات المولدة.

4. النتائج

النتائج الكمية

فجوات الأداء: تكشف التجارب الواسعة عن فجوات كبيرة في الأداء عبر نماذج VLMs الحديثة. بينما تحقق بعض النماذج أداءً متوسطاً عند عتبات فضفاضة (IoU@0.1)، إلا أن الدقة تنخفض بشكل حاد تحت المعايير الأكثر صرامة (IoU@0.3+)، مما يشير إلى صعوبة في محاذاة الحدود بدقة.
مقارنة النماذج:
- النماذج الموجهة نحو الاستنتاج: حقق نموذج VisionReasoner-7B أفضل أداء عام (أعلى BBox IoU ودرجات Dice)، مما يشير إلى أن الاستنتاج المهيكل يعزز المتانة ضد الغموض الجراحي.
- النماذج المتخصصة في المجال الطبي: من المثير للدهشة أن النماذج المدربة مسبقاً خصيصاً على بيانات طبية (مثل MedMO, MedGemma) لم تتفوق باستمرار على النماذج العامة، مما يشير إلى أن التدريب المسبق على المجال وحده لا يضمن تحسين التأصيل على مستوى المثيل.
- النماذج مغلقة المصدر: أظهرت نماذج GPT-5.2 و GPT-4o-mini نتائج تنافسية ولكنها ليست مهيمنة، مما يعزز صعوبة المهمة.
حساسية الخلفية: يؤثر اختيار خلفية التجزئة (SAM2 مقابل SAM3) بشكل كبير على النتائج. أظهر VisionReasoner تحسناً ملحوظاً مع SAM3، مما يسلط الضوء على الارتباط الوثيق بين التوطين الدقيق وفك تشفير القناع المتقدم.
حساسية المطالبة (Prompt Sensitivity): أظهرت النماذج العامة عدم استقرار عالٍ عند تغير صياغة المطالبة. في المقابل، حافظت النماذج الموجهة نحو الاستنتاج على سلوك تأصيل ثابت، مما يدل على قدرة أفضل على الثبات تجاه إعادة الصياغة اللغوية.

النتائج النوعية

غالباً ما تولد النماذج العامة توطينات مكانية خشنة أو غير دقيقة في المشاهد المزدحمة، مما يؤدي إلى "تسرب سياقي" (تجزئة الأداة الخطأ) عند إسقاطها على خلفيات التجزئة.
أنتجت النماذج الموجهة نحو الاستنتاج أقنعة أكثر دقة مكانياً، خاصة في سيناريوهات تعدد الأدوات حيث تكون التشابهات البصرية عالية.

5. الأهمية والأثر

الأهمية السريرية: يعالج GroundedSurg فجوة حرجة في الذكاء الاصطناعي الجراحي من خلال تمكين الأنظمة من فهم أي أداة تُستخدم ولماذا، وهو أمر ضريد للمساعدة الواعية بالسياق، وتجنب التصادم، وتوجيه سير العمل الآلي.
معيار قياسي: يوفر أول اختبار معياري لتقييم الإدراك الجراحي المؤصل، متجاوزاً مجرد اكتشاف الأشياء إلى مهام الاستنتاج المعقدة.
الاتجاهات المستقبلية: تسلط النتائج الضوء على الحاجة الملحة لنماذج تدمج بشكل أفضل الاستنتاج اللغوي مع الإدراك المكاني الدقيق. تقترح الورقة أن الذكاء الاصطناعي الجراحي المستقبلي يجب أن يتجاوز التعرف على الفئات نحو الفهم الواعي بالسياق على مستوى المثيل ليكون قابلاً للتطبيق سريرياً.

التوفر: الكود والبيانات متاحة علناً على https://github.com/gaash-lab/GroundedSurg.