Prompting with the human-touch: evaluating model-sensitivity of foundation models for musculoskeletal CT segmentation

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "التحفيز بلمسة بشرية: تقييم حساسية النماذج الأساسية لتقطيع الصور المقطعية للعضلات والعظام".

1. بيان المشكلة

بينما أحدثت النماذج الأساسية القابلة للتحفيز (FMs) مثل نموذج (Segment Anything Model - SAM) ثورة في تقطيع الصور الطبية، إلا أن منهجيات التقييم الحالية تعاني من فجوة حرجة: فهي تعتمد بشكل كبير على "التحفيزات المثالية" (المولدة خوارزمياً من أقنعة مرجعية تمثل الحقيقة الأرضية/المرجع). هذه التحفيزات الاصطناعية لا تأخذ في الاعتبار التباين المتأصل، والضجيج، والعيوب في التحفيزات المولدة بشرياً.

وبناءً على ذلك، هناك نقص في الفهم فيما يتعلق بـ:

• مدى حساسية النماذج الأساسية (FMs) للتباين في المدخلات البشرية (مثل الإزاحات الطفيفة في وضع النقاط أو تغيير أحجام الصناديق المحيطة).
• ما إذا كان الأداء العالي المسجل في الاختبارات المعيارية يترجم إلى واقع سريري فعلي حيث يقدم المستخدمون (أطباء الأشعة أو الفنيون) التحفيزات.
• أي النماذج تظل قوية عند مواجهة التباين بين المقيّمين داخل الشخص نفسه (intra-rater) وبين مستخدمين مختلفين (inter-rater).

2. المنهجية

استخدمت الدراسة استراتيجية تقييم صارمة مكونة من مرحلتين، ركزت على تقطيع الصور المقطعية للعضلات والعظام (MSK CT) عبر أربعة مناطق تشريحية: الرسغ، والساق، والكتف، والحوض.

أ. مجموعة البيانات

• نهج هجين: دمجت دراسة تجمع بين مجموعة بيانات خاصة (Amsterdam UMC، جراحة العظام) تحتوي على صور للعظام والغرسات لضمان الاستقلالية عن بيانات التدريب، مع مجموعة فرعية من مجموعة بيانات TotalSegmentator العامة لضمان إمكانية إعادة إنتاج النتائج.
• النطاق: 49 صورة مقطعية، 404 شريحة محورية، و18 تسمية فئة (تشمل العظام والغرسات المعدنية).

ب. دراسة المراقب (جمع التحفيزات البشرية)

• المشاركون: 20 طالباً طبياً من جامعة أمستردام.
• المهمة: قام المقيّمون بوضع صناديق محيطة (bounding boxes) ونقاط مركزية (center points) على هياكل العظام المرئية باتباع إرشادات صارمة.
• التصميم:
  • داخل الشخص نفسه (Intra-rater): قام المقيّمون بتسمية نفس الشرائح مرتين (مع حجب الهوية) لقياس الاتساق.
  • بين الأشخاص (Inter-rater): مقارنات بين مقيمين مختلفين.
  • أنواع التحفيز: صناديق محيطة، نقاط مركزية، ومزيج منهما.
• المقاييس: خطأ التحديد (المسافة الإقليدية)، التقاطع فوق الاتحاد (IoU)، ووقت التسمية.

ج. مسار تقييم النموذج

1. المرحلة الأولى (اختيار باريتو الأمثل): تم اختبار 11 نموذجاً أساسياً قابلاً للتحفيز (بما في ذلك SAM، SAM2، Med-SAM، nnInteractive، إلخ) باستخدام تحفيزات مرجعية (مثالية). تم تصفية النماذج بناءً على تحليل جبهة باريتو (Pareto front)، باختيار النماذج التي تحقق أفضل توازن بين أداء التقطيع (DSC، NSD، HD95) وكفاءة المعلمات.
2. المرحلة الثانية (حساسية التحفيز البشري): تمت إعادة تقييم النماذج المختارة ذات الأداء العالي باستخدام التحفيزات المولدة بشرياً.
3. تحليل الحساسية: حسبت الدراسة الارتباط بين تباين التحفيز (مثل المسافة بين نقطتين بشريتين) واتساق التقطيع (مثل معامل تشابه دايس الناتج عن الأقنعة).
   • المقياس: معامل ارتباط رتب سبيرمان ($\rho$). يشير الارتباط المنخفض إلى قوة عالية؛ والارتباط العالي يشير إلى حساسية عالية.

3. المساهمات الرئيسية

• أول اختبار معياري واسع النطاق للتحفيز البشري: بخلاف الدراسات السابقة التي استخدمت تحفيزات اصطناعية، توضح هذه العمل كمية تأثير التباين في التسمية البشرية على أداء النماذج الأساسية.
• إطار تقييم ثنائي المرحلة: استراتيجية مبتكرة تحدد أولاً النماذج المثلى وفقاً لباريتو باستخدام التحفيزات المثالية، ثم تخضع فقط لهذه المرشحات لاختبار حساسية التحفيز البشري، مما يحسن استهلاك الموارد الحسابية.
• استراتيجية بيانات هجينة: نجحت في الموازنة بين الحاجة إلى التحقق المستقل (بيانات خاصة) وبين إمكانية إعادة الإنتاج العلمي (بيانات عامة).
• مقاييس حساسية دقيقة: قدمت طريقة لتحديد العتبة التي تصبح عندها النماذج حساسة للتباين بين المقيّمين، مع التمييز بين قوة المقيّم داخل الشخص نفسه وبين هشاشة المقيّم بين الأشخاص المختلفين.

4. النتائج الرئيسية

أ. تباين التحفيز البشري

• الدقة: كان لمركز النقاط البشرية وسيط خطأ تحديد قدره 1.50 مم، وكان للصناديق المحيطة وسيط IoU قدره 90.56% مقارنة بالأقنعة المرجعية.
• الاتساق: كان الاتساق داخل الشخص نفسه (Intra-rater) أعلى بكثير من الاتساق بين الأشخاص (Inter-rater).
• الاختلافات التشريحية: أظهرت الهياكل البسيطة (عظام الرسغ) اتساقاً عالياً. أما الهياكل المعقدة (الحوض، عظمة الظنبوب، الغرسات) فقد أظهرت أخطاء تحديد عالية واتساقاً منخفضاً، خاصة بالنسبة للنقاط المركزية في الأشكال غير المنتظمة.

ب. أداء التقطيع (التحفيز المرجعي مقابل البشري)

• انخفاض الأداء: أدى الانتقال من التحفيزات المثالية إلى التحفيزات البشرية إلى انخفاض ذي دلالة إحصائية في الأداء:
  • النماذج ثنائية الأبعاد (2D): انخفاض بنسبة ~2.07% في معامل DSC.
  • النماذج ثلاثية الأبعاد (3D): انخفاض بنسبة ~1.06% في معامل DSC.
• أفضل المؤدين (التحفيز المرجعي):
  • 2D: نموذج SAM2.1 (تحديداً نسخة Tiny مع التحفيز المشترك).
  • 3D: نماذج Med-SAM2 و nnInteractive.
• أفضل المؤدين (التحفيز البشري): ظل الترتيب مشابهاً، لكن الأداء المطلق انخفض. تفوقت النماذج الطبية ثلاثية الأبعاد (Med-SAM2، nnInteractive) باستمرار على نماذج الصور الطبيعية ثلاثية الأبعاد (SAM2.1) في المهام الحجمية.

ج. حساسية النموذج لتباين التحفيز

• الحساسية العامة: أظهرت جميع النماذج حساسية لتباين التحفيز. ومع زيادة تباين التحفيز المدخل، انخفض اتساق التقطيع.
• نتائج القوة (Robustness):
  • النماذج ثنائية الأبعاد (2D): كانت جميعها حساسة للتباين داخل الشخص نفسه (intra-rater).
  • النماذج ثلاثية الأبعاد (3D):
    • SAM2.1 (المحفز بالنقاط): أظهر قوة تجاه التباين داخل الشخص نفسه، لكنه أصبح حساساً عند أدنى مستوى من التباين بين الأشخاص (inter-rater).
    • nnInteractive (المحفز المشترك): أظهر قوة تجاه التباين داخل الشخص نفسه، وظل قوياً حتى المستوى السادس الأدنى من التباين بين الأشخاص. كان هذا النموذج هو الأكثر قوة من بين النماذج المختبرة، لكنه لا يزال يفشل تحت التقلبات العالية بين المقيّمين.
• الخلاصة: لم يكن أي نموذج مختبر قوياً تماماً ضد التقلبات الكبيرة بين المقيّمين المختلفين.

5. الأهمية والآثار المترتبة

• إعادة تقييم الاختبارات المعيارية: تثبت الدراسة أن مقاييس الأداء المستمدة من التحفيزات "المثالية" تبالغ في تقدير قدرات النماذج الأساسية في سير العمل السريري المدفوع بشرياً.
• مقياس حاسم للنشر: يجب وضع حساسية النموذج لتباين التحفيز كمقياس أداء تكميلي بجانب الدقة القياسية (DSC/NSD). فالنموذج الذي يتمتع بـ DSC عالٍ ولكن بحساسية عالية لضجيج التحفيز يعد نموذجاً خطيراً للأتمتة السريرية.
• تصميم سير العمل السريري: تشير النتائج إلى أنه بالنسبة للهياكل التشريحية المعقدة، فإن الاعتماد فقط على التقطيع الآلي أو التحفيز بنقطة واحدة غير كافٍ. استراتيجيات مثل استخدام الصناديق المحيطة (التي أظهرت اتساقاً أعلى من النقاط) أو التحسين التكراري (تصحيح المستخدم) ضرورية للتخفيف من مشا​ل الحساسية.
• اختيار النماذج: لمهام العضلات والعظام في الأشعة المقطعية، برز nnInteractive (مع التحفيز المشترك) و Med-SAM2 كأكثر المرشحين موثوقية في بيئات "الإنسان في الحلقة" (human-in-the-loop)، رغم أنهما لا يزالان يتطلبان إدارة دقيقة للتحفيز.

توافر الكود: أتاح المؤلفون الكود البرمجي الخاص باستخراج التحفيز والاستدلال للجمهور لتسهيل المزيد من الأبحاث في هذا المجال.