Cross-cohort evaluation of thyroid ultrasound deep learning across different outcome definitions: a duplicate-controlled benchmark

ملخص تقني: تقييم عابر للمجموعات لتعلم الآلة في تصوير الغدة الدرقية بالموجات فوق الصوتية عبر تعريفات مختلفة للنتائج

بيان المشكلة
يعتمد أداء نماذج الذكاء الاصطناي (AI) لتفسير الموجات فوق الصوتية للغدة الدرقية بشكل كبير على خصائص المجموعة المستخدمة والهدف المحدد للتقييم. ويتمثل التحدي الحرج في هذا المجال في عدم قابلية تبادل نهايات تشخيصية مختلفة: علم الأمراض بعد الجراحة (وهو نتيجة تشخيصية نهائية) مقابل فئات المخاطر التي يحددها أخصائي الأشعة مثل نظام التقرير والبيانات التصويرية للغدة الدرقية (TI-RADS) التابع للكلية الأمريكية للأشعة (وهو درجة اشتباه موجهة للإدارة الطبية). تمثل هذه النهايات مراحل متميزة في المسار التشخيصي وهي ليست قابلة للتبادل. علاوة على ذلك، فإن نماذج التعلم العميق المدربة على مجموعة بيانات واحدة غالبًا ما تفشل في التعميم على مجموعات مستقلة بسبب التحولات في السكان، والمعدات، وبروتوكولات الاستحواذ، وتعريفات الملصقات (Labels). تعالج هذه الدراسة الحاجة إلى وضع معايير لتقييم مصنفات الموجات فوق الصوتية للغدة الدرقية مع الفصل الصريح بين التقييم مقابل نتائج الخباثة وبين الاتفاق مع فئات المخاطر المستمدة من نظام TI-RADS، كل ذلك مع التحكم في تسرب البيانات على مستوى الصورة.

المنهجية
استخدمت الدراسة خط أنابيب تقييم (benchmarking) يعتمد على التحكم في التكرار على مستوى الصورة باستخدام بيئة تحليل ثابتة (Python 3.10, PyTorch 2.5.1).

• مجموعات البيانات:

  • أرشيف التطوير: إصدار عام من "Mendeley Data" يحتوي على 387 صورة موجات فوق صوتية بنمط B-mode و1,332 كتلة من خلايا لطخة الإبرة الدقيقة (FNA) مشتقة من 385 حالة مصدرية. كانت الملصقات ثنائية (سرطان الغدة الدرقية الحليمي [PTC] مقابل حميد) بناءً على التشخيص بعد الجراحة. لم تكن المعرفات على مستوى المريض متاحة، مما منع عمليات الفصل الموثقة على مستوى المريض.
  • المجموعات الخارجية: تم تقييم نموذجين مجمدين دون إعادة تدريب أو تعديل العتبة على:
    1. TN3K: مجموعة فرعية مكونة من 1,228 صورة مع ملصقات حميدة/خبيثة مقدمة من مجموعة البيانات.
    2. DDTI: 637 صورة تم تقييمها مقابل نهاية ثنائية مشتقة من فئات TI-RADS الخاصة بأخصائي الأشعة (تجميع فئات الاشتباه المنخفض TI-RADS 2–3 مقابل فئات الاشتباه العالي TI-RADS 4–5).

• المعالجة المسبقة للبيانات والتحكم في التسرب:

  • التحكم في التكرار: تم تجميع الصور باستخدام بصمات MD5 (التكرارات المتطابقة تمامًا) والبصمات الإدراكية (الصور شبه المتطابقة). تم الاحتفاظ بهذه المجموعات داخل أقسام منفردة (تدريب، تحقق، اختبار) لمنع تسرب البيانات على مستوى الصورة.
  • المعالجة المسبقة: تم تغيير حجم الصور إلى 224×224 بكسل. اختبرت تجربة استكشافية قص المنطقة (ROI) التلقائي القائم على النسيج لقمع عيوب الواجهة المحيطية.

• بنية النموذج والتدريب:

  • تم تدريب خمس بنيات أساسية هي: ConvNeXt-Small، وEfficientNet-B3، وSwin-Tiny، وResNet-50، وDenseNet-121.
  • تم تهيئة النماذج بأوزان ImageNet وتدريبها باستخدام دالة خسارة "binary cross-entropy" الموزونة للفئات مع تحسين AdamW.
  • تم إنشاء نموذج تجميعي (Ensemble) عن طريق متوسط احتمالات sigmoid من ConvNext-Small وEfficientNet-B3 وSwin-Tiny وResNet-50.
  • تم تقييم المعايرة باستخدام مقياس درجة الحرارة (temperature scaling)، ودرجة Brier، وخطأ المعايرة المتوقع (ECE).

• استراتيجية التقييم:

  • تم قياس الأداء باستخدام AUROC، وAUPRC، والدقة (accuracy)، والحساسية (sensitivity)، والنوعية (specificity)، ودرجة F1.
  • تم إنشاء فترات الثقة عبر إعادة أخذ العينات بطريقة Bootstrap غير المعلمية (2,000 تكرار).
  • تم تحليل وسائط الخلايا (cytology) والموجات فوق الصوتية كتوزيعات صور منفصلة وغير مزدوجة؛ ولم يتم تقدير الدقة المقارنة داخل المريض الواحد.

المساهمات الرئيسية

1. فصل مصدر النهاية: تميزت الدراسة بالفصل بين تقييم قدرة النموذج على التنبؤ بالخباثة (مقابل ملصقات علم الأمراض) وبين الاتفاق مع تصنيف المخاطر الإشعاعي (TI-RADS).
2. التقييم المتحكم فيه بالتكرار: تنفيذ البصمات الدقيقة والإدراكية لمنع تسرب البيانات على مستوى الصورة في ظل غياب المعرفات على مستوى المريض، وهي مشكلة شائعة في أرشيفات الصور الطبية العامة.
3. التقييم المجمد عبر المجموعات: تقييم النماذج المجمدة على مجموعتين خارجيتين مختلفتين (TN3K وDDTI) دون إعادة تدريب، مما يسلط الض light على كيفية تباين الأداء بناءً على الاستحواذ وتعريف النهاية.
4. التباين الوصفي للوسائط: مقارنة غير مزدوجة لـ AUROC بين الموجات فوق الصوتية والخلايا، مما يوضح أن مثل هذه المقارنات تصف توزيعات الصور بدلاً من إثبات التفوق السريري.

النتائج

• الأداء الداخلي (أرشيف التطوير):

  • الخلايا (Cytology): حقق نموذج ConvNeXt-Small قيمة AUROC بلغت 0.988 (فاصل ثقة 95% 0.976–0.998)، ووصل النموذج التجميعي إلى 0.986.
  • الموجات فوق الصوتية: حقق نموذج EfficientNet-B3 قيمة AUROC بلغت 0.745 (فاصل ثقة 95% 0.612–0.865)، ووصل النموذج التجميعي إلى 0.733.
  • قص المنطقة (ROI Cropping): أدى قص المنطقة التلقائي إلى تحسين AUROC للنموذج التجميعي للموجات فوق الصوتية من 0.745 إلى 0.817.
  • المعايرة: أدى مقياس درجة الحرارة إلى تحسين موثوقية الاحتمالية (انخفض ECE من 0.032 إلى 0.014) دون تغيير المقاييس القائمة على الترتيب.

• تقييم المجموعة الخارجية (النماذج المجمدة):

  • TN3K (ملصقات الخباثة): حقق التجميع للموجات فوق الصوتية AUROC قدره 0.825، ووصل ResNet-50 إلى 0.888. تشير هذه النتيات إلى تمييز جيد ضد ملصقات الحميد/الخبيث الموزعة في مجموعة البيانات.
  • DDTI (نهاية TI-RADS): مقابل نهاية TI-RADS، حقق النموذج التجميعي AUROC قدره 0.477 وحقق ResNet-50 قيمة 0.437. يشير هذا إلى ضآلة أو انعدام الاتفاق مع تصنيف TI-RADS.
  • التفسير: يشير المؤلفون إلى أن التباين بين نتائج TN3K وDDTI لا يمكن عزوه فقط إلى تعريف الملصق، حيث تغيرت المجموعة والمعدات والاستحواذ وطيف المرض في آن واحد.

• مقارنة الوسائط: أظهر تحليل Bootstrap وصفي غير مزدوج أن الفرق في AUROC (الخلايا ناقص الموجات فوق الصوتية) كان 0.247 (فاصل ثقة 95% 0.120–0.384). ويؤكد المؤلفون أن هذا لا يثبت تفوق الخلايا سريريًا، حيث لم تكن مجموعات الصور متطابقة للمرضى.

الأهمية والادعاءات
يزعم البحث أن نماذج الموجات فوق الصوتية للغدة الدرقية المجمدة تعمل بشكل مختلف عبر المجموعات التي تختلف في الاستحواذ وتعريف النتيجة. إن التباين الصارخ بين الأداء العالي في TN3K (ملصقات الخباثة) والأداء القريب من الصدفة في DDTI (ملصقات TI-RADS) يؤكد أن هذه النهايات ليست قابلة للتبادل.

تدعم الدراسة ثلاث تداعيات رئيسية للبحوث المستقبلية:

1. التقرير الصريح: يجب الإبلاغ صراحة عن مصدر الملصق (مثل تشخيص ما بعد الجراحة مقابل TI-RADS).
2. التفسير الحذر: يجب تفسير تباينات الأداء عبر المجموعات بحذر، لأنها تعكس تضافر تحولات التوزيع وتعريفات النهايات، وليس عاملًا سببيًا واحدًا.
3. التحقق على مستوى المريض: تتطلب الدراسات المستقبلية تقييمًا خارجيًا على مستوى المريض مقابل معيار مرجعي مناسب سريريًا لضمان قابلية النقل.

يخلص المؤلفون بتواضع إلى أن نتائجهم تدعم الحاجة إلى تقسيمات موثقة على مستوى المريض ووصفات متسقة للمعايير المرجعية، بدلاً من ادعاء حل نهائي لمشكلة التعميم في ذكاء الغدة الدرقية الاصطناعي. لا تصادق الدراسة على تشخيص الخباثة في DDTI، حيث أن نهاية TI-RADS ليست معيارًا مرجعيًا للخباثة.