From pre-training to downstream performance: Does domain-specific pre-training make sense?

ملخص تقني: من مرحلة ما قبل التدريب إلى الأداء في المهام اللاحقة

بيان المشكلة
ساهم التعلم العميق بشكل كبير في تطوير التصوير الطبي، لا سيما في دقة التشخيص والكشف عن الأمراض. ومع ذلك، فإن العلاقة بين استراتيجيات ما قبل التدريب والأداء في المهام اللاحقة ضمن السياقات الطبية لا تزال غير مستكشفة بما يكفي. وبينما ثبت أن البيانات الخاصة بنطاق معين يمكن أن تحسن الأداء وأن التعلم الخاضع للإشراف الذاتي (SSL) يعالج ندرة البيانات المصنفة، إلا أن هناك أسئلة جوهرية لا تزال قائمة: ما مدى القرب الذي يجب أن تتوافق فيه بيانات ما قبل التدريب مع النمط المستهدف لتحقيق فوائد؟ وهل يتفوق التدريب المسبق على مجموعات بيانات ضخمة وغير محددة النطاق (مثل ImageNet) متبوعاً بضبط دقيق متخصص لنطاق معين على التدريب المباشر المتخصص بالنطاق؟ علاوة على ذلك، كيف تؤثر البنى المختلفة (الشبكات العصبية التلافيفية CNN مقابل المحولات/Transformers) ومقاييس التقييم (بما يتجاوز متوسط المساحة تحت المنحنى AUC) على موثوقية هذه النماذج ومتانتها عبر مواقع جمع بيانات متنوعة وتوزيعات مختلفة للأمراض؟

المنهجية
تقارن الدراسة بشكل منهجي بين الشبكات العصبية التلافيفية (CNNs) والمحولات الرؤوية (ViTs) عبر مختلف تكوينات ما قبل التدريب والضبط الدقيق.

• مجموعات البيانات: تم استخدام ثماني مجموعات بيانات. بالنسبة لما قبل التدريب، جرى أخذ عينة عشوائية مكونة من 100,000 صورة من كل من ImageNet (صور طبيعية)، وNIH ChestX-ray، وMIMIC-IV-CXR، وCovidxCT (تصوير مقطعي للصدر)، وOCT (شبكية العين). أما بالنسبة للضبط الدقيق والتقييم، فقد تدربت النماذج أساساً على مجموعة بيانات NIH ChestX-ray (75,312 صورة للتدريب، 11,212 للصالح، 14 فئة). كما أجري التقييم على مجموعات بيانات خارج نطاق التوزيع (OOD): وهي VinDr-CXR (فيتنام)، وPadChest (إسبانيا)، وCheXpert (الولايات المتحدة الأمريكية)، بالإضافة إلى اختبارات داخل النطاق على NIH ChestX-ray.
• البنى المعمارية: قيمت الدراسة نموذج ResNet50 (CNN) ونموذج ViT-small (المحول).
• استراتيجيات ما قبل التدريب:
  • التهيئات الأولية: تهيئة عشوائية مقابل أوزان مُشرفة من ImageNet1k.
  • الاستراتيجيات: التعلم المُشرف مقابل التعلم خاضع الإشراف الذاتي (وتحديداً نماذج GMML، وDINO، وMoCo-V3، وSiT).
  • النطاقات: أُجري ما قبل التدريب على صور طبيعية، وأشعة سينية للصدر، وتصوير مقطعي للصدر، وصور OCT للشبكية لاختبار توافق النمط.
• الضبط الدقيق: تم ضبط جميع النماذج بدقة لمدة 30 حقبة (epoch) باستخدام خمس بذور عشوائية مختلفة لضمان المتانة الإحصائية. ويجادل المؤلفون بأن الـ 30 حقبة تمثل تعديلاً وجيزاً وليس إعادة تدريب مطولة.
• مقاييس التقييم: بعيداً عن المساحة القياسية تحت المنحنى (AUC)، قيّم البحث الموثوقية عبر دقة المجموعة الفرعية (التنبؤ بكافة الملصقات بشكل صحيح)، ومعدلات السلبية الكاذبة (ضعف التشخيص) عبر عتبات القرار، و"دقة أوراكل - Oracle AUC" (الأداء إذا تمت إحالة الحالات غير المؤكدة إلى خبير).

الإسهامات الرئيسية

1. ضرورة توافق النمط: يوضح البحث أن التدريب المسبق على بيانات تطابق تماماً النمط المستهدف هو شرط ضروري لتحسين الأداء في المهام اللاحقة بشكل ملحوظ. فالتدريب المسبق على نمط طبي لا يتوافق مع المهمة المستهدفة (على سبيل المثال، OCT أو CT لمهمة أشعة سينية للصدر) يمكن أن يؤدي سلباً إلى الأداء مقارنة باستخدام مجموعة بيانات أكبر وعامة مثل ImageNet.
2. حساسية البنية المعمارية: تؤكد الدراسة أن النماذج القائمة على المحولات (ViTs) أكثر حساسية للتهيئة الأولية من شبكات CNN (ResNet50). بينما تُظهر شبكات CNN متانة تجاه التهيئة العشوائية، تستفيد نماذج ViT بشكل كبير من الأوزان المدربة مسبقاً.
3. قصور المقاييس المجمعة: يسلط البحث الضوء على أن مقاييس الأداء المتوسطة (مثل متوسط AUC) قد تكون مضللة؛ حيث توجد فروق كبيرة في الأداء عبر أمراض محددة (مثلاً، تفوقت النماذج بمقدار 20 نقطة مئوية في حالة الانصباب الجنبي مقارنة بتصلب الرئة في بعض التكوينات) وعبر مواقع جمع بيانات مختلفة.
4. الموثوقية والعنصر البشري في الحلقة: تقدم الدراسة أهمية تقييم النماذج عبر "دقة أوراكل"، موضحةً أنه يمكن تحسين الأداء والموثوقية بشكل كبير إذا كان بإمكان النظام إحالة التنبؤات غير المؤكدة إلى خبراء بشريين، وهو أمر بالغ الأهمية للنشر السريري.

النتائج

• تأثير ما قبل التدريب: تشير التجارب (خاصة 3.3–3.8 في الجدول 2) إلى أن التدريب المسبق فقط على بيانات تتوافق وثيقاً مع النمط المستهدف (مثل الأشعة السينية للصدر لمهمة تتعلق بالأشعة السينية للصدر) يحسن باستمرار الأداء في المهام اللاحقة فوق خط الأساس لتهيئة ImageNet. وعلى العكس من ذلك، فإن التدريب المسبق على أنماط طبية غير متوافقة (مثل CT أو OCT) غالباً ما نتج عنه أداء مساوٍ أو حتى أسوأ من التدريب المسبق على ImageNet، ربما بسبب مشكلة "نسيان المعرفة".
• التعلم خاضع الإشراف الذاتي مقابل المتعلم عليه: يمكن للتعلم خاضع الإشراف الذاتي (SSL) أن يتفوق على التدريب المسبق المُشرف، ولكن هذا الأمر يعتمد على السياق. ففي حالات معينة، حقق التعلم خاضع الإشراف الذاتي على بيانات خاصة بالنطاق (مثل MIMIC-IV-CXR) أفضل النتائج (التجربة 3.4)، بينما كانت المكاسب في حالات أخرى هامشية أو معدومة مقارنة بالطرق المُشرفة.
• الأداء عبر المواقع: أظهرت النماذج تبايناً كبيراً عند تقييمها على مجموعات بيانات خارج نطاق التوزيع (VinDr، وPadChest، وCheXpert). فقد أدى بعض النماذج التي تم ضبطها بدقة بناءً على بيانات NIH إلى نتائج جيدة بشكل مفاجئ على VinDr-CXR، بينما تعثرت نماذج أخرى. وكان التباين عبر بذور الضبط الدقيق أعلى بشكل ملحوظ في مجموعات البيانات الخارجة عن النطاق، مما يثير مخاوف بشأن متانة النموذج.
• حساسية المقياس: لم تضمن درجات AUC العالية تحقيق دقة عالية للمجموعة الفرعية أو انخفاض معدلات نقص التشخيص. فعلى سبيل المثال، فشلت حتى النماذج الأعلى أداءً في كثير من الأحيان في التنبؤ بخمسة تسميات مرضية بشكل صحيح وفي آن واحد. وكشف تحليل "دقة أوراكل" أن إحالة الحالات غير المؤكدة إلى "أوراكل" يمكن أن يعزز الأداء الفعلي بشكل كبير.

الأهمية والادعاءات
يدعي الورقة أنها تقدم معياراً منهجياً يوضح الظروف التي يكون فيها التدريب المسبق الخاص بالنطاق مفيداً. وتجادل بأنه بينما يعمل التدريب المسبق العام (ImageNet) كخط أساس قوي، فإن نهج "النموذج الواحد المناسب للجميع" بالتدريب المسبق على أي مجموعة بيانات طبية ضخمة ليس كافياً؛ إذ يجب أن تتوافق بيانات ما قبل التدريب ارتباطاً وثيقاً مع النمط المستهدف لتتفوق على الخطوط المرجعية القياسية.

ويشدد المؤلفون على أن اختيار استراتيجية ما قبل التدريب يتفاعل مع طرق الضبط الدقيق، ولا يوجد استراتيجية واحدة مهيمنة عبر جميع مجموعات البيانات. ويخلصون إلى أنه من أجل النشر السريري الموثوق، يجب على الباحثين تجاوز مقاييس AUC المجمعة لتقييم الأداء لكل مرض، والمتانة عبر المواقع المختلفة، وإمكانية التعاون مع العنصر البشري (دقة أوراكل). تهدف هذه الدراسة إلى توجيه ترتيب أولويات الموارد، باقتراح أن الضبط الدقيق المتخصص بالنطاق يعد حيوياً لتحسين أداء النماذج في المهام المستهدفة، ولكن فقط عندما يتم مطابقة بيانات ما قبل التدريب بشكل مناسب.