Discrimination Transfers but Thresholds Do Not: External Validation of Convolutional and Transformer Pneumonia Classifiers on Adult and Paediatric Chest Radiographs

عندما يشتبه الطبيب في وجود التهاب رئوي، غالبًا ما تكون الخطوة الأولى هي إجراء تصوير بالأشعة السينية للصدر، وهي صورة بسيطة تكشف عن التضاريس الخفية للرئتين. ولعقود من الزمن، اعتمد تفسير هذه الصور على العين البشرية، وهي مهارة تتباين حتى بين المتخصصين. وفي السنوات الأخيرة، وعدت برامج الكمبيوتر المدربة على مكتبات ضخمة من الصور الطبية بأتمتة هذه المهمة، لتعمل كعين ثانية لا تكل ولا تمل. تتعلم أنظمة الذكاء الاصطناعي هذه رصد الأنماط المرتبطة بالعدوى، بهدف تقديم تشخيصات سريعة ومتسقة. ومع ذلك، ظل سؤال جوهٌري يلوح في خلفية هذا الاندفاع التكنولوجي: إذا تعلم الكمبيوتر التعرف على الالتهاب الرئوي من صور الأشعة السينية في مستشفى واحد، فهل يمكنه حقًا فهم المرض عندما يرى صور أشعة من مستشفى مختلف تمامًا، أو من طفل بدلاً من شخص بالغ؟ إن قدرة هذه البرامج على التمييز بين الرئة السليمة والمريضة ليست سوى جزء من القصة؛ فالاختبار الحقيقي يكمثل في ما إذا كانت القواعد المحددة التي تستخدمها للتشخيص، ومدى الثقة التي تعبر بها عن إجاباتها، ستصمد عندما يتغير العالم من حولها.

لقد شرع فريق من الباحثين في الإجابة على هذا السؤال من خلال بناء واختبار مجموعة متنوعة من نماذج الكمبيوتر هذه. بدأوا بمجموعة ضخمة تضم أكثر من 18,000 صورة أشعة سينية للصدر من البالغين، مع تقسيم البيانات بعناية بحيث يمكن للنماذج أن تتعلم من بعض الصور وتُختبر على صور أخرى لم ترها من قبل. قاموا بتدريب خمسة عشر نوعًا مختلفًا من الشبكات العصبية، وهي "الأدمغة الرقمية" وراء هذه الأنظمة، باستخدام طرق متنوعة لمعرفة أي منها يحقق أفضل أداء. بُنيت بعض هذه الشبكات من الصفر، بينما تم تكييف أخرى من أنظمة تعلمت بالفعل التعرف على الأشياء في الصور اليومية. وكان الباحثون مهتمين بشكل خاص بنوع أحدث من الشبكات يسمى "المحول" (transformer)، والذي يعالج الصور بطريقة تحاكي كيفية مسح البشر للمشهد، حيث ينظر إلى الصورة كاملة وأجزائها في آن واحد. وبعد التدريب، اختاروا النموذج الأفضل أداءً، كما أنشأوا فريقًا من خمسة نماذج رائدة تصوت معًا، آملين أن يكون قرار المجموعة أكثر موثوقية من الرأي الفردي.

جاء الاختبار الحقيقي عندما عُرضت هذه النماذج "المجمدة"، التي لم تعد قادرة على التعلم أو التغيير، على صور أشعة سينية من مجموعتين مختلفتين تمامًا من الناس. تألفت المجموعة الأولى من آلاف الصور للأطفال، وهم فئة تتميز برئات أصغر وأنماط مرضية مختلفة. أما المجموعة الثانية، فكانت عبارة عن مجموعة من صور الأشعة للبالغين من بلد آخر، تمثل سكان مستشفى عام بمعدل إصابة بالالتهاب الرئوي أقل بكثير من بيانات التدريب الأصلية. كشفت النتة عن انقسام مثير للاهتمام في كيفية سلوك هذه التكنولوجيا. فقد أثبتت النماذج براعة ملحوية في مجرد التمييز بين الرئة السليمة والمريضة، بغض النظر عما إذا كان المريض طفلًا أم بالغًا. وفي مجموعة الأطفال، حققت النماذج مساحة تحت المنحنى (AUC) بلغت 0.925، وفي مجموعة البالغين، حققت 0.888. هذه القدرة على التمييز بين الفئات، والمعروفة باسم "التمييز"، انتقلت بشكل جيد عبر المجموعات السكانية المختلفة.

ومع ذلك، تغيرت القصة بشكل دراماتيكي عندما نظر الباحثون في كيفية اتخاذ النماذج لقراراتها فعليًا. فنظام الكمبيوتر لا يكتفي بالقول "مريض" أو "سليم"؛ بل يحسب "احتمالية"، وهو رقم يمثل مدى اعتقاده باحتمالية إصابة المريض. ولتحويل هذا الرقم إلى تشخيص، يجب على الإنسان وضع "عتبة"، وهي نقطة قطع يُعتبر أي شيء فوقها مصابًا بالالتهاب الرئوي. ووجد الباحثون أن العتبة التي نجحت بامتياز مع بيانات البالغين الأصلية فشلت فشلاً ذريعًا عند تطبيقها على المجموعات الجديدة. فالقاعدة نفسها التي رصدت 84% من حالات الالتهاب الرئوي في المجموعة الأصلية، لم ترصد سوى 59% من الحالات لدى الأطفال، و39% فقط في مجموعة البالغين الجديدة. كانت النماذج لا تزال ترى المرض، لكنها كانت حذرة للغاية لدرجة منعتها من تسميته. وعندما أخذ الباحثون عينة صغيرة من البيانات الجديدة لإعادة ضبط نقطة القطع، أصبحت النماذج دقيقة فورًا، حيث حققت مساحة تحت المن منحنى (AUC) قدرها 0.83 في الأطفال و0.79 في البالغين. أظهر هذا أن المنطق الداخلي للنماذج كان سليمًا، لكن قواعد اتخاذ القرار لديها كانت جامدة ومرتبطة بالبيئة المحددة التي تدربت فيها أول مرة.

ظهر طبقة أخرى من التعقيد عندما فحص الباحثون مستوى الثقة الذي تعبر عنه النماذج في إجاباتها. في بيانات التدريب الأصلية، كانت النماذج "معايرة" لتعطي درجات احتمالية تتوافق مع التكرار الواقعي للمرض. ولكن عند مواجهة المجموعات الجديدة، انهار هذا المعايرة. ففي مجموعة الأطفال، حيث كان الالتهاب الرئوي شائعًا للغاية، قللت النماذج بشكل كبير من تقدير المخاطر، متوقعة احتمالية إصابة أقل بكما هي في الواقع. أما في مجموعة البالغين الجديدة، حيث كان المرض نادرًا، فقد ظلت تقديرات احتمالية النماذج دقيقة بشكل مفاجئ. يشير هذا إلى أنه بينما يمكن للنماذج تعلم السمات البصرية للالتهاب الرئوي، فإن فهمها لمدى شيوع المرض في سياق معين هو أمر هش وسهل الاختلال عند تغير التركيبة السكانية للمرضى.

كما كشفت الدراسة أن النماذج كانت حساسة لكيفية التقاط الأشعة السينية. في البيانات الأصلية، كانت الصور الملتقطة بجهاز الأشعة أمام المريض (المعروفة بالرؤية الأمامية الخلفية - AP) أكثر عرضة لإظهار الالتهاب الرئوي من الصور الملتقطة من الخلف (المعروفة بالرؤية الخلفية الأمامية - PA). وقد تعلمت النماذج استخدام هذا القرين، حيث كان أداؤها أسوأ في الصور المواجهة للأمام لأنها أصعب في القراءة، وليس لأن النماذج كانت مرتبكة. وعندما حاول الباحثون إجبار النماذج على تجاهل هذا القرين أثناء التدريب، أصبح أداء النماذج أسوأ في أداء مهمتها، مما يشير إلى أن الصعوبة كانت حقيقية ومتأصلة في نوع الصورة، وليست مجرد طريقة يستغلها الكمبيوتر. علاوة على ذلك، وجد الباحثون أن النموذج الأفضل للبالغين ليس بالضرورة هو الأفضل للأطفال. إذ تغير ترتيب أي "عقل كمبيوتر" هو الأفضل اعتمادًا على عمر المريض، مما يعني أن النموذج المختار لمستشفيات البالغين قد لا يكون الخيار المناسب لجناح طب الأطفال.

في الختام، يوضح هذا البحث أنه بينما يمكن للذكاء الاصطناعي تعلم رؤية الالتهاب الرئوي بمهارة عالية تنتقل عبر المجموعات السكانية المختلفة، فإن الأدوات العملية اللازمة لاستخدام هذه المهارة في المستشفى لا تنتقل بنفس السهولة. إن القدرة على تمييز المرض قوية، لكن القواعد المحددة لاتخاذ التشخيص والطريقة التي يعبر بها النظام عن ثقته مرتبطة ارتباطًا وثيقًا بالسياق المحلي. ولكي تكون هذه الأنظمة مفيدة في العالم الحقيقي، لا يمكن ببساطة تحميلها واستخدامها كما هي؛ بل تتطلب عملية "ضبط محلي"، حيث يتم تعديل قواعد القرار لتناسب المزيج المحدد من المرضى ومعدل انتشار المرض في كل مستشفى جديد. وتخلص الدراسة إلى أنه لكي تُكتسب الثقة في هذه التقنيات، يجب أن تتجاوز التقارير المستقبلية مجرد ذكر مدى قدرة النموذج على التمييز بين المريض والسليم؛ بل يجب أن توضح أيضًا مدى جودة أداء النموذج عند نقاط القرار المحددة المستخدمة في الممارسة العملية، وكيف تصمد ثقته عندما يتغير العالم.