Native image geometry and cross-partition patient overlap in a checksum-identified public liver ultrasound release: an audit of SMC-LUD

تخيل عالماً تُعلَّم فيه الحواسيب كيف ترى الأمراض في الصور الطبية، لتعمل كعين ثانية للأطباء. ومن أكثر الأدوات شيوعاً لهذا الغرض هو الموجات فوق الصوتية (الألتراساوند)، التي تستخدم الموجات الصوتية لإنشاء صور لداخل الجسم، مثل الكبد. ولأن هذه الأجهزة متوفرة على نطاق واسع ورخيصة الثمن نسبياً، فقد جمع العلماء مجموعات ضخمة من هذه الصور لتدريب الذكاء الاصطناعي. والأمل هو أن تتمكن هذه البرامج الحاسوبية من تعلم التعرف على الأورام الخطيرة، مثل سرطان الكبد، أو الكتل الحميدة، مثل الأورام غير السرطانية، بمجرد النظر إلى الصور. ولكي ينجح هذا التدريب، يجب على الحاسوب أن يتعلم التعرف على المرض الفعلي، وليس مجرد تفاصيل عشوائية حول كيفية التقاط الصورة. فإذا تعلم الحاسوب طريقاً مختصراً — مثل التخمين بناءً على حجم ملف الصورة بدلاً من شكل الورم — فسوف يفشل عندما يواجه مريضاً جديداً في مستشفى حقيقي.

قرر فريق من الباحثين مؤخراً إلقاء نظرة فاحصة على مجموعة شهيرة من صور الموجات فوق الصوتية للكبد تم نشرها للعلن ليستخدمها العلماء. هذه المجموعة، المعروفة باسم SMC-LUD، كان من المفترض أن تكون المعيار الذهبي لاختبار هذه البرامج الحاسوبية. ذكر الوصف الأصلي أن الصور جاءت من أكثر من ألف مريض مختلف، وأن البيانات قد تم تقسيمها بعنافة إلى مجموعات بحيث لا يظهر مريض واحد في أكثر من مجموعة واحدة. وهذا الفصل أمر بالغ الأهمية؛ لأنه إذا ظهرت صور المريض في كل من مجموعة التدريب ومجموعة الاختبار، فقد يقوم الحاسوب بمجرد حفظ تشريح ذلك الشخص تحديداً بدلاً من تعلم تشخيص المرض. قام الباحثون بتنزيل المجموعة بأكملها وبدأوا عملية تدقيق دقيقة، حيث فحصوا كل ملف على حدٍ حد ليروا ما إذا كان الواقع يطابق الوعود.

وجدوا سلسلة من المفاجآات التي غيرت نظرتنا لهذه المجموعة من البيانات. أولاً، اكتشفوا أن الحاسوب يمكنه تحديد المرض بدقة مثالية بمجرد النظر إلى شكل الصورة، دون حتى رؤية الكبد بداخلها. فكل صورة لورم سرطاني كانت مربعة الشكل تماماً، بينما كانت كل صورة لنمو حميد مستطيلة الشكل. بدا الأمر كما لو أن الملفات قد خُتمت بملصق مخفي يقول "سرطان" أو "ليس سرطاناً" بناءً على أبعادها فقط. وهذا يعني أن برنامجاً حاسوبياً يمكنه الحصول على درجة مثالية في الاختبار بمجرد التحقق مما إذا كانت الصورة مربعة، متجاهلاً المحتوى الطبي تماماً. هذا مثال كلاسيكي على "الطريق المختصر التقني"، حيث يتعلم الآلة نمطاً في عملية جمع البيانات بدلاً من الواقع الطبي.

كما كشفت عملية التدقيق أن البيانات لم تكن منفصلة كما زُعم. ذكر التقرير الأصلي أن المرضى تم الاحتفاظ بهم في مجموعات منفصلة، ولكن عندما عد الباحثون المجلدات الفعلية على أجهزتهم، وجدوا أن أكثر من ستين بالمائة من المرضى كانت صورهم مبعثرة عبر مجموعات التدريب والاختبار والتحقق. في الواقع، كان لجميع المرضى في مجموعة الاختبار تقريباً صور في مجموعة التدريب. هذا يشبه إعطاء طالب اختباراً يتضمن أسئلة رآها بالفعل في كتاب الواجبات المنزلية الخاص به. وعندما أعاد الباحثون تشغيل الاختبارات الحاسوبية باستخدام المرضى الذين ظهروا في مجموعة واحدة فقط، انخفض أداء الحاسوب، رغم أنه ظل مرتفعاً للغاية. ومع ذلك، عندما أجبروا الحاسوب على تجاهل أشكال الصور ومعاملة جميع الصور بنفس الطريقة، عاد الأداء إلى الدرجة المثالية. وهذا يشير إلى أنه حتى بعد إزالة تلميحات الشكل الواضحة، كانت هناك تفاصيل تقنية أخرى دقيقة من طريقة حفظ الصور لا تزال تمنح الحاسوب ميزة غير عادلة.

وجد الباحثون أيضاً أن الأرقام في الوصف الرسمي لا تتطابق مع الملفات التي قاموا بتنزيلها. ادعى الوصف وجود أكثر من خمسة آلاف صورة من أكثر من ألف مريض، لكن الملفات الفعلية أظهرت أعداداً مختلفة قليلاً وعدد مجلدات مرضى مختلفاً. بعض أسماء المرضى في القائمة الرسمية لم يكن لها أي صور، بينما كانت بعض مجلدات الصور بلا اسم في القائمة. تشير هذه التناقضات إلى أن البيانات لم تُفحص بعناية قبل إصدارها. لم تثبت الدراسة أن الأطباء الأصليين ارتكبوا أخطاء في عملهم الطبي، لكنها أظهرت أن الحزمة الرقمية التي أصدروها كانت فوضوية وتحتوي على تلميحات مخفية يمكن أن تخدع الذكاء الاصطناعي.

يعد هذا التحقيق تذكيراً قوياً بأنه عندما نشارك البيانات الطبية لتعلم الحاسوب، يجب أن نكون حذرين للغاية. الهدف هو تعليم الآلات فهم المرض، وليس التعرف على غرائب كاميرا معينة أو عادات فني معين. وخلص الباحثون إلى أن الإصدارات المستقبلية للصور الطبية تحتاج إلى أن تكون أكثر شفافية. ويقترحون أن أي شخص ينشر مثل هذه البيانات يجب أن يوفر قائمة واضحة وغير قابلة للتغيير تربط كل صورة بمريض محدد وتؤكد عدم ظهور المريض مرتين. كما يوصون بالتحقق من أن جميع الصور تبدو متشابهة من حيث الحجم والتنسيق، حتى لا تتسلل أي أنماط مخفية. وبدون هذه الضمانات، قد تكون الدرجات العالية التي نراها في الاختبارات الحاسوبية مجرد وهم، وقد لا تكون هذه التكنولوجيا جاهزة لمساعدة الأطباء في إنقاذ الأرواض في العالم الحقيقي.