Exact and near-duplicate symptom profiles inflate the reported performance of machine learning classifiers for diabetes: a leakage- aware re-evaluation of the UCI Early-Stage Diabetes dataset

في عالم التكنولوجيا الطبية، وعد التعلم الآلي بمستقبل يمكن فيه للحواسيب اكتشاف أمراض مثل السكري بمجرد قراءة قائمة من الأعراض. الفكرة قوية: يصف المريض مشاعره — العطش، التعب، تشوش الرؤية — ويقوم خوارزمي فوراً بحساب احتمالية إصابته، مما قد يسهم في رصد المرض قبل أن يسبب ضرراً لا يمكن إصلاحه. لبناء هؤلاء الأطباء الرقميين، يعتمد العلماء على مجموعات ضخمة من البيانات، حيث تُستخدم آلاف السجلات السابقة للمرضى لتعليم الكمبيوتر كيف يبدو الشخص المريض مقابل الشخص السليم. المعيار لاختبار هذه الأنظمة هو طريقة تسمى "التحقق المتقاطع" (cross-validation). تخيل معلماً يعطي طالباً امتحاناً تجريبياً، ثم نسخة أخرى مختلفة قليلاً من نفس الامتحان، ليرى ما إذا كان الطالب يفهم المادة حقاً أم أنه حفظ الإجابات فحسب. في المجتمع العلمي، يُفترض أن هذه العملية تكشف مدى جودة أداء النموذج على مرضى جدد لم يسبق رؤيتهم.

ومع ذلك، كشفت إعادة فحص حديثة لإحدى أشهر مجموعات البيانات المستخدمة لهذا الغرض عن خلل صامت في كيفية إجراء هذه الاختبارات. مجموعة البيانات المعنية، التي جُمعت من مستشفى في بنغلاديش، تحتوي على سجلات لأعراض الناس وما إذا كانوا مصابين بالسكري. لسنوات، استخدم الباحثون هذه البيانات لتدريب نماذج الكمبيوتر، مسجلين معدلات نجاح بدت وكأنها أفضل من أن تكون حقيقية، حيث ادعت غالباً مستويات دقة تتراوح بين 97 و99 بالمائة. أشارت هذه الأرقام إلى أن النماذج كانت شبه مثالية. لكن فريقاً من الباحثين من بيرو أظهر الآن أن هذه الدرجات العالية لم تكن علامة على العبقرية، بل كانت نتيجة خطأ بسيط في عملية الاختبار. وجدوا أن البيانات تحتوي على نسخ متطابقة عديدة لملفات تعريف المرضى نفسها، وأن الطريقة التي أُجريت بها الاختبارات سمحت للكمبيوتر بالحصول على الإجابات قبل بدء الاختبار حتى.

قام الباحثون، بقيادة ويليام مارين-رودريغيز وزملائه، بإلقاء نظرة جديدة على مجموعة بيانات "UCI Early-Stage Diabetes". تضم هذه المجموعة 520 سجلاً، يصف كل منها عمر الشخص وخمسة عشر عرضاً مختلفاً، مثل التبول المتكرر أو فقدان الوزن المفاجئ. وعندما قاموا بعدّ التوليفات الفريدة لهذه الأعراض، وجدوا شيئاً مذهلاً: من بين 52 fear 520 سجلاً، كان هناك 251 ملف تعريف فريداً حقاً فقط. هذا يعني أن 269 من السجلات كانت نسخاً متطابقة تماماً لسجلات أخرى، والعديد غيرها تشترك في نفس الأعراض ولكنها تختلف في العمر فقط. في الدراسات الأصلية، عندما كان يتم تقسيم البيانات إلى مجموعات تدريب واختبار، كانت هذه النسخ المتطابقة غالباً ما تتوزع عشوائياً. فقد ينتهي الأمر بسجل في مجموعة التدريب، ليعلّم الكمبيوتر الإجابة، بينما ينتهي توأمه المطابق في مجموعة الاختبار. وعندما يتم اختبار الكمبيوتر على هذا التوأم، فإنه لا يحتاج إلى التخمين أو التشخيص؛ بل ببساه يتعرف على النمط الذي حفظه بالفعل.

ولرؤية مدى تضخيم هذا للنتائج، قام الفريق بتشغيل نفس نماذج الكمبيوتر مرة أخرى، ولكن هذه المرة غيروا قواعد اللعبة. بدلاً من تقسيم البيانات عشوائياً، احتفظوا بجميع السجلات ذات ملف تعريف الأعراض نفسه في نفس المجموعة. ضمن ذلك أنه إذا ظهرت مجموعة محددة من الأعراض في بيانات التدريب، فإن هذا الطقم المحدد لن يظهر أبداً في بيانات الاختبار. أُجبر الكمبيوتر على تعلم أنماط المرض بدلاً من مجرد حفظ قوائم مرضى محددين. كان الفرق في النتائج دراماتيكياً. تحت الطريقة القديمة العشوائية، حققت النماذج درجات دقة تتراوح بين 97 و98 بالمائة، وهو ما يطابق التقارير البراقة من السنوات الماضية. ولكن عندما فرض الباحثون قواعد أكثر صرامة وخالية من "التسرب"، انخفضت أرقام الدقة تلك إلى نطاق يتراوح بين 90 و93 بالمائة. ورغم أنها لا تزال مثيرة للإعجاب، إلا أن هذا الانخفاض كشف أن ادعاءات الأداء شبه المثالي كانت في الغالب وهماً ناتجاً عن هيكلية البيانات.

ذهبت الدراسة إلى أبعد من ذلك لقياس ليس فقط ما إذا كانت النماذج صحيحة أم خاطئة، بل أيضاً مدى ثقتها في تنبؤاتها. نظروا إلى مقياس محدد يسمى "معامل ارتباط ماثيوز" (Matthews correlation coefficient)، والذي يعطي صورة أكثر صدقاً للأداء عندما يكون عدد المصابين والأصحاء غير متساوٍ. تحت طريقة الاختبار العشوائية، كان هذا المقياس مرتفعاً بشكل مصطنع، حيث تم تضخيمه بمقدار 0.16 نقطة لبعض النماذج. وعند إزالة النسخ المتطابقة من مجموعة الاختبار، انخفضت الدرجات بشكل ملحوظ. والأهم من ذلك، أن ترتيب النماذج قد تغير. فالنموذج الذي توج بأنه الأفضل بموجب القواعد القديمة، وهو نظام معقد يسمى "النموذج التجميعي المتراكم" (stacking ensemble)، تراجع من المركز الأول إلى المركز الثامن بموجب القواعد الجديدة. أما النموذج الذي أثبت أنه الأفضل فعلياً عند اختباره بنزاهة، فكان نوعاً آخر من خوارزميات الأشجار المعروفة باسم "الأشجار الإضافية" (Extra Trees). أثبت هذا التحول أن اختيار النموذج "الأفضل" لم يكن حقيقة صلبة، بل كان نتيجة لطريقة الاختبار المعيبة.

كما بحث الباحثون فيما يحدث عندما يأخذون في الاعتبار "النسخ شبه المتطابقة". في مجموعة البيانات، شارك العديد من الناس في نفس الأعراض تماماً ولكنهم اختلفوا في العمر. اختبر الفريق سيناريو حيث يتم الاحتفاظ حتى بملفات التعريف شبه المتطابقة معاً، مما يمنع الكمبيوتر من التعلم من أعراض شخص يبلغ من العمر 40 عاماً للتنبؤ بمخاطر شخص يبلغ من العمر 45 عاماً لديه نفس الأعراض. هذا الاختبار الأكثر صرامة خفض أداء كل نموذج بشكل أكبر. ومن المثير للاهتمام أن نموذجاً بسيطاً يعمل من خلال إيجاد الحالة الأكثر تشابهاً في الماضي، قد عمل بشكل جيد تقرياً مثل النماذج المعقدة تحت الاختبار الصارم الأول، لكن أداءه انهار عندما تمت إزالة النسخ شبه المتطابقة. أشار هذا إلى أن النموذج البسيط كان يعتمد أيضاً على إيجاد نسخ من نفسه في بيانات التدريب بدلاً من الفهم الحقيقي للمرض.

تمتد آثار هذا العمل إلى ما هو أبعد من مجرد مجموعة بيانات واحدة. يجادل الباحثون بأن أرقام الدقة العالية المبلغ عنها للتنبؤ بالسكري في الماضي كانت على الأرجح متضخمة بسبب هذه المشكلة نفسها المتعلقة بالنسخ المتطابقة. وجدوا أن الفرق بين النتائج القديمة والجديدة كان كبيراً بما يكفي لابتلاع التحسينات الضئيلة التي تدعي الدراسات الجديدة اكتشافها غالباً. إذا ادعت خوارزمية جديدة أنها أفضل بنسبة واحد أو اثنين بالمائة من الخوارميات القديمة، فقد يكون هذا التحسن مجرد "ضجيج" ناتج عن طريقة تقسيم البيانات، وليس اختراقاً حقيقياً. كما لاحظ الفريق أن العديد من النماذج كانت ضعيفة المعايرة، مما يعني أنه رغم كونها صحيحة في كثير من الأحيان، إلا أن درجات الاحتمالية الخاصة بها لم تعكس الاحتمالية الحقيقية للمرض. على سبيل المثال، كانت بعض النماذج واثقة للغاية، بينما كانت أخرى مترددة للغاية، وهو أمر قد يكون خطيراً إذا اعتمد الطبيب على تلك الأرقام لاتخاذ قرار.

هذه إعادة التقييم لا تعني أن التعلم الآلي لا يمكنه المساعدة في تشخيص السكري، ولا تشير إلى أن النماذج عديمة الفائدة. إنها تعني ببساطة أن المعايير المستخدمة للحكم عليها كانت معيبة. يؤكد الباحثون أن نتائجهم هي تقديرات داخلية بناءً على مجموعة بيانات محددة ولا تثبت أن هذه النماذج تعمل في العيادات الواقعية. ويشيرون إلى أن البيانات تأتي من مستشفى واحد وتفتقر إلى التفاصيل حول كيفية تأكيد الإصابة بالسكري، لذا لا يمكن تطبيق النتائج مباشرة على الفحص العام دون مزيد من الاختبارات. ومع ذلك، تقدم الدراسة مساراً واضحاً للمستقبل للعلماء. فهم يوصون بأن الدراسات المستقبلية يجب أن تتحقق من وجود سجلات متطابقة وتجمعها معاً أثناء الاختبار، وأن تبلغ عن مدى عدم اليقين في نتائجها، وتتجنب إعلان نموذج واحد كـ "أفضل" نموذج ما لم يكن الفرق ذا دلالة إحصائية. من خلال تنظيف عملية الاختبار، يمكن للمجتمع العلمي ضمان أن الأطباء الرقميين في المستقبل سيُحكم عليهم بناءً على قدرتهم الحقيقية على التعلم، وليس على قدرتهم على الحصول على الإجابات.