Data leakage inflates reported accuracy of deep learning for kidney stone detection on CT: a leakage-free, calibrated and uncertainty-aware reassessment across three centers
تُظهر هذه الدراسة أن تقسيم البيانات على مستوى الصور في نماذج التعلم العميق للكشف عن حصوات الكلى عبر التصوير المقطعي المحوسب يرفع دقة النتائج المُبلغ عنها بشكل مصطنع بنحو تسعة في المائة بسبب تسرب البيانات، وتدعو إلى اعتماد بروتوكولات تقييم قائمة على مستوى المريض، ومعايرة، ومدركة لعدم اليقين لضمان أداء سريري موثوق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم التصوير الطبي، تُطالب الحواسيب بشكل متزايد بأداء مهام كانت تتطلب في السابق عيناً بشرية. إحدى هذه المهام هي رصد حصوات الكلى، وهي رواسب معدنية صغيرة ومؤلمة يمكن أن تعيق تدفق البول. وللعثัง هذه الحصوات، يعتمد الأطباء على التصوير المقطعي المحوسب، أو الأشعة المقطعية (CT scans)، والتي تلتقط مئات الصور المقطعية لأجزاء الجسم. ويجب على أخصائي الأشعة فحص هذه الشرائح للعثور على النقاط الصغيرة والساطعة التي تشير إلى وجود حصوة، وهي عملية تستغرق وقتاً طويلاً وعرضة للخطأ البشري. ولهذا السبب، أمضى الباحثون سنوات في تعليم الذكاء الاصطناत्मक للقيام بعملية الرصد تلقائياً. والهدف هو إنشاء مساعد رقمي يمكنه تحديد الحصوات فوراً، مما يساعد الأطباء على العمل بسرعة ودقة أكبر. ومع ذلك، لكي يتم الوثوق بهذه التكنولوجيا، يجب على الكمبيوتر أن يثبت قدرته على التعرف على حصوة لم يسبق له رؤيتها من قبل، وليس مجرد حفظ صورة سبق له دراستها.
كشفت دراسة جديدة أجراها باحثون في نيجيريا عن خلل حرج في كيفية اختبار العديد من هذه البرامج الحاسوبية. لسنوات، زعمت التقارير أن نماذج الذكاء الاصطناعي يمكنها اكتشاف حصوات الكلى بدقة تقترب من المثالية، وغالباً ما استشهدت بمعدلات نجاح تتجاوز 98 بالمائة. أشارت هذه الأرقام إلى أن التكنولوجيا كانت جاهزة تقريباً للاستخدام السريري. ومع ذلك، وجد الباحثون أن هذه الدرجات العالية كانت في الغالب وهماً ناتجاً عن خطأ في عملية الاختبار. فعندما تم اختبار نفس النماذج الحاسوبية مرة أخرى باستخدام طريقة أكثر صرامة وأمانة، انخفض أداؤها بشكل كبير. وتكشف الدراسة أن الدرجات العالية السابقة لم تكن علامة على ذكاء فائق، بل كانت نتيجة لاستخدام الكمبيوتر لمعلومات من مجموعة الاختبار أثناء مرحلة التدريب.
تكمن المشكلة في كيفية إعداد البيانات للتدريب. لتعليم الكمبيوتر التعرف على حصوات الكلى، يأخذ الباحثون عدداً محدوداً من صور الأشعة المقطعية الحقيقية ويقومون بإنشاء نسخ عديدة معدلة منها قليلاً. قد يقومون بقلب الصورة جانبياً، أو تدويرها قليلاً، أو تعديل سطوعها. هذه النسخ المعدلة، المعروفة باسم الصور المعززة (augmented images)، تساعد الكمبيوتر على تعلم سمات الحصوة دون الحاجة إلى آلاف المرضى الفريدين. يحدث الخطأ عندما يتم خلط هذه الصور الأصلية ونسخها المعدلة معاً ثم تقسيمها إلى مجموعات تدريب واختبار. إذا رأى الكمبيوتر صورة أصلية أثناء مرحلة التدريب، ثم رأى نسخة مطابقة تقريباً لتلك الصورة المعدلة أثناء مرحلة الاختبار، فإنه لا يحتاج إلى تعلم شكل الحصوة؛ بل ببساطة يتعرف على النمط الذي حفظه بالفعل. الأمر يشبه طالباً يحفظ الإجابات في اختبار تجريبي ثم يؤدي الامتحان النهائي بأسئلة نفسها تمت إعادة صياغتها قليلاً؛ سيحصل على درجة كاملة، لكنه لم يتعلم المادة فعلياً.
قام الباحثون في هذه الدراسة باستخدام مجموعة بيانات تحتوي على صور من 201 مريض من ثلاثة مستشفيات مختلفة. قاموا أولاً بإعادة إنشاء طريقة الاختبار المستخدمة في الدراسات السابقة، والتي كانت تخلط الصور الأصلية والمعدلة معاً قبل التقسيم. وتحت هذه الظروف، حقق النموذج الحاسوبي دقة بلغت 99.1 بالمائة ودرجة قدرها 1.000 على مقياس يمثل فيه الرقم 1.000 الأداء المثالي. طابقت هذه النتيجة التقارير البراقة الموجودة في الأوراق العلمية السابقة. ومع ذلك، قام الباحثون بعد ذلك بتغيير القواعد؛ حيث ضمنوا عدم السماح للكمبيوتر برؤية أي صورة من مريض ما خلال مرحلة الاختبار إذا كان قد رأى أي صورة من نفس المريض خلال مرحلة التدريب. وهذا يعني أن كل صورة في مجموعة الاختبار جاءت من مريض لم يسبق للكمبيوتر مواجهته من قبل.
عندما أُجبر النموذج على مواجهة هذا التحدي الأكثر صرامة، تغيرت النتائج بشكل دراماتيكي. انخفضت الدقة إلى 90.5 بالمائة، وانخفضت درجة الأداء إلى 0.946. ورغم أن هذه النتيجة لا تزال قوية، إلا أنها بعيدة عن الأرقام شبه المثالية التي تم الاحتفاء بها سابقاً. ويمثل الفرق الذي يقارب تسعة بالمائة فجوة هائلة بين ما تم الإبلاغ عنه وما هو حقيقي. أظهرت الدراسة أن الدرجات العالية السابقة لم تكن انعكاساً لقدرة الكمبيوتر على تشخيص المرض، بل كانت انعكاساً لبروتوكول اختبار سمح للكمبيوتر باستخدام المعلومات من مجموعة الاختبار أثناء التدريب. ويشير هذا الاكتشاف إلى أن العديد من الإحصائيات المثيرة للإعجاب التي تُرى في مجال الذكاء الاصطناዊ الطبي قد تكون مبالغاً فيها بسبب نفس الخطأ.
كما بحث الباحثون فيما إذا كانت هناك حاجة إلى بنيات حاسوبية أكثر تعقيداً لحل هذه المشكلة. وقارنوا نموذجهم الرئيسي، الذي يجمع بين نوعين مختلفين من الهياكل الحاسوبية المتقدمة، بنموذج بسيط ومعياري. ووجدوا أن النموذج المعقد لم يقدم أي ميزة حقيقية فوق النموذج الأبسط عند اختباره بشكل عادل. وفي الواقع، فإن النموذج الذي اعتمد فقط على الهيكل الأكثر تعقيداً دون الأساس المعياري لم يكن أفضل بكثير من التخمين العشوائي. وهذا يشير إلى أن مفتاح النجاح لم يكن في حداثة التصميم، بل في أمانة طريقة الاختبار. كما بحثت الدراسة في كيفية تعامل الكمبيوتر مع عدم اليقين؛ ووجدوا أن النموذج كان غالباً مفرط الثقة، حيث يدعي التأكد بينما يكون مخطئاً في الواقع. ومن خلال تعليم النموذج الاعتراف بعدم تأكده وإحالة الحالات الصعبة إلى الطبيب البشري، ارتفثت دقة الحالات التي أجاب عنها إلى 95.2 بالمائة. وهذا يشير إلى أن الدور الأكثر فائدة لمثل هذه الأداة ليس استبدال الطبيب، بل العمل كعين ثانية تعرف متى تطلب المساعدة.
تمتد تداعيات هذا العمل إلى ما وراء حصوات الكلى. فالدراسة بمثابة تحذير للمجال بأكمله في مجال الذكاء الاصطناዊ الطبي. فهي توضح أن النموذج يمكن أن يبدو عبقرياً في ورقة بحثية بينما يفشل في التعميم على المرضى في العالم الحقيقي إذا كان الاختبار معيباً. وأكد الباحثون أنه لكي تكون هذه الأدوات آمنة وفعالة في المستشفيات، يجب اختبارها على بيانات تمثل حقاً مرضى جدد لم يسبق رؤيتهم. كما أشاروا إلى أن مجموعة البيانات التي استخدموها كانت لها قيود، مثل نقص المعلومات التفصيلية للمرضى وحقيقة أن الصور تمت معالجتها بطريقة أزالت بعض البيانات الخام التي يستخدمها الأطباء لاتخاذ القرارات. ورغم هذه القيود، فإن الرسالة الجوهرية واضحة: الطريق نحو ذكاء اصطناዊ طبي موثوق يتطلب اختباراً صارماً وخالياً من التسريبات. وإلى أن يتبنى المجال هذه المعايير الأكثر صرامة، ستظل معدلات النجاح المبلغ عنها لهذه التقنيات مبالغاً فيها، مما قد يؤدي إلى ثقة زائفة في أدوات ليست جاهزة بعد للاستخدام السريري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.