ShortKit-ML: an open toolkit for measuring shortcut potential in medical imaging embeddings
تُعد ShortKit-ML مجموعة أدوات مفتوحة تقدم مسبارًا شرطيًا مُعايرًا لقياس إمكانية وجود مسارات مختصرة في تمثيلات الصور الطبية المجمدة، مما يثبت أنه بينما ترتبط درجاته بالاعتماد الذي تظهره المصنفات المختلطة على السمات الحساسة مثل الجنس، فإن الأداة وحدها لا يمكنها تأكيد أو إلغاء هذا الاعتماد دون اختبار رأس المصنف نفسه أيضًا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
لقد وصلت التصويرات الطبية إلى نقطة يمكن فيها للذكاء الاصطناعي في كثير من الأحيان أن يضاهي الخبراء البشر في رصد الأمراض في صور الأشعة السينية. تعمل هذه الأنظمة أولاً عن طريق تحويل الصورة إلى ملخص رياضي، وهو قائمة مدمجة من الأرقام تلتقط الميزات الأساسية للصورة، ويسمى هذا الملخص "التضمين" (embedding). وبمجرد إنشائه، يمكن تغذية هذا الملخص في برنامج حاسوبي أبسط لإجراء التشخيص. ومع ذلك، فإن الدرجة العالية لا تضمن أن النظام ينظر إلى الشيء الصحيح؛ فأحياناً تتعلم هذه الأنظمة الاعتماد على "الاختصارات" (shortcuts). والاختصار هو إشارة تساهم في التنبؤ بالإجابة الصحيحة في بيانات التدريب، لكنها ليست جزءاً من المرض الفعلي. على سبيل المثال، قد يتعلم النموذج التنبؤ بكسر في الورك ليس من خلال النظر إلى العظم، بل من خلال ملاحظة نوع الماسح الضوئي المستخدم أو المستشفى الذي التقطت فيه الصورة. وإذا تغيرت البيانات، تفشل هذه الاختصارات ويرتكب النموذج أخطاءً خطيرة.
تكمن المشكلة الجوهرية في أن هذه الاختصارات غالباً ما تختبئ داخل الملخص الرياضي نفسه. فحتى قبل إجراء التشخيص، قد يحتوي الملخص بالفعل على أدلة خفية حول عمر المريض، أو جنسه، أو عرقه. وإذا استخدم النموذج هذه الأدلة لاتخاذ قرار، فقد يؤدي ذلك إلى نتائج غير عادلة أو غير دقيقة لبعض الفئات من الناس. والسؤال الذي طالما صارع الباحثون للإجابة عليه هو: هل يمكنهم النظر إلى الملخص الرياضي فقط وتحديد ما إذا كان يحمل هذه الأدلة الخفية، دون الحاجة إلى رؤية الصورة الأصلية أو التشخيص النهائي؟ فإذا تمكنوا من قياس "إمكانية الاختصار" هذه في مرحلة مبكرة، فقد يتمكنون من إيقاف النماذج السيئة قبل استخدامها على المرضى.
قام فريق من الباحثين ببناء أداة جديدة مفتوحة المصدر تسمى ShortKit-ML للإجابة على هذا السؤال. يركز عملهم على نوع محدد من الاختبارات: هل يمكنهم النظر إلى ملخص رياضي مجمد وتحديد ما إذا كان يحتوي على معلومات حول سمة حساسة، مثل جنس المريض أو عرقه، والتي لا يفسرها تشخيص المرض نفسه؟ وللقيام بذلك، طوروا طريقة تعمل كمرشح (فلتر) دقيق للغاية؛ حيث يأخذون الملخص وتسمية المرض المعروفة، ويسألون برنامجاً حاسوبياً بسيطاً أن يخمن السمة الحساسة للمريض. فإذا استطاع البرنامج تخمين السمة بشكل أفضل من الصدفة، حتى بعد معرفة المرض، فهذا يعني أن الملخص يحتوي على معلومات إضافية غير مرغوب فيها. ولضمان عدم خداع هذا الاختبار بواسطة الضوضاء العشوائية، قام الباحثون بخلط السمات الحساسة داخل مجموعات من المرضى الذين لديهم نفس حالة المرض، مما خلق خط أساس لما يبدو عليه التخمين العشوائي، مما سمح لهم بقياس مقدار المعلومات الحقيقية المختبئة في الملخص بدقة.
وضع الباحثون هذه الأداة قيد الاختبار على مجموعتين كبيرتين من صور الأشعة السينية للصدر، إحداهما من الولايات المتحدة والأخرى من نظام مستشفى مختلف. وفحصوا سبعة أنواع مختلفة من الملخصات الرياضية سابقة التدريب، والتي تشبه "عيوناً" مختلفة تدربت على رؤية الصور الطبية. وتحققوا من هذه الملخصات بحثاً عن أدلة حول الجنس، والعمر، والعرق. كانت النتائج واضحة ومتسقة: كل ملخص اختبروه كان يحتوي على معلومات حول هذه السمات. بالنسبة للجنس، كانت المعلومات الخفية قوية جداً؛ حيث استطاعت الأداة تحديد جنس المريض بشكل شبه مثالي بمجرد النظر إلى الملخص، حتى مع معرفة تسمية المرض. وكانت النتائج المتعلقة بالعمر قوية أيضاً، وإن كانت أقل قليلاً. أما العرق فكان من الصعب اكتشافه، واختلفت قوة الإشارة اعتماداً على مجموعة الصور المحددة ونوع الملخص المستخدم، ومع ذلك وجدت الأداة آثاراً له في معظم الحالات.
ولفهم ما إذا كان العثور على هذه الأدلة الخفية يشكل فرقاً فعلياً، أجرى الباحثون تجربة ثانية. حيث أخذوا هذه الملخصات نفسها ودربوا برنامجاً حاسوبياً جديداً وبسيطاً لإجراء التشخيص، لكنهم أعطوه عمداً بيانات تدريب حيث تم خلط المرض والسمة الحساسة. في هذه البيانات الفوضوية، ارتبط جنس المريض أو عمره بقوة بوجود المرض، مما خلق فخاً مثالياً للاختصار. ووجدوا أن الملخصات التي أظهرت أقوى الأدلة الخفية في الاختبار الأول كانت هي نفسها التي جعلت البرنامج الجديد يعتمد بشكل كبير على تلك الاختصارات. وعندما كانت بيانات التدريب فوضوية، ارتكبت البرامج المبنية على الملخصات "المتسربة" أخطاءً كبيرة، حيث تنبأت بالمرض بناءً على جنس المريض بدلاً من الأشعة السينية نفسها. وقد أكد هذا أن درجة الأداة هي علامة تحذير مفيدة: فالدرجة العالية في الملخص تشير إلى أن النموذج المبني عليه من المرجح أن يكون غير عادل إذا لم تكن بيانات التدريب مثالية.
حاول الفريق أيضاً حل المشكلة باستخدام أربع طرق مختلفة لتنظيف الملخصات قبل تدريب برنامج التشخيص. جربوا تقنيات تهدف إلى إزالة الأدلة الخفية، مثل التدريب التنافسي (adversarial training)، الذي يحاول خداع النظام لجعله ينسى السمة الحساسة. ومن المثير للدهشة أن هذه الأساليب لم تعمل بشكل جيد؛ فبعد "تنظيف" الملخصات بواسطة هذه الأدوات، وجدت برامج التشخيص هذه الاختصارات واستخدمتها. الطريقة الوحيدة التي نجحت في إيقاف السلوك غير العادل كانت ببساطة إعادة تدريب برنامج التشخيص النهائي على مجموعة بيانات متوازنة تماماً، حيث يتم تمثيل كل مجموعة من المرضى بالتساوي. نجح هذا، لكنه لم يغير الملخص نفسه، بل غير فقط كيفية تعليم البرنامج النهائي. وهذا يشير إلى أن قرار استخدام الاختصار يتم اتخاذه بواسطة البرنامج النهائي، وليس الملخص، وأن تنظيف الملخص وحده غالباً ما يكون غير كافٍ.
اختبر الباحثون أيضاً أداتهم على "اختصار وهمي" صنعوه بأنفسهم. حيث أخذوا مجموعة من صور الأشعة السينية ووضعوا مربعاً أبيض صغيراً فوق صور المرضى الذين يعانون من مرض معين. ثم أدخلوا هذه الصور في النظام وسألوا ما إذا كان الملخص يمكنه اكتشاف المربع. اكتشفته الأداة على الفور وبشكل صحيح في كل اختبار، مما أثبت قدرتها على رصد الاختصارات المادية الحقيقية عندما توجد. ومع ذلك، كشفت الدراسة أيضاً عن قصور: فالأداة جيدة جداً في العثور على الاختصارات التي تغير المظهر المتوسط لمجموعة ما، لكنها لم تكتشف الأنماط الأكثر دقة حيث تبدو المجموعات متشابهة في المتوسط ولكنها تختلف في طرق أخرى. وهذا يعني أن الدرجة النظيفة لا تضمن سلامة النموذج، لكن الدرجة "المتسخة" هي تحذير مؤكد.
في الختام، يوفر هذا العمل طريقة عملية لمراجعة التحيزات الخفية في الذكاء الاصطناعي الطبي قبل أن تسبب ضرراً. إنه يوضح أن معظم ملخصات الصور الطبية القياسية تحمل معلومات عن الخصائص الديموغرافية للمريض، وأن هذه المعلومات يمكن أن تؤدي بسهولة إلى تنبؤات غير عادلة إذا كانت بيانات التدريب معيبة. وتخلص الدراسة إلى أنه بينما يمكننا قياس إمكانية وجود هذه الاختصارات، فإن إصلاحها ليس ببساطة "تطهير" البيانات؛ إذ يجب أيضاً اختبار وتدريب برنامج التشخيص النهائي بعناية. الأداة متاحة الآن للآخرين لاستخدامها، مما يوفر وسيلة لفحص أسس أنظمة الذكاء الاصطناعي الطبي وضمان بنائها على الأدلة بدلاً من التحيزات الخفية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.