When Repository Labels Are Not Image-Level Truth: A Supervision Auditing Framework for Chest Radiograph AI
تقدم هذه الورقة إطار عمل "تدقيق الإشراف المستمد من المستودعات" (RSA)، الذي يوضح أن الملصقات المستمدة من المستودعات في مجموعات بيانات صور الأشعة السينية للصدر غالباً ما تفشل في عكس الحقيقة على مستوى الصورة، مما يستلزم التحقق من قبل الخبراء لضمان تطوير ذكاء اصطناي طبي موثوق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت ليكون طبيبًا. لديك مكتبة ضخمة من الملاحظات الطبية القديمة وصور الأشعة السينية. وتريد من الروبوت أن يتعلم منها. هذا هو عالم الذكاء الاصطناي الطبي (AI). الفكرة بسيطة: أظهر للكمبيوتر آلاف الأمثلة، وسيتعلم كيفية رصد الأمراض مثل الخبير البشري. لكن هناك عقبة شائكة؛ فمعظم هذه "الكتب المدرسية" المخصصة للروبوتات لا تملك معلماً نظر بالفعل إلى صورة الأشعة وقال: "نعم، القلب كبير هنا". بدلاً من ذلك، فإن الملصقات (الإجابات) يتم سحبها فقط من التقارير المكتوبة التي يكتبها الأطباء بعد فحص المريض.
فكر في الأمر بهذه الطريقة: إذا كنت تريد تعليم طالب كيفية تمييز سيارة حمراء، فلن تطلب منه فقط قراءة مذكرات قد يذكر فيها شخص ما سيارة حمراء؛ بل ستعرض عليه السيارة الفعلية. ولكن في عالم الذكاء الاصطناعي الطبي، كنا نستخدم مدونات المذكرات كما لو كانت هي السيارات نفسها. والسؤال الكبير هو: ماذا لو كتب الطبيب تقريراً عن مريض يعاني من كسر في الساق، لكنه نسي أن يذكر أيضاً أن القلب متضخم؟ إذا تعلم الروبوت من هذا التقرير، فسيعتقد أن القلب طبيعي، رغم أن الصورة تظهر بوضوح أنه ليس كذلك. يبحث هذا البحث في هذه المشكلة تحديداً، متسائلاً عما إذا كان بإمكاننا الوثوق في "مدونات المذكرات" لتعليم روبوتاتنا الطبية، أم أننا بحاجة للعودة والتحقق من الصور الفعلية أولاً.
التباين الكبير في الأشعة السينية
في هذه الدراسة، قرر فريق من الباحثين لعب دور المحقق باستخدام قاعدة بيانات عامة ضخمة لصور الأشعة السينية للصدر تسمى MIMIC-CXR. أرادوا معرفة ما إذا كانت الملصقات المرتبطة بهذه الصور — والتي يتم إنشاؤها عادةً بواسطة أجهزة الكمبيوتر التي تقرأ تقارير الأطباء — تتطابق بالفعل مع ما هو مرئي في الصور. لقد ركزوا على حالة محددة وهي: تضخم القلب (cardiomegaly)، وهو المصطلح الطبي لتضخم القلب.
وللقيام بذلك، وضعوا إطار عمل أطلقوا عليه اسم تدقيق الإشراف المستودعي (RSA). تخيل أنك معلم تصحح واجبات طالب؛ عادةً ما تتحقق من نموذج الإجابة فقط. لكن في هذه الحالة، كان "نموذج الإجابة" مكتوباً بواسطة كمبيوتر قرأ تقريراً، وليس بواسطة إنسان نظر إلى الصورة. قرر الباحثون الاستعانة بلجنة من أطباء الأشعة الحقيقيين والخبراء (أطباء بشر) للنظر مباشرة في صور الأشعة وكتابة "نموذج إجابة" خاص بهم. ثم قارنوا نموذج الكمبيوتر بنموذج البشر.
كانت النتائج صادمة. فعندما يتعلق الأمر بتضخم القلب، لم يتفق النموذج المولد بواسطة الكمبيوتر مع الخبراء البشر إلا في حالات شبه معدومة. كانت درجة الاتفاق ضئيلة جداً، حيث بلغت 0.011، وهي ما يعادل تقريباً رمية عملة (عشوائية). والجزء المذهل هنا هو: من بين 1,080 حالة أكد فيها الخبراء البشر وجود تضخم في القلب، لم يحدد نموذج الملصقات المستودعية سوى 14 حالة فقط كحالات إيجابية. وهذا يعني أن الكمبيوتر فاتته 98.7% من الحالات الفعلية. الأمر يشبه أن تطلب من روبوت العثور على جميع السيارات الحمراء في موقف للسيارات، فلا يجد إلا واحدة، بينما يرى الإنسان المئات.
لماذا أخطأ الروبوت بهذا القدر؟
قد تعتقد أن الكمبيوتر أخطأ في قراءة التقارير، أو أن الأطباء ذكروا صراحةً "لا يوجد تضخم في القلب هنا"، مما أدى إلى ارتباك الكمبيوتر. لكن الباحثين وجدوا شيئاً أكثر إثارة للاهتمام. لم تكن المشكلة في أن التقارير خاطئة، بل كانت في أنها غير مكتملة.
في 94.8% من الحالات التي أخطأ فيها الروبوت في رصد تضخم القلب، لم يذكر تقرير الطبيب القلب على الإطلاق. لم يكن الأمر أن الطبيب قال "لا توجد مشكلة في القلب"؛ بل ببساطة لم يكتب عن القلب لأنه كان يركز على شيء آخر، مثل كسر في الضلع أو التهاب رئوي. في عالم طب الطوارئ المتسارع، غالباً ما يكتب الأطباء تقارير حول القضايا العاجلة والملحة ويتركون الأمور المستقرة والمزمنة مثل تضخم القلب البسيط. الكمبيوتر، من خلال قراءته للتقرير، افترض أن "عدم الذكر" يعني "عد عدم وجود مشكلة". لكن في الصورة، كان القلب ضخماً بوضوح.
هذا تمييز جوهري. لم يكن الخطأ في قدرة الكمبيوتر على القراءة؛ بل كان في الافتراض بأن التقرير الطبي هو جرد كامل لكل شيء مرئي في الأشعة السينية. التقرير هو قصة عما اعتبره الطبيب مهماً في تلك اللحظة، وليس خريطة مثالية للصورة.
بناء فصل دراسي أفضل
إذن، ماذا فعل الباحثون بهذا الاكتشاف؟ لم يكتفوا بالإشارة إلى المشكلة، بل بنوا حلاً. استخدموا ملاحظات الخبراء البشر لإنشاء مجموعة جديدة "نظيفة" من صور الأشعة السينية. لقد أخذوا 2,072 صورة، وطابقوها بعناية بحيث تبدو مجموعة "المرضى" ومجموعة "الأصحاء" متشابهة في العمر والجنس وعوامل أخرى، واستبعدوا أي صور ضبابية أو منخفضة الجودة. خلق هذا مجموعة بيانات جديدة وموثوقة حيث كانت الملصقات مضمونة الصحة لأن بشراً قد تحقق منها.
ثم قاموا بتدريب نموذج ذكاء اصطناعي قياسي (DenseNet121) على هذه المجموعة عالية الجودة. والنتيـجة؟ أدى النموذج بشكل أفضل بكثير. فقد حقق درجة 0.853 على مقياس اختبار (حيث 1.0 هو الدرجة المثالية)، وهو أداء قوي. والأهم من ذلك، عندما نظروا في كيفية اتخاذ النموذج للقرارات، رأوا أنه ينظر بالفعل إلى شكل القلب، وليس مجرد التخمين بناءً على آثار غريبة أو أجهزة مزروعة. لقد تعلم النموذج رؤية القلب، وليس مجرد قراءة النص.
الخلاصة الكبرى
لا يدعي هذا البحث أن الذكاء الاصطناعي معطل أو أننا لا نستطيع استخدام قواعد البيانات العامة. بدلاً من ذلك، يقترح أننا بحاجة إلى تغيير طريقة استخدامنا لها. لا يمكننا افتراض أن الملصق المستخرج من تقرير هو نفسه الملصق الذي تم التحقق منه مقابل صورة.
وجد الباحثون أنه بالنسبة لأمور مثل تضخم القلب، فإن الاعتماد على الملصقات المستخرجة من التقارير يشبه محاولة تعلم لغة من خلال قراءة العناوين الرئيسية فقط؛ فأنت تفقد التفاصيل والدقة. لقد أظهروا أنه قبل تدريب الذكاء الاصطناي الطبي الخاص بنا، نحتاج إلى "تدقيق" الإشراف. نحن بحاجة للتحقق مما إذا كانت الملصقات التي نستخدمها تعكس بالفعل حقيقة الصورة.
بينما كانت الدراسة محدودة بحالة واحدة (تضخم القلب) وفي قاعدة بيانات واحدة، فإن الطريقة التي ابتكروا بها — وهي التحقق من الملصقات مقابل الخبراء البشر قبل التدريب — تقدم طريقة جديدة لبناء ذكاء اصطناعي طبي أكثر موثوقية. إنها تذكير بأنه في السباق لبناء آلات ذكية، لا ينبغي لنا أن ننسى مراجعة الواجبات التي نعطيها لها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.