Label Cleaning in Multimodal Public Retinal Image Datasets
حددت هذه الدراسة وصححت بشكل منهجي الضوضاء في التصنيفات ضمن تسعة من مجموعات بيانات صور الشبكية متعددة الوسائط العامة من خلال الجمع بين الفحص الآلي والتحقق من قبل الخبراء، كاشفةً أن ما يقرب من 5.39% من الصور احتوت على أخطاء — بما في ذلك نسب كبيرة من الحالات الخارجة عن التوزيع والحالات متعددة التصنيفات التي تتحدى الأطر التقلية أحادية التصنيف — مع إثبات أن أدوات مثل Cleanlab تقلل بفعالية من أعباء المراجعة اليدوية.
تُعد العين البشرية نافذة على صحة الجسم، وتعتبر الشبكية في الجزء الخلفي من العين خريطة تترك فيها أمراض مثل السكري واعتلال البقعة الصفراء آثارها الأولى. ولفهم هذه الحالات، يلتقط الأطباء صوراً للشبكية باستخدام كاميرات متخصصة. وفي السنوات الأخيرة، علّم العلماء الحواسيب كيفية قراءة هذه الصور، آملين في بناء ذكاء اصطناعي يمكنه رصد الأمراض بشكل أسرع وأكثر دقة من العين البشرية المتعبة. ولكن لكي يتعلم الكمبيوتر، فإنه يحتاج إلى مكتبة ضخمة من الأمثلة، ويجب أن يأتي كل مثال مع تسمية (وسم) صحيحة، مثل علامة تقول "سليم" أو "مصاب". وإذا كانت التسميات خاطئة، فإن الكمبيوتر سيتعلم دروساً خاطئة. هذه المشكلة المتمثلة في التسميات غير الصحيحة، والمعروفة باسم "ضجيج التسميات" (label noise)، هي عيب خفي في العديد من المجموعات العامة لصور العين. فحتى عدد قليل من التسميات السيئة يمكن أن يضلل الكمبيوتر، مما يتسبب في تفويته لأمراض حقيقية أو اختراع مشكلات لا وجود لها. وقبل أن نتمكن من الوثوق بهؤلاء الأطباء الرقميين، يجب فحص الخرائط التي يدرسونها وتصحيحها.
لقد شرع فريق من الباحثين في تنظيف تسع مجموعات عامة كبيرة من صور الشبكية، والتي تضمنت أنواعاً مختلفة من الصور الفوتوغرافية: صور ملونة قياسية، ومقاطع عرضية، ومشاهد واسعة للغاية تلتقط الجزء الخلفي بأكمله من العين. لقد جمعوا ما يقرب من 35,000 صورة من هذه المصادر وأخضعوها لعملية فحص صارمة. أولاً، استخدموا برنامجاً حاسوبياً مصمماً لرصد الأنماط والتناقضات؛ حيث عمل هذا البرنامج كمرشح عالي الكفاءة، يقوم بمسح الصور للعثور على الصور المكررة، والأنماط الشاذة الغريبة، والصور التي يبدو فيها الوسم متناقضاً مع ما تظهره الصورة بالفعل. وقد حدد البرنامج أكثر من 4,400 صورة مشبوهة، وهي مهمة كانت ستستغرق من الخبراء البشريين أسابيع لإنجازها يدوياً.
بمجرد انتهاء المسح الأولي للكمبيوتر، بدأ العمل الحقيقي. فقد تم تمرير الصور التي تم تحديدها إلى فريق من أطباء العيون، الذين فحصوا كل صورة على حدى. لم تكن هذه نظرة عابرة؛ بل كانت عملية مراجعة منظمة مكونة من أربع مراحل، حيث قام عدة أطباء بتقييم كل صورة بشكل مستقل، وغالباً ما قارنوا ملاحظاتهم مع زملاء أقدم للوصول إلى تشخيص نهائي متفق عليه. كانت خطوة التحقق البشري هذه حاسمة لأنها حولت تخمينات الكمبيوتر إلى حقائق مؤكدة. وقد وجد الأطباء أن الكمبيوتر كان محقاً في شكوكه؛ فمن بين ما يقرب من 35,000 صورة، أكدوا أن 1,884 منها كانت تحمل تسميات غير صحيحة. وهذا يعني أن واحداً من كل 20 صورة تقريباً في هذه المجموعات من البيانات كان موسوماً بالمرض أو الحالة الخاطئة.
كشفت طبيعة هذه الأخطاء عن أمر مهم يتعلق بحدود البيانات الطبية الحالية. فكثير من الأخطاء كانت مجرد عمليات تبديل بسيطة، حيث يتم وضع تسمية مرض معين على صورة لمرض آخر. ومع ذلك، كان جزء كبير من الأخطاء أكثر تعقيداً؛ فقد أظهرت بعض الصور مرضى يعانون من أمراض متعددة في آن واحد، وهو ما لم يستطع نظام التسمية الفردي الأصلي استيعابه. كما أظهرت صور أخرى حالات نادرة لا تندرج تحت الفئات القياسية على الإطلاق، أو صوراً كانت ضبابية للغاية أو رديئة الجودة بحيث لا يمكن إجراء تشخيص موثوق لها. وفي الواقع، وقع ما يقرب من ربع الأخطاء المؤكدة ضمن هذه الفئات "خارج التوزيع" (out-of-distribution)، مما يعني أنها كانت حالات لم يصمم مجموعة البيانات الأصلية للتعامل معها. كما وجد الباحثون مئات الصور المكررة، حيث تظهر نفس الصورة عدة مرات بأسماء مختلفة، مما قد يخدع الكمبيوتر ويجعله يعتقد أنه رأى أدلة أكثر مما رآه في الواقع.
أظهرت الدراسة أن الجمع بين الفحص الآلي والتقدير البشري الخبير هو وسيلة قوية لإصلاح هذه المجموعات من البيانات. لقد نجح البرنامج الحاسوبي في تحديد الغالبية العظمى من الأخطاء، مما قلل من عبء العمل على الأطباء البشريين عبر تصفية الحالات الواضحة وتركيز انتباههم على الحالات الصعبة. وعندما اقترح الكمبيوتر تسمية جديدة لصورة موسومة بشكل خاطئ، كانت تسميته صحيحة في أكثر من نصف الحالات، وفي بعض مجموعات البيانات، كانت صحيحة في كل مرة تقريباً. وهذا يشير إلى أن مثل هذه الأدوات يمكن أن تعمل كخط دفاع أول موثوق، حيث توجه الخبراء إلى الصور التي تحتاج إلى الاهتمام الأكبر. وخلص الباحثون إلى أنه بينما يحمل الذكاء الاصطناعي وعوداً كبيرة لرعاية العيون، فإن البيانات التي يتعلم منها يجب أن تُحفظ وفق معايير عالية. ومن خلال تنظيف مكتبات الصور العامة هذه بشكل منهجي، قدم الفريق أساساً أكثر وضوحاً للأبحاث المستقبلية، مما يضمن أن الجيل القادم من الذكاء الاصطناعي الطبي سيُدرب على الحقيقة لا على الخطأ.
ملخص تقني: تنقية الملصقات في مجموعات بيانات صور الشبكية متعددة الأنماط المتاحة للعموم
بيان المشكلة تُعد مجموعات بيانات صور الشبكية المتاحة للعموم موارد أساسية لتطوير والتحقق من صحة نماذج الذكاء الاصطناعي في طب العيون. ومع ذلك، تعاني هذه المجموعات بشكل متكرر من ضجيج في الملصقات (Label Noise)—المُعرف بأنه تصنيفات غير صحيحة أو غامضة أو غير متسقة—مما قد يؤدي إلى تقويض أداء النماذج وموثوقية المعايير المرجعية. وتشمل مصادر هذا الضجيج التباين بين المراقبين، والإجهاد الناتج عن عملية التصنيف، وأخطاء تنسيق البيانات. وبينما حددت دراسات سابقة معدلات خطأ في الملصقات تتراوح بين 0.15% و38.5% في مجموعات بيانات محددة، إلا أن هناك نقصاً في التقييم المنهجي عبر مجموعات البيانات المتنوعة ومتعددة الأنماط (تصوير قاع العين الملون [CFP]، والتصوير المقطعي للتماسك البصري [OCT]، وتصوير المجال الواسع للغاية [UWF]). علاوة على ذلك، لم يتم التحقق من كفاءة طرق مراقبة الجودة الآلية الموجودة بشكل شامل مقابل أخطاء الملصقات الطبيعية في البيئات الواقعية متعددة الأنماط، لا سيما فيما يتعلق بقدرتها على اكتشاف حالات خارج التوزيع (OOD) وسيناريوهات الملصقات المتعددة التي لا تتوافق مع التصنيفات أحادية الملصق.
المنهجية استخدمت هذه الدراسة سير عمل شبه مؤتمت لتقييم وتصحيح ضجيج المللصقات عبر تسع مجموعات بيانات لصور الشبكية المتاحة للعموم، والتي احتوت على إجمالي 34,924 صورة بعد المعالجة المسبقة. تضمنت المنهجية المراحل التالية:
اختيار مجموعة البيانات والمعالجة المسبقة: تم اختيار تسع مجموعات بيانات لتغطية أنماط CFP وOCT وUWF. تضمنت المعالجة المسبقة استبعاد الصور ذات فئات "أخرى" غير متجانسة أو ملصقات غير محددة، واختيار صور مقطعية محددة لـ OCT لتجنب التمثيل المفرط للمرضى.
الفحص الآلي: تم تدريب نموذج Swin Transformer على كل مجموعة بيانات لتوليد احتمالات الفئة المتوقعة وتمثيلات الميزات (Feature Embeddings). تم تغذية هذه البيانات في وحدة Datalab التابعة لـ Cleanlab، والتي أجرت ثلاثة فحوصات محددة:
كشف النسخ المتطابقة القريبة: تحديد أزواج الصور ذات المسافات الصغيرة في فضاء الميزات.
كشف مشكلات الملصقات: تقدير توزيع "الارتباط الواثق" (Confident Joint) لتمييز الصور التي تجاوز فيها الاحتمال المتوقع لفئة بديلة عتبة معينة، مما يوفر مقترحاً للملصق المصحح.
كشف القيم المتطرفة (Outliers): تمييز الصور التي تنحرف تمثيلات ميزاتها بشكل كبير عن التوزيع المخصص لفئتها.
التحقق الخبير المهيكل: خضعت جميع الصور المميزة لمراجعة يدوية صارمة من أربع مراحل:
المرحلة 1: قام طبيبان للعيون بتقييم الصور المميزة بشكل مستقل (مع حجب درجات الثقة وتقييمات بعضهما البعض)، حيث قررا إما الاحتفاظ بالملصق الأصلي، أو قبول اقتراح Cleanlab، أو تعيين تشخيص بديل.
المرحلة 2: تمت مراجعة الحالات المتضاربة من قبل طبيب عيون ثالث أقدم.
المرحلة 3: تم تحديد الإجماع النهائي بناءً على رأي الأغلبية؛ وفي حال اختلف الثلاثة، كان لرأي المراجع الثالث الأولوية.
المرحلة 4: أكد استشاري أول جميع الملصقات المعدلة.
تصنيف الأخطاء: تم تصنيف الأخطاء التي تم التحقق منها كـ تصحيحات داخل التوزيع (إعادة التعيين إلى فئة محددة مسبقاً)، أو حالات متعددة الملصقات، أو حالات خارج التوزيع (OOD) (أمراض نادرة، أو صور رديئة الجودة/غير قابلة للتقييم).
النتائج الرئيسية
إزالة النسخ المتطابقة: أكد التحقق من الهاش البصري (Perceptual Hash) وجود 638 صورة متطابقة تقريباً عبر ست مجموعات بيانات، ومعظمها ناتج عن مجموعتي TsukazakiUWF وOCTDL.
كشف خطأ الملصقات: حدد Cleanlab نحو 4,434 صورة (12.70% من الإجمالي) للمراجعة الخبيرة. ومن بين هذه الصور، تم تأكيد 1,884 صورة (5.39% من إجمالي مجموعة البيانات) كأخطاء حقيقية في الملصقات.
أداء الوحدات:
حققت وحدة مشكلات الملصقات قيمة تنبؤية موجبة (PPV) بلغت 46.11% (1,737 خطأ مؤكد).
حققت وحدة القيم المتطرفة قيمة تنبؤية موجبة بلغت 27.29% (244 خطأ مؤكد).
ومن الأهمية بمكان أن 60.25% من الأخطاء التي اكتشفتها وحدة القيم المتطرفة لم يتم اكتشافها بواسطة وحدة مشكلات الملصقات، مما يثبت القيمة التكاملية لفحص القيم المتطرفة.
تكوين الأخطاء: من بين 1,884 خطأ مؤكد:
1,435 كانت تصحيحات داخل التوزيع.
103 كانت حالات متعددة الملصقات.
400 كانت حالات خارج التوزيع (OOD) (بما في ذلك 32 صورة غير قابلة للتقييم و13 مرضاً نادراً).
والجدير بالذكر أن 449 حالة (23.83% من الأخطاء المؤكدة) لم يكن من الممكن تمثيلها ضمن إطار التصنيف أحادي الملصق الأصلي.
الاتفاق والثقة: تراوح الاتفاق بين الملصقات المقترحة من Cleanlab والملصقات التي تحقق منها الخبراء بين 51.95% و100.00%، حيث تجاوزت 60% في سبع من أصل تسع مجموعات بيانات. ومع ذلك، أظهرت درجات الثقة في Cleanlab أداءً تمييزياً محدوداً لاتخاذ القرارات على مستوى الفرد (AUC 0.54–0.67)، مما يشير إلى أنها تُستخدم بشكل أفضل لتحديد أولويات المراجعة اليدوية بدلاً من التصحيح التلقائي.
الأهمية والادعاءات يزعم البحث أن ضجيج الملصقات منتشر في مجموعات بيانات صور الشبكية المتاحة للعموم، ويتضمن نسبة كبيرة من حالات خارج التوزيع (OOD) وحالات متعددة الملصقات التي لا يمكن معالجتها بالكامل ضمن أطر التصنيف التقليدية أحادية الملصق. وتوضح الدراسة أن Cleanlab يقلل بفعالية من عبء المراجعة اليدوية من خلال تحديد مجموعة فرعية من الصور لتقييم الخبراء مع النجاح في تحديد أخطاء الملصقات، والنسخ المتطابقة، والعينات غير النمطية.
يؤكد المؤلفون أن سير العمل هذا يتيح إنشاء مجموعات بيانات لصور الشبكية متعددة الأنماط أكثر نقاءً، والتي يمكن أن تدعم تدريب النماذج والتحقق من صحتها وعمليات القياس المرجعي الأكثر موثوقية في أبحك الذكاء الاصطناعي لطب العيون. ومن خلال دمج كشف النسخ المتطابقة، وتحديد خطأ الملصقات، وكشف القيم المتطرفة في سير عمل موحد مع عملية تحكيم خبيرة مهيكلة، توفر الدراسة نهجاً قابلاً للتوسع لمراقبة الجودة المرتكزة على البيانات. وتسلط النتائج الضوء على أنه بينما توفر الأدوات الآلية مثل Cleanlab مقترحات تصحيح مفيدة ضمن التصنيف المصدر، فإن التحقق البشري من الخبراء يظل ضرورياً لوضع المعايير المرجعية، لا سيما للحالات المعقدة التي تشمل الأمراض النادرة أو مشكلات جودة الصور.