Clinical Metadata and Semantic Explanation-Guided Multimodal Deep Learning for Skin Lesion Recognition
تقترح هذه الورقة إطار عمل للتعلم العميق متعدد الوسائط موجه بالبيانات الوصفية السريرية والتفسير الدلالي، والذي يدمج الصور الجلدية مع السمات السريرية والتشخيصية لتحسين دقة وقابلية تفسير التعرف على الآفات الجلدية بشكل كبير مقارنة بالطرق التي تعتمد على الصور فقط.
تخيل أنك محقق يحاول حل لغز ما، لكن ليس لديك سوى دليل واحد: صورة ضبابية لبقعة مشبوهة على جلد شخص ما. في عالم الطب، هذا هو ما يواجهه الأطباء غالباً عند البحث عن سرطان الجلد. لسنوات، تم تدريب برامج الكمبيوتر المصممة لمساعدة الأطباء (والتي تسمى نماذج "التعلم العميق") على فحص هذه الصور، تماماً مثل المحقق الذي يدرس صورة لمسرح جريمة. هذه البرامج أصبحت بارعة جداً في رصد الأنماط في الصور، مثل شكل الشامة أو لون البقعة. ومع ذلك، فإن المحققين في الحياة الواقعية يعرفون أن الصورة ليست القصة بأكملها؛ فهم يحتاجون أيضاً إلى معرفة من هو المشتبه به (عمره، جنسه، مكان سكنه) وماذا يقول الشاهد عن التفاصيل (هل هي مثيرة للحكة؟ هل تنزف؟). في العالم الطبي، تسمى هذه المعلومات الإضافية "البيانات السريرية الوصفية" (خلفية المريض) و"السمات الدلالية" (أوصاف طبية محددة مثل "الشبكة الصبغية" أو "الوشاح الأزواني الأبيض"). السؤال الكبير الذي طرحه الباحثون هو: هل يمكن للكمبيوتر أن يصبح أكثر ذكاءً ودقة إذا توقف عن النظر في الصورة فقط وبدأ في الاستماع إلى القصة بأكملها؟
يقدم هذا البحث نظام "المحقق الخارق" الجديد الذي يحاول حل هذه المشكلة تحديداً. فقد بنى الباحثون من جامعة شينيانغ العادية برنامج كمبيوتر ذكياً لا يكتفي بالتحديق في صور الجلد فحسب، بل يقرأ أيضاً الملاحظات الطبية للمريض ويفهم الأوصاف الطبية المحددة للبقعة الجلدية. فكر في الأمر كفريق من ثلاثة خبراء يعملون معاً: أحدهم فنان بصري يدرس الصورة، والآخر عالم اجتماع يعرف خلفية المريض، والثالث كتاب طبي يفهم اللغة الخاصة بأمراض الجلد. وبدلاً من إجبار هؤلاء الخبراء الثلاثة على الصراخ بآرائهم في وقت واحد، ابتكر الباحثون "حارساً" خاصاً (يسمى وحدة الدمج المبوّبة). هذا الحارس يشبه مديراً حكيماً يستمع إلى الخبراء الثلاثة ولكنه يقرر، لكل حالة على حدة، مقدار الوزن الذي يجب إعطاؤه لكل خبير. فإذا كانت الصورة ضبابية ولكن عمر المريض والوصف الطبي المحدد واضحان جداً، فإن الحارس يسمح للخبيرين الآخرين بالقيادة.
اختبر الفريق هذا النظام الجديد على ثلاث مجموعات مختلفة من بيانات الجلد الواقعية، بما في ذلك آلاف الصور والسجلات المرضية. ووجدوا أن نهج "العمل الجماعي" هذا كان أفضل من أي خبير منفرد يعمل بمفرده. فعندما استخدم النظام المصادر الثلاثة للمعلومات معاً، نجح في تحديد الآفات الجلدية بدقة بلغت 90.8% من المرات. لقد كان جيداً بشكل خاص في رصد الحالات الخطيرة (بحساسية بلغت 91.7%)، وهو أمر بالغ الأهمية لأن تفويت بقعة خطيرة أسوأ بكثير من الإنذار الخاطئ. كما أثبت الباحثون أن "حارسهم الذكي" لم يكن يخمن فحسب؛ فقد أثبتوا أن إزالة أي خبير من الخبراء الثلاثة (الصورة، أو معلومات المريض، أو الأوصاف الطبية) تجعل النظام أسوأ. حتى أنهم قارنوا طريقتهم بأنظمة تقنية عالية أخرى تستخدم رياضيات معقدة لدمج المعلومات، ولا يزال "حارسهم الذكي" يتفوق عليها.
يشير البحث إلى أنه من خلال الجمع بين الصورة، وتاريخ المريض، والوصف الطبي المحدد، يمكننا بناء أدوات كمبيوتر ليست أكثر دقة فح فقط، بل أيضاً أسهل في الثقة. وجد الباحثون أن نظامهم ينتبه إلى الأجزاء الصحيحة من الصورة، تماماً كما يفعل الطبيب البشري. ومع ذلك، فهم حذرون في ملاحظة أن هذه خطوة واعدة وليست حلاً نهائياً؛ إذ يعترفون بأن نظامهم يعتمد على وجود ملاحظات طبية وبيانات مرضى واضحة، وهو ما قد لا يتوفر دائماً في كل مستشفى. ويقترحون أنه بينما يعد هذا النهج تحسيناً قوياً للنظر في الصور وحدها، فإن العمل المستقبلي يحتاج إلى اختبار هذا النظام على مجموعات أكبر من الناس ومعرفة كيفية جعله يعمل حتى عندما تكون بعض المعلومات مفقودة. وفي نهاية المطاف، تشير هذه الدراسة إلى أن مستقبل الكشف عن سرطان الجلد يكمل في تعليم أجهزة الكمبيوتر أن تكون محققين شموليين، يستخدمون كل دليل متاح للحفاظ على سلامتنا.
ملخص تقني: التعلم العميق متعدد الوسائط الموجه بالبيانات الوصفية السريرية والتفسيرات الدلالية للتعرف على آفات الجلد
بيان المشكلة يعد التعرف الدقيق على آفات الجلد أمراً بالغ الأهمية للفحص المبكر للميلانوما وغيرها من الأمراض الجلدية الخبيثة. وبينما أظهرت طرق التعلم العميق الحالية إمكانات قوية باستخدام الصور الدرماتوسكوبية (التلسكوب الجلدي)، إلا أنها غالباً ما لا تستغل بشكل كافٍ مصدرين حاسمين للمعلومات متاحين في الممارسة السريرية: البيانات الوصفية السريرية (مثل عمر المريض، والجنس، والموقع التشريحي) والسمات التشخيصية الدلالية (مثل الشبكة الصبغية، والخطوط، والوشاح الأزض/الأبيض). تواجه النهج متعددة الوسائط الحالية تحديات في دمج هذه المصادر غير المتجانسة للبيانات بفعالية؛ حيث يفشل الدمج البسيط للميزات في التقاط العلاقات المعقدة بين الوسائط، بينما قد تفرض نماذج الدمج القائمة على الانتباه (Attention) أو المحولات (Transformers) المعقدة أحمالاً حوسبية مفرطة وتفتقر إلى التفسير السريري الكافي.
المنهجية يقترح المؤلفون إطار عمل للتعلم العميق متعدد الوسائط موجه بالبيانات الوصفية السريرية والتفسيرات الدلالية. تتكون البنية من ثلاثة مكونات رئيسية:
ترميز الميزات متعدد الوسائط:
فرع الصورة: تتم معالجة الصور الدرماتوسكوبية باستخدام بنية أساسية تعتمد على EfficientNet. يتم إزالة طبقة التصنيف الأصلية، وتُحول خرائط الميزات عالية المستوى إلى تمثيلات مدمجة عبر التجميع المتوسط العالمي وطبقة إسقاط.
فرع البيانات الوصفية: يتم ترميز المعلومات السريرية (العمر، الجنس، الموقع التشريحي) إلى ناقلات مهيكلة. يتم تطبيع المتغيرات المستمرة، وتشفير المتغيرات الفئوية باستخدام الترميز الأحادي (One-hot encoding). وتتم معالجتها بواسطة Perceptron متعدد الطبقات (MLP) لتوليد ميزات البيانات الوصفية.
الفرع الدلالي: تُرمز السمات التشخيصية القائمة على قائمة النقاط السبعة (مثل الشبكة الصبغية، والنقاط، والكتل) كمتجهات مهيكلة (ثنائية أو فئوية) وتتم معالجتها بواسطة MLP منفصل.
يتم إسقاط جميع الوسائط الثلاثة في فضاء سمات كامن مشترك لضمان القابلية للمقارنة.
الدمج المتقاطع ذو البوابة (Gated Cross-Modal Fusion):
بدلاً من الدمج البسيط، يستخدم إطار العمل وحدة دمج ذات بوابة.
تولد شبكة بوابة خفيفة الوزن أوزاناً تكيفية (α) لميزات الصورة، والبيانات الوصفية، والسمات الدلالية بناءً على العينة المدخلة.
التمثيل المدمج النهائي هو مجموع موزون للميزات الخاصة بكل وسيط. تسمح هذه الآلية للنموذج بالتركيز ديناميكياً على الوسائط المعلوماتية وتثبيط الوسائط الأقل موثوقية لحالات معينة.
التصنيف والتحسين:
يتم تغذية التمثيل المدمج إلى رأس التصنيف (طبقات كاملة الاتصال + softmax).
يتم تحسين النموذج باستخدام خسارة الإنتروبيا المتقاطعة الموزونة لمعالجة عدم توازن الفئات، بالإضافة إلى تنظيم L2.
المساهمات الرئيسية
إطار عمل متكامل: تقترح الدراسة إطار عمل مبتكر يدمج في آن واحد الصور الدرماتوسكوبية، والبيانات الوصفية السريرية المهيكلة، والسمات التشخيصية الدلالية للتعرف على آفات الجلد.
آلية دمج تكيفية: تم تصميم وحدة دمج متقاطع ذات بوابة لضبط مساهمات الوسائط المختلفة بشكل تكيفي، متجاوزةً الدمج البسيط لتعلم أهمية الوسيط لكل عينة.
تعزيز القابلية للتفسير: من خلال دمج السمات التشخيصية الدلالية (المفاهيم ذات المعنى السريري) بشكل صريح، يهدف النموذج إلى سد الفجوة بين الميزات المرئية والاستدلال الدروماتولوجي، مما يحسن الصلة السريرية.
تقييم شامل: تم تقييم الطريقة بصرامة على ثلاث مجموعات بيانات عامة: ISIC-DICM-17K، وHAM10000، وDerm7pt، ومقارنتها بالنماذج التي تعتمد على الصور فقط، والبيانات الوصفية فقط، والأسس متعددة الوسائط المختلفة.
النتائج التجريبية تم تقييم الطريقة المقترحة باستخدام الدقة، والحساسية، والنوعية، ودرجة F1، والمساحة تحت المنحنى (AUC).
الأداء العام: حقق إطار العمل دقة إجمالية بلغت 90.8%، وحساسية 91.7%، ونوعية 89.9%، ودرجة F1 قدرها 0.907، وAUC قدرها 0.961.
تفاصيل مجموعات البيانات:
ISIC-DICM-17K: دقة 91.8%، وAUC 0.968.
HAM10000: دقة 89.5%، وAUC 0.952.
Derm7pt: دقة 88.2%، وAUC 0.943.
المقارنات: تفوقت الطريقة على النماذج الأساسية المعتمدة على الصور فقط (مثل ResNet-50، وEfficientNet-B0)، والنماذج المعتمدة على البيانات الوصفية فقط، واستراتيجيات الدمج الأخرى (الدمج البسيط، والدمج القائم على الانتباه). كما تفوقت أيضاً على الطرق الحديثة متعددة الوسائط مثل FusionM4Net، وTFormer، وSkinM2Former، وDermFormer.
دراسة الاستئصال (Ablation Study): أدى حذف البيانات الوصفية السريرية أو السمات الدلالية إلى انخفاض في الأداء، مما يؤكد قيمتها التكاملية. كما تفوق النموذج الكامل مع آلية الدمج ذات البوابة على النسخة التي تعمل بدون بوابة، مما أثبت فعالية الوزن التكيفي.
الأهمية والادعاءات يدعي المؤلفون أن نتائجهم تثبت أن التكامل متعدد الوسائط يحسن بشكل كبير كلاً من الأداء والقابلية للتفسير في تشخيص آفات الجلد القائم على التعلم العميق. وتحديداً:
الإشارات التكاملية: توفر البيانات الوصفية السريرية سياقاً على مستوى المريض يصعب التقاطه من الصور وحدها، بينما تقدم السمات الدلالية مؤشرات تشخيصية ذات معنى سريري.
التعلم التكيفي: تسمح آلية الدمج ذات البوابة للنموذج بدمج المعلومات المرئية والسريرية والدلالية بمرونة، مما يسمح بتعلم تمثيلات أكثر تمييزاً من طرق الدمج الثابتة.
الصلة السريرية: من خلال استخدام السمات التشخيصية الدلالية، يتماشى النهج بشكل وثيق مع الاستدلال الدروماتولوجي، مما قد يساعد في تطوير أدوات تشخيص مدعومة بالحاسوب أكثر موثوقية.
يقر المؤلفون بالقيود، مشيرين إلى أن إطار العمل يعتمد على مجموعات بيانات عامة وتوصيفات للسمات، وأن هناك حاجة لمزيد من التحقق على مجموعات بيانات سريرية أكبر ومتعددة المراكز لضمان قابلية التطبيق السريري الأوسع.