Reliability- and Anatomy-Consistency-Aware Multimodal Learning for Robust Fracture Classification from Bangladeshi Radiographs
تقترح هذه الورقة إطار عمل للتعلم متعدد الوسائط مدركاً للموثوقية واتساق التشريح، يدمج الصور الشعاعية مع البيانات الوصفية السريرية لتحسين دقة تصنيف الكسور والمتانة ضد المعلومات السياقية غير المتطابقة في الصور الشعاعية البنغلاديشية.
المؤلفون الأصليون:Musa Tur Farazi, K G Subarno Bithi
في هدوء قسم الأشعة في أحد المستشفيات، ينظر طبيب إلى صورة بالأبيض والأسود لعظمة مكسورة ليقرر كيفية علاج المريض. لعقود من الزمن، تم تعليم الحواسيب للقيام بهذه المهمة نفسها عبر التحديق في الصور وحدها، لتعلم رصد الخطوط المتعرجة للكسر تماماً كما تفعل العين البشرية. ولكن في العالم الحقيقي، لا ينظر الطبيب أبداً إلى صورة الأشعة السينية في فراغ؛ فهو يعرف عمر المريض، وما إذا كانت الإصابة في الجانب الأيسر أم الأيمن من الجسم، ونوع العظمة المكسورة. هذه المعلومات الإضافية، التي تسمى "البيانات الوصفية"، تعمل مثل همس مفيد يوجه عملية التشخيص. والتحدي الذي يواجه الذكاء الاصطناعي هو أنه بينما يمكن لهذه الهمسات أن تكون مفيدة للغاية، إلا أنها قد تكون خاطئة أيضاً. فإذا وثق نظام حاسوبي بشكل أعمى في تسمية تشير إلى "ذراع" بينما تظهر الصورة بوضوح "ساقاً"، فقد يرتكب النظام خطأً خطيراً. والسؤال الذي يواجه الباحثين هو كيفية بناء آلة تستمع إلى هذه الهمسات المفيدة ولكنها تعرف متى تتجاهلها إذا تعارضت مع الدليل البصري.
لقد شرع فريق من الباحثين في بنغلاديش في حل هذه المشكلة تحديداً باستخدام مجموعة مكونة من 1,493 صورة أشعة سينية مأخوذة من مستشفيات محلية. كان هدفهم هو تعليم الكمبيوتر تصنيف الكسور ليس فقط من خلال النظر إلى الصورة، ولكن من خلال دمج الصورة مع تفاصيل المريض مثل العمر والجنس والعظمة المعنية. بدأوا بتدريب نظام بصري قوي على الصور وحدها، مما خلق خط أساس يمكنه بالفعل تحديد العظام المكسورة بدقة معقولة. ثم أدخلوا بيانات المريض، واختبروا طرقاً مختلفة لمزج هذين المصدرين من المعلومات. جربوا أساليب بسيطة حيث يقوم الكمبيوتر بمجرد لصق بيانات الصورة مع بيانات النص معاً، وجربوا أساليب أكثر تعقيداً حيث يُسمح للبيانات النصية بإجراء تصحيحات طفيفة على التخمين القائم على الصورة. وكان النهج الأكثر واعدية يتضمن آلية سلامة: نظاماً يتحقق مما إذا كان الوصف النصي للعظمة يتطابق مع ما يراه الكمبيوتر في الصورة. فإذا ذكر النص "عظم الفخذ" بينما تظهر الصورة بوضوح "عظم الساق"، يقوم النظام تلقائياً بخفض مستوى صوت البيانات النصية، معتمداً بدلاً من ذلك على ما تظهره الصورة.
أظهرت النتائج أن إضافة معلومات المريض ساعدت بالفعل الكمبيوتر على تقديم تخمينات أفضل. فعندما كانت البيانات نظيفة وصحيحة، حدد النظام الذي يجمع بين الصور والنصوص الكسور بشكل صحيح بدرجة مساحة تحت المنحنى (AUC) بلغت 0.60، وهو تحسن ملحو Lot عن النظام الذي يعتمد على الصور فقط والذي ظل يحوم حول 0.57. كان هذا التحسن ثابتاً عبر العديد من الاختبارات المختلفة، مما يشير إلى أن السياق الإضافي يساعد الآلة حقاً على فهم الصورة بشكل أفضل. ومع ذلك، اختبر الباحثون أيضاً ما يحدث عندما تكون البيانات غير منظمة أو خاطئة، في محاكاة لسيناريو يحتوي فيه قاعدة بيانات المستشفى على سجلات مرضى مختلطة. في هذه المواقف الصعبة، بدأت الأنظمة البسيطة التي تثق بشكل أعمى في البيانات النصية في الفشل، حيث انخفضت دقتها بشكل كبير. أما النظام المزود بآلية فحص السلامة، فقد حافظ على ثباته؛ فعندما كانت البيانات النصية مشوشة أو غير صحيحة، فقد النظام الذكي قدرة ضئيلة فقط من الدقة، بينما عانت الأنظمة الأخرى من انخفاضات أكبر بك كثيراً، إذ نجح في تجاهل النص المتناقض والتمسك بالدليل البصري.
ومع ذلك، كانت هناك مقايضة. فالآلية التي تحمي النظام من البيانات السيئة جعلته أيضاً أكثر حذراً عندما تكون البيانات جيدة. ففي الاختبارات التي كانت فيها كل الأمور صحيحة، لم يكن النظام المزود بآلية السلامة دقيقاً تماماً مثل الأنظمة الأبسط والأكثر ثقة. لقد كان اختياراً بين ذروة الأداء في ظل البيانات المثالية وبين الأداء المستقر في ظل البيانات الفوضوية. وجد الباحثون أن هذا النهج الحذر ذو قيمة لأنه منع النظام من أن يُخدع بسهولة بالأخطاء. كما اكتشفوا أنه حتى عندما يكون نوع العظمة مفقوداً من سجل المريض، يمكن للنظام أن يظل يعمل بشكل جيد إذا تم تدريبه على التعرف على التشريح في الصورة نفسها. وهذا يشير إلى أن تعليم الكمبيوتر فهم شكل العظام يساعده على سد الفجوات عندما تكون المعلومات المكتوبة غير متوفرة.
تخلص الدراسة إلى أنه بينما يؤدي إضافة تفاصيل المريض إلى تحسين تصنيف الكسور، فإن طريقة استخدام تلك التفاصيل تهم بقدر أهمية التفاصيل نفسها. فالنظام الذي يقبل جميع المعلومات بشكل أعمى هو نظام هش، بينما النظام الذي يتحقق من الاتساق هو نظام قوي. ويؤكد الباحثون أن عملهم هو خطوة نحو ذكاء اصطناٍ طبي أكثر أماناً، لكنه ليس جاهزاً بعد للاستخدام في كل مستشفى في العالم الحقيقي. فقد جاءت البيانات من مجموعة محددة من المرضى، وكثير منهم كانوا أطفالاً، ولم يتم اختبار النظام على البالغين من مناطق مختلفة أو باستخدام أنواع مختلفة من المعدات. وقبل أن يمكن الوثوق بمثل هذه التكنولوجيا لمساعدة الأطباء في اتخاذ قرارات تتعلق بالحياة أو الموت، يجب إثبات قدرتها على العمل عبر مجموعة أوسع بكثير من الناس والبيئات. وفي الوقت الحالي، يقف هذا العمل كدليل على أن الذكاء الاصطناعي الأكثر موثوقية ليس بالضرورة هو الذي يعرف أكبر قدر من الحقائق، بل هو الذي يعرف كيف يشكك فيها عندما لا تتطابق مع الواقع الماثل أمامه.
بيان المشكلة يعتمد التصنيف الآلي للكسور في التصوير الشعاعي للعظام والاربطة غالباً على بيانات الصور فقط، متجاهلاً المعلومات السياقية القيمة مثل عمر المريض، وجنسه، والموقع التشريحي المتوفر في البيانات الوصفية السريرية الروتينية. وبينما يعد التعلم متعدد الوسائط بتحسين التمييز والمعايرة من خلال دمج هذه المصادر، فإنه يفرض ثغرة أمنية حرجة: قد تتعلم النماذج "اختصارات سياقية" أو تصبح هشة عند فقدان البيانات الوصفية، أو تلفها، أو عدم تطابقها (مثل حقل نوع العظم الذي يتعارض مع التشريح المرئي). تعالج الأساليب الحالية مثل "إسقاط الوسائط" (modality dropout) المدخلات المفقودة، لكنها تفشل في اكتشاف البيانات الوصفية المكتملة تركيبياً ولكنها غير الصحيحة دلالياً. تعالج هذه الدراسة الحاجة إلى مصنفات كسور متعددة الوسائط تتسم بالمتانة، بحيث يمكنها الاستفادة من السياق المهيكل مع التخفيف من مخاطر عدم تطابق البيانات الوصفية، وتحديداً في سياق البيانات الشعاعية البنغلاديشية.
المنهجية استخدمت الدراسة مجموعة بيانات OrthoFrac-XR، والتي تضم 1,493 صورة شعاعية للعظام من أربعة مستشفيات بنغلاديشية، مرتبطة ببيانات وصفية مهيكلة (العمر، الجنس، نوع العظم، والجانب/الجهة). ولمنع تسرب البيانات، تم استبعاد الميزات المستمدة مباشرة من تفسير الصورة الشعاعية (مثل فجوة الكسر، أو الملاحظة الأولية).
يتضمن الإطار المقترح عدة مكونات رئيسية:
المشفرات (Encoders): يعمل نموذج ConvNeXt-Tiny مسبق التدريب على ImageNet كمشفر للصور، بينما يعالج نظام MLP ذو طبقتين البيانات الوصفية السريرية المهيكلة. يتم إسقاط كليهما في مساحة مشتركة ذات 256 بُعداً.
الدمج المتبقي ذو البوابة الموثوقة (Reliability-Gated Residual Fusion): بدلاً من معاملة الصور والبيانات الوصفية كمدخلات متساوية، يستخدم النموذج تنبؤ الصورة كخط أساس أولي. تعمل شبكة متبقية (residual network) على تعلم تصحيح خاص بالفئة بناءً على البيانات الوصفية، ويتم تعديل هذا التصحيح بواسطة بوابة موثوقية (r) تأخذ في الاعتبار توفر المدخلات (a). يضمن ذلك عودة النموذج تلقائياً إلى فرع الصورة في حال غياب البيانات الوصفية.
الصياغة الهرمية (Hierarchical Formulation): إدراكاً منها بأن الفئات الأربع المستهدفة تمزج بين الحالة السريرية (غير كسر، ما بعد الكسر) وموقع الكسر (بعيد، قريب)، قدم المؤلفون نهجاً هرمياً. يتنبأ النموذج أولاً بالحالة (كسر حاد مقابل حالات أخرى)، ثم، بالنسبة للكسور الحادة فقط، يتنبأ بالموقع. يتم دمج هذه النتائج لإعادة بناء توزيع الفئات الأربع الأصلي.
بوابة اتساق التشريح (Anatomy-Consistency Gate): لمعالجة عدم تطابق البيانات الوصفية، أضاف المؤلفون رأساً مساعداً من جانب الصورة يتنبأ بنوع العظم. تولد الاحتمالية المخصصة لنوع العظم المُبلغ عنه درجة اتساق (c). تقوم هذه الدرجة بتخفيف تصحيح البيانات الوصفية إذا اختلف تنبؤ جانب الصورة مع البيانات الوصفية المُبلغ عنها، مما يؤدي فعلياً إلى كبح الإشارات السياقية المتناقضة.
أهداف التدريب: تم تدريب النموذج باستخدام تقاطع الإنتروبيا الموزون للفئات مع تنعيم الملصقات (label smoothing). ولمنع النموذج من مجرد حفظ ملصقات البيانات الوصفية المبعثرة، تم استخدام خسارة الترتيب المضاد للواقع (counterfactual ranking loss) وهدف الإخفاق الآمن (باستاستخدام تباعد KL تجاه تنبؤ الصورة فقط) أثناء التدريب مع البيانات الوصفية الفاسدة.
المساهمات الرئيسية
معيار مدرك للتسرب: وضع بروتوكول تقييم صارم على 1,493 صورة شعاعية بنغلاديشية، بما في ذلك التحقق المتقاطع خماسي الطيات مع ثلاث بذور عشوائية، ومعايرة الاحتمالات، وتحليل المجموعات الفرعية، مع استبعاد المتغيرات التي تلي عملية التصوير بدقة.
بنية الدمج المتبقي المعتمدة على الموثوقية: اقترح آلية دمج متبقية حيث توفر البيانات الوصفية تصحيحات متعلمة وخاصة بالفئة للتنبؤ الأساسي القائم على الصورة، مما يحافظ على المتانة عند عدم توفر البيانات الوصفية.
تفكيك المهام الهرمي: فصل حالة الكسر عن موقع الكسر الحاد، مما سمح بنمذجة أكثر اتساقاً دلالياً للفئات المستهدفة غير المتجانسة.
آلية اتساق التشريح: قدم فحصاً دلالياً عبر الوسائط يقيس المقايضة بين الدقة النظيفة والمتانة، موضحاً أن حجب تصحيحات البيانات الوصفية بناءً على تشريح مستمد من الصورة يقلل من التدهور في حالات عدم التطابق.
النتائج
الربح متعدد الوسائط: عبر 15 دورة (5 طيات × 3 بذور)، حقق نموذج الدمج المتبقي الهرمي درجة F1 كلي (macro-F1) بلغت 0.6046 ± 0.0279، وهو ما يتفوق بشكل كبير على نموذج ConvNeXt المعتمد على الصورة فقط (0.5727 ± 0.0270)، وحسن درجة بريير (Brier score) من 0.5239 إلى 0.4948.
المتانة تجاه عدم التطابق: في تجارب المتانة حيث تم خلط البيانات الوصفية عبر المرضى، عانى نموذج الدمج المتبقي القياسي من فقدان في الـ macro-F1 قدره 0.0567. بينما قلل متغير دمج اتساق التشريح هذا الفقد إلى 0.0203، مما أظهر قدرته على كبح البيانات الوصفية المتناقضة.
المقايضة بين البيانات النظيفة والمتانة: لم تؤدِ آلية اتساق التشريح إلى تحسين الأداء على البيانات النظيفة مقارنة بالدمج البسيط (الذي حقق أعلى macro-F1 نظيف بلغ 0.6031 في التجربة المستهدفة). ومع ذلك، عند إزالة بيانات نوع العظم الوصفية أثناء الاستنتاج، تفوق نموذج اتساق التشريح (0.5899) بشكل كبير على النموذج المتبقي القياسي (0.5620)، مما يشير إلى أن الإشراف التشريحي المساعد حسن التمثيل الصوري نفسه.
المعايرة: حسنت متغيرات الدمج المتبقي خطأ المعايرة المتوقع (ECE) مقارنة بالنماذج المعتمدة على الصورة فقط، بينما أدى الدمج المتأخر (late fusion) إلى تحسين التمييز ولكنه أدى إلى سوء المعايرة.
الأهمية والادعاءات يؤطر المؤلفون هذا العمل كخطوة نحو التعلم متعدد الوسائط الموجه نحو المتانة بدلاً من التحسين غير المشروط للدقة. تكمن الأهمية الأساسية في إثبات أن السياق المهيكل (العمر، التشريح) يمكن أن يحسن تصنيف الكسور عندما يتم تدقيقه بصرامة لمنع التسرب، ولكن هذا المنفعة تأتي مع مخاطرة إذا كانت البيانات الوصفية غير صحيحة.
خلصت الدراسة إلى ما يلي:
السياق المهيكل ذو قيمة: توفر البيانات الوصفية الخالية من التسرب مقدمات تكميلية تحسن التصنيف مقارنة بالنماذج المعتمدة على الصور فقط.
بوابة الاتساق هي آلية أمان: تعمل بوابة اتساق التشريح على الحد من الضرر الناتج عن البيانات الوصفية غير المتطابقة، مما يوفر وضع فشل أكثر أماناً في البيئات السريرية حيث قد تحدث أخطاء في تسجيل السجلات.
يجب أن تكون المقايضات صريحة: هناك مقايضة ملموسة بين دقة البيانات النظيفة والمتانة؛ ويعتمد "أفضل" نموذج على مدى موثوقية مصدر البيانات الوصفية.
القيود: صرح المؤلفون صراحةً بأن غياب معرفات مستوى المريض وعدم وجود تحقق خارجي يمنع اعتبار النموذج أداة تشخيصية وطنية معتمدة. وقد دعوا إلى التحقق الخارجي والاستباقي قبل النشر السريري.