Similar discrimination, different behaviour under synthetic occlusion: confidence and attribution reproducibility of deep learning models for intraoral ultrasonography
بينما تحقق العديد من بنيات التعلم العميق مستويات تمييز أساسية عالية مماثلة في التصوير بالموجات فوق الصوتية داخل الفم، إلا أنها تظهر سلوكيات مختلفة جذرياً وغير موثوقة غالباً تحت تأثير الانسداد الاصطناعي، حيث يُظهر نموذج EfficientNet-B0 انهياراً حاداً في الأداء، وثقة مفرطة، وضعفاً في قابلية التكرار مقارنة بالنماذج الأخرى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
داخل الفم البشري، يمكن لمسبار موجات فوق صوتية متخصص التقاط صور حية للأنسة الرخوة دون استخدام أي إشعاع. وتكشف هذه الصور طبقات العضلات والجلد، مما يوفر نافذة على التشريح مفيدة لتخطيط الجراحات أو تقييم صحة الأنسجة. ومع ذلك، فإن تحويل هذه الصور إلى تشخيصات موثوقة يتطلب أكثر من مجرد صورة واضحة؛ فهو يتطلب برنامجاً حاسوبياً، أو نموذجاً، يمكنه تفسير ما يراه بشكل صحيح. في السنوات الأخيرة، درب العلماء العديد من هذه النماذج الحاسوبية للتعرف على الأنماط في الصور الطبية. وطريقة شائعة للحكم على هذه النماذج هي معرفة عدد المرات التي تعطي فيها الإجابة الصحيحة في مجموعة من صور الاختبار. لكن الدرجة العالية في اختبار قياسي لا تروي القصة كاملة؛ فهي لا تكشف كيف يتصرف النموذج عندما يتم تغيير الصورة، أو ما إذا كان يظل واثقاً عندما يخطئ، أو ما إذا كانت الأسباب التي يقدمها لقراره متسقة.
وضع فريق من الباحثين في جامعة يونسي في كوريا الجنوبية هدفاً للنظر إلى ما وراء درجات الاختبار البسيطة. فقد ركزوا على مهمة محددة: التمييز بين منطقتين في باطن الخد، تُعرفان بالغشاء المخاطي الشدقي. تقع إحدى المنطقتين فوق عضلات عظمة الخد، والأخرى تقع فوق عضلة الخد الرئيسية. وبينما يعرف الطبيب بالضبط أين يوضع المسبار، يجب على النموذج الحاسوبي أن يتعلم التمييز بين هاتين المنطقتين بمجرد النظر إلى الصورة. قام الباحثون بتدريب خمسة أنواع مختلفة من النماذج الحاسوبية على مئات الصور المأخوذة من متطوعين أصحاء. وقد أدى كل من النماذج الخمسة أداءً جيداً للغاية في الاختبار القياسي، حيث حدد المناطق بشكل صحيح في كل الحالات تقريباً. وقد أوحى هذا الأداء العالي بأنها جميعاً مرشحات جيدة بالتساوي للاستخدام الطبي المستقبلي.
ولاختبار ما إذا كانت متشابهة حقاً، أخضع الباحثون النماذج لسلسلة من التغييرات المحكومة. فقد أخذوا الصور وغطوا أجزاء منها بكتلة رمادية صلبة ومتجانسة، مما أدى فعلياً إلى محو المعلومات من النصف العلوي أو السفلي من الصورة. وتسمى هذه العملية بالاحتجاب (occlusion)، وهي تحا المحاكاة لما قد يحدث إذا كان جزء من الصورة ضبابياً أو مفقوداً. وعندما أزال الباحثون نصف الصورة، استمرت أربعة من النماذج الخمسة في الأداء بشكل جيد، مما أظهر قدرتها على العثين على القرائن اللازمة في الأجزاء المتبقية. ومع ذلك، تفاعل نموذج واحد بشكل مختلف تماماً؛ فعندما تم تغطية نصف صورته، انهار قدرته على التمييز بين المنطقتين، لتصل إلى مستوى لا يتجاوز التخمين العشوائي.
كان الاكتشاف الأكثر إثارة للدهشة ليس فقط أن هذا النموذج الواحد قد فشل، بل في كيفية فشله. فعندما ترتكب النماذج الأخرى أخطاءً، فإنها تميل إلى عدم اليقين بشأن إجاباتها. وفي المقابل، أصبح النموذج الفاشل واثقاً بشكل خطير؛ فحتى مع انخفاض دقته إلى مستوى الصدفة، استمر في تخصيص مستويات عالية جداً من اليقين لإجاباته الخاطئة. بدا الأمر كما لو أن النموذج قد فقد قدرته على رؤية الفرق ولكنه لم يفقد إيمانه بأنه على حق. ويشير هذا السلوك إلى أن النموذج يمكن أن يبدو موثوقاً للغاية في اختبار قياسي بينما يخفي اعتماداً هشاً على أجزاء محددة من الصورة، والتي تؤدي عند إزالتها إلى انهياره تماماً.
كما بحث الباحثون أيضاً في كيفية تقديم النماذج لـ "تفسيرات" لقراراتها. وباستخدام تقنية تسلط الضوء على الأجزوات التي يركز عليها النموذج في الصورة، تحققوا مما إذا كانت هذه التفسيرات متسقة. ووجدوا أن المناطق المظللة تتغير بشكل كبير اعتماداً على كيفية تدريب النموذج، حتى عندما تكون درجات الاختبار النهائية هي نفسها. وهذا يعني أن تفسيراً واحداً من نسخة من نموذج ما قد يبدو معقولاً، ولكن لا يمكن الوثوق به كدليل مستقر لما يتعلمه النموذج فعلياً. لم تكن أنماط الانتباه قابلة للتكرار، مما يجعل من الصعب الاعتماد على هذه التفسيرات البصرية لفهم منطق النموذج.
تخلص الدراسة إلى أن نموذجين يمكن أن يبدوا متطابقين في تقرير مدرسي قياسي، ومع ذلك يتصرفان بطرق متناقضة تماماً عندما يتم تغيير المدخلات. فقد وجد الباحثون أن الأداء الأساسي المتشابه يمكن أن يخفي نموذجاً شديد الحساسية للمعلومات المفقودة وعرضة للأخطاء الواثقة. لم يجدوا عيباً هيكلياً واحداً تسبب في ذلك، ولم يثبتوا أن هذا الفشل المحدد سيحدث في بيئة سريرية حقيقية مع مرضى حقيقيين. بدلاً من ذلك، أثبتوا أن تقييم النموذج يتطلب أكثر من مجرد التحقق من دقته. فلفهم قدرة الحاسوب حقاً على تفسير الصور الطبية، يجب أيضاً اختبار كيفية تعامله مع البيانات المفقودة، وكيف يعبر عن ثقته عندما يخطئ، وما إذا كان منطقه يظل متسقاً. وبدون هذه الفحوصات، قد يكون النموذج الذي يبدو مثالياً على الورق غير موثوق به في الممارسة العملية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.