Challenges in Explaining Pretrained Clinical Text Classifiers

ملخص تقني: تحديات تفسير مصنفات النصوص السريرية سابقة التدريب

بيان المشكلة
إن دمج نماذج التعلم العميق في المجالات الرعائية عالية المخاطر، لا سيما لتحليل السجلات الصحية الإلكترونية (EHRs) غير المهيكلة، يعوقه نقص الشفافية. فبينما تحقق النماذج أداءً تنبؤياً قواً، إلا أن طبيعتها كـ "صندوق أسود" تحد من الثقة والمساءلة. إن تقنيات الذكاء الاصطناعي القابل للتفسير (XAI) الحالية، مثل LIME (التفسيرات المحلية المفسرة المستقلة عن النموذج) وSHAP، صُممت أساساً للبيانات الجدولية أو الصور. وعند تطبيقها على السرديات السريرية الطويلة، والمشوشة، والمتنوعة، غالباً ما تفشل هذه الأساليب اللاحقة (post-hoc) في تقديم رؤى ذات معنى سريري. وتحدد الورقة فجوة حرجة: استراتيجيات التفسير الحالية القائمة على مستوى الرمز (token-level) والاضطراب (perturbation-based) غالباً ما تسلط الضوء على رموز تافهة، وتتجاهل المفاهيم السريرية متعددة الكلمات، وتنتج نسباً (attributions) غير مستقرة أو مضللة لا تتوافق مع التفكير الخبير.

المنهجية
أجرى المؤلفون تقييماً تجريبياً مستهدفاً باستخدام مجموعة بيانات واقعية مكونة من 467 ملخص خروج من المستشفى مجهولة الهوية من قاعدة بيانات MIMIC-IV. تتكون مجموعة البيانات من مرضى بالغين تم تشخيصهم بحصوات الكلى (كود ICD-10 هو N20.0)، وتم تصنيفها لمهمة تصنيف ثنائي: التنبؤ بما إذا كانت مدة الإقامة في المستشفى (LOS) قد تجاوزت الوسيط الخاص بالمجموعة.

1. تدريب النموذج: تم ضبط نموذج ModernBERT المتكيف مع المجال بدقة على مجموعة البيانات باستخدام إطار عمل HuggingFace Transformers. تم قص المدخلات إلى 1024 رمزاً، وتم تحسين النموذج باستخدام خسارة الإنتروبيا المتقاطعة (cross-entropy loss).
2. توليد التفسير: استخدم المؤلفون تقنية LIME لتوليد درجات أهمية مستوى الرمز لتنبؤات النموذج.
3. عرض ثلاثي الأجزاء: للكشف عن حدود LIME في هذا السياق، أجرى المؤلفون ثلاثة تحليلات محددة:
   • تحليل الحساسية: تجربة قائمة على الحذف حيث تمت إزالة الرموز الأعلى تصنيفاً التي حددها LIME تدريجياً لمراقبة التأثير على ثقة النموذج.
   • تحليل تكرار الرموز: تجميع لأعلى 10 رموز منسوبة عبر 20 ملخص خروج متنوع لتحديد مدى انتشار الرموز غير المعلوماتية (مثل كلمات التوقف، والرموز).
   • الاضطراب خارج النطاق (Off-Manifold Perturbation): تجربة اصطناعية حيث تم اضطراب ملاحظة طبية معقولة عن طريق حجب الرموز عشوائياً لإنشاء مدخلات مكسورة نحوياً أو غير متماسكة دلالياً، لاختبار ما إذا كان النموذج والمفسر سيظلان يقدمان نتائج عالية الثقة وقابلة للتفسير.

المساهمات والنتائج الرئيسية
تثبت الدراسة تجريبياً ستة تحديات جوهرية متأصلة في تطبيق المفسرات اللاحقة القياسية على النصوص السريرية:

1. التأثير غير المتناسب للرموز العليا: كشف تحليل الحساسية أن ثقة النموذج تنخفض بشكل حاد فقط عند إزالة الرمز أو الرمزين الأعلى مرتبة. أما عمليات الإزالة اللاحقة للرموز الأقل مرتبة (حتى تلك التي لها درجات غير مهملة من LIME) فقد كان لها تأثير ضئيل. يشير هذا إلى أن القوائم الطويلة من "الرموز المهمة" التي توفرها المفسرات غالباً ما تؤدي إلى الإفراط في تفسير الميزات الهامشية.
2. انتشار الرموز غير المعلوماتية: أظهر تحليل التكرار أن LIME غالباً ما يخصص درجات استناد عالية لكلمات التوقف، والآثار التنسيقية (مثل الشرطات السفلية)، والكلمات الوظيفية (مثل "لا"، "و") بدلاً من المصطلحات السريرية الهامة. وبينما يمكن للفلترة إزالة بعض الضجيج، إلا أنها تخاطر بالتخلص من العبارات الطبية المعتمدة على السياق.
3. الفشل في التقاط المفاهيم متعددة الكلمات: يفشل التفسير على مستوى الرمز في التقاط المفاهيم الطبية التي تمتد عبر عدة كلمات (مثل "مرض الكلى المزمن")، وبدلاً من ذلك يعزل كلمات فردية تفتقر إلى المعنى الدلالي في عزلتها.
4. الضعف أمام الاضطرابات خارج النطاق: كشفت تجربة الاضطراب أن النموذج حافظ على ثقة عالية (تتجاوز 0.75) لـ 17.2% من المدخلات المكسورة نحوياً وغير المتماسكة دلالياً. يشير هذا إلى أن الطرق القائمة على الاضطراب يمكن أن تولد تفسيرات لمدخلات تقع بعيداً عن نطاق بيانات التدريب، مما يشوه عملية التفسير.
5. التخفيف وعدم الاستقرار: يؤدي الاعتماد على أخذ العينات العشوائية في LIME إلى عدم الاستقرار، حيث تؤدي عمليات التشغيل المتكررة إلى نسب (attributions) مختلفة. علاوة على ذلك، فإن تأثيرات المتوسط عبر العديد من العينات المضطربة يمكن أن تحجب الأنماط الموضعية، مما ينتج تفسيرات مشتتة.

الأهمية والادعاءات
تجادل الورقة بأن الحدود الملاحظة ليست مجرد آثار معزولة، بل تنبع من عيوب هيكلية في المفسرات القائمة على مستوى الرمز والاضطراب عند تطبيقها على السرديات السريرية المعقدة. ويدعي المؤلفون أنه لكي يكون الذكاء الاصطناً القابل للتفسير (XAI) قابلاً للتطبيق في الرعاية الصحية، يجب أن تتجاوز استراتيجيات التفسير الرموز المنعزلة لتشمل:

• التماسك اللغوي: طرق تحترم التعبيرات متعددة الكلمات والكيانات الطبية.
• التأسيس الدلالي: تفسيرات تتماشى مع التفكير السريري بدلاً من التكرار الإحصائي للرموز.
• المتانة: استراتيجيات مستقرة عبر عمليات التشغيل ومقاومة للضجيج اللغوي.

يخلص المؤلفون إلى أن بناء أدوات تفسير مفيدة سريرياً يتطلب ليس فقط تقدماً تقنياً في التعامل مع الوحدات النصية الأطول، ولكن أيضاً تقييماً متمحوراً حول الإنسان يتضمن خبراء طبيين لضمان توافق التفسيرات مع احتياجات دعم القرار. ويؤكدون أن هذه التحديات تمتد إلى ما وراء الطب لتشمل مجالات معالجة اللغات الطبيعية (NLP) عالية المخاطر الأخرى، مثل المجالات القانونية والعلمية.