Bridging the Version Gap: Multi-version Training Improves ICD Code Prediction, Especially for Rare Codes

ملخص تقني لورقة بحثية: سد فجوة الإصدارات: التدريب متعدد الإصدارات يحسن التنبؤ برموز ICD، خاصة للرموز النادرة.

بيان المشكلة

تعالج الورقة البحثية تحديين حاسمين في الترميز الآلي للتصنيف الدولي للأمراض (ICD):

1. تطور الإصدارات: تخضع أنظمة ICD لتحديثات مستمرة (مثل الانتقال من ICD-9 إلى ICD-10، وICD-11 القادم). النماذج المدربة على إصدار محدد بمساحة تسميات ثابتة تعاني من صعوبة في التعامل مع هذه التحولات، مما يؤدي إلى عدم تطابق في توزيع البيانات عند اعتماد إصدارات جديدة.
2. توزيع الذيل الطويل (Long-Tail Distribution): توزيع رموز ICD منحرف بشدة. في مجموعات البيانات مثل MIMIC-IV، تشكل الرموز النادرة (التي تظهر أقل من 10 مرات) حوالي 70% من إجمالي مجموعة الرموز (18,000 من أصل 26,000 رمز). غالبًا ما تعاني النماذج الحالية من ضعف الأداء في هذه الرموز النادرة بسبب نقص عينات التدريب، مما يخلق عقبة أمام الأنظمة القوية والقابلة للتنفيذ.

ويبقى هناك سؤال رئيسي لم يتم استكشافه بعد: هل من الممكن الجمع بين بيانات مشروحة بإصدارات مختلفة من ICD (على سبيل المثال، خلط ICD-9 مع ICD-10) لتدريب نموذج واحد مستقل عن الإصدار، أم أن عدم التطابق الاصطلاحي سيؤدي إلى ضوضاء تضر بالأداء؟

المنهجية

يقترح المؤلفون نهج تدريب متعدد الإصدارات باستخدام نموذج Label-Wise Attention (LWA) معدل يسمى DUALLAAT (الانتباه المزدوج المعتمد على التسمية).

• بنية النموذج:

  • المشفرات المزدوجة: على عكس نماذج LWA القياسية التي تشفر الملاحظات السريرية فقط، يستخدم DUALLAAT مشفرين للنصوص: أحدهما للملاحظات السريرية، والآخر منفصل لأوصاف رموز ICD.
  • تضمينات الرموز (Code Embeddings): بدلاً من استخدام تضمينات ثابتة للرموز، يقوم النموذج بتوليد تضمينات الرموز ديناميكيًا من الأوصاف النصية لرموز ICD. يسمح هذا للنموذج بمعالجة الرموز من إصدارات مختلفة (ICD-9 أو ICD-10) طالما تم توفيرها كنصوص نصية.
  • آلية الانتباه: يستخدم النموذج انتباهًا يعتمد على التسمية لمحاذاة الرموز (tokens) ذات الصلة في الملاحظة السريرية مع وصف الرمز المحدد، مما ينتج مصفوفة احتمالات لـ $N$ من الملاحظات و $C$ من الرموز.
  • المتغيرات: اختبر المؤلفون تكوينين للمشفرات: DUALLAATcnn (باستخدام CNN أساسي) و DUALLAAT (باستخدام RNN/GRU).

• استراتيجية البيانات:

  • مجموعات البيانات: استخدمت الدراسة ثلاث مجموعات بيانات مشتقة من MIMIC وهي: MIMIC-III (ICD-9)، وMIMIC-IV (ICD-9)، وMIMIC-IV (ICD-10).
  • توسيع مساحة التسميات: قام المؤلفون بإعادة استخراج جميع الرموز من MIMIC لتشمل الرموز النادرة (التكرار < 10)، مما وسع مساحة تسميات ICD-10 من 8,000 (متكررة) إلى 26,000 (المجموعة الكاملة).
  • إجراء التدريب: تم تجميع مجموعات التدريب من جميع هذه البيانات الثلاثة. وللتعامل مع التدريب بالدفعات (batch training) للإصدارات المختلطة، نفذ المؤلفون عينة (sampler) تضمن احتواء كل دفعة على إصدار واحد فقط من ICD (إما ICD-9 أو ICD-10) مع خلط دفعات الإصدارات المختلفة أثناء عملية التدريب. هذا يعمل على تثبيت حجم مساحة التسميات مع تعريض النموذج لبيانات متعددة الإصدارات.

• النماذج المرجعية (Baselines):

  • PLM-ICD: نموذج مرجعي قوي يستخدم BERT داخل النطاق مع نوافذ منزلقة وLWA.
  • CoRelation: نموذج يستخدم الرسوم البيانية ثنائية الأجزاء لنمذجة العلاقات بين الرموز.
  • CAML & LAAT: نماذج LWA سابقة تعتمد على CNN وRNN.

النتائج الرئيسية

أظهرت التجارب أن خلط بيانات ICD-9 في تدريب ICD-10 يحقق تحسينات كبيرة، لا سيما للرموز النادرة.

• أداء الرموز النادرة (ICD-10):

  • أدت إضافة بيانات ICD-9 إلى مجموعة التدريب إلى زيادة نسبية قدرها 27.4% في Micro F1 لـ 18,000 رمز نادر من ICD-10 (تحسنت من 8.4 إلى 10.7) مقارنة بالتدريب على بيانات ICD-10 وحدها.
  • تحقق هذا التحسن باستخدام نموذج أصغر بكثير (37 مليون معلمة لـ DUALLAAT مقابل 137 مليون لـ PLM-ICD).

• أداء الرموز المتكررة:

  • بالنسبة لـ 8,000 رمز متكرر من ICD-10، حسن التدريب متعدد الإصدارات درجة Macro F1 بنسبة تقارب 7% (من 27.9 إلى 29.9).
  • حقق نموذج DUALLAAT ذو التدريب المختلط أداءً مشابهًا أو متفوقًا على PLM-ICD وCoRelation في مجموعات الرموز الكاملة، مع درجات Macro F1 أعلى بشكل ملحوظ (11.2 مقابل 6.3 لـ CoRelation)، مما يشير إلى قوة أكبر عبر "الذيل الطويل".

• الكفاءة:

  • كفاءة المعلمات: يمكن لنموذج DUALLAAT واحد مدرب على بيانات مختلطة التعامل مع إصدارات متعددة من ICD، بينما تتطلب نماذج PLM-ICD نماذج منفصلة لكل إصدار.
  • وقت التدريب: تقارب نموذج DUALLAAT المختلط في حوالي 18 ساعة (57 ساعة لمجموعة البيانات المختلطة الكاملة)، وهو أسرع بكثير من الـ 95 ساعة المطلوبة لتدريب ثلاثة نماذج PLM-ICD منفصلة للثلاثة معايير.

الأهمية والادعاءات

تدعي الورقة أن دمج مجموعات البيانات متعددة الإصدارات يخلق تأثيرًا تآزريًا لترميز ICD، مما يتحدى الافتراض بأن عدم تطابق الإصدارات يؤدي بالضرورة إلى ضوضاء ضارة.

• الدلالات المشتركة بدلاً من التطابق المباشر: لاحظ المؤلفون أن حوالي 24.3% فقط من رموز ICD-9 لها تطابقات دقيقة في ICD-10. تشير التحسينات الملحوظة في الأداء إلى أن الفوائد تنبع من تعلم الدلالات السريرية المشتركة عبر الإصدارات بدلاً من التداخل المباشر في التسميات.
• الاستفادة من البيانات القديمة: توضح الدراسة أنه يمكن الاستفادة بفعالية من السجلات المرضية القديمة (مثل ICD-9) لتدريب نماذج أكثر قوة للأنظمة الحالية (مثل ICD-10)، مما قد يحل مشكلات "البداية الباردة" (cold-start) للإصدارات المستقبلية (مثل ICD-11).
• البيانات مقابل البنية: تشير النتائج إلى أن تعزيز تنوع بيانات التدريب (عبر الخلط متعدد الإصدارات) يمكن أن يكون بنفس تأثير التحسينات الهيكلية، والتي كانت هي التركيز الأساسي في الأدبيات الأخيرة.
• النشر العملي: يقدم النهج حلاً أكثر كفاءة للبيئات ذات الموارد المحدودة من خلال تقليل عدد معلمات النموذج المطلوبة ووقت التدريب مع الحفاظ على أداء عالٍ عبر إصدارات ICD المختلفة.

يخلص المؤلفون إلى أنه على الرغم من أن دراستهم محدودة بمجموعات بيانات MIMIC وباللغة الإنجليزية لـ ICD-CM، إلا أن مبادئ التدريب متعدد الإصدارات تقدم اتجاهًا واعدًا لتوسيع نطاق أبحاث ترميز ICD والتعامل مع تعديلات الأنظمة المستمرة.