Federated Learning for ICD Classification with Lightweight Models and Pretrained Embeddings

ملخص تقني: التعلم الاتحادي لتصنيف رموز ICD باستخدام نماذج خفيفة الوزن وتضمينات مدربة مسبقاً

بيان المشكلة
يعد التصنيف الآلي للملاحظات السريرية إلى رموز التصنيف الدولي للأمراض (ICD) أمراً بالغ الأهمية للبحوث الوبائية والإدارة الصحية، ولكنه لا يزال يشكل عقبة بسبب الجهد اليدوي المطلوب. وبينما أظهرت النماذج اللغوية الكبيرة (LLMs) واعداً في أتمتة هذه المهمة، فإن نشرها العملي في مجال الرعاية الصحية يعوقه لوائح الخصوصية (مثل GDPR) والمخاوف الأخلاقية التي تمنع مركزية بيانات المرضى الحساسة. كما أن نهج التعلم الاتحادي (FL) التقليدي غالباً ما يتطلب ضبطاً دقيقاً لنماذج محولة (Transformer) ضخمة عبر عقد موزعة، وهو أمر مكلف حوسبياً، وكثيف الاتصال، ويصعب نشره في بيئات المستشفيات ذات الموارد المحدودة. علاوة على ذلك، تركز دراسات التعلم الاتحادي الحالية في الرعاية الصحية غالباً على مهام أبسط (مثل التنبؤ بالوفاة) بدلاً من ترميز ICD متعدد الملصقات والمعقد.

المنهجية
يقترح المؤلفون خط إنتاج معياري يتكون من مرحلتين، يفصل بين التمثيل الدلالي والتصنيف لمعالجة تحديات الخصوصية والقابلية للتوسع:

1. استخراج التضمينات خارج الشبكة (Offline Embedding Extraction): بدلاً من الضبط الدقيق للنماذج المحولة عبر المؤسسات، تستخدم الدراسة ستة نماذج تضمين متطورة ومفتوحة المصدر (تم اختيارها من لوحة صدارة اختبار MTEB) لترميز ملخصات الخروج السريرية الخام إلى ناقلات كثيفة ثابتة الأبعاد (768-1536 بُعداً). تتم هذه العملية محلياً وخارج الشبكة في كل عقدة، مما يضمن عدم خروج أي نص خام من المنشأة. وتشمل النماذج المختارة: Qwen3-Embed-0.6B، وgte-Qwen2-1.5B-instruct، وgte-multilingual-base، وsnowflake-arctic-embed-l/m-v2.0، وnomic-embed-text-v1.5.
2. التصنيف خفيف الوزن: تعمل التضمينات الناتجة كمدخلات لمصنفات بسيطة وخفيفة الوزن من نوع "Perceptron متعدد الطبقات" (MLP). تم تقييم ثلاث بنيات معمارية: MLP قياسي، وDeepMLP (ثلاث طبقات متراكمة مع تطبيع الدفعات والإسقاط)، وDeepResMLP (الذي يتضمن اتصالات متبقية).
3. إعداد التدريب الاتحادي: تحاكي الدراسة بيئة تعلم اتحادي أفقي باستخدام إطار عمل Flower عبر 20 عميلاً افتراضياً. تم تقسيم البيانات من مجموعة بيانات MIMIC-IV (تحديداً ملخصات الخروج المصنفة برموز ICD-9 وICD-10). وتستخدم استراتيجية التدريب خوارزمية FedAvg للتجميع عبر 30 جولة اتصال.
4. التصميم التجريبي: أجرى المؤلفون تجارب مكثفة لمقارنة التدريب المركزي (الأساس) مقابل التدريب الاتحادي. وقاموا بتقييم الأداء عبر ستة نماذج تضمين وثلاث بنيات مصنفات تحت معيارين للترميز (ICD-9 وICD-10). بالإضافة إلى ذلك، تم إجراء دراسة استئصال باستخدام 10 تقسيمات عشوائية طبقية لتقييم الاستقرار.

المساهمات الرئيسية

• بنية تحافظ على الخصوصية: تثبت الورقة مساراً قابلاً للتطبيق حيث لا يغادر النص السريري الخام العقدة المحلية أبداً. ومن خلال تجميد نماذج التضمين وتدريب رؤوس التصنيف خفيفة الوزن فقط بطريقة اتحادية، يلتزم النهج بمتطلبات سيادة البيانات الصارمة.
• الفصل بين التمثيل والتصنيف: تتحدى الدراسة ضرورة الضبط الدقيق الشامل (End-to-end) للنماذج الضخمة لترميز ICD. وتفترض أن التضمينات عالية الجودة والمجمدة يمكن أن توفر ثراءً دلالياً كافياً يجعل المصنفات البسيطة (مثل MLPs) تحقق أداءً تنافسياً.
• التقييم الشامل: يقدم العمل تقييماً صارماً لستة نماذج تضمين متميزة وثلاث مستويات من تعقيد المصنف تحت كل من الإعدادات المركزية والاتحادية، مما يوفر تحليلاً مفصلاً لكيفية تأثير جودة التضمين مقابل تعقيد المصنف على الأداء متعدد الملصقات.
• تحليل القابلية للتوسع: يستخدم الهيكل المقترح نماذج بعدد بارامترات أقل بكثير (أقل من 7.1 مليون لأكبر مصنف) مقارنة بالنماذج المحولة المتطورة ذات النهاية المفتوحة (مثل PLM-ICD التي تحتوي على حوالي 139 مليون بارامتر)، مما يجعل نشره ممكناً على أجهزة المستشفيات القياسية.

النتائج

• هيمنة جودة التضمين: تكشف التجارب أن اختيار نموذج التضمين هو المحدد الأساسي للأداء التنبئي، متفوقاً على تعقيد المصنف. فعلى سبيل المثال، حقق نموذج Qwen3-Embed-0.6B المقترن بـ MLP بسيط أعلى درجة F1 ميكرو (micro F1) لـ ICD-10 وهي (0.3942)، بينما حقق gte-Qwen2-1.5B-instruct مع DeepResMLP أفضل أداء لـ ICD-9.
• تعقيد المصنف: لم تتفوق البنيات الأكثر عمقاً (DeepMLP، DeepResMLP) باستمرار على MLP البسيط. وفي العديد من التكوينات، أدى التعقيد المضاف إلى عوائد متناقصة أو حتى انخفاض في الأداء، مما يشير إلى أن العبء الدلالي يتم التعامل معه بفعالية بواسطة التضمينات المدربة مسبقاً.
• الاتحادي مقابل المركزي: جاءت نتائج التعلم الاتحادي مطابقة تقريباً لخطوط الأساس للتدريب المركزي. على سبيل المثال، حقق تكوين Qwen3-Embed-0.6B + MLP درجة F1 ميكرو بلغت 0.3944 في التعلم الاتحادي مقارنة بـ 0.3942 في التدريب المركزي لـ ICD-10، مما يشير إلى أن لامركزية البيانات لا تؤدي إلى تدهور كبير في الأداء عند استخدام تضمينات معيارية.
• الأداء على الأكواد المتكررة: حققت النماذج درجات F1 أعلى بكل من المجموعات (غالباً >0.60 لأعلى 10 أكواد)، مما يظهر قدرة تمييزية قوية للتشخيصات الشائعة.
• الاستقرار: أظهرت دراسة الاستئصال عبر 10 تقسيمات عشوائية تبايناً منخفضاً في الأداء (الانحرافات المعيارية غالباً <0.003 لدرجات F1)، مما يؤكد قوة النهج.

الأهمية والادعاءات
يزعم المؤلفون أن هذا العمل يقدم "طريقة قابلة للتطبيق نحو أنظمة ترميز طبي قابلة للتوسع وتحترم الخصوصية". ويجادلون بأنه يمكن بناء أنظمة ترميز طبي عالية الأداء دون الاعتماد على بنيات مكلفة وصلبة تتطلب مركزية البيانات الحساسة. وتقترح الدراسة أنه يمكن معالجة "مفارقة البيانات الوفيرة ولكن المعزولة" في الرعاية الصحية من خلال الاستفادة من التضمينات الثابتة والمعيارية محلياً وتدريب الرؤوس الخفيفة بشكل تعاوني.

تحافظ الورقة على نبرة متواضعة فيما يتعلق بحدودها؛ فهي تقر بأن الاعتماد على التضمينات الثابتة وغير المضبوطة بدقة قد يحد من الأداء في الأكواد النادرة أو المتخصصة للغاية. علاوة على ذلك، يفترض إعداد التعلم الاتحادي ظروفاً مثالية (توزيع بيانات متجانس، تحديثات متزامنة) قد لا تعكس تماماً عدم التجانس في شبكات المستشفيات الواقعية. ويخلص المؤلفون إلى أنه بينما يحقق نهجهم نتائج تنافسية بجزء بسيط من بارامترات النماذج المتطورة، فإن العمل المستقبلي يجب أن يستكشف استراتيجيات اتحادية تكيفية، وضبطاً دقيقاً مشتركاً، ودمج المعرفة الطبية المتخصصة لتعزيز المتانة.