📄 health informatics

HealthFormer: Dual-level time-aware Transformers for irregular electronic health record events

تقترح الورقة البحثية HealthFormer، وهو إطار عمل "ترانسفورمر" (Transformer) ثنائي المستوى ومدرك للزمن، تم تدريبه مسبقاً على سجلات صحية إلكترونية طولية واسعة النطاق باستخدام التعلم الذاتي متعدد المهام لتعلم تمثيلات مرضية هرمية ومرتكزة على الأحداث، والتي تحقق أداءً هو الأفضل في حالته في التنبؤ بمرض السرطان المستجد من خلال الضبط الدقيق المباشر.

المؤلفون الأصليون: Körösi-Szabo, P., Kovacs, G., Csiszarik, A., Forrai, B., Laki, J., Szocska, M., Kovats, T.

نُشر 2026-03-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Körösi-Szabo, P., Kovacs, G., Csiszarik, A., Forrai, B., Laki, J., Szocska, M., Kovats, T.

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل

تخيل تاريخك الطبي ليس كمجموعة فوضوية من الملفات الورقية، بل كـ قصة مصورة حيث كل فصل فيها يمثل زيارة لطبيب، أو رحلة إلى المستشفى، أو وصفة طبية جديدة.

المشكلة في هذه القصة المصورة هي أنها مكتوبة بطريقة غريبة جداً:

الصفحات مبعثرة: بعض الفصول تُكتب كل يوم، والبعض الآخر يُكتب مرة واحدة كل خمس سنوات.
اللغة مختلطة: قد تحتوي صفحة على رمز تشخيص، وأخرى على رمز جراحة، وثالثة على رمز دواء، وكلها مختلطة معاً.
الفجوات مربكة: أحياناً يكون الوقت بين الفصول أمراً بالغ الأهمية (حمى اليوم تختلف تماماً عن حمى العام القادم)، لكن الحواسيب عادة ما تكتفي بعدّ الصفحات، متجاهلة الوقت الفاصل بينها.

هنا يأتي دور HealthFormer. فكر فيه كـ أمين مكتبة فائق الذكاء قرأ الملايين من هذه القصص الطبية وتعلم كيف يفهم القصة، وليس مجرد الكلمات.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. استراتيجية القراءة ثنائية المستوى (الجزء "ثنائي المستوى")

تحاول معظم البرامج الحاسوبية قراءة السجل الطبي عبر تحويله إلى قائمة طويلة من الكلمات. لكن HealthFormer أكثر ذكاءً؛ فهو يقرأ في طبقتين:

الطبقة الأولى: قارئ "الحدث" (داخل الحدث - Intra-Event):
تخيل أنك دخلت إلى عيادة طبيب. قد تعاني من حمى، وطفح جلدي، ووصفة طبية للمضادات الحيوية في آن واحد. قد يرى الحاسوب العادي "حمى"، "طفح جلدي"، "مضاد حيوي" كثلاثة عناصر منفصلة وغير مترابطة.
وظيفة HealthFormer الأولى هي النظر إلى تلك الزيارة المحددة والقول: "آه، هذه الأشياء الثلاثة حدثت معاً في هذا السياق المحدد". إنه يجمعهم في "حزمة حدث" واحدة قبل الانتقال لما يليها. إنه يفهم أن الطفح الجلدي والمضادات الحيوية غالباً ما يسيران جنباً إلى جنب خلال زيارة معينة.
الطبقة الثانية: قارء "الجدول الزمني" (بين الأحداث - Inter-Event):
بمجرد تجهيز "حزم الأحداث"، ينظر البرنامج إلى الجدول الزمني بأك ول. ويسأل: "كم كانت المدة بين هذه الزيارة والزيارة السابقة؟"
بدلاً من مجرد عدّ "الزيارة 1، الزيارة 2"، فإنه يستخدم "حسّاً زمنياً" خاصاً. هو يعلم أن فجوة مدتها يومان تختلف تماماً عن فجوة مدتها سنتان. يستخدم حيلة رياضية (تسمى ALiBI) تسمح له بالتركيز أكثر على الأحداث الأخيرة مع الاستمرار في تذكر ما حدث قبل سنوات، دون أن يصاب بالارتباك بسبب الفجوات غير المنتظمة.

2. التعلم بدون معلم (التعلم المسبق ذاتي الإشراف)

قد تتساءل، "كيف يتعلم هذا الأمين؟" لم يكن لديه معلم يخبره: "هذا المريض سيصاب بالسرطان". بدلاً من ذلك، خاض لعبة ضخمة من "ملء الفراغات" باستخدام ملايين السجلات الطبية المجهولة من المجر.

لقد وُضع أمام أربعة تحديات:

الغميضة (التنبؤ المقنع): قام الحاسوب بتغطية رمز تشخيص (مثل "السكري") وحاول تخمين الرمز بناءً على الرموز الأخرى في نفس الزيارة وتاريخ المريض.
تخمين النوع: قام بتغطية نوع الزيارة (على سبيل المثال: "هل كانت جراحة أم فحصاً روتينياً؟") وكان عليه تخمين النوع بناءً على الزيارات المحيطة.
الكرة البلورية (الحدث التالي): نظر إلى زيارة اليوم وحاول تخمين نوع الزيارة التي ستحدث لاحقاً.
السفر عبر الزمن (توقع الوقت): حاول تخمين عدد الأيام بالضبط حتى الزيارة القادمة.

من خلال لعب هذه الألعاب ملايين المرات، تعلم HealthFormer الأنماط الخفية لصحة الإنسان. لقد تعلم أن رموزاً معينة تظهر معاً دائماً، وأن الفجوات الزمنية هي أدلة حاسمة.

3. سحر "الضبط الدقيق" (Fine-Tuning)

بمجرد أن يقرأ هذا الأمين ملايين الكتب ويتعلم الأنماط، يصبح خبيراً عالمياً.

إذا كنت تريد التنبؤ بـ سرطان القولون والمستقيم، فأنت لست بحاجة لبناء حاسوب جديد من الصفر. ما عليك سوى أخذ هذا الأمين الذكي، وإظهار بعض الأمثلة لمرضى السرطان له، وقول: "هيا، ابحث عن هذه الأنماط المحددة". عندها سيتكيف الأمين فوراً.

اختبرت الورقة البحثية ذلك من خلال محاولة التنبؤ بنوعين من السرطان (القولون والبروستاتا) قبل 30 و60 و90 يوماً من تشخيصهما رسمياً.

النتيجة: كان HealthFormer أفضل بكثير من الطرق التقليدية (مثل النماذج الرياضية البسيطة التي تكتفي بعدّ عدد مرات زيارة المريض للطبيب). لقد استطاع رصد علامات السرطان في وقت أبكر وبدقة أكبر بكثير.

لماذا يهم هذا الأمر (ما الفائدة؟)

إنه يحترم الفوضى: الحياة الواقعية ليست جدول بيانات مرتباً. الناس يمرضون في أوقات غريبة، وHealthFormer يتعامل مع هذه الفوضى بشكل طبيعي.
إنه يفهم السياق: هو يعلم أن رمز "الجراحة" يعني شيئاً مختلفاً إذا تبعه رمز "التعافي" بعد أسبوع، مقارنة بما لو تبعه رمز "مضاعفات" بعد يوم واحد.
إنه أداة عامة: بمجرد تدريبه، يمكن استخدامه لأي مهمة تنبؤية (التنبؤ بفشل القلب، التنبؤ بإعادة دخول المستشفى، إلخ) دون الحاجة لإعادة بنائه من الصفر.

باختاًصر: HealthFormer هو ذكاء اصطناعي تعلم قراءة القصة المعقدة وغير المنتظمة وغير المنظمة لصحة الإنسان من خلال فهم كل من الفصول الفردية (الزيارات) والفجوات الزمنية بينها، مما يسمح للأطباء برصد الأمراض الخطيرة مثل السرطان في وقت أبكر بكثير مما سبق.

إليك ملخص تقني مفصل لورقة البحث بعنوان "HealthFormer: محولات ثنائية المستوى واعية بالزمن للسجلات الصحية الإلكترونية غير المنتظمة".

1. بيان المشكلة

تفرض السجلات الصحية الإلكترونية الطولية (Longitudinal EHRs) تحديات فريدة في النمذجة بسبب عدم انتظامها وتباين طبيعتها:

أخذ العينات غير المنتظم: تحدث الأحداث السريرية في فترات زمنية غير منتظمة تتراوح من أيام إلى سنوات، مما يجعل النماذج التسلسلية ذات الخطوات الثابتة (مثل نماذج RNN القياسية أو المحولات ذات الترميزات الموضعية) دون المستوى الأمثل.
تكوين الأحداث المتباين: غالبًا ما تجمع الزيارة السريرية الواحدة (مثل زيارة المستشفى) عدة رموز من أنظمة مختلفة (تشخيصات، إجراءات، أدوية) في آن واحد.
قصور الأساليب الحالية:
- التسطيح (Flattening): تقوم العديد من النماذج بتسطيح اللقاءات المعقدة إلى رمز واحد أو "حقيبة رموز" غير مرتبة، مما يؤدي إلى طمس البنية الداخلية وعلاقات التزامن بين الرموز داخل الحدث الواحد.
- النمذجة الزمنية الخشنة: تعتمد النهج الحالية غالبًا على تقسيم الوقت إلى فئات (buckets) أو ترميزات موضعية بسيطة، مما يفشل في التقاط الفروق الدقيقة ذات القيمة السريرية للفجوات الزمنية المستمرة.
- خصوصية المهام: تتطلب العديد من النماذج هندسة ميزات أو تغييرات هيكلية خاصة بكل مهمة جديدة للتنبؤ بالنتائج.

يهدف المؤلفون إلى تطوير إطار عمل للتدريب المسبق يحافظ على بنية الحدث، ويصيغ الزمن المنقضي بشكل صريح، وينتج تمثيلات للمرضى قابلة للنقل وقابلة للتكيف مع مهام إشرافية جديدة دون الحاجة لهندسة مخصصة.

2. المنهجية: بنية HealthFormer

يعتبر HealthFormer محولاً ثنائي المستوى وواعياً بالزمن، مصمماً لنمذجة مسارات المرضى كمتواليات من الأحداث الإدارية المصنفة.

أ. تمثيل البيانات

الجدول الزمني المرتكز على الأحداث: يتم تطبيع تاريخ المريض إلى تسلسل مرتب من الأحداث المصنفة ( $E = [e_1, ..., e_T]$ ).
أنواع الأحداث: تم تحديد سبعة أنواع متميزة (زيارة طبيب عام، عيادة خارجية، قسم داخلي، جراحة، صرف دواء، سيارة إسعاف، وفاة).
التركيب النمطي: يحتوي كل حدث على مجموعة فرعية محددة من رموز النطاقات (تشخيصات ICD-10، إجراءات hPCS، أدوية ATC، بيانات وصفية للمنشأة) بناءً على نوع الحدث (انظر الجدول 1 في الورقة).
الترميز الهرمي:
- التوسع الهرمي: يتم تفكيك رموز ICD وATC إلى مسارات أسلافها (العمق 0، 1، 2) للاستفادة من الهيكلية الهرمية.
- التجزئة (Hashing): يتم تجزئة البيانات الوصفية عالية الكثافة (مثل معرفات المنشآت) إلى فئات ثابتة.

ب. البنية ثنائية المستوى

يفصل النموذج عملية الترميز إلى مرحلتين متمايزتين:

مشفر داخل الحدث (Intra-Event Encoder):
- الهدف: تجميع الرموز المتباينة داخل حدث واحد في تمثيل (embedding) واحد للحدث.
- الآلية: يستخدم وحدات تضمين خاصة بالرموز (للتعامل مع المفردات المختلفة) والتي تُسقط على أبعاد مشتركة. كما يستخدم تجميع الانتباه (attention pooling) حيث يُشتق الاستعلام (query) من نوع الحدث، بينما تأتي المفاتيح والقيم (keys/values) من رموز الحدث. وهذا يسمح للنموذج بوزن أهمية رموز معينة (مثل تشخيص مقابل دواء) بناءً على سياق الحدث.
مشفر بين الأحداث (Inter-Event Encoder):
- الهدف: نمذجة المسار الطولي للمريض.
- تكامل الزمن:
  - مشفر التاريخ: يضيف تضمينًا زمنيًا صريحًا (باستخدام Time2Vec) إلى تمثيل كل حدث بناءً على التاريخ المطلق والإشارات المشتقة (العمر، الفجوات).
  - انحياز انتباه ALiBI للزمن المستمر: بدلاً من الترميزات الموضعية، يستخدم النموذج انحياز ALiBI بمقياس لوغاريتمي. يتم حساب انحياز الانتباه بين الحدث $i$ والحدث $j$ كالتالي: $B_{i,j} = -s_h \cdot \log(1 + \Delta t_{i,j})$ ، حيث $\Delta t$ هو الزمن المنقضي. وهذا يسمح للنموذج بالتعامل مع الفجوات الزمنية التعسفية وتعلم التبعيات الزمنية النسبية دون الاعتماد على فئات زمنية ثابتة.

ج. التدريب المسبق ذاتي الإشراف

يتم تدريب النموذج مسبقاً على مجموعة بيانات وطنية مجرية ضخمة (~10 ملايين فرد، 12 عاماً) باستخدام هدف متعدد المهام يتكون من أربعة رؤوس:

النمذجة اللغوية المقنعة (MLM) على مستوى الرمز: نمذجة اللغة المقنعة للرموز الفردية داخل الحدث (عبر تقاطع الإنتروبيا لكل نطاق).
النمذجة اللغوية المقنعة (MLM) على مستوى الحدث: قناع للحدث الكامل حيث يجب على النموذج التنبؤ بـ نوع الحدث المقنع بناءً على السياق المحيط.
التنبؤ بالحدث التالي: التنبؤ بنوع ورموز الحدث التالي في التسلسل (مع تطبيق القناع السببي).
انحدار الوقت حتى الحدث التالي ( $\Delta t$ ): التنبؤ بعدد الأيام الدقيق حتى وقوع الحدث التالي.

3. المساهمات الرئيسية

التمثيل المرتكز على الحدث: إطار عمل موحد يعامل السجلات الإدارية كمتواليات من الأحداث المصنفة، مما يحافظ على البنية الداخلية للقاءات المعقدة بدلاً من تسطيحها.
المحول ثنائي المستوى الواعي بالزمن: بنية مبتكرة تفصل بين تكوين داخل الحدث وديناميكيات بين الأحداث، باستخدام انحيازات ALiBI للزمن المستمر لنمذجة زمنية قوية.
التدريب المسبق متعدد المهام: استراتيجية شاملة ذاتية الإشراف تعمل على تحسين التنبؤ بالرموز، واستنتاج نوع الحدث، والانحدار الزمني بشكل مشترك.
القابلية للنقل: يثبت أن نموذجاً واحداً مدرب مسبقاً يمكن ضبطه لمهام متنوعة (مثل التنبؤ بالسرطان) دون تغييرات هيكلية خاصة بالمهمة.

4. النتائج

قيم المؤلفون HealthFormer في التنبؤ بوقوع السرطان (سرطان القولون والمستقيم وسرطان البروستاتا) عبر آفاق زمنية قدرها 30 و60 و90 يوماً.

الأداء:
- سرطان القولون والمستقيم (CRC): حقق قيم AUC للاختبار بلغت 0.81 / 0.75 / 0.73 للآفاق 30/60/90 يوماً.
- سرطان البروستاتا: حقق قيم AUC للاختبار بلغت 0.94 / 0.87 / 0.84 للآفاق 30/60/90 يوماً.
المقارنة: تفوق نموذج HealthFormer الذي تم ضبطه نهائياً بشكل كبير على نماذج الانحدار اللوجستي القوية، بما في ذلك:
- الديموغرافيا فقط (العمر/الجنس).
- ملخصات الاستخدام.
- حقيبة الرموز (العد الثابت).
- حقيبة الرمود مع اضمحلال زمني (Time-decay bag-of-codes): وهي أقوى نموذج أساسي، حيث تفوق عليها HealthFormer بنحو 0.13 في AUC لسرطان القولون والمستقيم، وبنحو 0.09–0.11 لسرطان البروستاتا.
تحليل التضمين: كشفت عملية تصور تضمينات ICD-10 أن التدريب المسبق ذاتي الإشراف قد استحث هندسة متسقة مع الهيكلية السريرية. حيث تجمعت الرموز ذات المعاني السريرية المتشابهة معاً، وتماشى الهيكل مع مستويات عمق ICD، مما يشير إلى أن النموذج تعلم تمثيلات قابلة للتفسير سريرياً.

5. الأهمية والخاتمة

الفائدة السريرية: يوفر HealthFormer تمثيلاً ليس فقط تنبؤياً، بل أيضاً قابلاً للتفسير. فالتمثيلات المتعلمة تتماشى مع الهياكل الطبية، مما يسمح للأطباء بفحص "الجوار" للتشخيصات المتعلمة.
القابلية للتوسع والتكيف: يلغي هذا الإطار الحاجة إلى هندسة الميزات اليدوية للمخربات الجديدة. يمكن تكييف نفس النموذج المدرب مسبقاً مع مختلف مهام تصنيف المخاطر أو التنبؤ عبر الضبط الدقيق القياسي.
التعامل مع بيانات العالم الحقيقي: من خلال نمذجة الفجوات الزمنية غير المنتظمة وتكوينات الأحداث المتباينة بشكل صريح، يعالج HealthFormer تعقيدات البيانات الصحية الإدارية بشكل أفضل من النماذج التسلسلية السابقة.
العمل المستقبلي: يشير المؤلفون إلى الحاجة إلى اختبارات معيارية أوسع عبر مخربات مختلفة، والتحقق الخارجي، ودمج البيانات غير المهيكلة (مثل الملاحظات السريرية) والقيم المختبرية.

باختصار، يمثل HealthFormer خطوة هامة للأمام في نمذجة السجلات الصحية الإلكترونية من خلال الجمع بين ترميز الأحداث الهرمي وآليات الانتباه للزمن المستمر، مما ينتج نموذجاً تأسيسياً قوياً، قابلاً للنقل، وقابلاً للتفسير سريرياً للبيانات الصحية الطولية.