🤖 machine learning

Tokenization Tradeoffs in Structured EHR Foundation Models

تُثبت هذه الورقة أن تحسين استراتيجيات الترميز (tokenization)—وتحديداً من خلال دمج ترميزات الوقت الحدثية والموضعية في رموز موحدة—يُحسّن بشكل كبير كلاً من الأداء التنبئي والكفاءة الحسابية لنماذج التأسيس الخاصة بالسجلات الصحية الإلكترونية عبر مختلف المهام السريرية.

المؤلفون الأصليون: Lin Lawrence Guo, Santiago Eduardo Arciniegas, Joseph Jihyung Lee, Adam Paul Yan, George Tomlinson, Jason Fries, Lillian Sung

نُشر 2026-03-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lin Lawrence Guo, Santiago Eduardo Arciniegas, Joseph Jihyung Lee, Adam Paul Yan, George Tomlinson, Jason Fries, Lillian Sung

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب عبقري لكنه صغير جداً في السن (الذكاء الاصطناعي) كيف يفهم القصة المعقدة لحياة مريض، مكتوبة في سجل طبي. هذا السجل ليس رواية؛ بل هو جدول زمني فوضوي لآلاف الأحداث: "المريض أصيب بحمى"، "فحص الدم أظهر نسبة سكر عالية"، "الطبيب طلب صورة أشعة"، "المريض تناول دواءً".

السؤال الكبير الذي تطرحه هذه الورقة البحثية هو: كيف ينبغي لنا ترجمة هذا الجدول الزمني الطبي الفوضوي إلى لغة يمكن للذكاء الاصطناعي قراءتها والتعلم منها بالفعل؟

يسمي المؤلفون هذه العملية "الترميز" (Tokenization). فكر في "الترميز" كأنه "قاموس الترجمة" أو "تعليمات قطع الليغو" التي تعطيها للذكاء الاصطناعي قبل أن يبدأ في بناء فهمه.

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. الخيارات الثلاثة الكبرى

اختبر الباحثون ثلاث طرق مختلفة لبناء هذا "القاموس":

الخيار (أ): كيف تصف الحدث؟ ("الوجبة المشتركة" مقابل "الأطباق المنفصلة")
- المشكلة: الحدث الطبي عادة ما يتكون من اسم (مثل: "الجلوكوز") وقيمة (مثل: "مرتفع").
- الخيار 1 (المجزأ - Factorized): تعطي الذكاء الاصطناعي بطاقتين منفصلتين: واحدة تقول "جلوكوز"، والأخرى تقول "مرتفع". هنا يجب على الذكاء الاصطناعي أن يستنتج أن هاتين البطاقتين تنتميان لبعضهما البعض.
- الخيار 2 (المدمج - Joint): تلصقهما معاً في بطاقة واحدة تقول "جلوكوز مرتفع".
- النتيجة: لصقُهما معاً (المدمج) كان أفضل. الأمر يشبه إعطاء طالب قطعة "ليغو" جاهزة التركيب بدلاً من قطعتين منفصلتين؛ فالذكاء الاصطناعي لن يضطر لإضاعة طاقته الذهنية في استنتاج أن "مرتفع" و"جلوكوز" ينتميان لبعضهما؛ بل سيرى المفهوم فوراً. جعل هذا الذكاء الاصطناعي أكثر ذكاءً وأسرع في التدريب.
الخيار (ب): كيف تتعامل مع الوقت؟ ("التقويم" مقابل "الساعة")
- المشكلة: الأحداث الطبية تقع في أوقات محددة. هل يحتاج الذكاء الاصطناعي لمعرفة عدد الأيام التي مرت بين الأحداث بدقة؟
- الخيار 1 (رموز الوقت - Time-Tokens): تضع "بطاقات وقت" خاصة بين الأحداث، مثل بطاقة تقول "انتظر 3 أيام".
- الخيار 2 (مواقع الوقت - Time-Positions): لا تضيف بطاقات إضافية. بدلاً من ذلك، تخبر الذكاء الاصطناعي فقط: "هذا الحدث وقع في اليوم الخمسين من حياة المريض"، وتترك "ساعته الداخلية" تتولى العمليات الحسابية.
- النتيجة: "الساعة الداخلية" (مواقع الوقت) هي التي فازت. إضافة "بطاقات وقت" إضافية أدى في الواقع إلى تشتيت رؤية الذكاء الاصطناعي وإبطائه. كان مجرد معرفة الترتيب وعمر المريض كافياً.
الخيار (ج): ما مقدار التفاصيل التي ستظهرها؟ ("الفيلم" مقابل "ملخص لأبرز اللقطات")
- المشكلة: الاختبار المعملي ليس مجرد لحظة واحدة؛ بل هو عملية: الطبيب يطلب الاختبار -> الممرضة تسحب الدم -> المختبر يعالج العينة -> تظهر النتيجة.
- الخيار 1 (مع سير العمل - Workflow): عرض كل خطوة من تلك الخطوات للذكاء الاصطناعي.
- الخيار 2 (بدون سير العمل): عرض النتيجة النهائية فقط.
- النتيجة: عرض "الفيلم" كاملاً (سير العمل) ساعد الذكاء الاصطناعي على التعلم بشكل أفضل في المستشفى الذي جاءت منه البيانات. ومع ذلك، لم يساعد هذا عند تجربة الذكاء الاصطناعي في مستشفى آخر، لأن كل مستشفى يتبع طرقاً مختلفة في المعاملات الورقية.

2. سر "الربط المحلي" (Local Binding)

لماذا نجحت طريقة "الوجبة المشتركة" (الترميز المدمج) بشكل أفضل بكثير؟ اكتشف المؤلفون مفهوماً يسمونه "كفاءة الربط المحلي" (Local Binding Efficiency).

تخيل أنك تعلم طفلاً التعرف على "تفاحة حمراء".

الطريقة الصعبة (المجزأة): تظهر له بطاقة تقول "أحمر" وبطاقة تقول "تفاحة". عليك أن تعلمه أنه عندما تظهر هاتان الكلمتان بجانب بعضهما، فهما تعنيان "تفاحة حمراء". وإذا أظهرت له "أحمر" و"سيارة"، فعليه أن يتعلم أن هذا يعني شيئاً آخر. هذا أمر صعب ومربك.
الطريقة السهلة (المدمجة): تعرض له صورة "تفاحة حمراء" مباشرة. الرابط موجود بالفعل في الصورة.

في البيانات الطبية، كلمة "مرتفع" تعني شيئاً مختلفاً تماماً عن "الجلوكوز" (وهو أمر سيء) عما تعنيه بالنسبة لـ "الهيموجلوبين" (وهو أمر قد يكون جيداً). إذا فصلت بينهما، سيتعين على الذكاء الاصطناعي تعلم هذه القواعد المعقدة من الصفر. أما إذا دمجتهما، فإن الذكاء الاصطناعي يحصل على الإجابة فوراً. وقد وفر هذا كمية هائلة من قدرة الحوسبة وجعل التعلم أسرع.

3. اختبار "السفر"

قام الباحثون بتدريب الذكاء الاصطناعي الخاص بهم على بيانات من مستشفى للأطفال، ثم جربوا استخدامه على بيانات من وحدة عناية مركزة للبالغين.

تصادم المفردات: أصيب الذكاء الاصطناعي بالارتباك لأن مستشفى البالغين استخدم أكواداً مختلفة (مثل لهجة مختلفة). حوالي 70% من الكلمات التي يعرفها الذكاء الاصطناعي كانت "خارج المفردات" (Out of Vocabulary) بالنسبة للبالغين.
النتيجة: حتى مع وجود هذا الحاجز اللغوي الضخم، ظل الذكاء الاصطناعي الذي استخدم استراتيجية "الوجبة المشتركة" (الترميز المدمج) هو الأفضل أداءً. لقد أثبت ذلك أن فهم هيكل البيانات (لصق الأشياء الصحيحة معاً) أهم من حفظ كل كلمة محددة.

الخلاصة

هذه الورقة البحثية هي دليل لبناء أنظمة ذكاء اصطناعي طبية أفضل. وهي تخبرنا:

لا تعقد المدخلات. الصق الحقائق الطبية المرتبطة ببعضها لتصبح قطعاً واحدة ذات معنى.
لا تملأ الجدول الزمني بالزحام. اترك الذكاء الاصطناعي يستخدم حسه الداخلي للوقت بدلاً من إجباره على قراءة "بطاقات وقت" إضافية.
الهيكل أهم من الحجم. من خلال تنظيم البيانات بشكل أذكى (الترميز المدمج)، يمكننا بناء نماذج ليست فقط أكثر دقة، بل أيضاً أقل تكلفة وأسرع في التدريب.

باخت-صار: أعطِ الذكاء الاصطناعي أحجية (Puzzle) واضحة ومجمعة مسبقاً، وليس صندوقاً من القطع المتفرقة والمربكة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "مقايضات التجزئة في النماذج التأسيسية للسجلات الصحية الإلكترونية المهيكلة" (Tokenization Tradeoffs in Structured EHR Foundation Models).

1. بيان المشكلة

تُدرب النماذج التأسيسية للسجلات الصحية الإلكترونية (EHR) المهيكلة على تسلسلات طولية من الأحداث السريرية المختومة زمنياً (مثل التشخيصات، الفحوصات المخبرية، الأدوية) لتعلم تمثيلات مرضية قابلة للتكيف. ويعد التجزئة (Tokenization) مكوناً حاسماً، وإن كان غير مدروس بشكل كافٍ، في تدريب هذه النماذج؛ وهي عملية تحويل الجداول الزمنية السريرية الخام إلى مدخلات نموذج منفصلة.

تتبنى النماذج التأسيسية الحالية للسجلات الصحية الإلكترونية استراتيجيات تجزئة متنوعة دون مقارنة منضبطة، مما يؤدي إلى عدم اليقين بشأن:

الحفاظ على المعلومات: ما هو الهيكل السريري الذي يتم الحفاظ عليه مقابل ما يُفقد (مثل الارتباط بين الرمز والقيمة، والفترات الزمنية)؟
الكفاءة: كيف تؤثر خيارات التصميم على طول التسلسل، وحجم المفردات، والتكلفة الحسابية (FLOPs)؟
عبء التعلم: ما هي العلاقات التي يجب على النموذج تعلمها من الصفر (مثل ربط قيمة برمز معين) مقابل ما ينبغي معالجته مسبقاً؟

يجادل المؤلفون بأن خيارات التجزئة تُثبّت وقت مرحلة ما قبل التدريب وتنتقل إلى جميع التطبيقات اللاحقة، مما يجعل تحسين هذه الخطوة أمراً بالغ الأهمية للأداء والكفاءة، خاصة وأن بيانات السجلات الصحية الإلكترونية أصغر بمراحل من مجموعات البيانات اللغوية.

2. المنهجية

استخدمت الدراسة تصميماً تجريبياً عاملياً (2 × 2 × 2) لعزل آثار ثلاثة محاور للتجزئة.

مجموعات البيانات

التطوير الأساسي: SickKids (مستشفى الأطفال في تورونتو)، وهي مجموعة بيانات لمرضى الأطفال تضم حوالي 2 مليون مريض و169 مليون حدث (2018–2025).
التحقق الخارجي: MIMIC-IV (مركز بيث إسرائيل ديقونيس الطبي)، وهي مجموعة بيانات للعناية المركमिकة للبالغين تضم حوالي 340 ألف مريض و179 مليون حدث.

محاور تصميم التجزئة

ترميز الحدث (Event Encoding):
- الترميز المشترك (Joint Encoding): يدمج رمزاً واحداً يجمع بين الكود السريري وصفتِه (مثل Glucose_High).
- الترميز المفكك (Factorized Encoding): رموز منفصلة للكود والسمات (مثل Glucose + High)، مما يتطلب من النموذج تعلم الارتباط بينهما.
ترميز الوقت (Time Encoding):
- مواقع الوقت (Time-Positions): يستخدم تضمينات الموضع الدوارة (RoPE) حيث يتوافق موضع الرمز مع عمر المريض بالأيام.
  يدمج رموزاً منفصلة تمثل فترات زمنية (مثل "2-6 ساعات") بين الأحداث.
تعليق سير العمل (Workflow Annotation):
- مع سير العمل (With Workflow): يمثل الإجراءات السريرية متعددة الخطوات (مثل: أمر $\leftarrow$ جمع $\leftarrow$ نتيجة) كأحداث متميزة.
- بدون سير العمل (Without Workflow): يمثل الإجراءات كحدث واحد في الطابع الزمني النهائي.

بنية النموذج والتدريب

البنية: محول (Transformer) بنظام فك التشفول فقط (Decoder-only)، يتكون من 28 طبقة، وبُعد مخفي قدره 768، و116 مليون معلمة في الهيكل الأساسي.
ما قبل التدريب: التنبؤ التالي بالرمز (Autoregressive next-token prediction) على بيانات SickKids.
التقييم:
- محلي: 74 مهمة تنبؤ سريري (AUROC) عبر 6 مجالات (مثل: تشوهات المختبر، الوفاة، إعادة التنويم).
- خارجي: 13 مهمة على MIMIC-IV لاختبار التعميم عبر المؤسسات.
- دراسات الاستئصال (Ablation Studies): تجارب مستهدفة للفصل بين "كفاءة الرمز" (طول التسلسل) و"كفاءة الربط المحلي" (تعلم ارتباطات الكود بالقيمة).

3. المساهمات الرئيسية

التحليل العاملي المنهجي: أول مقارنة محكومة واسعة النطاق لاستراتيجيات التجزئة في النماذج التأسيسية للسجلات الصحية الإلكترونية، والتي تقيس التأثيرات المستقلة على الأداء والحوسبة.
تحديد "كفاءة الربط المحلي": قدمت الورقة مفهوم أن معالجة ارتباطات (الرمز-السمة) مسبقاً (الترميز المشترك) هو الأفضل في البيئات محدودة البيانات، مقارنة بإجبار النموذج على تعلم هذه الارتباطات من الصفر (الترميز المفكك).
مقايضة الكفاءة والأداء: أثبتت أن الاستراتيجيات التي تحسن الأداء (الترميز المشترك، ومواقع الوقت) تقلل في الوقت ذاته من التكلفة الحسابية، وهو ما يخالف الحدس بأن الترميز الأكثر تعقيداً يعطي نتائج أفضل.
رؤى التعميم: تظهر أن مزايا الترميز الهيكلي (المشترك) تنتقل عبر المؤسسات رغم اختلاف المفردات، بينما فوائد الوقت وسير العمل مرتبطة بالمؤسسة نفسها.

4. النتائج الرئيسية

الأداء والكفاءة

الترميز المشترك للأحداث: تفوق على الترميز المفكك في 73 من أصل 74 مهمة. والأهم من ذلك، أنه تطلب 39.5% أقل من عمليات حسابية (FLOPs) في مرحلة ما قبل التدريب لأنه أنتج تسلسلات أقصر.
مواقع الوقت (Time-Positions): تفوقت على رموز الوقت (Time-Tokens) في 71 من أصل 74 مهمة وتطلبت 9.6% أقل من العمليات الحسابية (FLOPs). أما رموز الوقت فقد أدت إلى تدهور الأداء، ويرجع ذلك على الأرجح إلى تفتيت التسلسلات واستهلاك مساحة نافذة السياق دون تحقيق زيادة تناسبية في المعلومات.
تعليقات سير العمل: حسنت الأداء المحلي (64/74 مهمة) ولكنها زادت تكاليف الحوسبة بنسبة 35.6% (بسبب طول التسلسلات) ولم تظهر أي فائدة في الانتقال (Transfer benefit) إلى مجموعة البالغين الخارجية.

تحليل الآلية (دراسات الاستئصال)

مشكلة الربط (Binding Problem): عُزي تفوق الترميز المشترك إلى كفاءة الربط المحلي. في الترميز المفكك، يجب على النموذج أن يتعلم أن رمز القيمة المحدد (مثل "عالي") يعني أشياء مختلفة بناءً على الكود السابق (مثل "الجلوكوز" مقابل "الكرياتينين"). في بيئات السجلات الصحية الإلكترية المحدودة بالبيانات، يواجه النموذج صعوبة في تعلم هذه الارتباطات المعتمدة على السياق. يقوم الترميز المشترك ببرمجة هذا الهيكل مسبقاً، مما يحل مشكلة الربط عند وقت التجزئة.
كفاءة الرموز (Token Efficiency): عندما تم توحيد أطوال التسلسلات (نظام الأحداث الثابت - Fixed-Event regime)، اختفت الفجوة في الأداء بين الترميز المشترك والمفكك، مما يؤكد أن المحرك الأساسي لم يكن مجرد طول التسلسل بل كفاءة تمثيل المعلومات.

التقييم الخارجي (MIMIC)

عدم تطابق المفردات: أدى تطبيق المجزئات المدربة على SickKids على MIMIC إلى معدل 69.8% من الرموز خارج المفردات (OOV).
القابلية للانتقال: رغم ارتفاع معدل الـ OOV، فإن ميزة الترميز المشترك قد تعممت (بنفس حجم التأثير في التقييم المحلي). وفي المقابل، لم تنتقل مزايا "مواقع الوقت" و"سير العمل"، ويرجع ذلك على الأرجح إلى التحولات الديموغرافية (توزيع أعمار الأطفال مقابل البالغين) والاختلافات في سير العمل المؤسسي.

5. الأهمية والآثار المترتبة

إرشادات التصميم: تحدد الدراسة الترميز المشترك للأحداث وترميز الموضع الزمني كخيارات افتراضية موصى بها للنماذج التأسيسية للسجلات الصحية الإلكترية. هذه الخيارات ترفع الأداء التنبئي إلى أقصى حد مع تقليل التكلفة الحسابية.
التعلم في البيئات محدودة البيانات: تسلط النتائج الضوء على مقايضة جوهرية في المجالات محدودة البيانات: معالجة الارتباطات الهيكلية مسبقاً في وقت التجزئة غالباً ما تكون أكثر فعالية من الاعتماد على النموذج لتعلم الهياكل التركيبية المعقدة من بيانات محدودة.
النشر عبر المؤسسات: بينما يظل توافق المفردات تحدياً أمام الانتقال بين المؤسسات، إلا أن الفوائد الهيكلية للترميز المشترك قوية. وهذا يشير إلى أن النماذج المستقبلية يجب أن تعطي الأولوية لترميز الوحدات ذات المعنى السريري (أزواج الكود-القيمة) بدلاً من الرموز الخام.
الكفاءة: من خلال تقليل عمليات (FLOPs) في مرحلة ما قبل التدريب بنسبة تقارب 40% دون التضحية بالدقة، تجعل هذه الاستراتيجيات تطوير نماذج تأسيسية واسعة النطلة للسجلات الصحية الإلكترية أمراً أكثر جدوى واستدامة.

ختاماً، تجادل الورقة بأن التجزئة هي "رافعة قابلة للتحكم" لتحسين النماذج التأسيسية للسجلات الصحية الإلكترية. ومن خلال حل مشكلة الربط المحلي عبر الترميز المشترك، يمكن للمطورين تحقيق أداء متفوق بتكاليف حسابية أقل بكثير.