Reliable Extraction of Clinical Follow-Up Instructions: A Hybrid Neural-Symbolic Pipeline

ملخص تقني: الاستخراج الموثوق لتعليمات المتابعة السريرية

تعريف المشكلة
تحتوي الملاحظات السريرية لمرضى العيادات الخارجية على تعليمات متابعة حاسمة (مثل "رنين مغناطيسي للدماغ في غضون أسبوعين") والتي تربط إجراءً سريريًا بزمن مستقبلي. إن استخراج هذه التعليمات كأزواج مهيكلة (إجراء، تاريخ) أمر ضروري للجدولة، والتدقيق، وتنسيق الرعاية. ومع ذلك، غالبًا ما تفشل النهج التوليدية الحالية في إعادة بناء التعليمات الكاملة بشكل موثوق. فبينما قد تحدد الإجراء السريري بشكل صحيح، فإنها كثيرًا ما تخفق في تحديد التاريخ المحدد أو تفشل في ربط التعبير الزمني الصحيح بالإجراء الصحيح. يحدث هذا الفشل لأن الربط والحساب الزمني يتمان بشكل ضمني في عملية فك التشفيد (decoding) للنماذج التوليدية، مما يجعل الأخطاء صعبة الفحص أو التصحيح. يتضمن التحدي التعرف على نطاقات الإجراءات، والتعرف على التعبيرات الزمنية، وربط الوقت الصحيح بالإجراء الصحيح، وتطبيع التواريخ النسبية (على سبيل المثال، تحويل "في غضون أسبوعين" إلى إزاحة تقويمية محددة) في ظل وجود إجراءات متعددة، واختصارات، ومشتتات تاريخية.

المنهجية
يقترح المؤلفون مسارًا هجينًا عصبيًا-رمزيًا (hybrid neural-symbolic pipeline) يعمل على تفكيك مهمة الاستخراج إلى تفسير دلالي متعلم وتحويل رمزي حتمي، بدلاً من الاعتماد على التوليد النهائي (end-to-end generation).

1. صياغة المهمة: تم تعريف المهمة باستخراج نوعين من الكيانات — TestSpecification (الإجراءات المجدولة) و TimeSpecification (العبارات الزمنية) — المرتبطين بعلاقة ScheduledFor صريحة. المخرج هو مجموعة من الأزواج المعيارية (الإجراء، إزاحة الأيام) بالنسبة لتاريخ الزيارة.
2. المكونات العصبية:
   • المُشفّر (Encoder): يقوم مُشفّر BioBERT مشترك بمعالجة نص الملاحظات عبر نوافذ منزلقة.
   • وسم الكيانات (Entity Tagging): يحدد رأس وسم BIO النطاقات الخاصة بالإجراءات والأوقات.
   • استخراج العلاقات (Relation Extraction): يقوم رابط ثنائي الميل (biaffine linker) بتسجيل درجات لأزواج (الإجراء، الوقت) المرشحة، بما في ذلك خيار "لا شيء" للإجراءات التي ليس لها أوقات صريحة.
   • التدريب: يتم تدريب النموذج بهدف مشترك يتمثل في وسم الكيانات واستخراج العلاقات.
3. المكونات الرمزية/الحتمية:
   • التطبيع الأنطولوجي (Ontology Canonicalization): يتم رسم خرائط لذكر الإجراءات السطحية إلى واحد من 28 تسمية معيارية عبر أنطولوجيا قابلة للتعديل، دون الحاجة لإعادة تدريب النموذج العصبي.
   • التطبيع الزمني (Temporal Normalization): يتم تحويل العبارات الزمنية المرتبطة إلى إزاحات أيام صحيحة باستخدام قواعد لغوية حتمية (على سبيل المثال، "في غضون N من الأسابيع" $\leftarrow$ $7N$) مع وجود محلل احتياطي. ومن الأهمية بمكان أن النموذج العصبي لا يقوم أبدًا بالحسابات التقويمية.
4. مجموعة البيانات: أُجري التقييم على متن اصطناعي لعيادات خارجية مكون من 2,000 ملاحظة تم إنشاؤه من هياكل محكومة عبر خمسة تخصصات. تتضمن مجموعة البيانات عوامل إجهاد مثل الملاحظات متعددة الإجراءات، والأشكال الزمنية المختصرة، والمشتتات التاريخية.
5. تقسيمات البيانات: يستخدم التقييم تقسيمًا منفصلًا للإجراءات (action-disjoint split): 18 نوع إجراء للتدريب، 4 للتحقق، و6 أنواع محتجزة للاختبار (خارج النطاق - OOV)، جنبًا إلى جنب مع مجموعة اختبار داخل النطاق (مرئية).
6. النماذج المرجعية (Baselines): تتم مقارنة المسار مع نموذج GPT-4o-mini بنمط صفر من المعرفة (zero-shot) ونموذج LLaMA-3 8B الذي تم ضبطه باستخدام تقنية LoRA، وكلاهما موجه لتوليد تنسيق JSON (إجراء، تاريخ) مباشرة.

المساهمات الرئيسية

1. الصياغة المهيكلة: تعريف استخراج المتابعة باستخدام كيانات TestSpecification و TimeSpecification وعلاقة ScheduledFor مع معيار دقة صارم لمستوى المجموعة.
2. البنية الهجينة: مسار يفصل بين استخراج النطاق/الربط المتعلم وبين الحساب الزمني الحتمي، مما يضمن عدم تفويض المنطق التقويمي أبدًا لنموذج متعلم.
3. المعيار الاصطناعي: متن مكون من 2,000 ملاحظة مع حقيقة أرضية دقيقة وتقسيمات منفصلة للإجراءات لاختبار التعميم على أنواع الإجراءات غير المرئية بصرامة.
4. التقييم المقارن: مقارنة مباشرة تظهر أنه بينما تتفوق النماذج التوليدية في التعرف على الإجراءات، فإنها تخفق بشكل كبير في إعادة بناء الأزواج الكاملة مقارنة بالنهج الهجين.
5. تحليل الخطأ: أدلة على أن الإخفاقات التوليدية تنبع من أخطاء الربط الضمني والحساب، وهي أخطاء يمكن فحصها وتدقيقها في المسار الهجين.

النتائج
في تقسيم الاختبار المرئي (داخل النطاق)، حقق المسار الهجين F1 للزوج (Test-Time Pair F1) قدره 0.997 مع متوسط خطأ مطلق (MAE) قدره 0.00 يوم. وفي تقسيم اختبار OOV (أنواع إجراءات غير مرئية)، حافظ على F1 للزوج قدره 0.986 مع MAE قدره 0.00 يوم.

في المقابل، حققت النماذج المرجعية التوليدية F1 لـ TestSpecification مرتفعًا (LLaMA-3: ~0.99؛ GPT-4o-mini: ~0.96)، لكنها عانت من انخفاض حاد في F1 للزوج:

• LLaMA-3: F1 للزوج ~0.51 (مرئي) و ~0.57 (OOV).
• GPT-4o-mini: F1 للزوج ~0.53 (مرئي) و ~0.53 (OOV).
• MAE: أظهرت النماذج التوليدية أخطاءً زمنية كبيرة (على سبيل المثال، MAE يتراوح بين 21-23 يومًا في البيانات المرئية)، بينما سجل المسار الهجين خطأً حسابيًا صفريًا.

لم تتداخل فترات الثقة 95% لـ F1 للزوج و Offset F1 للمسار الهجين مع تلك الخاصة بالنماذج المرجبية التوليدية، مما يشير إلى فرق ذي دلالة إحصائية ($p < 0.05$).

الأهمية والادعاءات
يزعم البحث أنه بالنسبة لمهمة استخراج تعليمات المتابعة المجدولة تحديدًا، فإن تفكيك المهمة إلى استخراج دلالي وتطبيع حتمي يتفوق على النمذجة التوليدية المباشرة. تكمن الأهمية الأساسية في:

• الموثوقية: يحقق النهج الهجين دقة شبه كاملة في النهاية إلى النهاية وصفر خطأ حسابي، بينما تكافح النماذج التوليدية لربط الإجراءات بالأوقات بشكل صحيح.
• التعميم: يتعمم المسار بفعالية على أنواع الإجراءات المحتجزة (OOV) لأن المكون العصبي يتعلم السمات السطحية بدلاً من حفظ مفردات مغلقة، كما يمكن تحديث الأنطولوجيا دون إعادة تدريب.
• القابلية للتدقيق: من خلال فصل المكونات العصبية والرمزية، يكشف النظام عن أنماط الفشل المحددة (مثل: نطاق خاطئ، أو ربط خاطئ، أو قاعدة تطبيع خاطئة) التي يمكن فحصها. في المقابل، تخفي عملية التوليد من النهاية إلى النهاية سبب الأخطاء (مثل: تاريخ خاطئ) داخل عملية فك التشفيد.

يصرح المؤلفون صراحةً أن هذا الاستنتاج محصور في هذا المعيار المحكوم ولا يشكل إدانة عامة لنماذج اللغات الكبيرة (LLMs) في جميع مهام الاستخراج السريري. ويشيرون إلى أن النتائج تسلط الضوء على صعوبة الحسابات التقويمية في فك التشفيد التوليدي، وتقترح أن نمط "الأولوية للموثوقية" — أي تخصيص النماذج المتعلمة للغموض واستخدام الوحدات الحتمية للحساب — هو نهج فعال للاستخراج السريري المرتبط بالسلامة. كما يقر البحث بالقيود المتعلقة بالطبيعة الاصطناعية للبيانات والحاجة إلى التحقق المستقبلي على ملاحظات السجلات الطبية الإلكترية الحقيقية وتوسيع الأنطولوجيا.