ملخص تقني: ClinicalBench و EpiKG

1. بيان المشكلة

تقيم معايير الاستدلال السريري الحالية (مثل HealthBench Professional و MedQA) النماذج اللغوية الكبيرة (LLMs) بناءً على سيناريوهات "نظيفة" حيث تُقدم الحقائق مسبقاً. ومع ذلك، يتطلب استخدام السجلات الصحية الإلكترونية (EHR) في العالم الحقيقي خطوة سابقة: أمانة الاسترجاع (retrieval faithfulness) من سجلات طبية طولية غير منظمة.

في السجلات الصحية الإلكترونية الحقيقية، تعتمد الإجابة الصحيحة على التنقل عبر:

• النفي (Negation): "المريض ينفي الشعور بألم في الصدر."
• الزمنية (Temporality): التمييز بين الحالات الراهنة، والحالات التاريخية التي تم التعافي منها، والافتراضات المستقبلية.
• إسناد التجربة (Experiencer Attribution): التمييز بين حالة المريض وتاريخ عائلته (مثل "الأخت كانت تعاني من احتشاء عضلة القلب").

غالباً ما تقوم أنظمة استرجاع المعلومات المعزز (RAG) ورسوم المعرفة البيانية (KG) الحالية بتسطيح هذا السياق؛ فهي تتجاهل بيانات التأكيد (assertion metadata) (على سبيل المثال، تعامل "استبعاد مرض السكري" بنفس طريقة "لديه مرض السكري") وتفشل في توجيه عملية الاسترجاع بناءً على قصد السؤال. وهذا يؤدي إلى خلق فجوة انتشار معرفي (epistemic propagation gap)، حيث يؤدي فقدان حالة التأكيد أثناء الاستخراج والتخزين إلى استدلال خاطئ، حتى لو كان النموذج الأساسي قادراً على الاستدلال.

2. المنهجية

2.1 نظام EpiKG

يقترح المؤلفون نظام EpiKG، وهو نظام RAG قائم على رسم بياني للمعرفة (KG) على مستوى المريض، مصمم للحفاظ على البيانات الوصفية المعرفية (epistemic metadata) من البداية إلى النهاية. وهو ينفذ ثلاث آليات أساسية:

1. مخطط التأكيد المعرفي (Epistemic Assertion Schema): يوسع تصنيف i2b2 عبر تصنيف مكون من 7 قيم ($\alpha \in \{Pres., Abs., Poss., Cond., Hypo., Fam.Hx., Hist.\}$) يفصل بين التاريخ المرضي والتاريخ العائلي. يتم تمرير هذا الملصق عبر الاستخراج، وتخطيط OMOP، وتجسيد الرسم البياني (KG materialization).
2. التخزين ثنائي الزمن + المعالج طبيعياً (Bi-Temporal + NLP-Asserted Storage): تخزن الحواف (edges) وقت الصلاحية، ووقت المعاملة (تقليد Snodgrass)، وملصق زمنية مستمد من معالجة اللغات الطبيعية ($\tau_a \in \{Past, Current, Future\}$).
3. التوجيه الواعي بالقصد (Intent-Aware Routing): يقوم مصنف برسم الخرائط للأسئلة إلى استراتيجيات تنقل محددة في الرسم البياني:
   • التغيير (Change): تفريق المجموعات بين حالات الدخول للمستشفى.
   • الحالة الراهنة (Current_State): التصفية بحثاً عن الحواف ذات $\tau_a = Current$ أو الصلاحية المفتوحة.
   • التاريخي (Historical): اختيار الحواف الماضية واستنتاج حالة "التعافي" للحالات الموجودة في عمليات دخول سابقة ولكنها غائبة في الأخيرة.
   • الافتراضي (Default): تنقل البحث في عرض الاتجاه ثنائي الاتجاه (Bidirectional BFS).

2.2 ClinicalBench: معيار التقييم

لاختبار مدى حساسية التأكيد في عملية الاسترجاع، قدم المؤلفون ClinicalBench:

• العينة (Cohort): 43 مريضاً من قاعدة بيانات MIMIC-IV (عينة ملائمة؛ 32 مريضاً لديهم دخولتان، و11 مريضاً لديهم دخول واحد).
• النطاق: 400 سؤال عبر 9 فئات حساسة للتأكيد (النفي، الشرط، عدم اليقين، التاريخ العائلي، التسلسل، الحالة الراهنة، المدة، التاريخي، التغيير).
• التصميم: اختبار ضغط داخل التوزيع (in-distribution) حيث تمت صياغة الأسئلة من نفس السجلات مجهولة الهوية المستخدمة للاسترجاع، مع التركيز على أمانة الاسترجاع بدلاً من التعميم عبر المواقع.
• حالات المقارنة (Ablation Conditions):
  • C1: النموذج اللغوي الكبير وحده.
  • C2/C2b: نظام RAG التقليدي (TF-IDF / Dense/Contriever).
  • C3: نظام KG-RAG بدون تأكيدات.
  • C4: نظام KG-RAG مع تأكيدات ولكن بدون توجيه القصد.
  • C4g: نظام KG-RAG الواعي بالقصد (النظام الكامل).
  • C6: السياق الطويل (دمج جميع الملاحظات).
  • C7: الرسم البياني الحتمي (بدون نموذج لغوي كبير).

2.3 بروتوكول التقييم

• النماذج: تم تقييمها عبر ستة نماذج لغوية كبيرة (Claude Opus 4.6, GPT-OSS 20B, MedGemma 27B, Gemma 4 31B, MedGemma 1.5 4B, Qwen 3.5 35B).
• المقاييس:
  • الهدف الأساسي: اختبار McNemar المزدوج للعينات المرتبطة (leave-author-out) على $n=50$ عنصراً تم التحقق منها من قبل طبيبين خارجيين (Hird وNadeem) بتقديرات صارمة بالإجماع.
  • مقاييس الحساسية: مقيم الكلمات المفتاحية الحتمي ($n=362$، باستثناء التغيير)، وتصويت أغلبية ثلاثة مقيمين من الأطباء ($n=100$)، وتصنيف القصد المثالي (oracle intent classification).
• سلامة البيانات: يقر المؤلفون بوجود معدل خلل بنسبة 56% في الإجابات المرجعية المولدة تلقائياً (v2) (بسبب أخطاء مصنف NLP) ويبلغون عن النتائج بناءً على مجموعة مصححة جزئياً، مع الشفافية بشأن قيود المعيار الذهبي.

3. النتائج الرئيسية

3.1 الهدف الأساسي (العمى عن المؤلف)

أظهر اختبار McNemar المزدوج للعينات المرتبطة (leave-author-out) على تقييم الأطباء الخارجيين ($n=50$):

• C4g مقابل C1: $\Delta = +22.0$ نقطة مئوية (pp).
• فاصل الثقة: 95% Newcombe CI $[+5.1, +31.5]$.
• الدلالة الإحصائية: $p = 0.0192$.
  يؤكد هذا أن نظام KG-RAG الواعي بالقصد يتفوق بشكل كبير على النماذج الأساسية (LLM-alone) عند التقييم من قبل أطباء مستقلين.

3.2 الجدة المعمارية والمقارنة (Ablation)

• الاسترجاع مقابل التوجيه: وفر الاسترجاء وحده (C2b, Dense RAG) مكسباً كبيراً مقارنة بـ C1 (+29.0 pp). ومع ذلك، فإن إضافة التأكيدات بدون توجيه (C4) أدت فعلياً إلى تدهور الأداء مقارنة بـ C3 (-3.8 pp) في الفئات الزمنية.
• تأثير التوجيه: استعاد التوجيه الواعي بالقصد (C4g) المكاسب ومددها.
  • C2b $\to$ C4g (كلمات مفتاحية): +8.84 pp ($p = 1.79 \times 10^{-3}$).
  • C2b $\to$ C4g (النموذج المثالي/Oracle): +12.43 pp.
• تفاعلات الفئات: ساعدت التأكيدات وحدها في الفئات الحساسة للتأكيد (مثل النفي +22.7 pp) لكنها أضرت بالفئات الزمنية (مثل التاريخي -30.0 pp). وقد عكس التوجيه هذه العيوب.

3.3 التقارب عبر النماذج

استفادت جميع النماذج الستة من بنية C4g. ومع ذلك، كان حجم التحسن يتناسب عكسياً مع قوة النموذج الأساسية ($\beta = -1.123, r = -0.921, p = 0.009$). يفسر المؤلفون ذلك بأنه رجوع إلى المتوسط (regression to the mean) وليس دليلاً على أن الاسترجاء المهيكل يستبدل عدد بارامترات النموذج.

3.4 دراسة SliceBench (دراسة التعقيد)

اقترحت دراسة حالة أصغر (6 مرضى، 144 سؤالاً) تأثيراً يعتمد على التعقيد، حيث كانت مكاسب KG-RAG أكبر للمرضى الذين لديهم المزيد من حالات الدخول (Tier C: +5.0 pp مقابل Tier A: +0.6 pp)، رغم أن هذا لم يصل إلى دلالة إحصائية إجمالية.

4. المساهمات والأهمية

يقدم البحث ثلاث مساهمات رئيسية:

1. ClinicalBench: معيار جديد حساس للتأكيد، مصمم لاختبار أمانة الاسترجاع في السجلات الصحية الإلكترونية الحقيقية، مما يكشف عن تفاعلات الحالة-الفئة التي تخفيها الدرجات الإجمالية.
2. EpiKG وفجوة الانتشار المعرفي: صياغة رسمية لفقدان بيانات التأكيد في مسارات معالجة اللغات الطبيعية السريرية، ونظام لتنفيذ ذلك يحافظ على بيانات التأكيد والزمنية كخصائص أولية عبر عملية الاسترجاع.
3. التحقق المعماري: دليل تجريبي على أن التوجيه الواعي بالقصد هو المكون الحاسم لتحقيق فوائد الاسترجاء المهيكل. يوضح البحث أن حمل ملصقات التأكيد دون توجيه يمكن أن يقلل الأداء، بينما يحسن التوجيه حسب قصد السؤال بشكل كبير من الأسئلة السريرية عبر حالات الدخول المختلفة.

الأهمية:
يجادل المؤلفون بأنه بينما تقيس معايوهات الاستدلال "الميل الأخير" من الاستدلال السريري على مدخلات نظيفة، فإن "الميل الأول" هو قراءة المريض الصحيح من سجلات فوضوية. وتفترض هذه الدراسة أن التمثيل (representation) هو المتطلب المسبق الذي لم يُقس كفاية للذكاء الاصط আর্ত السريري. تشير النتائج إلى أنه بالنسبة للأسئلة السريرية، فإن الحفاظ على البيانات الوصفية المعرفية (النفي، الزمنية، الإسناد) ومواءمة استراتيجيات الاسترجاع مع قصد السؤال أكثر تأثيراً من مجرد زيادة حجم النموذج أو استخدام نوافذ سياق طويلة.

القيود والنطاق:
يتسم البحث بالتواضع في ادعاءاته:

• هو اختبار ضغط أحادي الموقع، داخل التوزيع، وليس تحققاً متعدد المواقع للأنماط الظاهرية.
• الإجابات المرجعية بها عيوب معروفة (معدل خطأ 56% في v2)، ويذكر المؤلفون صراحة أن المعيار هو "مسبار" (probe) وليس مقياساً نهائياً لجاهزية النشر السريري.
• دائرية المؤلف (author circularity) (المصمم، الباني، والمقيم الداخلي) يتم الحد منها عبر تقييم الأطباء الخارجيين وتكرار النماذج المختلفة، لكنها تظل قيداً هيكلياً.
• لا يدعي العمل الجاهزية للنشر السريري؛ بل يحدد الحوكمة، السلامة، والتحقق متعدد المواقع كمتطلبات أساسية للنشر المستقبلي.