Evaluating Large Language Models for Translating Multimodal Phenotype Documentations into Executable EHR Phenotyping Algorithms

ملخص تقني: تقييم النماذج اللغوية الكبيرة في ترجمة توثيقات الأنماط الظاهرية متعددة الوسائط إلى خوارزميات نمط ظاهري قابلة للتنفيذ في السجلات الصحية الإلكترونية

بيان المشكلة
تعد عملية ترجمة تعريفات الأنماط الظاهرية السريرية إلى استعلامات قواعد بيانات قابلة للتنفيذ في السجلات الصحية الإلكترونية (EHR) عقبة حرجة ولكنها تتطلب جهداً مكثفاً. وبينما تُعد خوارزميات النمط الظاهري ضرورية لتحديد مجموعات المرضى على نطاق واسع، إلا أنها تُوثق عادةً بتنسيقات عالية المستوى قابلة للقراءة البشرية (نصوص سردية، جداول، مخططات انسيابية، رسوم بيانية) بدلاً من أشكال جاهزة للحوسبة. إن تحويل هذه المواصفات متعددة الوسائط إلى لغة استعلام مهيكلة (SQL) مصممة خصيصاً لنماذج بيانات محددة (مثل OMOP CDM) يتطلب جهداً يدوياً، وخبرة معرفية، وتحققاً تكرارياً. وتؤدي هذه العملية إلى تباين في التفسير، مما يحد من إمكانية نقل ومقارنة وإعادة استخدام مجموعات المرضى عبر المؤسسات. وعلى الرغم من أن النماذج اللغوية الكبيرة (LLMs) قد أظهرت كفاءة في توليد الأكواد والاستدلال متعدد الخطوات، إلا أنه لا يزال من غير الواضح ما إذا كان بإمكانها ترجمة توثيقات الأنماط الظاهرية الواقعية ومتعددة الوسائط بأمانة إلى استعلامات SQL متوافقة مع المعايير وقابلة للتنفيذ.

المنهجية
قيمت هذه الدراسة بشكل منهجي قدرة نموذجين من النماذج اللغوية الرائدة — OpenAI GPT o3 و Claude Opus 4.1 — لترجمة توثيق الأنماط الظاهرية إلى استعلامات SQL متوافقة مع معيار OMOP.

• مجموعة البيانات: تم اختيار خمسة أنماط ظاهرية سريرية مستقرة من PheKB وهي: إصابة الكلى الحادة (AKI)، أمراض المناعة الذاتية (ADs)، فرط كوليسترول الدم العائلي (FH)، الأحداث القلبية الوعائية الكبرى (MACE)، وداء السكري من النوع الثاني (T2DM). وقد اختيرت هذه الأنماط لتنوع مجالاتها السريرية وتفاوت تعقيدات توثيقها.
• وسائط الإدخال: لغرض عزل تأثير تنسيق التوثيق، تم اختبار ثلاثة سيناريوهات إدخال لكل نمط ظاهري ونموذج:
  1. المستند الكامل: نص سردي، جداول، رسوم بيانية، ورموز برمجية وصفية (pseudo-code).
  2. النص فقط: نص سردي وجداول (باستثناء الرسوم البيانية والرموز البرمجية الوصفية).
  3. الرسم البياني فقط: رسوم بيانية بصرية حصرياً.
• خط معالجة الأوامة (Prompting Pipeline): تم استخدام خط معالجة مكون من أربع مراحل من سلسلة الأفكق (chain-of-thought):
  1. استخراج خوارزمية وصفية مهيكلة من المدخلات.
  2. التحقق من الخوارزمية الوصفية مقابل المستند المصدر.
  3. توليد استعلام SQL قابل للتنفيذ بناءً على الخوارزمية الوصفية التي تم التحقق منها.
  4. مراجة وتصحيح استعلام SQL المولد.
• التقييم: قام خبيران في الأنماط الظاهرية السريرية بتقييم الاستعلامات المولدة بشكل مستقل على مقياس من 0 إلى 4 عبر سبعة أبعاد: الدقة المنطقية/البولينية، تنفيذ القيود الزمنية، دقة مجموعة القيم، صحة مخطط OMOP، كفاءة الترميز، قابلية القراءة البشرية، والجاهزية للنشر المحلي. وكان الاتفاق بين المقيمين كبيراً (معامل كوهين كابا > 0.79).
• تحليل الأخطاء: صنف المراجعة النوعية الإخفاقات إلى سبعة أنواع متميزة: أخطاء الدقة المنطقية، عدم اكتمال مجموعة المفاهيم، أخطاء المخطط/التنفيذ، أخطاء العتبة/المعلمات، الهلوسة، نقص التوصيف/التعميم الزائد، وقيود تفسير الوسائط.

النتائج الرئيسية

• الحساسية لوسائط الإدخال: كانت جودة استعلامات SQL المولدة حساسة للغاية لتمثيل المدخلات. أدى تقديم الرسوم البيانية فقط إلى تدهور حاد في الأداء عبر جميع أبعاد التقييم، لا سيما في دقة مجموعة القيم، والقيود الزمنية، والدقة المنطقية. وعلى العكس من ذلك، حقق الإدخال النصي فقط أداءً يقترب من أداء المستند الكامل، مما يشير إلى أن النثر السردي يلتقط معظم المعلومات الضرورية لتوليد SQL.
• أداء النماذج: في ظل ظروف المستند الكامل والنص فقط، حقق Claude Opus 4.1 عموماً درجات أفضل أو مماثلة في خمسة من أصل سبعة أبعاد، بينما تفوق OpenAI o3 في الدقة المنطقية/البولينية والجاهزية للنشر المحلي. وفي سيناريوهات الرسم البياني فقط، تقلصت فجوات الأداء، وإن ظل OpenAI o3 محتفظاً بميزة في الدالقة المنطقية.
• التباين الخاص بالنمط الظاهري: حقق نمط أمراض المناعة الذاتية (ADs) أعلى التقييمات في كلا النموذجين. وعُزي ذلك إلى أسلوب توثيقه الذي استخدم رموزاً برمجية وصفية صريحة ومنظمة جيداً، على عكس التوثيق الأقل هيكلية للأنماط الأخرى.
• فئات الأخطاء: حدد التحليل سبعة أنماط للفشل. وكانت أخطاء الدقة المنطقية (مثل تفسير التشخيص الواحد على أنه كافٍ لحالة تتطلب أحداثاً متكررة) وعدم اكتمال مجموعة المفاهيم (فقدان معرفات المفاهيم المطلوبة) من بين أكثر الأخطاء تأثيراً. كما لوحظت حالات الهلوسة، حيث أدخلت النماذج مفاهيم أو عتبات سريرية غير مدعومة. وكانت قيود تفسير الوسائط هي الأكثر بروزاً في مدخلات الرسم البياني فقط، حيث فشلت النماذج في ترجمة معايير الاستبعاد البصرية إلى منطق SQL.

الأهمية والادعاءات
تضع الورقة البحثية النماذج اللغوية الكبيرة ليس كمنفذين مستقلين للأنماط الظاهرية السريرية، بل كـ "مولدات مسودات أولية" تعتمد فائدتها بشكل صارم على جودة توثيق المدخلات. وتدعي الدراسة ما يلي:

1. التوثيق هو العقبة الأساسية: تعتمد دقة استعلامات النمط الظاهري المولدة بواسطة LLM على معيارية وهيكلية وثائق المدخلات أكثر من اعتمادها على القدرات الجوهرية للنماذج. اللغة الطبيعية المهيكلة ضرورية وكافية إلى حد كبير لتحقيق أداء قريب من المثالي، في حين أن الرسوم البيانية البصرية وحدها غير كافية.
2. الإشراف الخبير أمر إلزامي: نظراً لتنوع الأهمية السريرية للأخطاء المحددة (بما في ذلك الهلوسة وعدم دقة العتبات)، فإن الاستعلامات المولدة بواسطة LLM ليست جاهزة بعد للنشر المستقل. وتظل المراجعة الخبيرة الإلزامية ضرورية، خاصة فيما يتعلق بالقيود الزمنية ودقة مجموعة المفاهيم.
3. الطريق نحو القابلية للتوسع: يوفر توحيد توثيق الأنماط الظاهرية في تنسيقات موجهة للتنفيذ (مثل الرموز البرمجية الوصفية الصريحة) مساراً واعداً لتحسين دقة الترجمة دون الحاجة إلى مزيد من التقدم في بنية النماذج.
4. النموذج التعاوني: تشير النتائج إلى سير عمل تعاوني حيث تسرع النماذج اللغوية الكبيرة المسودة الأولية لخواروات الأنماط الظاهرية، والتي يتم تنقيحها بعد ذلك من خلال إشراف بشري مهيكل، مما يعزز إمكانية نقل واستخدام مجموعات المرضوات السريرية عبر الشبكات البحثية.

يقر المؤلفون بالقصور، بما في ذلك تقييم خمسة أنماط ظاهرية ونموذجين فقط، والاعتماد على تقييم الخبراء بدلاً من مراجعة السجلات الذهبية لدقة المجموعة، وعدم وجود تحسين منهجي للأوامة (prompt optimization). ويُقترح أن يركز العمل المستقبلي على التقييم الطولي، ولوحات المراجعة الأكبر، والتحقق مقابل مجموعات البيانات الذهبية.