Towards understanding the disease landscape of clinical trials in Germany: Ontology and embedding-based pipelines versus Large Language Models for ICD-10 Harmonization
تُظهر هذه الدراسة أنه في حين يمكن لمنهجية قائمة على الأنطولوجيا الحتمية والتدريب المعتمد على التضمين أن توائم جزئياً بيانات ظروف التجارب السريرية غير المتجانسة في ألمانيا مع معايير التصنيف الدولي للأمراض (ICD-10)، فإن النماذج اللغوية الكبيرة (وتحديداً GPT-4o) تتفوق عليها بشكل كبير من خلال تحقيق توافق شبه مثالي مع الترميز البشري الخبير، مما يقدم حلاً متفوقاً لتحليل مشهد الأمراض عبر السجلات المختلفة.
المؤلفون الأصليون:Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.
المؤلفون الأصليون: Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.
تخيل محاولة تنظيم مكتبة ضخمة حيث كُتب كل كتاب بلغة مختلفة، ويستخدم أبجدية مختلفة، وأحياناً يكتفي بوجود ملاحظة لاصقة تقول "شيء ما عن شخص مريض" بدلاً من العنوان. هذا هو حال بيانات التجارب السريرية حالياً. يجري العلماء آلاف التجارب لاختبار أدوية جديدة، لكنهم يسجلون هذه التجارب في قواعد بيانات مختلفة حول العالم. يستخدم بعضهم رموزاً طبية صارمة، والبعض الآخر يستخدم قواميس طبية فاخرة، بينما يكتب البعض الآخر ببساطة باللغة الإنجليزية أو الألمانية العادية. الأمر يشبه محاولة إحصاء عدد الأشخاص الذين يدرسون "مشاكل القلب" عندما تقول قاعدة بيانات "مشكلات قلبية"، وتسميها أخرى "اضطرابات القلب"، بينما تكتفي الثالثة بقول "آه، صدري يؤلمني". وبدون وسيلة لترجمة كل هذه الأوصاف المختلفة إلى لغة واحدة مشتركة، سيكون من الصعب للغاية رؤية الصورة الكبيرة لما هي الأمراض التي يدرسها العلماء وما هي الفجوات الموجودة.
ولحل هذه المشكلة، يحتاج الباحثون إلى مترجم. في العالم الطبي، تُسمى "اللغة العالمية" للأمراض ICD-10، وهي قائمة ضخمة من الرموز التي تصنف كل حالة صحية معروفة. التحدي يكمن في تحويل الأوصاف الفوضوية والمختلطة من سجلات التجارب تلقائياً إلى رمز ICD-10 الصحيح. لفترة طويلة، حاول العلماء بناء برامج حاسوبية تعمل كأمين مكتبة صارم، تتبع كتاب قواعد جامد لمطابقة الكلمات مع الرموز. ومؤخراً، دخل نوع جديد من الأدمغة الحاسوبية فائقة الذكاء يُسمى "النماذج اللغوية الكبيرة" (LLM) إلى الساحة. لقد تم تدريب هذه النماذج على كميات هائلة من النصوص، وهي بارعة في فهم السياق والفروق الدقيقة، تماماً مثل إنسان يمكنه القراءة ما بين السطور. السؤال الكبير هو: هل يمكن لهذه الأدمغة الاصطناعية القيام بعمل أفضل في ترجمة أوصاف التجارب من الأنظمة القديمة القائمة على القواعد؟
تتعمق هذه الورقة البحثية مباشرة في هذا السؤال من خلال بناء مسار تقني عالي التقنية لترجمة أوصاف التجارب السريرية من أربعة سجلات رئيسية في ألمانيا إلى رموز ICD-10 القياسية. أنشأ الباحثون "مساراً حتمياً"، وهو طريقة فنية لوصف عملية آلية متعددة الخطوات. أولاً، يقوم الروبوت باستخراج ذكر الأمراض. ثم يحاول مطابقتها باستخدام قاموس طبي صارم (أنطولوجيا) ومحرك بحث ذكي يبحث عن المعاني المتشابهة (التضمينات/embeddings). حتى أنهم أضافوا نسخة ثانية تعيد ترتيب أفضل التخمينات لمعرفة ما إذا كان بإمكانها إيجاد الإجابة الصحيحة. لكنهم لم يتوقفوا عند هذا الحد، فقد اختبروا أيضاً نموذجاً لغوياً كبيراً قوياً (GPT-4o)، ولكن مع لمسة خاصة: لقد أجبروا الذكاء الاصطناي على اتباع نفس المنطق والقواعد الخطوة بخطوة التي يستخدمها الخبراء البشر، فقط ليروا ما إذا كان بإمكان الذكاء الاصطناعي أن يكون "أميناً للمكتبة" أفضل من الروبوت.
كانت النتائج صادمة بالنسبة للنهج التقليدي القديم. فعندما اختبروا مسار الروبوت القائم على القواعد مقابل "المعيار الذهبي" للرموز التي كتبها خبراء طبيون بشريون، نجح الروبوت في الوصول للنتيجة الصحيحة بنسبة 49% فقط عند البحث عن الرمز المحدد المكون من ثلاثة أحرف. كان جيداً في تخمين الفئة العامة (مثل "أمراض القلب" مقابل "أمراض الرئة")، حيث أصاب بنسبة 59% تقريباً، لكنه عانى مع التفاصيل. غالباً ما ارتبك الروبوت بسبب أمراض متشابهة في النطق أو لم يتمكن من العثور على الرمز الصحيح في قاموسه.
ومع ذلك، كان النموذج اللغوي الكبير في دوري مختلف تماماً. فعندما أُعطي نفس الذكاء الاصطناعي نفس القواعد ونفس المهمة، حقق دقة مذهلة بلغت 96.7%. لقد اتفق مع الخبراء البشريين بشكل شبه مثالي. تشير الورقة إلى أن القوة الخارقة للذكاء الاصطناعي ليست فقط في معرفة الرموز، بل في قدرته على فهم سياق الجملة. على سبيل المثال، إذا ذكرت تجربة ما "سكري البالغين"، فإن الذكاء الاصطناعي يعرف فوراً أن هذا يعني السكري من النوع الثاني، بينما قد يعلق الروبوت في محاولة مطابقة الكلمات بدقة. كما تمكن الذكاء الاصطناعي أيضاً من تعيين رموز منطقية لحوالي 82% من الإشارات التي استسلم عنها الروبوت ورفضها.
وجد المؤلفون أن الفشل الرئيسي للروبوت لم يكن في ترتيب الرموز، بل في حتى العثور على الرمز الصحيح في البداية. إذا لم يكن الرمز الصحيح ضمن قائمة المرشحين الأولية للروبوت، فلن ينقذه أي قدر من إعادة الترتيب. أما الذكاء الاصطناعي، فقد كان أفضل بكثير في استنتاج ما يجب أن يكون عليه الرمز الصحيح، حتى عندما كان النص فوضوياً أو غامضاً. وتخلص الدراسة إلى أنه بينما تكون الأنظمة القديمة القائمة على القواعد جيدة للحصول على فكرة عامة عن اتجاهات الأمراض، فإن النماذج اللغوية الكبيرة هي الفائز الواضح في ضبط التفاصيل بدقة. ويقترحون أن الدراسات المستقبلية التي تتطلع إلى مشهد التجارب السريرية يجب أن تستخدم أدوات الذكاء الاصطنا هذه للحصول على صورة أكثر وضوحاً ودقة لما يتم دراسته من أمراض، مما يساعد في ضمان أن جهود البحث تركز بالفعل على الاحتياجات الصحية التي تهم البشر.
ملخص تقني: خطوط معالجة قائمة على الأنطولوجيا والتمثيل المتجهي مقابل النماذج اللغوية الكبيرة لتوحيد تصنيف ICD-10 في التجارب السريرية الألمانية
بيان المشكلة تُسجل التجارب السريرية في ألمانيا عبر أنظمة متعددة غير متجانسة، بما في ذلك السجل الألماني للتجارب السريرية (DRKS)، وClinicalTrials.gov، وسجل التجارب السريرية الأوروبي (EUCTR)، ونظام معلومات التجارب السريرية (CTIS). تستخدم هذه السجلات مصطلحات تصنيف متباينة — مثل ICD-10-GM، وMeSH، وMedDRA، والأوصاف النصية الحرة — لتسجيل الحالات الصحية. هذا الافتقار إلى التوحيد يعيق التحليل عبر السجلات، ويحد من التوافق التشغيلي مع التصنيفات العالمية مثل عبء المرض العالمي (GBD)، ويحجب المشهد الحقيقي لأولويات أبحاث الأمراض. ورغم أن الترميز اليدوي ممكن، إلا أنه يتطلب جهداً كبيراً وعرضة للتباين بين المرمزين. تعالج هذه الدراسة الحاجة إلى طريقة مؤتمتة وقابلة للتكرار لتوحيد أوصاف الحالات المتنوعة هذه ضمن تصنيف منظمة الصحة العالمية الموحد ICD-10.
المنهجية قام المؤلفون بتطوير وتقييم نهجين متميزين لربط ذكر الحالات بأكواد WHO ICD-10: خط معالجة هجين حتمي، ونموذج لغوي كبير (LLM) مقيد بنفس المنطق القراري المستخدم من قبل الخبراء البشريين.
1. مصادر البيانات والمعالجة المسبقة:
حللت الدراسة 23,061 تجربة تدخلية مرتبطة بألمانيا مسجلة بين عامي 2013 و2025.
استُخرجت حقول الحالات، وتمت معالجتها (بما في ذلك الترجمة من الألمانية إلى الإنجليزية ودمج المترادفات)، وتجزئتها إلى ذكرات فردية.
تم دمج السجلات عبر المعرفات ومطابقة العناوين باستخدام طريقة ربط هرمية.
2. خط المعالجة الهجين (نهج من أربع مراحل):
المرحلة 1 (الاستخراج والتوحيد): تحليل حقول الحالات، والتمييز بين مصطلحات الأمراض الفعلية والأوصاف السردية للدراسة.
المرحلة 2 (تصنيف المذكرات): تصنيف المذكرات إلى حالات قابلة للربط بـ ICD (الفئة 1: A–Q, U؛ الفئة 2: R, S, T, O, Z) أو غير قابلة للربط (الفئة 3: المتطوعون الأصحاء، دراسات الحرائك الدوائية). يستخدم هذا التصنيف نموذج انحدار لوجستي (elastic-net) خاضع للإشراف تم تدريبه على تسميات "معيار فضي"، مع تجاوز تحفظي للكلمات المفتاحية الصريحة للأمراض.
المرحلة 3 (الربط الأنطولوجي الحتمي): توليد الأكواد المرشحة عبر مسارات UMLS:
DRKS: ربط مباشر من ICD-10-GM.
ClinicalTrials.gov: مصطلحات MeSH المرتبطة بـ ICD-10 عبر UMLS.
CTIS/EUCTR: مصطلحات MedDRA المرتبطة عبر UMLS.
الحل البديل: مطابقة النصوص باستخدام خوارزمية Jaro-Winkler في حال فشل روابط الأنطولوجيا.
المرحلة 4 (الترتيب المدعوم بالتمثيل المتجهي): استخدام تمثيلات SapBERT لاسترجاع أفضل 10 مرشحين متشابهين دلالياً مع ICD-10. يجمع درجة الثقة الهجينة بين أدلة الأنطولوجيا، والتشابه المتجهي (SapBERT)، والتشابه اللفظي (Jaro-Winkler)، بالإضافة إلى مكافآت/جزاءات محددة (مثل المطابقات التامة، أو الأكواد الغامضة، أو توافق المجال العلاجي). كما تم اختبار إعادة ترتيب باستخدام مشفر متقاطع (Cross-encoder reranker) (الطريقة 2) لتحسين المرشحين الأوائل.
3. تقييم النموذج اللغوي الكبير (LLM):
تم تقييم GPT-4o بالتوازي مع عينة طبقية مكونة من 500 مذكرة (تشمل حالات عالية الثقة، وحالات المراجعة، وحالات الرفض، وحالات الفئة 3).
الأهم من ذلك، لم يُطلب من النموذج اللغوي توليد الأكواد بحرية، بل تم تقييده باتباع نفس تسلسل القرار الذي يتبعه المراجعون البشريون: محاولة التعيين المباشر، استخدام سياق التجربة عند الضرورة، الربط بفئات GBD إذا تعذر الوصول لـ ICD-10، وتعيين "NO_ICD" فقط كخيار أخير.
4. إطار التقييم:
تم إنشاء معيار ذهبي من خلال مراجعين طبيين قاموا بتشفير عينة الـ 500 مذكرة بشكل مستقل (اتفاق بين المراجعين κ≥0.70).
تم قياس الأداء باستخدام الدقة (Accuracy)، والضبط (Precision)، والاستدعاء (Recall)، ومقياس F1، ومعامل كوهين κ عند مستويات الثلاثة رموز، والكتل، والفصول.
ميز تحليل الأخطاء بين أخطاء داخل العائلة الواحدة (نفس نطاق المرض) وأخطاء عبر الفصول المختلفة.
المساهمات الرئيسية
تطوير خط المعالجة: إنشاء خط معالجة مكون من أربع مراحل مدرك للسجلات، يدمج الربط الأنطولوجي الحتمي (UMLS) مع الاسترجاع الدلالي المدعوم بالتمثيل المتجهي (SapBERT) لتوحيد بيانات التجارب متعددة السجلات.
المقارنة المرجعية: إجراء مقارنة صارمة وجهاً لوجه بين خط معالجة حتمي معقد ونموذج لغوي كبير مقيد (GPT-4o) باستخدام معيار مرجعي موحد من الخبراء.
توصيف الأخطاء: تحليل تفصيلي كشف أن جزءاً كبيراً من أخطاء خط المعالجة (حوالي 25%) ناتج عن فشل في توليد المرشحين (أي أن الكود الصحيح لم يتم استرجاعه أبداً)، وليس بسبب أخطاء في الترتيب.
تحليل الاستعادة: إثبات قدرة النموذج اللغوي الكبير على تعيين أكواد معقولة سريرياً للمذكرات التي رفضها خط المعالجة (82.4% من مذكرات فئة الرفض) أو استبعدها (62.8% من مذكرات الفئة 3).
النتائج
أداء خط المعالجة: حقق الخط الهجين الأساسي دقة بنسبة 49.0% ومعامل كوهين κ قدره 0.487 عند مستوى ثلاثة رموز لـ ICD-10 مقابل معيار الخبراء. تحسن الأداء عند المستويات الأوسع (دقة 58.7%، وκ = 0.561 عند مستوى الفصل). قدم إعادة الترتيب بالمشفر المتداخل (الطريقة 2) تحسينات طفيفة فقط.
استدعاء المرشحين: كان الكود الصحيح موجوداً في مجموعة المرشحين المسترجعة في 73.7% فقط من الحالات، مما يشير إلى وجود سقف للأداء في طرق الترتيب إذا كان المرشح الصحيح مفقوداً.
أداء النموذج اللغوي الكبير (LLM): تفوق النموذج اللغوي المقيد بشكل كبير على خط المعالجة، حيث حقق 96.7% دقة ومعامل كوهين κ قدره 0.966 عند مستوى الثلاثة رموز.
التسوية (Adjudication): تعكس نسبة الدقة المسجلة (96.7%) النتائج المُسواة حيث حل المراجعون الخبراء الخلافات الأولية بين النموذج اللغوي والمعيار المرجعي. قبل التسوية، كانت الدقة الخام للنموذج الليدي مقابل المرجع 62.7% (معامل كوهين κ = 0.625)؛ وبعد مراجعة الخبراء لهذه الخلافات، ارتفعت الدقة إلى 96.7%، مما يشير إلى أن العديد من التباينات الأولية كانت بسبب غموض الصياغة أو تفسير السياق بدلاً من فشل النموذج.
أنواع الأخطاء: معظم أخطاء خط المعالجة كانت ضمن نفس عائلة المرض (64.3%)، بينما شكلت أخطاء التصنيف عبر الفصول 30.4%.
الأهمية والادعاءات تدعي الورقة أن توحيد بيانات حالات التجارب السريرية عبر السجلات غير المتجانسة أمر ممكن، وأنها تدعم استخدام إطار عمل مشترك لـ ICD-10 للتحليلات عبر السجلات. ويخلص المؤلفون إلى أنه بينما يحقق خط المعالجة القائم على الأنطولوجيا والتمثيل المتجهي اتفاقاً متوسطاً مع تشفير الخبراء، فإن النماذج اللغوية الكبيرة المقيدة بإطار قرار مهيكل تحقق اتفاقاً يقارب الكمال (عند تسويتها مقابل معايير الخبراء).
وتفترض الدراسة أن القيمة الأساسية للنماذج اللغوية الكبيرة الحديثة في هذا المجال لا تكمن في توليد الأكواد من الصفر، بل في الاستدلال السريري، وفك الغموض، وتقييم المرشحين ضمن مجموعة محددة من التشخيصات المحتملة المقدمة من مصادر معرفية خارجية. وتشير النتائج إلى أن النماذج اللغوية الكبيرة يمكنها دعم تحليل توزيع الحالات الصحية في التجارب السريرية الألمانية بفعالية، ويمكن أن تعمل كأداة واعدة لتصنيف الخصائص الأخرى غير المعيارية للتجارب، بشرط أن تعمل ضمن إطار مؤسس يقلل من الهلوسة ويضمن التوافق مع منط التشفيد الراسخ.