Temporally validated clinical trial outcome prediction from public registry text: a leakage-audited comparison of biomedical transformers and classical NLP
تُظهر هذه الدراسة أن نماذج المحولات الطبية الحيوية، وتحديداً نموذج BiomedBERT، المدربة حصرياً على احتمالات النتائج الآلية المستخرجة من نصوص سجلات التجارب السريرية العامة، يمكنها التنبؤ بفعالية بنجاح تجارب علوم الأعصاب في المراحل اللاحقة بدقة عالية، وقابلية للتكرار، وتكلفة حوسبية ضئيلة، مع تجنب تسرب البيانات من خلال التحقق الزمني الصارم والقيود المفروضة على المدخلات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إن تطوير أدوية جديدة هو رحلة طويلة ومكلفة وغير مؤكدة. فمعظم المرشحين للأدوية الذين يدخلون مرحلة الاختبار لا يصلون أبداً إلى رفوف الصيدليات. ولأن المخاطر عالية جداً، يبحث الباحثون والشركات باستمرار عن طرق للتنبؤ بالتجارب التي يُحتمل نجاحها قبل إنفاق سنوات وملايين الدولارات عليها. لعقود من الزمن، اعتمدت هذه التنبؤات على بيانات معقدة حول البنية الجزيئية للدواء، أو المرض المحدد الذي يستهدفه، أو الشركة التي تدير الدراسة. وغالباً ما تكون هذه المعلومات محجوبة في قواعد بيانات خاصة أو تتطلب اشتراكات باهظة للوصول إليها، مما يخلق حاجزاً حيث لا تستطيع سوى المنظمات ذات التمويل الجيد بناء الأدوات اللازمة للتنبؤ بمستقبل الأبحاث الطبية. ولكن ماذا لو كانت الإجابات موجودة بالفعل أمام أعيننا، مكتوبة في الأوصاف العامة للدراسات نفسها؟
استكشفت دراسة حديثة أجراها الباحث المستقل مايكل دون، ما إذا كان بإمكان برنامج حاسوبي أن يتعلم التنبؤ بنجاح التجارب السريرية باستخدام النصوص العامة المجانية الموجودة على موقع ClinicalTrials.gov فقط. يعمل هذا الموقع كسجل عالمي حيث يجب تسجيل كل تجربة سريرية، موضحاً تصميم الدراسة، والمرضى المشاركين، وأهداف البحث. أراد "دون" معرفة ما إذا كان نموذج لغوي حديث — وهو نوع من الذكاء الاصطناعي المدرب على فهم اللغة البشرية — يمكنه قراءة هذه الأوصاف العامة وتصنيف التجارب حسب احتمالية نجاحها. ولتحقيق ذلك، استخدم مجموعة بيانات ضخمة من نتائج التجارب تم إنشاؤها بواسطة "مجموعة بيانات نتائج التجارب السريرية"، والتي تجمع الأدلة من التقارير الإخبارية والنتائج العامة لتعيين احتمالية النجاح لكل تجربة. كان الهدف هو معرفة ما إذا كان بإمكان الذكاء الاصطناعي التعلم من هذه الاحتمالات الآلية ثم تطبيق تلك المعرفة على تجارب جديدة لم يسبق له رؤيتها، وتحديداً تلك التي تركز على علوم الأعصاب، دون رؤية النتائج النهائية خلال فترة تدريبه.
قام الباحث بتدريب ثلاثة نماذج حاسوبية منفصلة، نموذج لكل مرحلة من مراحل اختبار الدواء: فحوصات السلامة المبكرة، والاختبارات المتوسطة، والتجارب النهائية واسعة النطاق. وقد غذّى هذه النماذج بالنصوص العامة لآلاف التجارب المكتملة قبل عام 2019، مستخدماً احتمالات النجاح الآلية كدليل وحيد للتعلم. ومن الأهمية بمكان أن النماذج لم يُسمح لها برؤية نتائج التجارب، أو التواريخ، أو المعرفات المحددة التي قد تكشف الإجابة. بدلاً من ذلك، كان عليها الاعتماد كلياً على الأوصاف السردية لتصميم الدراسة والأشخاص المعنيين. ولضمان أن النتائج حقيقية وليست خدعة من البيانات، وضع الباحث قاعدة صارمة: سيتم اختبار النماذج فقط على التجارب التي انتهت بعد عام 2019، وهي فترة زمنية لم يسبق للنماذج رؤيتها. هذا النهج، المعروف باسم "التحقق الزمني"، يحاكي كيفية استخدام أداة التنبؤ في العالم الحقيقي، حيث تنظر إلى المستقبل بدلاً من مجرد حفظ الماضي.
أظهرت النت النتائج أن النماذج الحاسوبية يمكنها بالفعل إيجاد إشارة للنجاح داخل النص العام. فقد نجح النموذج الأساسي، القائم على نظام يسمى BioBERT والمدرب مسبقاً على المؤلفات الطبية الحيوية، في تصنيف التجارب. ففي مرحلة السلامة المبكرة، حقق (AUC) قدره 0.67. وفي المرحلة المتوسطة، ارتفعت هذه الدرجة إلى حوالي 0.71، وفي المرحلة النهائية واسعة النطاق، وصلت إلى حوالي 0.72. ورغم أن هذه الأرقام قد تبدو متواضعة، إلا أنها تمثل قدرة كبيرة على التمييز بين التجارب الناجحة والفاشلة باستخدام المعلومات العامة فقط. لقد كان أداء النموذج أفضل من التخمين العشوائي وأفضل من الأساليب الإحصائية الأقدم والأبسط في المراحل المتأخرة من الاختبار. كما حقق نموذج آخر، يسمى BiomedBERT، أداءً أفضل قليلاً في المرحلة النهائية، حيث وصل إلى (AUC) يقارب 0.75.
وما يجعل هذا الاكتشاف لافتاً للنظر بشكل خاص هو الكفاءة التي أُنجز بها. فقد استغرقت العملية بأكملها، بما في ذلك تدريب نماذج الذكاء الاصطناعي المعقدة وإجراء المقارنات، 3.5 ساعة فقط على وحدة معالجة رسومات واحدة، بتكلفة تزيد قليلاً عن دولار واحد من رسوم الكهربة والحوسبة السحابية. وهذا يتناقض تماماً مع الحواسيب الفائقة الضخمة ومجموعات البيانات الباهظة الثمن المرتبطة غالباً بأبحاث الذكاء الاصطناعي. لقد أثبتت الدراسة أن باحثاً بإمكانيات متواضعة يمكنه إعادة إنتاج هذه النتائج باستخدام بيانات عامة مجانية. وقد تمكنت النماذج من التعلم من الأوصاف النصية وحدها، مما أثبت أن الطريقة التي توصف بها التجربة في السجل العام تحتوي على أنماط خفية ترتبط بنتيجتها النهائية.
ومع ذلك، سلطت الدراسة الضوء أيضاً على قيود مهمة. فبينما كانت النماذج جيدة في تصنيف التجارب — أي إخبارنا أي منها أكثر عرضة للنجاح من غيرها — إلا أنها لم تكن مثالية في التنبؤ باحتمالية النجاح بدقة. ففي المراحل المبكرة، مالت النماذج إلى التفاؤل المفرط، حيث توقعت معدلات نجاح أعلى مما حدث فعلياً. وهذا يشير إلى أنه بينما يوفر النص إشارة مفيدة لفرز التجارب، فإنه لا يمكنه بعد أن يحل محل الحكم البشري أو البيانات الأكثر تفصيلاً. كما لاحظ الباحثون أن الأوصاف النصية قد تتغير بمرور الوقت، وإذا تم تحديث مدخل السجل بعد انتهاء التجربة، فقد يؤدي ذلك إلى تسريب الإجابة للنموذج عن طريق الخطأ. ولمنع ذلك، استخدمت الدراسة قواعد صارمة لتنقية أي ذكر للنتائج من النص قبل أن تقرأه النماذج.
في نهاية المطاف، يشير هذا العمل إلى أن السجل العام للتجارب السريرية يحمل قوة تنبؤية أكبر مما كان يُعتقد سابقاً. فمن خلال استخدام الملصقات الآلية لتعليم نموذج لغوي، أظهر الباحث أنه من الممكن بناء أداة تصنف تجارب الأدوية بناءً على أوصافها العامة وحدها. هذا النهج لا يتطلب الوصول إلى بيانات الشركات الخاصة أو قواعد البيانات المملوكة باهظة الثمن. إنه يقدم أساساً شفافاً وقابلاً لإعادة الإنتاج يمكن لأي باحث استخدامه لفحص التجارب أو تحديد الأولويات للدراسات التي تستحق اهتماماً وثيقاً. ورغم أن النماذج ليست جاهزة بعد لاتخاذ قرارات نهائية في تطوير الأدوية، إلا أنها توفر طريقة جديدة وقوية للنظر إلى الكم الهائل من المعلومات المتاحة بالفعل للجمهور، وتحويل النص البسيط إلى دليل للملاحة في المسار غير المستقر للاكتشاف الطبي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.