Authoring and Management of Transparent Research Integrity Assessments of Randomised Clinical Trial Publications Using LLM-assisted Tools and Provenance Knowledge Graphs
تقدم هذه الورقة أداة INSPECT-AI، وهي أداة تفاعلية مدعومة بالنماذج اللغوية الكبيرة (LLM) وما يرتبط بها من الرسم البياني للمعرفة RIPE-KG، والمصممة لتبسيط وتوحيد التقييم الشفاف لنزاهة الأبحاث في منشورات التجارب السريرية العشوائية من خلال الاستفادة من إطار عمل INSPECT-SR وأنطولوجيا RIPE-O.
المؤلفون الأصليون:Milan Markovic, Goutham Indukuri, Somayajulu Sripada, Colby J. Vorland, Jack Wilkinson, Clare Robertson, Mark Bolland, Andrew Grey, Miriam Brazzelli, Alison Avenell
المؤلفون الأصليون: Milan Markovic, Goutham Indukuri, Somayajulu Sripada, Colby J. Vorland, Jack Wilkinson, Clare Robertson, Mark Bolland, Andrew Grey, Miriam Brazzelli, Alison Avenell
تخيل عالم العلوم كمكتبة ضخمة وصاخبة، حيث يكتب الباحثون باستمرار كتباً جديدة حول كيفية الحفاظ على صحة الناس. لسنوات طويلة، اعتمد الأطباء وصناع السياسات على نوع خاص من المجموعات المختارة التي تُعرف بـ المراجعة المنهجية (Systematic Review). فكر في هذا النوع كأنه أمين مكتبة خارق يقرأ مئات الدراسات الفردية، ويفحصها بحثاً عن الأخطاء، ويجمع نتائجها لإنشاء دليل واحد موثوق للرعاية الطبية. لكن هنا تكمن المشكلة: أحياناً، تكون الكتب الأصلية في المكتبة قد تعرضت للتلاعب. ربما تم تزييف البيانات، أو تم التلاعب بالتجارب، أو أخفى المؤلفون الأخبار السيئة. إذا أدرج "أمين المكتبة الخارق" هذه الكتب "الملوثة" عن طريق الخطأ في الدليل النهائي، فقد تكون النصيحة المقدمة للأطباء خاطئة، مما قد يضر بالمرضى. هذه هي مشكلة نزاهة البحث العلمي (Research Integrity): التأكد من أن المواد الخام للعلم صادقة وجديرة بالثقة.
ولحل هذه المشكلة، ابتكر العلماء قوائم تدقيق—تشبه عدسة المحقق المكبرة—لرصد هذه العلامات التحذيرية. ومع ذلك، فإن فحص كل كتاب يدوياً هو أمر بطيء ومرهق للغاية، وقد يختلف المحققون المختلفون حول ما يعتبر "دليلاً مريباً". مؤخراً، ظهر نوع جديد من المساعدين الرقميين يُسمى النموذج اللغوي الكبير (LLM). يمكنك التفكير في النموذج اللغوي الكبير كأنه روبوت فائق السرعة وفائق القراءة يمكنه مسح النصوص ورصد الأنماط في ثوانٍ. ولكن، مثل أي روبوت، يمكنه ارتكاب الأخطاء أو الارتباك، لذا فهو يحتاج إلى إنسان ليدقق عمله. السؤال الكبير هو: كيف نحتفظ بسجل مثالي وغير قابل للتغيير يوضح بالضبط كيف عمل الإنسان والروبوت معاً لتحديد ما إذا كانت دراسة ما آمنة للاستخدام؟
هنا يأتي دور الورقة البحثية التي ستطالعها الآن. لقد قام المؤلفون، وهم فريق من علماء الحاسوب والخبراء الطبيين، ببناء أداة رقمية جديدة تسمى INSPECT-AI. إنها تشبه محطة تحقيق تقنية عالية تساعد البشر في فحص التجارب السريرية للتأكد من نزاهتها. لكن السحر الحقيقي لا يكمن في الأداة نفسها فحسب؛ بل في "الأثر الرقمي" الذي تتركه وراءها. لقد أنشأ الفريق خريطة خاصة تسمى رسم البيان المعرفي (Knowledge Graph) (وهو عبد من الحقائق المترابطة) وقاعدة قواعد تسمى الأنطولوجيا (Ontology) (وهي لغة مشتركة لوصف كيفية اتخاذ القرارات). وقد استخدموا هذه الأدوات لتسجيل 140 تحقيقاً مختلفاً في 95 دراسة طبية.
لقلقد وجدوا نتائج رائعة ومربكة بعض الشيء. لقد اتفق الروبوت (INSPECT-AI) والمحققون البشر في كثير من الأحيان، ولكن ليس دائماً. في الواقع، اختلفوا في حوالي 13.6% من الأسئلة المحددة التي طرحوها. في بعض الأحيان، كان الروبوت سريعاً جداً في الإشارة إلى وجود مشكلة، وفي أحيان أخرى كان على الإنسان أن يبحث بعمق أكبر ليرى أن الروبوت كان مخطئاً. كما لاحظ الفريق أن البشر لم يتفقوا دائماً فيما بينهم، خاصة عند محاولة معرفة ما إذا كانت الدراسة قد سُجلت قبل بدئها (وهي تفصيلة دقيقة تتطلب معرفة عميقة). تشير الورقة البحثية إلى أنه لا يمكننا مجرد ترك الروبوت يقرر كل شيء، كما لا يمكننا الاعتماد على البشر للقيام بكل شيء بمفردهم. بدلاً من ذلك، نحن بحاجة إلى نظام يسجل كل خطوة من خطوات التحقيق—من الذي نظر في ماذا، وماذا خمن الروبوت، ولما لمَ غير الإنسان رأيه. ومن خلال نشر هذه "آثار المصدر" (تاريخ التحقيق) في رسم بياني مفتوح وقابل للبحث، يأمل الفريق في جعل عملية فحص العلم أكثر شفافية وسرعة وأقل عرضة للخطأ البشري. هم لم يحلوا مشكلة العلم المزيف، لكنهم بنوا مصباحاً يدوياً أفضل ودفتر ملاحظات أفضل للأشخاص الذين يحاولون العثور عليه.
ملخص تقني: تأليف وإدارة تقييمات شفافية نزاهة الأبحاث لتجارب سريرية عشوائية منشورة باستخدام أدوات مدعومة بالنماذج اللغوية الكبيرة ومعرفة الرسوم البيانية للمنشأ
بيان المشكلة تعد المراجعات المنهجية للتجارب السريرية العشوائية (RCTs) حجر الزاوية لإرشادات الرعاية السريرية، ومع ذلك فهي عرضة لتضمين منشورات ذات نزاهة بحثية مشكوك فيها (مثل البيانات المزورة، أو التحليل الإحصائي غير الصحيح، أو التلاعب بالصور). وعلى الرغم من أن تقييمات النزاهة اليدوية ضرورية، إلا أنها تتطلب جهداً كبيراً، وتستغرق وقتاً طويلاً، وعرضة للتباين في الحكم البشري. إن أدوات فحص النزاهة الحالية (مثل TRACT وRIA) تعتمد بشكل كبير على العمل اليدوي، وتفتقر إلى التقييس الدلالي، وليست معتمدة من قبل هيئات كبرى مثل تعاون كوكرين (Cochrane Collaboration). علاوة على على ذلك، فإن منشأ هذه التقييمات — أي "من، وماذا، وأين، ومتى، ولماذا، وكيف" في عملية صنع القرار — نادراً ما يتم توثيقه بتنسيق قابل لإعادة الاستخدام وقابل للقراءة آلياً، مما يعيق الشفافية وقابلية التكرار.
المنهجية طوّر المؤلفون مسار عمل متداخل التخصصات يتكون من ثلاثة مكونات أساسية: أداة تقييم مدعومة بالنماذج اللغوية الكبيرة (LLM)، وأنطولوجيا دلالية، ورسم بياني للمعرفة.
أداة INSPECT-AI:
سير العمل: تتبع الأداة سير عمل "الإنسان في الحلقة" (human-in-the-loop). يقوم المراجع برفع ملف PDF الخاص بالمنشور. يستخدم النظام GROBID لاستخراج البيانات الوصفية المهيكلة (DOI، المؤلفون، المراجع) ونموذج لغوي كبير (GEMINI 2.0 Flash) لاستخراج تفاصيل التجربة المحددة (معرفات التسجيل، تواريخ التجنيد).
تجميع الأدلة: يستعلم النظام من مصادر خارجية (Retraction Watch، وPubPeer، وClinicalTrials.gov، وWHO ICTRP) بناءً على المعرفات المستخرجة.
التقييم: تقوم المنطق الشرطي والقواعد المحددة مسبقاً بتقييم الأدلة مقابل إطار عمل INSPECT-SR (وهو قائمة تحقق معتمدة من كوكرين). يولد النظام "اقتراحات" (نعم/لا/غير واضح) لعمليات فحص نزاهة محددة.
المراجعة البشرية: يقوم مراجع بشري بفحص الأدلة واقتراحات النظام، ويقوم بتأكيد أو تعديل أو تجاوز قرار الذكاء الاصطناعي. يتم تسجيل جميع الإجراءات، والمبررات، والأدلة.
أنطولوجيا RIPE-O (أنطولوجيا منشأ نزاهة الأبحاث والأدلة):
تم تطويرها باستخدام منهجية المصطلحات المفتوحة المرتبطة (LOT)، وتعمل RIPE-O على توثيق منشأ عملية التقييم.
تعمل على توسيع أنطولوجيا قرار استخبارات التهديدات (TIDO) وPROV-O، مع إعادة استخدام أنطولوجيات SPAR (مثل FABIO وCITO) للبيانات البيبليوغرافية.
تنمذج الأنطولوجيا الرسم البياني السببي للتقييم، حيث تربط بين الوكلاء (المراجعين البشريين، الوكلاء الآليين)، والأنشطة (تجميع الأدلة، التقييم)، والكيانات (المنشورات، الأدلة، الفرضيات). كما تلتقط المبررات وراء القرارات وتميز بين النتائج المولدة آلياً والنتائج المولدة بشرياً.
رسم RIPE-KG البياني للمعرفة (رسم RIPE-KG البياني لمنشأ نزاهة الأبحاث والأدلة):
هذا هو طبقة التخزين والتصور، ويتم ملؤها عن طريق تحويل سجلات عمليات INSPECT-AI بتنسيق JSON إلى RDF باستخدام خرائط YARRRML بناءً على RIPE-O.
يتضمن تمييز المؤلفين من خلال ربط حالات المؤلف المحلية بمعرفات SemOpenAlex حيثما أمكن، مما يسمح بالاستعلامات الاتحادية.
الرسم البياني متاح عبر نقطة نهاية SPARQL وواجهة مستخدم رسومية قائمة على الويب.
المساهمات الرئيسية
INSPECT-AI: أداة شبه مؤتمتة تزيد من كفاءة تقييمات نزاهة الأبحاء من خلال أتمتة جمع الأدلة والتقييم الأولي مع الاحتفاظ بالإشراف البشري.
RIPE-O: أنطولوجيا متخصصة في المجال مصممة لالتقاط منشأ تقييمات النزاهة، مما يتيح توحيد آثار التقييم عبر أدوات وسياقات مختلفة.
RIPE-KG: رسم بياني للمعرفة الأولي يحتوي على 140 تقييماً للنزاهة لـ 95 منشوراً من التجارب السريرية العشوائية. وهو يعمل كمستودع عام لآثار المنشأ، مما يسمح بتحليل اتساق التقييم ودمج البيانات العلمية الخارجية.
النتائج
النشر التجريبي: تم تجربة الأداة مع 13 متطوعاً (مراجعي نظم مراجعة ومن ممارسي الطب السريري) قاموا بتقييم 69 منشوراً، مما نتج عنه 104 آثار تقييم.
سهولة الاستخدام: وجد 69% من المشاركين أن الأداة سهلة الاستخدام "إلى حد ما" أو "جداً"؛ وصنف 69% وقت الاستجابة بأنه سريع أو سريع جداً.
التكلفة: بلغت التكاليف التشغيلية حوالي 79.53 دولاراً لفترة التجربة، مع تكلفة هامشية تقل عن 0.10 دولار لكل ورقة تم تحليلها.
اتساق التقييم:
البشر مقابل الذكاء الاصطناعي: في 514 زوجاً من الأسئلة التي تم تقييمها، أظهرت 86.4% من الحالات اتفاقاً بين النتائج الآلية والبشرية. كانت حالات عدم الاتفاق هي الأعلى في مخاوف "تسجيل الدراسة" (26.2%)، وغالباً بسبب الحاجة إلى معرفة خبيرة في المجال لتفسير الجداول الزمنية.
البشر مقابل البشر: من بين 22 منشوراً تم تقييمها من قبل مراجعين متعددين، تباين الاتفاق بشكل كبير. وبينما كان الاتفاق مرتفعاً فيما يتعلق بحالة سحب البحث (83.3%) وإخطارات ما بعد النشر (84.2%)، فقد انخفض إلى 44.4% فيما يتعلق بمخاوف تسجيل الدراسة.
التقييم العام: من بين 22 عملاً تمت مراجعتها عدة مرات، حصل 72.7% منها على نفس تقييم النزاهة الإجمالي، بينما أظهر 27.3% اختلافاً (تراوح من "لا توجد مخاوف" إلى "مخاوف خطيرة").
تكامل البيانات: توضح الورقة القدرة على إجراء استعلامات اتحادية تربط RIPE-KG مع SemOpenAlex لاسترجاع التصنيفات الميدانية (مثل علم الغدد الصماء) للمنشورات التي تم تقييمها.
الأهمية والادعاءات تدعي الورقة أنها تقدم أول مسار عمل متكامل لإنشاء ونشر آثار المنشأ لتقييمات نزاهة الأبحاث كرسوم بيانية للمعرفة مفتوحة تلتزم بمبادئ FAIR. ويرى المؤلفون أن:
الشفافية أمر بالغ الأهمية: إن التباين المتأصل في الحكم البشري والاختلافات بين التقييمات البشرية والآلية تستوجب تسجيل آثار منشأ مفصلة لضمان المساءلة.
القابلية للتوسع: من خلال أتمتة مراحل جمع الأدلة والتقييم الأولي جزئياً، يعالج هذا النهج عقبة التوسع في فحوصات النزاهة اليدوية.
قابلية إعادة الاستخدام: صُممت أنطولوجيا RIPE-O لتكون عامة بما يكفي لدمج مخرجات أدوات تقييم النزاهة المستقبلية، وليس فقط INSPECT-AI، مما يسهد إنشاء مقاييس جديدة للممولين والناشرين.
الإنسان في الحلقة: تدعم النتوات ضرورة التحقق البشري في أنظمة دعم القرار المدعومة بالنماذج اللغوية الكبيرة، حيث لا يزال الأتمتة الكاملة غير كافية للأحكام المعقدة الخاصة بالمجال (مثل الجداول الزمنية لتسجيل الدراسة).
يضع المؤلفون هذا العمل كخطوة تأسيسية نحو "مرصد RIPE"، وهو بنية تحتية دلالية لنزاهة الأبحاث الشفافة، بدلاً من كونه حلاً مكتملاً للتحقق الآلي من النزاهة.