Protocol for the development of a tool (INSPECT-IPD) to identify problematic randomised controlled trials when individual participant data are available

ملخص تقني: بروتوكول تطوير أداة INSPECT-IPD

بيان المشكلة
تعد التجارب العشوائية المنضبطة (RCTs) حجر الزاوية في توليف الأدلة في مجال الرعاية الصحية، ومع ذلك، فإن مجموعة فرعية من هذه التجارب تحتوي على بيانات مفبركة أو مزورة، أو قد لا تكون قد أُجريت أصلاً. وبينما تقيم أدوات تقييم خطر التحيز (RoB) الحالية القيود المنهجية، إلا أنها ليست مصممة للكشف عن سوء السلوك البحثي أو مشكلات نزاهة البيانات. وقد طور المؤلفون سابقاً أداة INSPECT-SR لتقييم مدى موثوقية التجارب العشوائية المنضبطة بناءً على الملخصات المنشورة وبيانات السجلات. ومع ذلك، فإن توافر بيانات المشاركين الفردية (IPD) يوفر فرصة أكثر قوة للتحليل الجنائي. وتشير الدراسات الحالية إلى أنه بدون بيانات المشاركين الفردية، يكون معدل اكتشاف البيانات الزائفة منخفضاً (حوالي 2%)، بينما يمكن أن يؤدي الوصول إلى بيانات المشاركين الفردية إلى رفع معدلات الاكتشاف لأكثر من 40%. وبالر despite هذا الإمكان، لا يوجد إجماع على الفحوصات الجنائية المحددة المطلوبة لتحليل نزاهة بيانات المشاركين الفردية الخام، كما لا توجد أداة معيارية لتوجيه الباحثين أو المحررين أو المراجعين المنهجيين في هذه العملية.

المنهجية
تحدد الورقة بروتوكولاً مكوناً من خمس مراحل لتطوير INSPECT-IPD (التحقيق في التجارب السريرية الإشكالية باستخدام بيانات المشاركين الفردية)، وهي امتداد لأداة INSPECT-SR المصممة خصيصاً للاستخدام عند توفر البيانات الخام. تعتمد عملية التطوير على إجماع الخبراء الدوليين والأدلة التجريبية:

1. تجميع الفحوصات: تم اشتقاق قائمة أولية من فحوصات موثوقية بيانات المشاركين الفردية من مراجعة نطاقية، ودراسات نوعية للخبراء، ومشروع INSPECT-SR. وقد تم تنقيح هذه القائمة من خلال ملاحظات الخبراء وتصنيفها إلى مجالات.
2. التقييم التجريبي (المرحلة 2): سيتم تطبيق القائمة الكاملة من الفحوصات على عينة من 30 مجموعة بيانات: 15 مجموعة بيانات يُفترض أنها أصلية من مستودعات عامة، و15 مجموعة بيانات قام فريق الدراسة بتزييفها باستخدام النماذج اللغوية الكبيرة (تحديداً ChatGPT) لمحاكاة أساللوف الاحتيال الحديثة. سيقوم حوالي 30 مقيّماً بمستويات متفاوتة من الخبرة الإحصائية بتطبيق هذه الفحوصات على مجموعات البيانات. وسيقومون بتسجيل الجدوى، وقابلية التفسير، ووجود مخاوف (لا يوجد، بعض، خطير) عبر نموذج استخراج بيانات مهيكل.
3. استطلاع دلفي (المرحلة 3): سيحدد استطلاع دلفي المكون من جولتين، والذي يضم ما لا يقل عن 50 خبيراً (بمن في ذلك الإحصائيون، وأطباء التجارب، ومحققي النزاهة، ومحررو المجلات)، الإجماع. سيقوم المشاركون بتقييم كل فحص على مقي de 1-9 من حيث "الفائدة" (القدرة على تسليط الضوء على البيانات غير الموثوقة) و"سهولة التفسير". وستنتقل الفحوصات التي تحصل على درجة ≥7 من قبل ≥80% من المستجيبين إلى المرحلة التالية.
4. اجتماعات الإجماع (المرحلة 4): ستعمل الاجتماعات الافتراضية على دمج نتائج المرحلتين الثانية والثالثة لتحديد الفحوصات المختارة لمسودة الأداة. تعالج هذه المرحلة المقايضة بين الفائدة العالية وسهولة التفسير المنخفضة، مما قد يؤدي إلى تحويل الفحوصات المعقدة إلى إرشادات اختيارية.
5. الاختبار الاستباقي (المرحلة 5): سيتم اختبار مسودة الأداة في سيناريوهات واقعية، بما في ذلك إنتاج المراجعات المنهجية (تحديداً عمليات التوليف الميتا للبيانات الفردية للمشاركين IPD) والعمليات التحريرية للمجلات. سيتم جمع الملاحظات عبر الاستطلاعات وورش عمل المستخدمين لتنقيح قابلية استخدام الأداة وهيكلها.

المساهمات الرئيسية

• تطوير أداة جنائية: تقترح الورقة إنشاء INSPECT-IPD، وهي أول أداة مصممة خصيصاً لتوجيه التحليل الجنائي لبيانات المشاركين الفردية الخام من أجل نزاهة البحث، متجاوزةً بذلك حدود تقييمات البيانات الملخصة.
• دمج الاحتيال المولد بالذكاء الاصطناعي: تتضمن المنهجية صراحةً مجموعات بيانات تم تزييفها بواسطة النماذج اللغوية الكبيرة (LLMs) لضمان قوة الأداة ضد أساليب التزييف الناشئة.
• إجماع أصحاب المصلحة المتعددين: يؤكد البروتوكول على عملية تطوير صارمة وشاملة تشمل لجنة متنوعة من أصحاب المصلحة، بما في ذلك الإحصائيين، والأطباء، ومحرري المجلات، والشركاء من المرضى، لضمان أن تكون الأداة سليمة تقنياً وقابلة للتطبيق عملياً.
• إطار العلم المفتوح: يلتزم المشروع بالشفافية من خلال تسجيل البروتوكولات، ومجموعات البيانات، وأكواد التحليل على منصة العلوم المفتوحة (OSF) ونشر النتائج كمقالات مفتوحة الوصول.

النتائج
بما أن هذا المستند هو بروتوكول لدراسة وليس تقريراً لنتائج مكتملة، فإنه لا يقدم نتائج تجريبية فيما يتعلق بأداء فحوصات معينة أو التكوين النهائي للأداة. تشير الورقة إلى أن المرحلة الأولى (التجميع) قد اكتملت وقت التقديم، بينما سيتم تنفيذ المرحلتين من الثانية إلى الخامسة في المستقبل (بدءاً من أوائل عام 2026). وبناءً على ذلك، لا تتوفر أي بيانات تتعلق بتكرار المخاوف، أو معدلات الكشف المحددة، أو القائمة النهائية للفحوصات المختارة في هذا النص.

الأهمية والادعاءات
يضع المؤلفون INSPECT-IPD ليس كـ "أداة تشخيصية" نهائية للاحتيال، مع الإقرار بغياب اختبار "المعيار الذهبي" للبيانات الإشكالية. بدلاً من ذلك، يدعون أن الأداة ستكون بمثابة ملحق حاسم للمراجعات المنهجية والعمليات التحريرية، مما يساعد الباحثين في تقييم موثوقية الدراسة.

تكمن أهمية العمل في قدرته على:

• تحسين اكتشاف التجارب العشوائية المنضبطة الإشكالية عند توفر بيانات المشاركين الفردية، مما يعالج فجوة تفشل الطرق الحالية في سدها.
• دعم الاتجاه المتزايد نحو مشاركة البيانات الإلزامية (على سبيل المثال، سياسات BMJ وNIH) من خلال توفير آلية للتحقق من البيانات المشتركة.
• ردع سوء السلوك من خلال زيادة احتمالية الكشف.
• تعزيز موثوقية توليف الأدلة من خلال منع إدراج البيانات المفبركة في المراجعات المنهجية.

تخلص الورقة إلى أنه بينما لن تحل الأداة محل الحاجة إلى الحكم البشري، إلا أنها ستوفر إطاراً مهيكلاً وقائماً على الأدلة للمحققين لتحديد الدراسات التي تتمتع بموثوقية كافية للإدراج في توليف الأدلة الرعاية الصحية.