Can it be checked? A cross-sectional meta-research audit of access to, and reporting in, machine learning studies of pharmaceutical manufacturing and quality control
يكشف هذا التدقيق البحثي المقطعي في مجال الميتا-بحث أن حوالي ثلث دراسات تعلم الآلة المتعلقة بالتصنيع الدوائي فقط هي المتاحة دون اشتراك، بينما توفر نسبة ضئيلة لا تتجاوز 1.1% من تلك الأوراق المتاحة المزيج الضروري من البيانات العامة، والبرمجيات، والتقييم المستبعد للسماح بالتحقق المستقل من نتائجها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
في المصانع التي تصنع الأدوية الحديثة، لم تعد الآلات تكتفي بمجرد الخلط والتعبئة، بل أصبحت تراقب، وتقيس، وتتنبأ. وباستخدام نوع من الذكاء الحاسوبي يُسمى "تعلم الآلة"، يمكن لهذه الأنظمة رصد قرص دواء معيب من خلال صورة، أو التنبؤ بكيفية ذوبان العقار، أو مراقبة الظروف الدقيقة داخل خزان ضخم تنمو فيه خلايا حية. لقد أصبح هذا النوع من التكنولوجيا أداة قياسية لضمان أن كل حبة دواء وكل حقنة آمنة وفعالة. ولكن لكي يثق الناس الذين ينظمون هذه الأنظمة الذكية والأطباء الذين يصفونها في هذه الأنظمة، يجب على العلماء الذين يبنونها أن يكونوا قادرين على إثبات عملهم. تماماً كما لا يمكن للطاهي أن يدعي أن الطبق لذيذ دون عرض الوصفة والمكونات، لا يمكن للعالم أن يدعي أن النموذج الحاسوبي يعمل ما لم يعرض البيانات التي تعلم منها، والشيفرة البرمجية التي تشغله، ودليلاً على أنه يعمل على أمثلة جديدة لم يسبق له رؤيتها.
يسأل بحث جديد سؤالاً بسيطاً ولكنه بالغ الأهمية: عندما ينشر العلماء هذه الدراسات المتعلقة بتعلم الآلة حول صناعة الأدوية، هل يستطيع أي شخص خارج المختبر فعلياً التحقق من عملهم؟ لقد شرع الباحث، وهو باحث مستقل يُدعى فاني كومار بالاجامام، في تدقيق السجل المنشور لهذا المجال من عام 2019 إلى عام 2025. أراد معرفة شيئين: أولاً، هل يمكن لشخص عادي، دون اشتراك خاص في مكتبة، قراءة الورقة البحثية كاملة؟ ثانياً، إذا استطاع قراءتها، فهل تحتوي الورقة على التفاصيل المحددة اللازمة لتكرار التجربة والتحقق من النتائج؟ وجاءت الإجابة، كما وجد البحث، بأن الإجابة على كلا السؤالين بالنسبة لمعظم هذه الأوراق هي "لا".
ولمعرفة ذلك، بحث الباحث في خمس قواعد بيانات علمية كبرى عن آلاف الأوراق التي وصفت استخدام تعلم الآلة لصنع أو اختبار الأدوية البشرية. وبعد استبعاد المراجعات، والمسودات الأولية، والدراسات التي لا تنطبق عليها المعايير، بقي لديه 553 ورقة بحثية مؤهلة للدراسة. كانت العقبة الأولى هي الوصول؛ حيث تحقق البحث ما إذا كانت كل ورقة متاحة للجمهور مجاناً. تمكنت ثلث الأوراق فقط، أي 186 من أصل 553، من القراءة دون اشتراك. أما البقية فقد كانت محجوبة خلف جدران دفع أو تعذر استرجاعها، رغم أن بعضها كان مُصنفاً كوصول مفتوح، وغالباً ما كان ذلك بسبب عوائق تقنية مثل فحوصات الأمان الآلية التي منعت التحميل. وهذا يعني أنه بالنسبة لورقتين من كل ثلاث دراسات في هذا المجال، لا يمكن للقارئ الفضولي حتى رؤية النص الكامل.
ثم ركز الباحث على الـ 186 ورقة التي كان من الممكن قراءتها. ونظر بدقة فيما إذا كانت هذه الأوراق تذكر المكونات الأربعة الأساسية اللازمة للتحقق من النتيجة: البيانات الخام، والشيفرة البرمجية، ووصف واضح لكيفية تقسيم البيانات إلى مجموعات تدريب واختبار، ودرجة أداء نهائية بناءً على بيانات لم يسبق للنموذج رؤيتها من قبل. هذا الجزء الأخير أمر حاسم؛ فبدونه، قد يقوم النموذج بمجرد حفظ الإجابات بدلاً من تعلم القواعد. ووجدت الدراسة أنه بينما ذكرت جميع الأوراق تقريباً كيفية تقسيم بياناتها، إلا أن القليل جداً منها شارك البيانات الفعلية أو الشيفرة البرمجية. حيث جعلت حوالي ورقة واحدة من كل أربع أوراق البيانات متاحة للجمهور، وحوالي ورقة واحدة من كل عشر أوراق الشيفرة البرمجية متاحة.
وكان الوضع أسوأ عند البحث عن الحزمة الكاملة. حددت الدراسة "الورقة القابلة للتحقق" بأنها الورقة التي تشارك البيانات، والشيفرة، والتقسيم، ونتيجة الاختبار جميعاً في آن واحد. ومن بين 186 ورقة قابلة للقراءة، استوفت ورقتان فقط هذا المعيار، أي ما يزيد قلي بالدقة عن 1%. بعبارة أخرى، لا تكاد أي من الدراسات المنشورة في هذا المجال توفر معلومات كافية لشخص مستقل لإعادة إجراء التحليل وتأكيد الرقم الرئيسي. وأشار الباحث إلى أن هذا النقص في الشفافية لم يكن ناتجاً عن طبيعة البيانات نفسها؛ فحتى عندما كانت البيانات تأتي من تجارب مختبرية صغيرة بدلاً من مصانع صناعية ضخمة، كان نادراً ما يتم مشاركتها. وبالمثل، لم يكن نقص مشاركة الشيفرة البرمجية لأن الشيفرة سرية، بل لأنها ببساطة لم تُقدم.
كما فحصت الدراسة ما إذا كانت هذه المشكلات تتحسن بمرور الوقت أو ما إذا كانت تختلف اعتماداً على نوع المجلة التي نُشرت فيها الورقة. وأظهرت النتائج عدم وجود تحسن ملحوظ في معدل مشاركة البيانات أو الشيفرة عبر السنين، كما كان جودة التقارير متماثلة عبر مختلف أنواع المجلات العلمية. استخدم الباحث نموذج لغة ضخم، وهو نوع من الذكاء الاصطناعي، لقراءة وتقييم الأوراق، وهي طريقة تحقق منها من خلال جعل النموذج يفحص نفس الأوراق مرتين. وقد تمكن النموذج من العث على الجمل المحددة في الأوراق التي تدعم أحكامه، مما أثبت أن نقص المعلومات كان فجوة حقيقية في التقارير، وليس سوء فهم من جانب القارئ.
الخلاصة صارخة؛ فبينما أصبح تعلم الآلة روتيناً في التصنيع الدوائي، فإن السجل المنشور لهذا العمل يتسم بالغموض إلى حد كبير. ثلث الأوراق لا يمكن للجمهور قراءتها، ومن بين الأوراق التي يمكن قراءتها، لا تحتوي معظمها على المجموعة الكاملة من التفاصيل المطلوبة للتحقق من النتائج. ويقترح الباحث أن الحل لا يتطلب من المؤلفين القيام بشيء جديد أو صعب، بل يتعين عليهم ببساطة مشاركة البيانات والشيفرة التي يمتلكونها بالفعل، والتصريح بوضوح عن البيانات التي أنتجت نتيجتهم الرئيسية. ومن خلال المطالبة بما يمتلكه المؤلفون بالفعل، يمكن للمجتمع العلمي سد الفجوة بين ما يُنشر وما يمكن التحقق منه، لضمان أن تكون الآلات الذكية التي تصنع أدويتنا موثوقة بقدر ما تدعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.