Constructed negatives determine the population a benchmark can rank over
تجادل هذه الورقة بأن تصنيفات المعايير المرجعية محدودة جوهرياً بسبب استبعاد الكيانات ضعيفة التوسيم عند بناء العينات السالبة، مما يثبت أن معدلات الإغفال العالية (W > 0.5) تمنع الترتيب الصارم للنماذج، وتحث المجتمع على الإبلاغ بشفافية عن تعريفات الأهداف، ودعم أخذ العينات، والأدلة المستخدمة للمقارنات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
في المشهد الشاسع للاكتشافات البيولوجية، يعتمد العلماء غالباً على النماذج الحاسوبية للتنبؤ بكيفية تفاعل البروتينات أو أين تلتصق العلامات الكيميائية بها. ولتعليم هذه النماذج، يجب على الباحثين عرض أمثلة لأشياء تحدث (إيجابيات) وأمثلة لأشياء لا تحدث (سلبيات). وتكمن المعضلة في أنه بينما نمتلك قائمة جيدة بالأشياء التي تحدث بالفعل، فإننا نادراً ما نمتلك قائمة كاملة لكل الأشياء التي لا تحدث. بدلاً من ذلك، يقوم العلماء غالباً بإنشاء قائمة من "السلبيات" عبر افتراض أن أي تفاعل أو تعديل لم يروه بعد هو على الأرجح حدث غير واقعي. هذا الافتراض هو حجر الزاوية للعديد من المعايير المرجعية، أو الاختبارات القياسية، المستخدمة لتقييم مدى جودة أداء نموذج جديد. وإذا كان الاختبار معيباً، فإن ترتيب أفضل النماذح يصبح غير موثوق، مما قد يرسل الباحثين في المسار الخاطئ في بحثهم عن أدوية جديدة أو رؤى بيولوجية.
لقد كشف باحث في جامعة تولين، وهو جاستن لي، عن خلل جوهري في كيفية بناء هذه الاختبارات غالباً. فقد وجد أن الطريقة التي يختار بها العلماء أمثلتهم "السلبية" غالباً ما تستبعد أجزاء ضخمة من العالم البيولوجي، مما يجعل الاختبار أعمى فعلياً عن غالبية المرشحين الذين يدعي تقييمهم. تُظهر أعمال "لي" أنه عندما يستبعد الاختبار أكثر من نصف المرشحين المحتملين، لا يمكن تحديد ترتيب صارم لنموذجين دون افتراضات إضافية، حتى لو سجل أحد النموذجين درجة أعلى في الاختبار. ولا يشير هذا البحث إلى خطأ طفيف فحسب؛ بل يوضح أن المجتمع الذي يدعي المعيار المرجعي تقييمه هو في الواقع مجرد شريحة صغيرة وغير ممثلة للواقع. كما أن التحسينات التي تظهر في هذه الاختبارات يمكن أن تتلاشى أو حتى تنعكس عند تطبيقها على الصورة الكاملة.
تكمن المشكلة الجوهرية في قاعدة يستخدمها العديد من الباحثين للحفاظ على نظافة بياناتهم. فلتجنب تصنيف حدث بيولوجي حقيقي عن طريق الخطأ كـ "سالب" لمجرد أنه لم يُكتشف بعد، يضع العلماء غالباً معايير عالية جداً للإدراج. قد يقولون: "سنستخدم البروتينات كأمثلة سلبية فقط إذا كنا نعرف الكثير عنها بالفعل". وبينما يبدو هذا وسيلة آمنة لضمان الدقة، أظهر "لي" أن هذه القاعدة تعمل مثل المنخل الذي يصفّي كل شيء تقريباً. ففي ثماني مهام مختلفة تتعلق بالتعديلات الكيميائية على البروتينات، استبعدت هذه القاعدة ما بين 60% و97% من البروتينات المرشحة. وفي أسوأ الحالات، كان الاختبار ينظر فقط إلى جزء ضئيل من البروتينات التي كان من المفترض أن يغطيها.
طوّر "لي" طريقة لقياس مقدار الجزء المفقود من المجتمع المستهدف بدقة. ووجد أنه بمجرد أن يتجاوز الجزء المفقود نصف الإجمالي، يفقد الاختبار قدرته على ضمان ترتيب صارم بين النماذج دون افتراضات حول المنطقة المستبعدة. تخيل محاولة تقييم جودة مكتبة من خلال قراءة الكتب الموجودة على الرف العلوي فقط؛ إذا كانت الرفوف السفلية تحتوي على أفضل الكتب، فسيكون حكمك خاطئاً. في هذه الاختبارات البيولوجية، "الرف العلوي" هو المجموعة الصغيرة من البروتينات الموثقة جيداً، بينما "الرفوف السفلية" هي الغالبية العظمى من البروتينات التي يتجاهلها الاختبار. وعندما يكون الجزء المتجاهل بهذا الحجم، يمكن لنموذج أن يبدو كأفضل نموذج في الاختبار ببساطة لأنه يعمل بشكل جيد على تلك المجموعة الصغيرة والسهلة، بينما يفشل فشلاً ذريعاً في بقية العالم البيولوجي.
لإثبات ذلك، أجرى "لي" تجربة محددة حيث قارن نموذجاً قياسياً بنسخة تتضمن معلومات إضافية عن البروتين بأكل. في الاختبار القياسي، الذي نظر فقط إلى البروتينات الموثقة جيداً، بدا أن المعلومات الإضافية تساعد. ومع ذلك، عندما أعاد "لي" بناء الاختبار ليشمل البروتينات المستبعدة سابقاً، تبين أن المعلومات الإضافية تضر أداء النموذج في سبع من أصل ثماني مهام. الميزة التي بدت وكأنها ترقية مفيدة في الاختبار الضيق، أصبحت عبئاً عندما أُجبر النموذج على التعامل مع النطاق الكامل للمرشحين. هذا الانعكاس يظهر أن الاختبار الأولي لم يكن يقيس القدرة الحقيقية للنموذج على التعميم؛ بل كان يقيس فقط مدى جودة ملاءمة النموذج لمجموعة محددة وضيقة من القواعد.
كما فحصت الدراسة معياراً مرجعياً شائعاً لتفاعلات البروتين، يُستخدم لاختبار مدى قدرة الحواسيب على التنبؤ بالبروتينات التي تلتصق ببعضها البعض. يستخدم هذا المعيار مرشحاً ذا خطوتين لإنشاء أمثلته السلبية. أولاً، يتم استبعاد بروتينات كاملة لديها الكثير من الاتصالات، وثانياً، يتم استبعاد أزواج من البروتينات القريبة جداً في هيكل الشبكة. وجد "لي" أن الخطوة الأولى وحدها تستبعد بروتينات كاملة، مما يعني أنه بالنسبة لبعض البروتينات، لا توجد أمثلة سلبية على الإطلاق. أما الخطوة الثانية فتزيل جميع الأزواج المحتملة تقريباً للعديد من البروتينات الأخرى. والنتيجة هي اختبار تكون فيه الأمثلة "السلبية" نادرة ومنحازة للغاية بحيث لا تمثل عالم تفاعلات البروتين الحقيقي. في الواقع، يستبعد الاختبار 73% من البروتينات في كونه المعلن عنه، مما يترك فجوة هائلة بين ما يدعي الاختبار قياسه وما يراه بالفعل.
لا تشير أعمال "لي" إلى أن هذه النماذج عديمة الفائدة، بل تؤكد أنه يجب أن نكون صادقين بشأن ما تختبره هذه النماذج حقاً. يجب أن يوضح المعيار المرجعي بوضوح أي جزء من العالم البيولوجي يغطيه ويعترف بما يستبعده. إذا استبعد الاختبار أكثر من نصف المرشحين، فلا يمكنه التصديق بأن نموذجاً ما أفضل من نموذج آخر لكامل المجتمع دون مزيد من الافتراضات. ويوصي الباحث بضرورة أن يذكر العلماء بالضبط عدد المرشحين الذين تم تضمينهم واستبعادهم، وأن يكونوا حذرين بشأن الادعاء بأن نموذجاً ما متفوق ما لم يغطِ الاختبار جزءاً كبيراً بما يكفي من الهدف لإجراء مقارنة عادلة.
تعد هذه النتائج بمثابة تصحيح ضروري للمجال الخاص بالتنبؤ البيولوجي. فمن خلال الفصل بين أداء النموذج على البيانات التي يراها وأدائه على البيانات التي يفتقدها، يوفر "لي" مساراً أكثر وضوحاً للمضي قدماً. وتشير الدراسة إلى أن الممارسة الحالية لاستخدام مرشحات صارمة لإنشاء سلبيات "نظيفة" قد تسبب ضرراً أكثر من النفع، حيث تخلق وهماً بالتقدم يختفي عندما تواجه النماذج الواقع البيولوجي الفوضوي وغير المكتمل. الحل ليس في التخلي عن هذه الاختبارات، بل في تصميمها بفهم كامل لحدودها، لضمان أن الترتيبات التي تنتجها تعكس الإمكانات الحقيقية للنماذج بدلاً من مجرد سمات الاختبار نفسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.