Genetic Perturbation Prediction Models Fail Out-of-Distribution: A Rigorous Benchmark and Systematic Evaluation

تخيل عالماً يستطيع فيه العلماء التنبؤ بكيفية استجابة خلية حية لتغيير جيني محدد دون الحاجة أبداً لإجراء التجربة في المختبر. هذا هو الوعد الذي تقدمه نماذج "الخلية الافتراضية"، وهي برامج حاسوبية مصممة لمحاكاة آثار تشغيل الجينات أو إيقافها. في العالم الحقيقي، يستخدم الباحثون أدوات قوية لتعطيل الجينات واحداً تلو الآخر ثم قياس التغيرات الناتجة في نشاط الخلية، وهي عملية بطيئة ومكلفة وصعبة التوسع. إذا استطاع الحاسوب التنبؤ بهذه النتائج بدقة، فسيعمل كاختصار هائل، مما يسمح لمطوري الأدوية بفحص آلاف العلاجات المحتملة في جزء ضئيل من الوقت. لسنوات، تسابق المجال لبناء هذه النماذج، حيث راهن العديد من الباحثين على أن أنظمة الذكاء الاصطناعي الأكثر تعقيداً ستتقن المهمة في النهاية.

ومع ذلك، تشير دراسة جديدة إلى أن الجيل الحالي من هذه النماذج يفشل في اختبار حاسم. فقد سعى الباحثون وراء هذا العمل، وهم فريق من شركة "إلوتزيدا" (Elucidata Corporation)، لمعرفة ما إذا كانت هذه البرامج الحاسوبية تتعلم حقاً القواعد البيولوجية للحياة أم أنها تقوم ببساطة بحفظ الأنماط من البيانات التي غُذيت بها. ووجدوا أنه بينما تبدو هذه النماذج ناجحة في العمل تحت ظروف الاختبار القياسية، فإنها تنهار عندما تُطلب منها التنبؤ بآثار جينات لم ترها من قبل. وتكشف الدراسة أن النماذج الأكثر تطوراً، بما في ذلك تلك المبنية على أحدث تقنيات النماذج التأسيسية، لا تقدم أي ميزة حقيقية عن الطرق الأكثر بساطة. فبدلاً من فهم الآلية الكامنة وراء الخلية، تقوم هذه البرامج أساساً بالتخمين بناءً على التشابه مع الأمثلة السابقة، وهي استراتيجية تنهار عند مواجهة سيناريوهات بيولوجية جديدة وغير مألوفة.

لفهم سبب أهمية ذلك، يجب أولاً استيعاب طبيعة التحدي. فعندما يدرس العلماء الجينات، ينظرون إلى كيفية تغير التعليمات الداخلية للخلية عند إزالة جين معين. في تجربة نموذجية، قد يختبرون مئات الجينات في نوع واحد من الخلايا. والهدف من نموذج الحاسوب هو التعلم من هذه المئات من الأمثلة ثم التنبؤ بما سيحدث إذا تم إزالة جين مختلف، جين لم يواجهه من قبل. وهذه مهمة صعبة لأن العلاقة بين الجين وتأثيره ليست واضحة دائماً؛ فهي تعتمد على شبكة معقدة من التفاعلات داخل الخلية. الطريقة القياسية لاختبار هذه النماذج هي تقسيم البيانات عشوائياً، بحيث تعطي الحاسوب بعض الجينات للتعلم منها وبعض الجينات الأخرى للتنبؤ بها. تكمن المشكلة في هذا النهج في أن الجينات "الجديدة" غالباً ما تكون متشابهة بيولوجياً مع الجينات التي يعرفها الحاسوب بالفعل. الأمر يشبه مطالبة طالب بخوض اختبار تكون أسئلته مجرد تنويعات طفيفة على الأسئلة التي درسها؛ فقد يحصل الطالب على درجة كاملة، ليس لأنه فهم الموضوع، بل لأنه تعرف على النمط.

قرر الفريق وراء هذه الدراسة، بقيادة كانوبريا تيواري وزملائها، تغيير قواعد اللعبة. فقد قدموا إطار اختبار جديداً يسمى "EL-PERTURB"، مصمماً لاختبار قدرة هذه النماذج تحت ظروف واقعية. وبدلاً من التقسيم العشوائي، قاموا بتجميع الجينات بناءً على كيفية تأثيرها الفعلي على سلوك الخلية. ثم أجبروا النماذج على التنبؤ بآثار جينات من مجموعة مختلفة تماماً، مما يضمن أن تكون الجينات المختبرة متميزة وظيفياً عن جينات التدريب. يحاكي هذا الإعداد سيناريو من العالم الحقيقي حيث يحتاج مطور الدواء إلى التنبؤ بتأثير جين لم يُدرس من قبل. لقد اختبروا عشرين نموذجاً مختلفاً، تتراوح من الأدوات الإحصائية البسيطة إلى أنظمة التعلم العميق المعقدة، بما في ذلك تلك التي تستخدم قواعد بيانات ضخمة سابقة التدريب من المعرفة البيولوجية. وأجروا هذه الاختبارات على بيانات من أربعة خطوط خلوية بشرية مختلفة، تغطي كلاً من الجينات الأساسية، وهي الجينات الحرجة لبقاء الخلية، ومجموعة أوسع من الجينات الموجودة في المسوحات الجينومية الشاملة.

كانت النتائج صارخة ومتسقة. فعندما تم اختبار النماذج على جينات مشابهة لبيانات التدريب الخاصة بها، كان أداؤها جيداً بشكل معقول، مما أكد قدرتها على الاستكمال (interpolation)، أو ملء الفجوات بين الأمثلة المعروفة. ولكن عندما طبق الباحثون الاختبار الجديد والأكثر صرامة باستخدام جينات متميزة وظيفياً، انخفض أداء كل نموذج بشكل كبير. فالنماذج المعقدة، التي شملت الشبكات العصبية المتقدمة والأنظمة المبنية على النماذج التأسيسية المدربة على كميات هائلة من النصوص والبيانات البيولوجية، لم تكن أفضل حالاً من النماذج البسيطة المرجعية. في الواقع، في بعض الحالات، حافظت النماذج الأبسط على ثباتها بشكل أفضل قليلاً. وجدت الدراسة أن البنى الأكثر تطوراً لم توفر أي ميزة موثوقة في التعامل مع هذه المواقف البيولوجية الجديدة غير المرئية. لم تكن النماذج تتعلم المنطق السببي لكيفية تحكم الجينات في الخلايا؛ بل كانت مجرد استرجاع للإجابات من "حي" مألوف من الأمثلة المتشابهة.

كما بحث الباحثون فيما إذا كان استخدام البيانات من أنواع خلايا متعددة يمكن أن يساعد النماذج على التعميم بشكل أفضل. ووجدوا أن هذا النهج نجح فقط عندما كانت الاستجابات البيولوجية عبر أنواع الخلايا المختلفة متشابهة للغاية، مثل الجينات الأساسية التي تثير استجابات إجهاد مشتركة. ومع ذلك، عندما انتقلوا إلى المسوحات الجينومية الشاملة، والتي تتضمن مجموعة أكثر تنوعاً وفوضوية من التفاعلات البيولوجية، اختفت فائدة استخدام أنواع خلايا متعددة تماماً. في هذه السيناريوهات المعقدة، فشلت النماذج في نقل المعرفة بفعالية، وكانت أكثر النماذج نجاحاً هي الأبسط، مثل أدوات الانحدار الأساسية أو الطرق التي تعتمد على استرجاع الحقائق البيولوجية المعروفة بدلاً من التعلم من البيانات نفسها. يشير هذا إلى أن العائق ليس في تصميم النموذج، بل في طبيعة البيانات والافتقار إلى فهم حقيقي للآليات السببية التي تقود سلوك الخلية.

تعلق نتيجة رئيسية أخرى بـ "النماذج التأسيسية"، وهي أنظمة ذكاء اصطناعي ضخمة مدربة مسبقاً على مجموعات بيانات هائلة من المعلومات الجينية. كان العديد من الباحثين يأملون في أن توفر هذه الأنظمة، التي تعلمت أنماطاً عامة للبيولوجيا، دفعة قوية للتنبؤ بآثار جينية محددة. اختبرت الدراسة "التضمينات" (embeddings)، أو التمثيلات الرقمية للجينات، المستمدة من هذه النماذج التأسيسية وقارنتها بالتمثيلات المبنية من المعرفة البيولوجية المنسقة والمختارة بعناية. وأظهرت النت أن تضمينات النماذج التأسيسية لم تقدم أي تحسن على المعرفة المنسقة، بل في بعض التكوينات، جعلت التنبؤات أسوأ قليلاً. يشير هذا إلى أن الجيل الحالي من هذه النماذ الضخمة لا يمتلك بعد المعلومات السببية المحددة اللازمة للتنبؤ بكيفية تفاعل الخلية مع تغيير جيني، على الأقل ليس بطريقة تتفوق على المصادر الأكثر مباشرة وبساطة للمعرفة البيولوجية.

تخلص الدراسة إلى أن المجال قد بالغ في تقدير قدرات هذه النماذج لأن طرق الاختبار القياسية سهلة للغاية. فمن خلال الاعتماد على التقسيم العشوائي وكميات سخية من بيانات التدريب، سمحت المعايير السابقة للنماذج بالنجاح من خلال "الاستكمال" بدلاً من "الاستنباط" الحقيقي. ويجادل المؤلفون بأنه لكي يتقدم المجال، يجب على المجتمع العلمي اعتماد معايير تقييم أكثر صرامة تجبر النماذج على مواجهة تحديات بيولوجية جديدة حقاً. وهم يقترحون أن النماذج المستقبلية يجب أن تتجاوز مجرد مطابقة الأنماط وتبدأ في ترميز البنية السببية الفعلية للبيولوجيا، وفهم كيفية انتشار الاضطراب عبر شبكة من التفاعلات لإنتاج نتيجة محددة. وإلى أن يحدث ذلك، فإن الوعد بوجود "خلية افتراضية" يمكنها استبدال التجارب المخبرية بشكل موثوق يظل بعيد المنال، وقد تظل الأدوات الأكثر فعالية للتنبؤ بالآثار الجينية هي الطرق الأبسط والأكثر شفافية التي تم التغاضي عنها في الاندفاع نحو التعقيد.