FoundedPBI: Using Genomic Foundation Models to predict Phage-Bacterium Interactions

1. بيان المشكلة

تتعرقل قابلية التوسع في العلاج بالعاثيات (Phage Therapy) كبديل للمضادات الحيوية بسبب عمليات الفحص التجريبي التي تتطلب جهداً مكثفاً لتحديد أزواج (العاثية-البكتيريا) المتوافقة. وبينما تحتوي البيانات الجينومية على المعلومات اللازمة للتنبؤ بهذه التفاعلات، تواجه نماذج التعلم العميق الحالية تحديين حاسمين:

• محدودية النماذج: تُدرب نماذج التأسيس الجينومية الحالية على توزيعات بيانات محددة (مثل جينومات بدائيات النوى مقابل جينومات العاثيات) وببنيات معينة، مما يعني عدم وجود نموذج واحد قادر على استيعاب كامل الطيف من الإشارات البيولوجية المطلوبة للتنبؤ بالتفاعل.
• عدم تطابق نافذة السياق: يبلغ متوسط طول جينومات البكتيريا 5 ملايين زوج من القواعد (bp)، وتتراوح جينومات العاثيات بين 50 ألف إلى 200 ألف زوج قواعد. ومع ذلك، فإن نماذج التأسيس الجينومية الحديثة ذات الحالة الراهنة (state-of-the-art) تمتلك نوافذ سياق محدودة تتراوح بين 12 ألف و96 ألف زوج قواعد. وهذا يجبر النماذج على معالجة جزء ضئيل فقط (0.1–10%) من الجينوم في المرة الواحدة، مما يؤدي إلى فقدان كبير في المعلومات.

2. المنهجية: إطار عمل FoundedPBI

يقترح المؤلفون FoundedPBI، وهو نهج تعلم عميق تجميعي (ensemble) يستفيد من نماذج التأسيس الجينومية سابقة التدريب دون الحاجة إلى ضبطها دقيقاً (fine-tuning). تتكون البنية من مكونين رئيسيين:

أ. العمود الفقري غير القابل للتدريب (توليد التضمين الميتا - Meta-Embedding)

بدلاً من تدريب نموذج من الصفر، يستخدم FoundedPBI عموداً فقرياً "مجمداً" لتوليد تضمينات (embeddings) من ثلاثة نماذج لغوية مختلفة ومتطورة للحمض النووي (DNA):

1. Nucleotide Transformer v2: تم تدريبه على جينومات متنوعة لبدائيات النوى وحقيقيات النوى (باستثناء الفيروسات)؛ يستخدم ترميز (6-mer) وتضمينات دورانية (rotary embeddings) بسياق قدره 12 ألف زوج قواعد.
2. DNABERT-2: بنية تعتمد على BERT مدربة على جميع المجالات باستثناء الفيروسات؛ يستخدم ترميز (Byte Pair Encoding - BPE) وتشفير موضعي (ALiBi) بسياق عملي قدره 32 ألف زوج قواعد.
3. MegaDNA: نموذج من نوع (GPT-style decoder-only) تم تدريبه حصرياً على 100,000 جينوم من العاثيات البكتيرية؛ ويقدم أكبر نافذة سياق (96 ألف زوج قواعد).

استراتيجية التجميع (Ensemble Strategy):
يقوم الإطار بدمج (concatenate) التضمينات من هذه النماذج الثلاثة لإنشاء تضمين ميتا (meta-embedding). والفرضية هي أن النماذج المدربة على بيانات مختلفة (بدائيات النوى مقابل العاثيات) تلتقط إشارات بيولوجية متداخلة جزئياً، مما يسمح للنموذج التجميعي بتصحيح أخطاء النماذج الفردية.

ب. التعامل مع السياق الطويل (تكييف معالجة اللغات الطبيعية - NLP)

لمعالجة عدم التطابق في الطول بين الجينومات الكاملة ونوافذ سياق النماذج، قام المؤلفون بتكييف استراتيجيات تضمين المستندات في معالجة اللغات الطبيعية (Sannigrahi et al., 2023):

• التقطيع (Chunking): يتم تقسيم تسلسلات الحمض النووي الطويلة إلى قطع ثابتة الطول.
• استراتيجيات التجميع: قيم المؤلفون بشكل منهجي طرقاً متعددة لدمج تضمينات القطع، بما في ذلك:
  • القطع (Truncation): استخدام القطعة الأولى أو الأخيرة فقط.
  • المتوسط/الموزون: المتوسط الموحد أو المتوسط الموزون بـ (TF-IDF).
  • الحد الأقصى (Maximum): أخذ القيمة القصوى لكل بُعد.
  • TK-PERT: استراتيجية نافذة متداخلة سلسة باستخدام دالة (PERT) معدلة.
• الاختيار: من خلال البحث الشبكي (grid search)، وُجد أن الاستراتيجية المثلى هي مزيج من القطع والنوافذ (على سبيل المثال، First+Last Truncate لبعض النماذج، و TK-PERT لنماذج أخرى)، مما يشير إلى إمكانية التقاط الإشارات التصنيفية من الأجزاء دون الحاجة إلى سياق الجينوم الكامل.

ج. رأس التصنيف القابل للتدريب

يتم تغذية التضمينات الميتا المضغوطة في شبكة عصبية متعددة الطبقات (MLP) تحتوي على طبقتين خفيتين (252 و128 عصبوناً) مع استخدام تقنية الإسقاط (dropout).

• تقليل الأبعاد: تعمل طريقة تحليل المكونات الرئيسية (PCA) على تقليل أبعاد التضمينات المدمجة (أكثر من 2000) إلى 500 مكون، مما يلتقط أكثر من 99.99% من التباين.
• التنظيم (Regularization): يتم إضافة ضوضاء غاوسية (استراتيجية NEFTune) إلى التضمينات أثناء التدريب لتحسين التعميم وتقليل الإفراط في التخصيص (overfitting).

3. المساهمات الرئيسية

1. التعلم التجميعي عبر المجالات الجينومية: يثبت البحث أن الجمع بين نماذج مدربة على جينومات بدائيات النوى (Nucleotide Transformer v2، DNABERT-2) وجينومات العاثيات (MegaDNA) يعطي أداءً فائقاً. تلتقط هذه النماذج ميزات متكاملة، مما يؤدي إلى تحسن بنسبة 6% في مقياس F1-score عن أفضل نموذج فردي على معيار PredPHI.
2. حل مشكلة السياق الطويل: يعد هذا العمل الأول الذي يطبق ويقيم بصرامة استراتيجيات تجميع المستندات الطويلة المستمدة من معالجة اللغات الطبيعية (القطع، المتوسط، النوافذ) على نماذج التأسيس الجينومية للتنبؤ البيولوجي، مما يسمح بمعالجة جينومات كاملة تتجاوز حدود سياق النموذج بمقدار 50 إلى 100 ضعف.
3. التكيف الصفري (Zero-Shot Adaptation): يلغي هذا النهج الحاجة إلى الضبط الدقيق للنماذج التأسيسية الضخمة، معتمداً بدلاً من ذلك على مصنف خفيف الوزن قابل للتدريب فوق التضمينات المجمدة، مما يجعل النظام فعالاً من حيث الموارد.

4. النتالئج

تم تقييم النموذج على مجموعتي بيانات:

• CI4CB (مجموعة بيانات داخلية): مجموعة بيانات عالية الثقة تحتوي على 7,721 تفاعلاً.
  • الأداء: حقق 93% في مقياس F1-score.
  • التحسن: تفوق على أفضل طريقة سابقة للفريق (Distilled DNABERT) بنسبة 4% وعلى نموذج PERPHECT القائم على CNN بنسبة 15%.
• PredPHI (معيار خارجي): مجموعة بيانات متنوعة تحتوي على 6,938 تفاعلاً عبر 301 نوعاً من البكتيريا و3,449 نوعاً من العاثيات.
  • الأداء: حقق 76% في مقياس F1-score.
  • التحسن: تفوق على الحالة الراهنة (PBIP، الذي يستخدم تضمينات مستوى البروتين) بنسبة 7%.
  • الاستدعاء (Recall): أظهر تحسناً ملحوظاً في الاستدعاء بنسبة +11% (0.80 مقابل 0.69)، مما يشير إلى قدرة أفضل على تحديد التفاعلات الحقيقية الإيجابية.

دراسات الاستئصال (Ablation Studies):

• التجميع مقابل النموذج الفردي: تفوق النموذج التجميعي باستمرار على النماذج الفردية، واتسعت الفجوة في مجموعة بيانات PredPHI الأكثر تنوعاً (+6% عن MegaDNA).
• استراتيجية السياق الطويل: تسبب استخدام القطع الساذج (القطعة الأولى فقط) في انخفاض بنسبة 12% في F1-score على PredPHI، مما يثبت أن تجميع المعلومات من مناطق جينومية متعددة أمر بالغ الأهمية.
• حقن الضوضاء: أدت إضافة الضوضاء الغاوسية إلى تحسين التعميم بشكل كبير على مجموعة البيانات الخارجية PredPHI.

5. الأهمية والقيود

• الأهمية: يثبت FoundedPBI أن نماذج التأسيس الجينومية العامة، عند دمجها عبر التعلم التجميعي والتعامل السليم مع السياق الطويل، يمكنها حل مهام التنبؤ البيولوجي المتخصصة بفعالية. إنه يوفر مساراً قابلاً للتوسع وفعالاً من حيث البيانات لتسريع اكتشاف العاثيات لمواجهة البكتيريا المقاومة للمضادات الحيوية.
• القيود والعمل المستقبلي:
  • التحيز التصنيفي: كشف تحليل الخطأ أن دقة التنبؤ تختلف بشكل كبير حسب العائلة البكتيرية. فقد سجلت عائلات البكتيريا سالبة الجرام ذات الأهمية السريرية (مثل Pseudomonadaceae و Moraxellaceae) معدلات خطأ أعلى بـ 3 إلى 4 مرات من Actinomycetes. يشير هذا إلى أن تباين المستقبلات السطحية في هذه الممرضات لا يتم التقاطه بالكامل بواسطة تضمينات الجينوم المرجعية.
  • القابلية للتفسير: إن طبيعة "الصندوق الأسود" الحالية للتضمينات الميتا تحد من الرؤية البيولوجية. يهدف العمل المستقبلي إلى استخدام استخراج قائم على "الاهتمام" (attention-based extraction) لربط تنبؤات النموذج بالزخارف (motifs) الحمض النووية المحددة المسؤولة عن التفاعلات.

في الختام، يمثل FoundedPBI خطوة مهمة للأمام في العلاج بالعاثيات الحسابي، حيث يثبت أن الاستفادة من نماذج التأسيس المتنوعة وتكييف تقنيات معالجة اللغات الطبيعية مع الجينوم يمكن أن يتغلب على ندرة البيانات وقيود طول التسلسل.