ملخص تقني: Yeti – مُجزئ بنية بروتينية مدمج لإعادة البناء والتوليد متعدد الأنماط

1. بيان المشكلة

يعد دمج تسلسلات البروتين، والبنى ثلاثية الأبعاد، والتعليقات الوظيفية في تمثيل موحد متعدد الأنماط أمراً بالغ الأهمية للنهوض بالبيولوجيا الحسابية. ومع ذلك، تواجه النهج الحالية ثلاثة تحديات رئيسية:

1. تباين البيانات: تمتد البيانات البيولوجية عبر أنماط متنوعة (القيود الفيزيائية الحيوية، النصوص، التصوير، البيانات الحجمية) ذات خصائص إحصائية متميزة.
2. عدم الاكتمال والضجيج: تعاني مجموعات البيانات في العالم الحقيقي غالباً من فقدان الأنماط، والقياسات المشوبة بالضجيج، والتغطية غير المتساوية عبر فضاء البنية والوظيفة.
3. القابلية للتوسع والاقتران: تعمل معظم النماذج عند مقياس واحد أو نمط واحد، وتفتقر إلى آليات لنقل المعلومات عبر المستويات (من الذري إلى الخلوي) أو للتعامل مع العمليات المقترنة.

تحديداً، بينما تعامل النماذج التوليدية الحديثة البروتينات كأجسام ثلاثية الأبعاد باستخدام فضاءات إحداثيات مستمرة (مثل انتشار SE(3))، هناك بديل مقنع: ترميز البنى الذرية ثلاثية الأبعاد كـ رموز منفصلة (Discrete Tokens). يسمح هذا بنموذج تدريب قابل للتوسع وغير مرتبط بنمط محدد، على غرار النماذج اللغوية. ومع ذلك، فإن مُجزئات بنية البروتين الحالية (مثل ESM3، وDPLM-2، وKanzi) غالباً ما تعطي الأولوية لـ دقة إعادة البناء على حساب القدرات التوليدية. هناك عدم توافق حيث لا تضمن الدقة العالية في إعادة البناء تنوعاً عالياً في الرموز أو تدعم التوليد المشترك غير المشروط للتسلسل والبنية. علاوة على ذلك، تعتمد العديد من النماذج المتطورة على أعداد ضخمة من المعلمات ونماذج تدريب ذات مرحلتين حيث تكون المشفرات مجمدة، مما قد يحد من التحسين النهائي الشامل.

2. المنهجية

2.1 البنية: Yeti

Yeti (Yielding Encoded Tokens for Intermodality) هو مُجزئ بنية بروتينية مدمج أحادي المرحلة، مصمم لخرائط الإحداثيات الذرية ثلاثية الأبعاد المستمرة إلى رموز منفصلة.

• المدخلات: بنى بروتينية ممثلة بإحداثيات $C_\alpha$ متمركزة حول المتوسط ($x \in \mathbb{R}^{L \times 3}$).
• المشفر (Encoder): مشفر يعتمد على Transformer يستخدم الانتباه متعدد الرؤوس مع ترميز الموضع الدوار (RoPE) لخرائط المدخلات إلى تمثيلات كامنة مستمرة $Z \in \mathbb{R}^{L \times D}$.
• التكميم (Quantization): يتم إسقاط التمثيلات في فضاء التكميم ومعالجتها بواسطة مُكمّم خالٍ من البحث (LFQ). فضاء LFQ هو حاصل ضرب ديكارتي لكتيبات فرعية ثنائية ($C_i = \{-1, +1\}$). يتم إجراء التكميم عبر عملية الإشارة، مما يحول المتجهات إلى فهارس منفصلة دون الحاجة إلى جدول بحث، مما ينتج حجم مفردات $K = 2^D$.
• المفكك (Decoder): يعمل هيكل StripedHyena (نموذج هجين لمعالجة الإشارات) كمفكك. على عكس المفكات التقليدية التي تعتمد على مكونات ثابتة تجاه SE(3) مثل انتباه النقاط الثابتة (IPA)، يتعلم مفكك StripedHyena حقل سرعة شرطي لإعادة بناء البنى من الإحداثيات المشوبة بالضجيج.

2.2 هدف التدريب: مطابقة التدفق (Flow Matching)

يتم تدريب Yeti بشكل نهائي شامل باستخدام هدف مطابقة التدفق، والذي يقوم بالاستيفاء بين توزيع الضجيج الغاوسي ($p_0$) وتوزيع بنية البروتين المستهدف ($p_{data}$).

• دالة الخسارة: يقلل النموذج الفرق بين حقل السرعة الشرطي المتوقع $v_\theta(x_t, t, c)$ والمتجه المستهدف ($x_1 - x_0$)، حيث $x_1$ هي البنية النظيفة و $x_0$ هو الضجيج الغاوسي.
• تنظيم الإنتروبيا: لمنع انهيار دفتر الرموز وضمان الاستخدام العالي، تُضاف عقوبة إنتروبيا إلى دالة الخسارة: $L = L_{FM} + \lambda L_{entropy}$.
• الاستدلال: يتم استخدام التوجيه الخالي من المصنف (CFG) أثناء الاستدلال. من خلال تصفير تمثيلات الرموز عشوائياً أثناء التدريب، يتعلم النموذج حقول سرعة شرطية وغير شرطية، مما يسمح بفك التشفيد الموجه لتحسين دقة البنية.

2.3 التوليد المشترك متعدد الأنماط

للتحقق من الفائدة التوليدية لرموز Yeti، قام المؤلفون بتدريب نموذج الانتشار المقنع (MDM) من الصفر. يولد هذا النموذج بشكل مشترك تسلسلات الأحماض الأمينية ورموز بنية Yeti دون أي تهيئة مسبقة (على عكس DPLM-2 الذي يبدأ من نموذج تسلسل، أو ESM3 الذي يستخدم مسارات متتالية).

3. المساهمات الرئيسية

1. مُجزئ مدمج وشامل: تقديم Yeti، وهو مُجزئ أحادي المرحلة يُدرب بالكامل باستخدام مطابقة التدفق، متجنباً نموذج "تجميد المشفر" ذو المرحلتين الشائع في الأعمال السابقة.
2. استخدام عالٍ لدفتر الرموز: يحقق Yeti استخداماً فائقاً لدفتر الرموز وتنوع الرموز مقارنة بالنماذج الأكبر (ESM3، DPLM-2) وطرق التكميم الأخرى (FSQ، VQ-VAE)، رغم امتلاكه معاملات أقل بكثير.
3. كفاءة المعلمات: يحقق Yeti دقة إعادة بناء تنافسية مع 62.5 مليون معلمة فقط، أي أقل بنحو 10 أضعاف من ESM3 (648 مليون) وبنحو ضعفين من DPLM-2 (118 مليون).
4. إثبات مفهوم التوليد المشترك: إثبات أن نموذجاً مدمجاً متعدد الأنماط مُدرب من الصفر على رموز Yeti يمكنه إجراء توليد مشترك غير مشروط لتسلسلات وبروتينات، محققاً نتائج مقاربة للنماذج الأكبر بعشرة أضعاف.
5. تحليل ديناميكيات الطي: تحديد ظهور هيكلي للبنية الثانوية أثناء مسار فك تشفير مطابقة التدفق، والذي يتميز بانضغاط عالمي مبكر يليه ظاهرة "الالتزام المتأخر" حيث تترسخ الطبوغرافيا العالمية في الخطوات النهائية.

4. النتائج

4.1 تحليل دفتر الرموز

• الاستخدام: في دفتر رموز يحتوي على 8,192 مدخلاً، يحقق Yeti تعقيداً (perplexity) وإنتروبيا عاليين، متفوقاً بشكل كبير على ESM3 وKanzi. في مجموعة بيانات CATH، يستخدم Yeti حوالي 66% من سعته (التعقيد = 5414)، مع تنوع داخل البنية ($\bar{U}$) بنسبة 98.8%، مما يكاد يشبع المقياس ويشير إلى تعيينات رموز متميزة للغاية للبقايا.
• المقارنة: يتفوق Yeti على DPLM-2 في استخدام دفتر الرموز رغم أن كليهما يستخدم LFQ، ويعزى ذلك إلى نموذج التدريب الشامل مقابل نهج المشفر المجمد في DPLM-2.

4.2 دقة إعادة البناء

• المقاييس: يحقق Yeti درجة TM-score تبلغ 0.96 على CAMEO، و 0.97 على CASP14، و 0.95 على CASP15 و CATH.
• الكفاءة: بينما يظهر ESM3 انخفاضاً طفيفاً في RMSD (بسبب حجمه الهائل)، فإن درجات TM-score الخاصة بـ Yeti مماثلة أو متفوقة، مما يشير إلى استعادته للطبوغرافيا العالمية الصحيحة بفعالية. ينتج مفكك Yeti القائم على التدفق عينات ذات تباين في المواقع الذرية المحلية (مما يقلل من RMSD) ولكن مع اتساق في الطبوغرافيا العالمية، وهي ميزة مفيدة لتوليد تعدد التشكيلات.

4.3 التوليد المشترك غير المشروط

• الأداء: حقق نموذج بـ 224 مليون معلمة تم تدريبه من الصفر على 2.6 مليون بروتين (باستخدام رموز Yeti) درجة اتساق ذاتي (scTM) بلغت 0.70 و pLDDT بلغت 76.12.
• المقارنة: هذا الأداء يقارب DPLM-2 (scTM 0.87) وهو أفضل بكثير من ESM3-Open (scTM 0.46)، رغم أن DPLM-2 يعتمد على نموذج تسلسل بـ 650 مليون معلمة و ESM3 يستخدم مساراً متتالياً.
• القابلية للتصميم: استعاد ProteinMPNN نسبة 30.6% من التسلسلات الأصلية المولدة من الهياكل المولدة، مما يؤكد الاتساق الهندسي والقابلية للتصميم للأزواج المولدة.

4.4 ديناميكيات مسار التدفق

كشف تحليل مسار فك التشفيد عن ظهور غير رتيب للميزات:

• المرحلة المبكرة ($t < 0.6$): انضغاط عالمي سريع (تناقص نصف قطر الدوران).
• المرحلة المتأخرة ($t > 0.9$): اندماج سريع لعناصر البنية الثانوية ($\alpha$-helices و $\beta$-sheets) وترسيخ الطبوغرافيا العالمية.
  يشير هذا إلى أن المُجزئ يفصل بفعالية بين الكثافة خشنة الحبيبات وبين التفاصيل الهيكلية عالية التردد.

5. الأهمية والادعاءات

يزعم البحث أن Yeti يعمل كأساس مدمج ومعبر لتدريب نماذج البروتين متعددة الأنماط. تكمن أهميته الأساسية في إثبات أن:

1. الترميز المنفصل قابل للتطبيق في التوليد: من الممكن تحقيق توليد مشترك عالي الجودة وغير مشروط للتسلسل والبنية دون تدريب مسبق ضخم أو مسارات متتالية، بشرما توفر مُجزئ معبر وهدف تدريب (مطابقة التدفق) متوافق مع الأهداف التوليدية.
2. الكفاءة فوق الحجم: يمكن لنموذج مصمم بعناية وأصغر حجماً (62.5 مليون معلمة) أن يتفوق على أو يضاهي النماذج الأكبر بكثير (600+ مليون) في تنوع الرموز وإعادة البناء، مما يتحدى فكرة أن الحجم هو المسار الوحيد للأداء في نمذجة البروتين.
3. التمثيل الموحد: القدرة على التدريب من الصفر على بيانات التسلسل والبنية المشتركة تثبت إمكانية وجود تمثيل جزيئي عالمي يلتقط الاقتران الجوهري بين تسلسلات الأحماض الأمينية والبنى ثلاثية الأبعاد.

يضع المؤلفون Yeti ليس كحل نهائي لجميع مهام تصميم البروتين، بل كـ إثبات مفهوم يرسخ جدوى استراتيجية الترميز الخاصة بهم. وهم يقرون بالقيود، مثل الاعتماد على هياكل أحادية التشكيل والحاجة إلى مزيد من التوسع لمطابقة النماذج المتخصصة والمعدلة بعمق مثل La-Proteina. ومع ذلك، يؤكدون أن Yeti يوفر عموداً فقرياً قابلاً للتوسع، وفعالاً، وناجحاً لنماذج البروتين متعددة الأنماط المستقبلية القادرة على التوليد المشترك لتسلسلات وبنى منطقية للغاية.