ملخص تقني: NEAT – محول مجموعات ذاتي الانحدار، فعال، وموجه بالجوار لتوليد الجزيئات ثلاثية الأبعاد

بيان المشكلة

تعتمد سير العمل الحسابية الحالية لاكتشاف الجزيئات النشطة بيولوجياً بشكل كبير على الفحص الافتراضي أو التوليد من العدم (de novo). وبينما يقتصر الفحص الافتراضي على الحجم المحدود للمكتبات الكيميائية والتكاليف الحسابية المتزايدة، فإن النمذجة التوليدية تقدم بديلاً واعداً. ومع ذلك، فإن توليد الهياكل الجزيئية ثلاثية الأبعاد يفرض تحديات فريدة؛ فالجزيئات هي بطبيعتها ثلاثية الأبعاد، وغالباً ما تتحدد خصائصها من خلال التشكيل الفراغي (conformation).

تستخدم النماذج الرائدة الحالية في التوليد ثلاثي الأبعاد تقنيات الانتشار (diffusion) ومطابقة التدفق (flow-matching) بشكل مهيمن. تعاني هذه الطرق غالباً من التوسع التربيعي في تحديثات تمرير الرسائل (message-passing)، وتفتقر إلى القدرة الذاتية على التكيف مع أحجام الجزيئات المتغيرة (غالباً ما تتطلب عدداً ثابتاً من الذرات يتم تحديده عند التهيئة)، وتواجه صعوبة في التعامل مع عمليات إدراج الذرات الديناميكية أثناء عملية إزالة الضجيج (denoising).

تقدم النماذج ذاتية الانحدار (autoregressive) بديلاً مرناً يدعم بشكل طبيعي أعداد الذرات المتغيرة ويتطلب استدعاءً واحداً فقط للمشفر لكل رمز (token). ومع ذلك، تتطلب نماذج المحولات ذاتية الانحدار القياسية ترتيباً تسلسلياً للرموز. وفي الرسوم البيانية الجزيئية، لا يوجد ترتيب تسلسلي متأصل للذرات. وقد عالجت الأعمال السابقة هذا الأمر باستخدام ترتيبات ذرية معيارية (canonical atom orderings)، إلا أن هذه النهج لا تضمن ثبات التبديل (permutation-invariance) بالنسبة للذرات. فهي تشوه توقع الرمز التالي لصالح اصطلاحات ترتيب محددة، مما يحد من قدرة النموذج على التعميم أو أداء مهام مثل "إكمال البادئة" (prefix completion)، حيث قد لا يتطابق تسلسل الذرات الأولي مع الترتيب المعياري للجزيء النهائي. وعلى العكس من ذلك، فإن نهج الشبكات العصبية الرسومية (GNN) التي تضمن ثبات التبديل غالباً ما تولد جزيئات ذات صلاحية كيميائية منخفضة.

المنهجية

يقترح المؤلفون NEAT (محول المجموعات ذاتي الانحدار، الفعال، والموجه بالجوار)، وهو أول نموذج محول ذاتي الانحدار لتوليد الجزيئات ثلاثية الأبعاد يحترم ثبات التبديل للذرات دون الاعتماد على الترتيبات المعيارية للذرات.

البنية الأساسية

يعامل NEAT الرسوم البيانية الجزيئية كمجموعات من الذرات بدلاً من تسلسلات. تتكون البنية من ثلاثة مكونات رئيسية:

1. وحدة تعزيز البيانات (التوجيه بالجوار): بدلاً من الترميزات الموضعية التسلسلية، يستخدم النموذج استراتيجية أخذ عينات لمحاكاة النمو الجزيئي. بالنظر إلى رسم بياني جزيئي، يتم أخذ عينة من رسم بياني فرعي متصل (المجموعة المصدر). تُعرف المجموعة المستهدفة بأنها "العقد الحدودية" (الجيران بمسافة خطوة واحدة) للمجموعة المصدر. يوفر هذا مجموعة صالحة من استمرارات الرموز للخطوة التالية، بشكل مستقل عن الترتيب الذي أضيفت به الذرات.
2. هيكل محول المجموعات (Set Transformer): يتم تشفير المجموعة المصدر باستخدام محول مجموعات (مبني على NanoGPT/GPT-2 مع انتباه ثنائي الاتجاه وبدون ترميزات موضعية). يتم تضمين أنواع الذرات خطياً، وتُشفر المواضع باستخدام ميزات فوريه (Fourier features). تقوم عملية التجميع الجمعي (additive pooling) بتجميع تمثيلات العقد هذه في تمثيل قائم على المجموعة ($z_n$). يضمن هذا التصميم ثبات التبديل فيما يتعلق بترتيب الذرات في المجموعة المصدر.
3. رأس مطابقة التدفق (Flow-Matching Head): يُستخدم تمثيل المجموعة $z_n$ للتنبؤ بالرمز التالي، والذي يتم تحليله إلى نوع الذرة والموضع: $p(a_{n+1}, x_{n+1} | z_n) = p(a_{n+1} | z_n) \cdot p(x_{n+1} | a_{n+1}, z_n)$.
   • نوع الذرة: يتم نمذجته كتوزيع فئوي عبر طبقة خطية ودالة Softmax.
   • موضع الذرة: يتم نمذجته باستخدام مطابقة التدفق الشرطي (CFM). يتعلم النموذج حقل متجه لنقل توزيع المواضع الأولية العشوائية إلى المواضع الحقيقية للذرات.

استراتيجية التدريب

• التوجيه بالجوار: أثناء التدريب، لا يتم الإشراف على النموذج بواسطة رمز واحد تالٍ، بل بواسطة مجموعة من جميع العقد الحدودية الصالحة. هذا يلغي الحاجة إلى الترتيب المعياري.
• الإجبار للمعلم (Teacher Forcing): يتم فصل التنبؤ بنوع الذرة وإعادة بناء الموضع. يتنبأ النموذج بالنوع، بينما يتعلم رأس مطابقة التدفق الموضع مشروطاً بهذا النوع.
• التعزيز (Augmentation): لتحسين المتانة ضد تراكم الأخطاء، يتم حقن ضجيج غاوسي في جزء من الذرات في المجموعة المصدر أثناء التدريب، ويتم إعادة تمركز المواضع بالنسبة للمجموعة المصدر المشوشة.
• دالة الخسارة: إجمالي الخسارة هو مجموع خسارة الإنتروبيا المتقاطعة (Cross-Entropy) لأنواع الذرات وخسارة مطابقة التدفق للمواضع. يتم حل مسألة التخصيص الخطي لربط التوزيعات المصدرية والمستهدفة، مما يقلل تكاليف النقل ويتجنب تقاطع المسارات.

الاستدلال

يبدأ التوليد بذرة أولية عشوائية. في كل خطوة، يتم تشفير مجموعة الذرات الحالية، ويتم التنبؤ بنوع الذرة التالي، ويتم أخذ موضع أولي عشوائي. يتم بعد ذلك دمج حقل متجه مطابقة التدفق (باستخدام طرق Euler أو Euler-Maruyama) لتحديد الإحداثيات ثلاثية الأبعاد النهائية. تتكرر هذه العملية حتى يتم التنبؤ برمز التوقف.

المساهمات الرئيسية

1. توليد ذاتي الانحدار ثابت التبديل: يقدم NEAT استراتيجية تدريب مبتكرة باستخدام التوجيه بالجوار ومحولات المجموعات لتحقيق توليد جزيئي ثلاثي الأبعاد يتسم بثبات التبديد تجاه ترتيب الذرات، متجاوزاً قيود الترتيبات المعيارية في النماذج ذاتية الاندراد.
2. الكفاءة: من خلال التعامل مع المدخلات كمجموعة واستخدام استدعاء واحد للمشفر لكل رمز، يتجنب NEAT التوسع التربيعي لتمرير الرسائل في نماذج الانتشار، وكذلك الحاجة إلى خطوات تكامل متعددة لكل خطوة توليد ذرة كما في بعض نماذج مطابقة التدفق الأساسية.
3. القدرة على إكمال البادئة: تتيح استقلالية الترتيب في NEAT إكمال بادئة عالي الجودة (توليد جزيئات حول هيكل معين) دون الحاجة لأن تتطابق البادئة مع ترتيب معياري محدد، وهي مهمة يعاني فيها نماذج التسلسل مثل QUETZAL.
4. أداء رائد (State-of-the-Art): يحقق النموذج نتائج تنافسية أو متفوقة على المعايير القياسية (QM9 و GEOM-Drugs) مقارنة بكل من النماذج ذاتية الانحدار ونماذج الانتشار/مطابقة التدفق.

النتائج التجريبية

تم تقييم النموذج على مجموعتي بيانات QM9 (الجزيئات العضوية الصغيرة) و GEOM-Drugs (الجزيئات الشبيهة بالأدوية).

• جودة التوليد: في QM9، تفوق NEAT على النماذج ذاتية الاندراد السابقة (G-Schnet, G-SphereNet, Symphony, Geo2Seq) من حيث صلاحية xyz2mol والفرادة. حقق صلاحية xyz2mol بنسبة 95.2% وفرادة بنسبة 91.6%، محتلاً المركز الثاني فيما يتعلق بصلاحية البحث والفرادة. وفي GEOM، حقق NEAT أعلى صلاحية بحث (lookup) بنسبة 99.7% وثاني أفضل صلاحية xyz2mol بنسبة 93.9% وكذلك الفرادة بنسبة 91.6% بين النماذج ذاتية الاندراد، مضاهاً أداء نماذج مطابقة التدفق الرائدة مثل FlowMol3.
• إكمال البادئة: في مهمة تم فيها توليد 1,000 جزيء من 100 بادئة متنوعة، تفوق NEAT بشكل كبير على QUETZAL. حقق NEAT صلاحية بحث بنسبة 97.8% وصلاحية xyz2mol بنسبة 92.7%، بينما حقق QUETZAL 27.8% و 28.1% على التوالي. يوضح هذا قدرة NEAT على تعميم الميزات الهيكلية بشكل مستقل عن اصطلاحات ترتيب الذرات.
• كفاءة وقت التشغيل: يظهر NEAT مزايا سرعة كبيرة؛ فهو يعمل أسرع بحوالي 5 مرات من SemlaFlow و 16 مرة أسرع من FlowMol3. في أسوأ السيناريوهات، تبلغ تعقيد NEAT قيمة $O(BN^3)$ (حيث $N$ هو عدد الذرات)، بينما تتوسع نماذج الانتشار/التدفق كـ $O(BTN^2)$ (حيث $T$ هو عدد خطوات التكامل). وبما أن $N$ عادة ما يكون أصغر من $T$ بالنسبة للجزيئات الشبيهة بالأدوية، فإن NEAT يوفر ميزة عملية في السرعة.

الأهمية والادعاءات

يزعم العمل أن NEAT يوفر أساساً قوياً لاستخدام بنى المحولات في مهام تصميم الأدوية المعقدة، وتحديداً للتوليد الجزيئي ثلاثي الأبعاد المشروط. ومن خلال إلغاء الاعتماد على الترتيبات المعيارية للذرات، يتيح النموذج مهاماً مرنة مثل التوليد القائم على الهيكل (إكمال البادئة)، والتي كانت صعبة سابقاً على النهج ذاتية الاندراد.

يشير المؤلفون إلى أنه على الرغم من أن البنية الحالية ليست متوافقة مع SE(3) بشكل صريح، إلا أن استخدام تعزيز الدوران العشوائي أثناء التدريب يعوض ذلك بفعالية، مما يؤدي إلى تباينات طفيفة فقط في التوقعات. ويقترح العمل أن دمج NEAT مع محول متوافق مع SE(3) يعد اتجاهاً واعداً للأبحاث المستقبلية.

يؤكد المؤلفون أنه على الرغم من أن النموذج يولد هياكل ثلاثية الأبعاد عالية الجودة، إلا أن توليد الجزيئات هو خطوة واحدة فقط في مسار معقد يتطلب التحقق والتركيب والاختبار المكثف. كما يقرون بوجود قيود، مثل الاعتماد على معلومات الحواف للتوجيه بالجوار (مما قد يحد من التطبيق على البلورات غير العضوية) وعدم القدرة على الاستقراء خارج الحد الأقصى لعدد الذرات المشاهدة أثناء التدريب.