Toward Better Geometric Representations for Molecule Generative Models

ملخص تقني: LENSEs – تعزيز الكوامن للترميزات الهيكلية غير السلسة

بيان المشكلة
برز التوليد المشروط بالتمثيل الهندسي (GeoRCG) كنموذج فعال لتوليد الجزيئات ثلاثية الأبعاد، حيث يفصل بين نمذجة التمثيلات الجزيئية وتوليد الهياكل ثلاثية الأبعاد. في هذا الإطار، يقوم مشفر جزيئي مدرب مسبقاً (مثل UniMol أو Frad) بتعريف فضاء كامن، ويقوم نموذج انتشار التمثيل (RDM) بأخذ عينة من متجه على مستوى الجزيء من هذا الفضاء، ثم يقوم المولد بإعادة بناء الهيكل ثلاثي الأبعاد مشروطاً بهذا المتجه.

ومع ذلك، فإن فعالية GeoRCG محدودة بشكل أساسي بجودة الفضاء الكامن الذي توفره المشفرات المدربة مسبقاً. وقد حدد المؤلفون عقبتين حرجتين:

1. المنوعات التمثيلية غير السلسة: تنتج المشفرات المدربة مسبقاً، والتي تم تحسينها أساساً للتنبؤ بالخصائص عبر إزالة الضجيج الإحداثي، تمثيلات ذات ثوابت ليبشيتز (Lipschitz constants) عالية. تؤدي التغيرات الطفيفة في التشكيل الجزيئي إلى إزاحات كبيرة بشكل غير متناسب في الفضاء الكامن. هذه عدم السلاسة تجعل التوزيع صعب النمذجة لنموذج الانتشار (RDM)، مما يستلزم غالباً آليات تعويضية مثل حقن الضجيج المصمم يدوياً.
2. الدلالات متعددة المستويات غير المستغلة: تظهر المشفرات المدورة مسبقاً سمات هرمية حيث تلتقط الطبقات الضحلة الأنماط الهيكلية المحلية (مثل المجموعات الوظيفية) بينما تشفر الطبقات الأعمق الدلالات العالمية. عادةً ما تستخدم مسارات GeoRCG الحالية تمثيل الطبقة النهائية فقط، مما يؤدي إلى التخلص من المعلومات الدلالية الغنية المحفوظة في الطبقات السابقة. وبناءً على ذلك، يجب على المولد إعادة تعلم هذه الدلالات من الصفر، مما يزيد من صعوبة التحسين.

المنهجية: LENSEs
لمعالجة هذه المشكلات، يقترح المؤلفون إطار عمل LENSEs (تعزيز الكوامن للترميزات الهيكلية غير السلسة)، وهو إطار يعمل على تحسين الفضاء الكامن المشروط بنشاط أثناء التدريب التوليدي. بدلاً من الاعتماد سلبياً على مشفر مجمد، يقدم LENSEs ثلاث آليات متكاملة:

1. رأس التمثيل مع تجميع الطبقات القابل للتعلم:
   بدلاً من استخدام مخرج حتمي واحد من المشفر، يقوم LENSEs بتجميع سمات متعددة الطبقات. فهو يستخدم آلية تجميع طبقات قابلة للتعلم لوزن التمثيلات من أعماق مختلفة للمشفر ($H^{(l)}$). يتم رسم هذه السمات المجمعة إلى معاملات التوزيع الطبيعي الغاوسي القطري ($\mu, \sigma$) عبر رؤوس إسقاط. يتم أخذ عينة من الكود الكامن $z$ باستخدام خدعة إعادة المعلمة (reparameterization trick). يتم تدريب هذا الرأس بشكل مشترك مع المولد لاستخراج تمثيلات غنية دلالياً وصديقة للتوليد في آن واحد، مع تنظيمها بواسطة خسارة تباعد KL لضمان فضاء كامن مدمج.

2. خسارة الإدراك الجزيئي ($L_{PERC}$):
   مستوحى من خسائر الإدراك في الرؤية الحاسوبية، تعمل هذه الخسارة على محاذاة التمثيل الدلالي عالي المستوى للجزيء الذي تمت إزالة الضجيج منه (المولد) مع تمثيل الجزيء الأصلي النظيف ضمن فضاء سمات المشفر المجمد. من خلال تمرير كل من الجزيئات المولدة والنظيفة عبر المشفر وتقليل المسافة بين تمثيلاتها المجمعة على مستوى الرسم البياني، يتم تشجيع المولد على الحفاظ على الأنماط الهيكلية ذات المعنى (مثل المجموعات الوظيفية) بدلاً من مجرد تقليل أخطاء الإحداثيات منخفضة المستوى. يتم تطبيق عملية إيقاف التدرج (stop-gradient) على التمثيل الخاص بالحقيقة الأرضية.

3. خسارة محاذاة التمثيل (REPA) ($L_{REPA}$):
   مدفوعاً بملاحظة أن الحالات الخفية للمولد تتوافق طبيعياً مع سمات المشفر، تقوم هذه الخسارة بمحاذاة سمات مستوى العقدة للمولد صراحةً مع سمات المشفر المدرب مسبقاً. يقوم مسقط قابل للتعلم برسم سمات المولد في فضاء سمات المشفر، ويتم تعظيم تشابه جيب التمام بين العقد المقابلة. هذا يقلل الفجوة الدلالية بين التدريب المسبق والتوليد، مما يسرع التدريب ويحسن اكتساب المعرفة ذات المعنى كيميائياً.

يجمع هدف التدريب الإجمالي بين خسارة التوليد الأساسية ($L_{gen}$) وخسارة KL، وخسارة الإدراك، وخسارة REPA.

النتائج الرئيسية
قيم المؤلفون LENSEs على مجموعتي بيانات GEOM-DRUG وQM9، مقارنين إياه بنماذج مرجعية رائدة تشمل GeoRCG وCanonFlow وSemlaFlow.

• جودة التوليد: في مجموعة بيانات GEOM-DRUG الصعبة، يحقق LENSEs أداءً هو الأفضل حالياً. فقد حقق صلاحية بنسبة 97.28% واستقرار جزيئي بنسبة 98.51%، متفوقاً على أفضل النتائج السابقة لـ GeoRCG (صلاحية 95.3%، استقرار 97.20%) وCanonFlow (صلاحية 95.9%). كما حقق أدنى مستويات الطاقة والجهد (strain)، مما يشير إلى واقعية فيزيائية فائقة.
• سلاسة التمثيل: يكشف تحليل ثابت ليبشيتز أن الفضاء الكامن المنقح أكثر سلاسة بكثير من فضاء المشفر الخام. في GEOM-DRUG، انخفض ثابت ليبشيتز التجريبي بمقدار 4.6 ضعفاً، مما يؤكد أن منوعة التمثيل أصبحت أكثر ملاءمة لنمذجة الانتشار.
• ثراء التمثيل: زاد الرتبة الفعالة للتمثيل من 65.32 (المشفر الخام) إلى 88.42 (LENSEs)، مما يشير إلى تقليل الانهيار البعدي وفضاء كامن أكثر ثراءً وهيكلية.
• الفائدة في المهام اللاحقة: عند استخدامه لمهام الانحدار اللاحقة على خصائص QM9 مع مشفر ورأس تمثيل مجمد، يتفوق LENSEs على المشفر الخام في جميع الخصائص، مما يثبت أن عملية التدريب التوليدي نفسها تعمل كنموذج تدريب مسبق فعال لتنقيح التمثيلات الجزيئية.
• كفاءة أخذ العينات: يظهر LENSEs كفاءة محسنة في أخذ العينات، حيث يحقق صلاحية واستقراراً عالياً بخطوات توليد أقل مقارنة بالنماذج المرجعية.

الأهمية والادعاءات
يزعم البحث أن التوليد عالي الجودة للجزيئات ثلاثية الأبعاد لا يعتمد فقط على بنية المولد، بل يعتمد بشكل حاسم على جودة التمثيل المشروط. يثبت LENSEs أن الفضاء الكامن للمشفرات المدربة مسبقاً يمكن تحسينه بشكل منهجي ليكون أكثر سلاسة، وأكثر غنى بالمعلومات الدلالية، وأفضل محاذاة مع أهداف التوليد.

يفترض المؤلفون أن عملهم يؤسس لعلاقة ثنائية الاتجاه بين جودة التوليد وجودة التمثيل. وتحديداً، يقترحون أن التدريب التوليدي مع أهداف المحاذاة يمكن أن يعمل كنموذج تدريب مسبق محتمل للمشفرات الجزيئية، مما يعمل على تنقيح التمثيلات لتكون أكثر قدرة على التنبؤ والمنفعة للمهام اللاحقة. يسلط العمل الضوء على أن التمثيلات الجزيئية المفيدة ليست بطبيعتها صديقة للتوليد، وتتطلب تنقيحاً صريحاً لإطلاق كامل إمكاناتها في النمذجة التوليدية.