Interpreting GFlowNets for Drug Discovery: What probes can and cannot show

ملخص تقني: تفسير شبكات التدفق التوليدية (GFlowNets) في اكتشاف الأدوية

بيان المشكلة
تقدم شبكات التدفق التوليدية (GFlowNets)، ولا سيما تلك المدربة لتصميم الجزيئات مثل SynFlowNet، إطار عمل قوياً لاستكشاف الفضاء الكيميائي مع الالتزام بالقيود الاصطناعية. ومع ذلك، تظل سياسات اتخاذ القرار الداخلية لهذه الشبكات غامضة، مما يحد من اعتمادها في مجال اكتشاف الأدوية حيث يحتاج كيميائيو الطب إلى مبررات قابلة للتفسير للهياكل المقترحة. إن طرق التفسير الحالية مصممة غالباً للمساحات الكامنة المستمرة أو النماذج القائمة على الاحتمالية (likelihood-based)، وليس للسياسات المنفصلة والمتسلسلة والقائمة على الرسوم البيانية (graph-based) الخاصة بـ GFlowNets. علاوة على ذلك، هناك حاجة ماسة للتمييز بين المعرفة الكيميائية التي تعلمتها السياسة فعلياً وبين المعلومات المتوفرة بشكل بديهي من خلال بنية الرسم البياني وتمثيل الذرات (atom featurization).

المنهجية
يقدم المؤلفون إطار عمل متعدد المقاييس للتفسير مطبق على SynFlowNet (المدربة باستخدام دالة مكافأة QED) باستخدام التضمينات المجمدة (frozen embeddings) من نقطة فحص (checkpoint) محددة. يدمج إطار العمل ثلاثة نهج متكاملة:

1. البروز القائم على التدرج والسيناريوهات المقابلة للواقع (Counterfactuals): يتم تطبيق التدرجات المتكاملة (Integrated Gradients - IG) على لوغاريتم احتمالية إجراء "التوقف" (Stop action) لإنشاء خرائط بروز على مستوى الذرة. يتم تجميع الذرات ذات البروز العالي في نماذج (motifs) (المكونات المتصلة والأنظمة الحلقية). بعد ذلك، يتم تطبيق تعديلات مقابلة للواقع على هذه النماذج باستخدام قواعد تحويل RDKit (مثل استبدال الهالوجين، أو تعديل الأميد) لقياس التغيرات في QED ($\Delta$QED).
2. المشفرات التلقائية المتناثرة (Sparse Autoencoders - SAEs):
   • المتكاملة ناقصة (MLP-SAE): يُستخدم مشفر تلقائي ضاغط (256 $\to$ 128) لتحديد العوامل الكامنة السائدة والمتناثرة واختبار ارتباطها بالخصائص الفيزيائية الكيميائية (مثل القطبية، والقدرة على الذوبان في الدهون).
   • المتكاملة زائدة (BatchTopK SAE): يُستخدم مشفر تلقائي زائد (256 $\to$ 1024) مع آلية تناثر BatchTopK ($k=64$) لاستعادة كواشف الميزات الدقيقة، بما في ذلك الموجودة في حالة التراكب (superposition)، دون استخدام تنظيم $\ell_1$.
3. الاستقصاء والضوابط (Probing and Controls): يتم تدريب مصنفات أمامية ضحلة واستقصاءات خطية صارمة (Ridge/logistic regression) على التضمينات للتنبؤ بوجود النماذج الكيميائية (المجموعات الوظيفية، الهالوجينات) والخصائص الفيزيائية الكيميائية. ومن الضروري أن الدراسة تستخدم ضوابط صارمة:
   • خطوط الأساس للواصفات (Descriptor Baselines): مقارنة أداء الاستقصاء مقابل واصفات RDKit وبصمات ECFP4.
   • ضوابط العلامات العشوائية (Random-Label Controls): لضمان عدم قيام الاستقصاءات بحفظ الضجيج.
   • تقسيمات منفصلة للهياكل (Scaffold-Disjoint Splits): لمنع تسرب الهياكل (scaffold leakage) في تقسيمات التدريب والاختبار.
4. التحكم عبر الشبكة غير المدربة (Untrained-Network Control): تشغيل استقصاءات متطابقة على شبكة عشوائية التهيئ لها نفس البنية تماماً لعزل مساهمة التدريب مقابل البنية.
5. استئصال الميزات (Feature Ablation): تصفير ميزات فردية لاختبار الخصوصية في فك التشفير اللاحق.

النتائج الرئيسية

• البروز والسيناريوهات المقابلة للواقع: تبرز التدرجات المتكاملة المناطق ذات المعنى الكيميائي (المستبدلات القطبية، الشظايا العطرية). وتؤدي التعديلات المقابلة للواقع على هذه النماذج إلى تحولات صغيرة ولكنها قابلة للقياس في QED (على سبيل المثال، من +0.015 إلى +0.051)، رغم أن أحجام التأثير صغيرة بالنسبة لنطاق QED، وتظل المقارنة المنضبطة ضد التعديلات العشوائية عملاً مستقبلياً.
• البنية الكامنة: يحدد MLP-SAE عوامل مرتبطة بقوة بالحجم والقطبية، لكن المتنبئ MLP بهذه العوامل يؤدي بشكل ضعيف في حساب QED المركب ($R^2=0.25$) مقارنة بالخصائص الفردية.
• إعادة البناء والتناثر: يعيد BatchTopK SAE بناء التضمينات بخطأ تربيعي متوسط (NMSE) منخفض (0.0015) ويحافظ على تناثر متوسط دفعة صارم قدره 64 ميزة نشطة. وهو يتفوق على خط الأساس الخطي المطابق (NMSE 0.0026) عند مستويات نشاط مماثلة.
• قابلية فك التشفير الخطي: تفك التضمينات تشفير الخصائص الفيزيائية الكيميائية بشكل جيد (على سبيل المثال، QED $R^2 \approx 0.59$، والحجم $R^2 \approx 0.996$). ومع ذلك، فإن هذه الدرجات ليست أفضل بشكل ملحوظ من خط أساس واصفات RDKit الذي لا يعاني من التسرب تحت التقسيمات العشوائية.
• التحكم عبر الشبكة غير المدربة (النتيجة الحاسمة): تقوم شبكة عشوائية التهيئ بنفس البنية بفك تشفير كل خاصية تم استقصاؤها بنفس جودة السياسة المدربة تقريباً. بالنسبة للخاصية الرئيسية (تشابه العقاقير/QED)، يوفر التدريب زيادة ضئيلة فقط قدرها +0.05 (0.581 للشبكة غير المدربة مقابل 0.586 للمدربة)، وهي تقع ضمن تباين البذور العشوائية. أما بالنسبة لحجم الجزيء، فإن الشبكة غير المدربة أفضل قليلاً.
• خصوصية الميزات: يكشف القاموس الزائد عن كواشف غنية كيميائياً (مثل ميزات منفصلة لليود، والكلور، والبروم، والفلور، والبورون). ويظهر استئصال الميزة الواحدة تأثيرات خاصة بالخصائص (نسب خصوصية تتراوح بين 8 و23 ضعفاً)، لكن مؤشرات الميزات ليست قابلة لإعادة الإنتاج عبر البذور المختلفة؛ حيث يوجد فقط عدد صغير من الاتجاهات المستقرة.

الأهمية والادعاءات
النتيجة الأكثر أهمية للورقة هي التحكم السلبي (negative control): إن قابلية فك التشفير الخطي للخصائص الفيزيائية الكيميائية من تضمينات GFlowNet تعكس بنية الرسم البياني وتمثيل الذرات، وليس المعرفة الكيميائية المكتسبة أثناء التدريب.

• ما لا تدعمه الدراسة: درجات الاستقصاء العالية (حتى لو كانت قريبة من AUROC المثالي) ليست دليلاً على الفهم الكيميائي المكتسب أو الاستنتاج الهيكلي للنشاط. القدرة على فك تشفير الخصائص هي إلى حد كبير نتاج تمثيل المدخلات وبنية الشبكة، كما أظهرت الشبكة غير المدربة التي طابقت أداء السياسة المدربة.
• ما تدعمه الدراسة:
  1. يوفر القاموس الزائد تفكيكاً صالحاً ودقيق التناثر للتضمينات.
  2. تحتوي عمليات التشغيل الفردية على كواشف فرعية غنية كيميائياً (مثل ميزات الهالوجينات) مستقرة عبر مجموعة فرعية من البذور.
  3. لهذه الميزات تأثيرات تدخلية خاصة بالخصائص على فك تشفير الاستقصاء.
  4. يصبح تشابه العقاقير (QED) أكثر سهولة في الوصول إليه خطياً في الفضاء الكامن المتناثر مقارنة بالتضمين الكثيف.

الخلاصة
يخلص المؤلفون إلى أن طرق التفسير يجب أن تُضبط بصرامة مقابل الخطوط المرجعية للبنية. بالنسبة لـ SynFlowNet، نجح إطار العمل في تحديد كواشف الميزات الدقيقة والتحقق من متانة التمثيل المتناثر. ومع ذلك، تحذر الدراسة صراحة من تفسير درجات قابلية فك التشفيد العالية كدليل على فهم الكيمياء المكتسب. تقتصر ادعاءات الورقة على وجود جوهر مستقر ومستقر كيميائياً من الميزات داخل القاموس، بينما تؤكد أن قدرة النموذج على التنبؤ بالخصائص الفيزيائية الكيميائية هي وظيفة بنيته وليس تدريبه. يجب أن يستكشف العمل المستقبلي ما إذا كانت هذه الكواشف ستستمر عندما يتم تدريب SAEs على تضمينات شبكة غير مدربة، وتوسيع إطار العمل ليشمل الإعدادات متعددة الأهداف.