Interpreting GFlowNets for Drug Discovery: What probes can and cannot show

तकनीकी सारांश: ड्रग डिस्कवरी के लिए GFlowNets की व्याख्या (Interpreting GFlowNets for Drug Discovery)

समस्या विवरण (Problem Statement)
जेनरेटिव फ्लो नेटवर्क्स (GFlowNets), विशेष रूप से सिंथेटिक बाधाओं (synthetic constraints) का पालन करते हुए आणविक डिजाइन के लिए प्रशिक्षित किए गए मॉडल जैसे कि SynFlowNet, रासायनिक स्थान (chemical space) को खोजने के लिए एक शक्तिशाली ढांचा प्रदान करते हैं। हालांकि, उनकी आंतरिक निर्णय नीतियां (decision policies) अपारदर्शी रहती हैं, जो ड्रग डिस्कवरी में उनके उपयोग को सीमित करती हैं जहाँ औषधीय रसायन विज्ञानविदों (medicinal chemists) को प्रस्तावित संरचनाओं के लिए व्याख्या योग्य तर्कों की आवश्यकता होती है। मौजूदा व्याख्यात्मक विधियाँ अक्सर निरंतर लेटेंट स्पेस (continuous latent spaces) या संभावना-आधारित मॉडलों (likelihood-based models) के लिए डिज़ाइन की गई हैं, न कि GFlowNets की असतत, अनुक्रमिक, ग्राफ-आधारित नीतियों के लिए। इसके अलावा, एक महत्वपूर्ण आवश्यकता यह है कि उस रासायनिक ज्ञान के बीच अंतर किया जाए जो नीति द्वारा वास्तव में सीखा गया है और उस जानकारी के बीच जो ग्राफ आर्किटेक्चर और परमाणु विशेषताकरण (atom featurization) के माध्यम से सहजता से उपलब्ध है।

कार्यप्रणाली (Methodology)
लेखक एक विशिष्ट चेकपॉइंट से प्राप्त फ्रोजन एम्बेडिंग्स (frozen embeddings) का उपयोग करते हुए SynFlowNet (QED रिवॉर्ड फंक्शन के साथ प्रशिक्षित) पर लागू एक मल्टी-स्केल व्याख्यात्मक ढांचे (multi-scale interpretability framework) को प्रस्तुत करते हैं। यह ढांचा तीन पूरक दृष्टिकोणों को एकीकृत करता है:

1. ग्रेडिएंट-आधारित सैलिएंसी और काउंटरफैक्चुअल (Gradient-Based Saliency and Counterfactuals): "Stop" एक्शन के लॉग-प्रोबेबिलिटी पर इंटीग्रेटेड ग्रेडिएंट्स (IG) को परमाणु-स्तर के सैलिएंसी मैप्स उत्पन्न करने के लिए लागू किया जाता है। उच्च-सैलिएंसी वाले परमाणुओं को मोटिफ्स (जुड़े हुए घटक और रिंग सिस्टम) में समूहीकृत किया जाता है। इसके बाद इन मोटिफ्स पर RDKit ट्रांसफॉर्मेशन रूल्स (जैसे हैलोजन एक्सचेंज, एमाइड संशोधन) का उपयोग करके काउंटरफैक्चुअल परटर्बेशन (counterfactual perturbations) लागू किए जाते हैं ताकि QED ($\Delta$QED) में परिवर्तन को मापा जा सके।
2. स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders - SAEs):
   • अंडरकंप्लीट (MLP-SAE): एक संकुचित ऑटोएनकोडर (256 $\to$ 128) का उपयोग प्रमुख, स्पार्स लेटेंट कारकों की पहचान करने और भौतिक-रासायनिक गुणों (जैसे ध्रुवीयता, लिपोफिलिसिटी) के साथ उनके सहसंबंध का परीक्षण करने के लिए किया जाता है।
   • ओवरकंप्लीट (BatchTopK SAE): एक ओवरकंप्लीट ऑटोएनकोडर (256 $\to$ 1024) जिसमें बैच-टॉप-के (BatchTopK) स्पार्सिटी मैकेनिज्म ($k=64$) का उपयोग किया गया है, का उपयोग सूक्ष्म फीचर डिटेक्टर्स (fine-grained feature detectors) को पुनः प्राप्त करने के लिए किया जाता है, जिसमें सुपरपोजिशन (superposition) में मौजूद फीचर्स भी शामिल हैं, और इसमें $\ell_1$ रेगुलराइजेशन का उपयोग नहीं किया गया है।
3. प्रोबिंग और कंट्रोल्स (Probing and Controls): एम्बेडिंग्स पर हल्के फीडफॉरवर्ड क्लासिफायर और सख्त रैखिक प्रोब्स (रिज/लॉजिस्टिक्स रिग्रेशन) को रासायनिक मोटिफ्स (फंक्शनल ग्रुप्स, हैलोजन) और भौतिक-रासायनिक गुणों की उपस्थिति की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। महत्वपूर्ण रूप से, अध्ययन कठोर नियंत्रण (controls) का उपयोग करता है:
   • डिस्क्रिप्टर बेसलाइन्स (Descriptor Baselines): प्रोब प्रदर्शन की तुलना RDKet डिस्क्रिप्टर्स और ECFP4 फिंगरप्रिंट्स से करना।
   • रैंडम-लेबल कंट्रोल्स (Random-Label Controls): यह सुनिश्चित करना कि प्रोब्स शोर (noise) को याद न करें।
   • स्कैफोल्ड-डिस्जॉइंट स्प्लिट्स (Scaffold-Disjoint Splits): ट्रेन/टेस्ट स्प्लिट में स्कैफोल्ड लीकेज को रोकना।
   • अनट्रेन्ड-नेटवर्क कंट्रोल (Untrained-Network Control): प्रशिक्षण बनाम आर्किटेक्चर के योगदान को अलग करने के लिए बिल्कुल समान आर्किटेक्चर के एक रैंडमली इनिशियलाइज्ड नेटवर्क पर समान प्रोब्स चलाना।
   • फीचर एब्लेशन (Feature Ablation): डाउनस्ट्रीम डिकोडिंग में विशिष्टता का परीक्षण करने के लिए सिंगल फीचर्स को जीरो करना।

मुख्य परिणाम (Key Results)

• सैलिएंसी और काउंटरफैक्चुअल: इंटीग्रेटेड ग्रेडिएंट्स रासायनिक रूप से सार्थक क्षेत्रों (ध्रुवीय प्रतिस्थापी, एरोमैटिक फ्रैग्मेंट्स) को उजागर करते हैं। इन मोटिफ्स के काउंटरफैक्चुअल संपादन QED में छोटे लेकिन मापने योग्य बदलाव (जैसे, +0.015 से +0.051) उत्पन्न करते हैं, हालांकि QED रेंज के सापेक्ष प्रभाव का आकार छोटा है, और रैंडम संपादन के विरुद्ध नियंत्रित तुलना भविष्य का कार्य है।
• लेटेंट स्ट्रक्चर: अंडरकंप्लीट SAE उन कारकों की पहचान करता है जो आकार और ध्रुवीयता के साथ दृढ़ता से सह-संबंधित हैं, लेकिन इन कारकों पर एक MLP प्रेडिक्टर कंपोजिट QED ($R^2=0.25$) पर व्यक्तिगत गुणों की तुलना में खराब प्रदर्शन करता है।
• रिकंस्ट्रक्शन और स्पार्सिटी: ओवरकंप्लीट BatchTopK SAE कम NMSE (0.0015) के साथ एम्बेडिंग्स को पुनर्गठित करता है और 64 सक्रिय फीचर्स की सख्त बैच-मीन स्पार्सिटी बनाए रखता है। यह समान गतिविधि स्तरों पर मैच किए गए लीनियर बेसलाइन (NMSE 0.0026) से बेहतर प्रदर्शन करता है।
• लीनियर डिकोडेबिलिटी: एम्बेडिंग्स भौतिक-रासायनिक गुणों (जैसे, QED $R^2 \approx 0.59$, आकार $R^2 \approx 0.996$) को अच्छी तरह से डिकोड करते हैं। हालांकि, ये स्कोर रैंडम स्प्लिट के तहत RDKit डिस्क्रिप्टर बेसलाइन द्वारा प्राप्त किए गए स्कोर से काफी बेहतर नहीं हैं।
• अनट्रेन्ड-नेटवर्क कंट्रोल (निर्णायक निष्कर्ष): एक समान आर्किटेक्चर वाला रैंडमली इनिशियलाइज्ड नेटवर्क प्रत्येक प्रोब किए गए गुण को प्रशिक्षित नीति के समान ही अच्छी तरह से डिकोड करता है। मुख्य संपत्ति (ड्रग-लाइकनेस/QED) के लिए, प्रशिक्षण केवल +0.005 (+0.581 अनट्रेन्ड बनाम +0.586 प्रशिक्षित) का नगण्य लाभ प्रदान करता है, जो रैंडम सीड्स के वेरिएंस के भीतर आता है। आणविक आकार पर, अनट्रेन्ड नेटवर्क थोड़ा बेहतर है।
• फीचर विशिष्टता: ओवरकंप्लीट डिक्शनरी में, व्यक्तिगत रन आयोडीन, क्लोरीन, ब्रोमीन, फ्लोरीन और बोरॉन के लिए अलग-अलग रासायनिक रूप से समृद्ध डिटेक्टर्स प्रकट करते हैं। सिंगल-फीचर एब्लेशन प्रोब डिकोडिंग पर गुण-विशिष्ट प्रभाव (स्पेसिसिटी रेशियो 8–23$\times$) दिखाता है, लेकिन फीचर इंडेक्स सीड्स के बीच सुसंगत नहीं हैं; केवल एक छोटा कोर दिशा (core direction) स्थिर है।

महत्व और दावे (Significance and Claims)
इस शोध का सबसे महत्वपूर्ण परिणाम एक नेगेटिव कंट्रोल (negative control) है: भौतिक-रासायनिक गुणों की लीनियर डिकोडेबिलिटी GFlowNet एम्बेडिंग्स से प्राप्त होती है, जो ग्राफ आर्किटेक्चर और परमाणु विशेषताकरण को दर्शाती है, न कि सीखे गए रासायनिक ज्ञान को।

• क्या समर्थित नहीं है: उच्च प्रोब स्कोर (उच्च AUROC के करीब होने पर भी) अर्जित रासायनिक समझ या सीखे गए स्ट्रक्चर-एक्टिविटी रीजनिंग का प्रमाण नहीं हैं। गुणों को डिकोड करने की क्षमता मुख्य रूप से इनपुट रिप्रेजेंटेशन और नेटवर्क आर्किटेक्चर का एक आर्टिफैक्ट है, जैसा कि अनट्रेन्ड नेटवर्क द्वारा प्रशिक्षित नीति के प्रदर्शन के बराबर प्रदर्शन करने से सिद्ध होता है।
• क्या समर्थित है:
  1. ओवरकंप्लीट डिक्शनरी एम्बेडिंग्स का एक वैध, सटीक-स्पार्सिटी अपघटन (decomposition) प्रदान करती है।
  2. व्यक्तिगत रन में रासायनिक रूप से समृद्ध सबस्ट्रक्चर डिटेक्टर्स (जैसे, प्रति-हैलोजन फीचर्स) होते हैं जो सीड्स के एक छोटे सेट में स्थिर हैं।
  3. इन फीचर्स के प्रोब डिकोडिंग पर गुण-विशिष्ट हस्तक्षेप प्रभाव (interventional effects) होते हैं।
  4. ड्रग-लाइकनेस (QED) स्पार्स लेटेंट स्पेस में घने (dense) एम्बेडिंग की तुलना में अधिक लीनियर रूप से सुलभ हो जाती है।

निष्कर्ष (Conclusion)
लेखक निष्कर्ष निकालते हैं कि व्याख्यात्मक विधियों को आर्किटेक्चरल बेसलाइन्स के विरुद्ध कड़ाई से नियंत्रित किया जाना चाहिए। SynFlowNet के लिए, ढांचा सफलतापूर्वक सूक्ष्म फीचर डिटेक्टर्स की पहचान करता है और स्पार्स रिप्रेजेंटेशन की मजबूती को प्रमाणित करता है। हालांकि, यह अध्ययन स्पष्ट रूप से चेतावनी देता है कि उच्च डिकोडेबिलिटी स्कोर को सीखे गए रसायन विज्ञान के प्रमाण के रूप में नहीं देखा जाना चाहिए। शोध अपने दावों को डिक्शनरी के भीतर एक पुनरुत्पादक (reproducible) कोर और स्थिर, रासायनिक रूप से समृद्ध फीचर्स के अस्तित्व तक सीमित रखता है, जबकि यह दावा करता है कि भौतिक-रासायनिक गुणों की भविष्यवाणी करने की मॉडल की क्षमता उसके प्रशिक्षण के बजाय उसके आर्किटेक्चर का एक प्राथमिक कार्य है। भविष्य के कार्यों को यह पता लगाना चाहिए कि क्या ये डिटेक्टर्स तब भी बने रहते हैं जब SAE को अनट्रेन्ड-नेटवर्क एम्बेडिंग्स पर प्रशिक्षित किया जाता है और इस ढांचे को मल्टी-ऑब्जेक्टिव सेटिंग्स में विस्तारित करना चाहिए।