When Molecular Similarity Works: Property Cliffs Reveal Hidden Errors

तकनीकी सारांश: जब आणविक समानता काम करती है: प्रॉपर्टी क्लिफ्स छिपी हुई त्रुटियों को उजागर करते हैं

1. समस्या विवरण

सटीक आणविक गुण भविष्यवाणी (molecular property prediction) ड्रग डिस्कवरी और सामग्री डिजाइन के लिए मौलिक है। हालांकि, अत्याधुनिक मॉडल अक्सर समग्र मेट्रिक्स (जैसे, कुल MAE या RMSE) पर निर्भर करते हैं जो स्थानीय विफलताओं (localized failure modes) को छिपा देते हैं। एक महत्वपूर्ण मुद्दा प्रॉपर्टी क्लिफ (property cliff) है: एक ऐसी घटना जहाँ संरचनात्मक रूप से समान अणु लक्षित गुणों में तीव्र, विच्छिन्न (discontinuous) अंतर प्रदर्शित करते हैं, जो "समान गुण सिद्धांत" (समान संरचनाओं के मान भी समान होने चाहिए) का उल्लंघन करते हैं।

वर्तमान मूल्यांकन प्रोटोकॉल इन विफलताओं को उजागर करने में विफल रहते हैं:

• रैंडम स्प्लिट्स (Random Splits): अक्सर संरचनात्मक रूप से समान पड़ोसियों को प्रशिक्षण/परीक्षण सीमा के दोनों ओर रख देते हैं। यह मॉडलों को स्थानीय रूप से सुचारू फिट (locally smooth fits) सीखने की अनुमति देता है जो व्यक्तिगत अणुओं पर सही प्रतीत होते हैं, जिससे विच्छिन्नता (discontinuity) छिप जाती है।
• स्कैफोल्ड स्प्लिट्स (Scaffold Splits): रासायनिक कंकाल (chemical skeleton) द्वारा अणुओं को अलग करते हैं लेकिन विशेष रूप से स्थानीय गुण विसंगति को लक्षित नहीं करते हैं। एक ही स्कैफोल्ड के भीतर के अणु अक्सर समान गुण मान साझा करते हैं, जिसका अर्थ है कि वास्तविक क्लिफ जोड़े पूरी तरह से स्प्लिट के एक ही पक्ष में हो सकते हैं, जिससे संरचनात्मक समर्थन के तहत गुण विच्छिन्नता को संभालने की मॉडल की क्षमता का परीक्षण करने में विफलता होती है।

परिणामस्वरूप, मॉडल प्रतिस्पर्धी समग्र सटीकता प्राप्त कर सकते हैं जबकि उन उच्च-जोखिम वाले स्थानीय परिवेशों में व्यवस्थित रूप से विफल होते हैं जहाँ विश्वास सबसे अधिक होना चाहिए।

2. कार्यप्रणाली

यह शोध पत्र एक बेंचमार्क-और-मिटिगेशन फ्रेमवर्क पेश करता है जिसमें CliffSplit (मूल्यांकन) और CliffLoss (प्रशिक्षण) शामिल है।

A. CliffSplit: एक क्लिफ-जागरूक मूल्यांकन प्रोटोकॉल
CliffSplit विशेष रूप से उन क्लिफ को उजागर करने के लिए डिज़ाइन किए गए प्रशिक्षण/परीक्षण विभाजन बनाता है जो स्थानीय संरचनात्मक समर्थन बनाए रखते हुए प्रॉपर्टी क्लिफ्स को उजागर करते हैं।

• क्लिफ ग्राफ निर्माण: यह एक स्केल-फ्री जॉइंट स्कोर $C_{ij} = s_{ij}^\alpha \cdot r_{ij}^\beta$ का उपयोग करके उच्च-जोखिम वाले जोड़ों $(i, j)$ की पहचान करता है, जहाँ $s_{ij}$ संरचनात्मक समानता (Tanimoto) है और $r_{ij}$ गुण अंतर $\Delta y_{ij}$ का रैंक पर्सेंटाइल है।
• कठोर बाधा विभाजन (Hard Constraint Splitting): डेटासेट को इस तरह विभाजित किया जाता है कि कोई भी क्लिफ एज (cliff edge) परीक्षण सेट में दोनों एंडपॉइंट्स न रखे। इसके बजाय, यह "क्रॉस-स्प्लिट क्लिफ एक्सपोजर" को अधिकतम करता है, यह सुनिश्चित करता है कि प्रत्येक क्लिफ जोड़े के लिए, उसका पड़ोसी प्रशिक्षण सेट में हो।
• गंभीरता प्रेरण (Severity Induction): परीक्षण अणुओं को उनके प्रशिक्षण-पक्ष के पड़ोसियों की अधिकतम गंभीरता के आधार पर गंभीरता समूहों (Q1–Q4) में सौंपा जाता है। यह एक गंभीरता-सशर्त मूल्यांकन अक्ष (severity-conditioned evaluation axis) बनाता है जहाँ त्रुटि केवल वैश्विक स्तर पर नहीं, बल्कि संरचना और गुण के बीच स्थानीय विरोधाभास के सापेक्ष विश्लेषण की जाती है।

B. CliffLoss: एक मॉडल-अज्ञेय (Model-Agnostic) शमन तंत्र
CliffLoss एक प्रशिक्षण-केवल प्लगइन है जो प्री-कंप्यूटेड ऑफलाइन क्लिफ गंभीरता के आधार पर रिग्रेशन त्रुटियों को पुन: भारित (reweight) करता है।

• ऑफलाइन गंभीरता स्कोर: प्रशिक्षण से पहले, प्रत्येक अणु $i$ को उसके प्रशिक्षण पड़ोसियों से प्राप्त गंभीरता स्कोर $s_i$ सौंपा जाता है: $s_i = \frac{1}{M} \sum s_{ij} \cdot \Delta y_{ij} / q_{0.95}$। यह स्कोर दर्शाता है कि स्थानीय पड़ोस कितना "क्लिफ-भारी" है।
• अनुकूली हानि फलन (Adaptive Loss Function): कुल उद्देश्य बेस लॉस ($L_{base}$) को गंभीरता-भारित पद ($L_{cliff}$) के साथ जोड़ता है:
  $$L = L_{base} + \lambda_t \cdot L_{cliff}$$
  जहाँ $L_{cliff} = \frac{1}{N} \sum s_i | \hat{y}_i - y_i |$।
• अनुकूली नियंत्रक (Adaptive Controller): $\lambda_t$ का भार प्रशिक्षण के दौरान सबसे आसान (Q1) और सबसे कठिन (Q4) गंभीरता समूहों के बीच सत्यापन त्रुटि अंतराल के आधार पर गतिशील रूप से अपडेट किया जाता है। यदि अंतराल बना रहता है, तो सुधार को मजबूत करने के लिए $\lambda_t$ बढ़ता है; यदि अंतराल कम होता है या उल्टा होता है, तो ओवर-करेक्शन को रोकने के लिए $\lambda_t$ घटता है। इसके लिए बैकबोन में किसी वास्तुशिल्प परिवर्तन की आवश्यकता नहीं होती है और इसमें कोई अनुमान ओवरहेड (inference overhead) नहीं जुड़ता है।

3. मुख्य योगदान

1. CliffSplit प्रोटोकॉल: एक समर्पित मूल्यांकन प्रोटोकॉल जो क्लिफ-एक्सपोज़्ड प्रशिक्षण/परीक्षण विभाजन बनाता है, जो एक विश्वसनीयता अक्ष (गंभीरता-सशर्त त्रुटि) को प्रकट करता है जो समग्र मेट्रिक्स में अदृश्य है।
2. CliffLoss प्लगइन: एक मॉडल-अज्ञेय प्रशिक्षण तंत्र जो मॉडल आर्किटेक्चर को बदले बिना, अनुकूलन योग्य नियंत्रण के साथ ऑफलाइन क्लिफ गंभीरता द्वारा त्रुटियों को पुन: भारित करता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): तीन QM9 लक्ष्यों (GAP, HOMO, LUMO) और तीन MoleculeNet कार्यों (ESOL, FreeSolv, Lipophilicity) पर पांच बैकबोन मॉडलों (GotenNet, MoleculeFormer, EMPP, ViSNet, Uni-Mol) पर व्यापक प्रयोग।

4. परिणाम

• छिपी हुई त्रुटियों को उजागर करना: CliffSplit प्रकट करता है कि मॉडल स्मूथ क्षेत्रों की तुलना में क्लिफ-भारी क्षेत्रों में काफी अधिक त्रुटियां करते हैं। QM9 पर, सभी बैकबोन पर क्लिफ-भारी क्षेत्रों में स्मूथ क्षेत्रों की तुलना में कम से कम 15% अधिक त्रुटि देखी गई।
• गंभीरता प्रवणता (Severity Gradient): त्रुटि गंभीरता चतुर्थांश Q1 से Q4 तक निरंतर बढ़ती है। ऑर्बिटल लक्ष्यों जैसे HOMO और LUMO के लिए, Q4/Q1 त्रुटि अनुपात 1.75 से अधिक है, जो 2.60 तक पहुँच जाता है, जो उच्च-समानता, उच्च-विचलन ज़ोन में गंभीर गिरावट का संकेत देता है।
• शमन प्रदर्शन (Mitigation Performance):
  • CliffLoss लिपॉफिलिसिटी (Lipophilicity) कार्य पर क्लिफ-टू-स्मूथ त्रुटि अंतर को 30% तक कम करता है।
  • यह लिपॉफिलिसिटी पर समग्र औसत पूर्ण त्रुटि (MAE) में 9.7% का सुधार करता है।
  • QM9 HOMO पर, CliffLoss गंभीरता अनुपात (Q4/Q1) को महत्वपूर्ण रूप से कम करता है (उदाहरण के लिए, GotenNet के लिए 2.59 से 2.27 तक), जबकि समग्र MAE में ~16.7% का सुधार करता है।
• एब्लेशन (Ablation): गंभीरता-भारित हानि पद ($L_{cliff}$) सुधार का प्राथमिक चालक है, जबकि अनुकूलन नियंत्रक ओवर-करेक्शन को रोकने के लिए वृद्धिशील परिशोधन प्रदान करता है।

5. महत्व और दावे

यह शोध दावा करता है कि यह आणविक समानता विफलता को एक "वर्णनात्मक विसंगति" से "बेंचमार्क्ड मूल्यांकन समस्या" में बदल देता है।

• औसत सटीकता के ऊपर विश्वसनीयता: यह कार्य तर्क देता है कि विश्वसनीयता-संवेदनशील कार्यों (जैसे लीड ऑप्टिमाइजेशन) के लिए मॉडलों को केवल औसत पर ही नहीं, बल्कि स्थानीय रूप से भी भरोसेमंद होने की आवश्यकता है। प्रॉपर्टी क्लिफ्स एक विशिष्ट विफलता मोड का प्रतिनिधित्व करते हैं जहाँ मानक मूल्यांकन सबसे अधिक भ्रामक होता है।
• नैदानिक क्षमता (Diagnostic Capability): फ्रेमवर्क प्रदर्शित करता है कि उच्च-समानता पड़ोस में त्रुटि का संकेंद्रण डेटा के पैमाने या मॉडल के चयन का केवल एक आर्टिफैक्ट नहीं है, बल्कि यह प्रॉपर्टी क्लिफ्स का एक संरचनात्मक गुण है।
• व्यावहारिक शमन: लेखक दिखाते हैं कि लक्षित लॉस-लेवल सुधार, आर्किटेक्चरल परिवर्तनों या अनुमान-समय जटिलता की कम्प्यूटेशनल लागत के बिना, विश्वसनीयता अंतराल को आंशिक रूप से कम कर सकता है।
• सीमाएं: लेखक नोट करते हैं कि वर्तमान फ्रेमवर्क ऑफलाइन लेबल, सिंगल-प्रॉपर्टी क्लिफ निर्माण और पर्याप्त सत्यापन-साइड क्लिफ कवरेज पर निर्भर करता है। लेबल-कुशल पहचान के लिए सीखे गए समानता (learned similarity) और अनिश्चितता-जागरूक विश्वसनीयता मॉडलिंग तक विस्तार करने के लिए भविष्य के कार्य का सुझाव दिया गया है।

कोड यहाँ उपलब्ध है: https://anonymous.4open.science/r/Cliff_Loss