When Molecular Similarity Works: Property Cliffs Reveal Hidden Errors

ملخص تقني: متى تنجح التشابهية الجزيئية: الكشوفات عن الأخطاء الخفية عبر منحدرات الخصائص

1. بيان المشكلة

يعد التنبؤ الدقيق بالخصائص الجزيئية أمراً جوهرياً في اكتشاف الأدوية وتصميم المواد. ومع ذلك، تعتمد النماذج المتطورة غالباً على مقاييس إجمالية (مثل متوسط الخطأ المطلق MAE أو جذر متوسط مربعات الخطأ RMSE) التي تحجب أنماط الفشل الموضعية. وتتمثل المشكلة الحرجة في منحدر الخاصية (Property Cliff): وهي ظاهرة تظهر فيها اختلافات حادة وغير مستمرة في الخصائص المستهدفة بين الجزيئات المتشابهة بنيوياً، مما ينتهك "مبدأ الخصائص المتشابهة" (الذي يفترض أن الهياكل المتقاربة يجب أن تعطي قيماً متقاربة).

تفشل بروتوكولات التقييم الحالية في كشف هذه الإخفاقات:

• التقسيم العشوائي (Random Splits): غالباً ما يضع الجيران المتشابهين بنيوياً في كلا جانبي الحدود بين التدريب والاختبار. وهذا يسمح للنماذج بتعلم ملاءمة سلسة محلياً تبدو صحيحة على الجزيئات الفردية، مما يخفي عدم الاستمرارية.
• تقسيم السقالات (Scaffold Splits): يفصل الجزيئات بناءً على الهيكل الكيميائي، لكنه لا يستهدف تحديداً عدم الاتساق الموضعي في الخصائص. فالجزيئات داخل نفس السقالة غالباً ما تشترك في قيم خصائص متشابهة، مما يعني أن أزواج المنحدرات الحقيقية قد تقع بالكامل في جانب واحد من التقسيم، مما يفشل في اختبار قدرة النموذج على التعامل مع انقطاعات الخصائص تحت الدعم البنيوي.

وبناءً على ذلك، يمكن للنماذج تحقيق دقة إجمالية تنافسية بينما تفشل بشكل منهجي في المناطق المحلية عالية المخاطر حيث ينبغي أن تكون الثقة في أعلى مستوياتها.

2. المنهجية

يقدم البحث إطار عمل للتقييم والتخفيف يتكون من CliffSplit (للتقييم) و CliffLoss (للتدريب).

أ. CliffSplit: بروتوكول تقييم مدرك للمنحدرات
يعمل CliffSplit على بناء تقسيمات للتدريب والاختبار مصممة خصيصاً لكشف منحدرات الخصائص مع الحفاظ على الدعم البنيوي المحلي.

• بناء رسم بياني للمنحدرات (Cliff Graph Construction): يحدد أزواج المخاطر العالية $(i, j)$ باستخدام درجة مشتركة غير معلمية $C_{ij} = s_{ij}^\alpha \cdot r_{ij}^\beta$، حيث $s_{ij}$ هي التشابه البنيوي (Tanimoto) و $r_{ij}$ هي النسبة المئوية للرتبة لفرق الخاصية $\Delta y_{ij}$.
• التقسيم بالقيود الصارمة (Hard Constraint Splitting): يتم تقسيم مجموعة البيانات بحيث لا يقع طرفا المنحدر في مجموعة الاختبار. بدلاً من ذلك، يعظم "التعرض للمنحدر عبر التقسيم"، مما يضمن أنه لكل جزيء في مجموعة الاختبار ضمن زوج منحدر، يكون جاره في مجموعة التدريب.
• استحثاث الشدة (Severity Induction): يتم تخصيص مجموعات شدة (Q1–Q4) للجزيئات في الاختبار بناءً على أقصى شدة لجيرانها في جانب التدريب. وهذا يخلق محور تقييم مشروط بالشدة، حيث يتم تحليل الخطأ ليس فقط عالمياً، بل بالنسبة للتناقض المحلي بين البنية والخاصية.

ب. CliffLoss: آلية تخفيف مستقلة عن النموذج
CliffLoss هو إضافة (Plugin) مخصصة للتدريب فقط تعيد وزن أخطاء الانحدار بناءً على شدة المنحدر المحسوبة مسبقاً (offline).

• درجات الشدة المحسوبة مسبقاً (Offline Severity Scores): قبل التدريب، يتم تخصيص درجة شدة $s_i$ لكل جزيء $i$ مشتقة من جيرانه في التدريب: $s_i = \frac{1}{M} \sum s_{ij} \cdot \Delta y_{ij} / q_{0.95}$. تعكس هذه الدرجة مدى "ثقل المنحدر" في المنطقة المحلية.
• دالة الخسارة التكيفية (Adaptive Loss Function): يجمع الهدف الإجمالي بين الخسارة الأساسية ($L_{base}$) والحد الموزون بالشدة ($L_{cliff}$):
  $$L = L_{base} + \lambda_t \cdot L_{cliff}$$
  حيث $L_{cliff} = \frac{1}{N} \sum s_i | \hat{y}_i - y_i |$.
• المتحكم التكيفي (Adaptive Controller): يتم تحديث الوزن $\lambda_t$ ديناميكياً أثناء التدريب بناءً على فجوة خطأ التحقق بين المجموعة الأسهل (Q1) والمجموعة الأصعب (Q4). إذا استمرت الفجوة، تزداد قيمة $\lambda_t$ لتعزيز التصحيح؛ وإذا تقلصت الفجوة أو انعكست، تنخفض قيمة $\lambda_t$ لمنع التصحيح المفرط. لا يتطلب هذا أي تغييرات في بنية النموذج ولا يضيف أي عبء أثناء الاستدلال.

3. المساهمات الرئيسية

1. بروتوكول CliffSplit: بروتوكول تقييم مخصص يبني تقسيمات تدريب واختبار معرضة للمنحدرات، مما يكشف عن محور موثوقية (خطأ مشروط بالشدة) غير مرئي للمقاييس الإجمالية.
2. إضافة CliffLoss: آلية تدريب مستقلة عن النموذج تعيد وزن الأخطاء حسب شدة المنحدر المحسوبة مسبقاً مع تحكم تكيفي، مما يقلل من تدهور منطقة المنحدر دون تعديل بنية النموذج.
3. التحقق التجريبي: تجارب شاملة عبر خمسة نماذج أساسية (GotenNet, MoleculeFormer, EMPP, ViSNet, Uni-Mol) على ثلاثة أهداف من QM9 (GAP, HOMO, LUMO) وثلاث مهام من MoleculeNet (ESOL, FreeSolv, Lipophilicity).

4. النتائج

• كشف الأخطاء الخفية: يكشف CliffSplit أن النماذج تتكبد أخطاءً أعلى بكثير في المناطق ذات المنحدرات العالية مقارنة بالمناطق السلسة. في QM9، تظهر المناطق ذات المنحدرات العالية خطأً أعلى بنسبة 15% على الأقل من المناطق السلسة عبر جميع النماذج الأساسية.
• تدرج الشدة (Severity Gradient): يزدوت الخطأ بشكل رتيب من الربع الأول للشدة Q1 إلى الربع الرابع Q4. بالنسبة للأهداف المدارية مثل HOMO و LUMO، تتجاوز نسبة الخطأ Q4/Q1 قيمة 1.75، وتصل إلى 2.60، مما يشير إلى تدهور شديد في مناطق التشابه العالي والتباين العالي.
• أداء التخفيف:
  • يقلل CliffLoss الفجوة بين خطأ المنحدر والخطأ السلس بنسبة تصل إلى 30% في مهمة Lipophilicity.
  • يحسن متوسط الخطأ المطلق (MAE) الإجمالي بنسبة 9.7% في Lipophilicity.
  • في QM9 HOMO، يقلل CliffLoss نسبة الشدة (Q4/Q1) بشكل كبير (على سبيل المثال، من 2.59 إلى 2.27 لنموذج GotenNet) مع تحسين MAE الإجمالي بنسبة ~16.7%.
• دراسة الاستئصال (Ablation): يعد حد الخسارة الموزون بالشدة ($L_{cliff}$) المحرك الرئيسي للتحسين، حيث يوفر المتحكم التكيفي صقلاً إضافياً لمنع التصحيح المفرط.

5. الأهمية والادعاءات

يزعم البحث تحويل فشل التشابه الجزيئي من "شذوذ وصفي" إلى "مشكلة تقييم قابلة للقياس".

• الموثوقية فوق الدقة المتوسطة: يجادل العمل بأن المهام الحساسة للموثوقية (مثل تحسين الرصاص/Lead Optimization) تتطلب نماذج موثوقة محلياً، وليس فقط في المتوسط. تمثل منحدرات الخصائص نمط فشل محدد حيث يكون التقييم القياسي أكثر تضليلاً.
• القدرة التشخيصية: يوضح الإطار أن تركيز الخطأ في الأحياء ذات التشابه العالي هو خاصية بنيوية لمنحدرات الخصائص، وليس مجرد نتاج لحجم البيانات أو اختيار النموذج.
• التخفيف العملي: يظهر المؤلفون أن التصحيح المستهدف على مستوى الخسارة يمكن أن يغلق جزئياً فجوة الموثوقية دون التكلفة الحسابية لتغيير البنية أو تعقيد وقت الاستدلال.
• القيود: يشير المؤلفون إلى أن الإطار الحالي يعتمد على تسميات (labels) محسوبة مسبقاً، وبناء منحدرات لخاصية واحدة، وتغطية كافية للمنحدرات في جانب التحقق. ويُقترح العمل المستقبلي لتوسيع ذلك ليشمل التشابه المتعلم للكشف الموفر للبيانات ونمذجة الموثوقية الواعية بعدم اليقين.

الكود متاح على: https://anonymous.4open.science/r/Cliff_Loss