ملخص تقني: دفع حدود المنفعة والتنوع الجزيئي الحيوي باستخدام تحسين السياسة النسبية للمجموعات الفائقة (SGRPO)

1. بيان المشكلة

يهدف التوليد الجزيئي الحيوي إلى إنتاج مرشحين (جزيئات صغيرة أو بروتينات) يستوفون أهدافًا كيميائية أو بيولوجية محددة. وبينما يعد التعلم التعزيزي (RL) إطار عمل قياسيًا لتدريب النماذج مسبقة التدريب بعد مرحلة التدريب لتعظيم المنفعة (مثل تشابه الدواء، درجات الارتباط، أو الاستقرار)، فإن التحسين من أجل المنفعة وحدها غالبًا ما يؤدي إلى انهيار النمط (mode collapse)، حيث يركز المولد كتلة الاحتمالية على عائلة ضيقة من المرشحين ذوي الدرجات العالية. وعلى العكس من ذلك، يظل الحفاظ على التنوع تحديًا لأن التنوع هو خاصية على مستوى المجموعة (set-level property) (تُعرف عبر مجموعات من العينات)، في حين أن تحسين السياسة القياسي يقوم بتحديث عمليات التشغيل (rollouts) الفردية.

تعتمد طرق التعلم التعزيزي الحالية التي تعزز التنوع غالبًا على وكلاء غير مباشرين، مثل عقوبات الجدة (novelty penalties) بالنسبة للعينات التاريخية أو المرشحات القائمة على الذاكرة. يمكن لهذه الأساليب أن تفرض عقوبات مفرطة على الأنماط عالية الكثافة والمفيدة أو تسبب انزياحًا في التوزيع. التحدي المركزي الذي تعالجه هذه الورقة هو: كيف يمكننا تحسين تنوع مجموعة العينات مباشرة كهدف أساسي مع الاستمرار في تخصيص الائتمان (credit) بشكل مفيد للمرشحين المولدين فرديًا؟

2. المنهجية: تحسين السياسة النسبية للمجموعات الفائقة (SGRPO)

يقترح المؤلفون إطار عمل تحسين السيطة النسبية للمجموعات الفائقة (SGRPO)، وهو إطار عمل مرن مستوحى من تحسين السياسة النسبية للمجموعات (GRPO) يعمل مباشرة على تحسين المقايضة بين منفعة مستوى التشغيل وتنوع مستوى المجموعة.

الآلية الجوهرية

يعمل SGRPO عن طريق أخذ عينات من مجموعات متعددة من المرشحين (مجموعات) تحت نفس الشرط ومقارنتها لإعادة توزيع مكافآت التنوع. تتضمن العملية أربع خطوات رئيسية:

1. أخذ عينات المجموعة الفائقة تحت نفس الشرط:
   لشرط معين $C$ (على سبيل المثال، جيب بروتيني محدد أو بدون شرط)، يقوم السياسة بأخذ عينات من $M$ من المجموعات، تحتوي كل منها على $K$ من عمليات التشغيل المولدة بشكل مستقل. يشكل هذا التجميع $S(C) = \{G_1, \dots, G_M\}$ "مجموعة فائقة" من $N=MK$ مرشحًا. تُقيد المقارنات داخل هذه المجموعة الفائقة لتجنب خلط جودة السياسة بالصعوبة الجوهرية للشروط المختلفة.

2. درجة التنوع على مستوى المجموعة:
   يتم تخصيص درجة تنوع لكل مجموعة $G_m$ بناءً على مقياس يحدده المستخدم (مثل مسافة تانيموتو الداخلية للجزيئات، أو مسافة ليفنشتاين للبروتينات). يتم حساب إشارة التنوع النسبية للمجموعة عبر مقارنة "ترك واحد مستبعد" (leave-one-out) مع المجموعات الأخرى في المجموعة الفائقة:
   $$A_m^{grp} = R_m - \frac{1}{M-1}\sum_{h \neq m} R_h$$
   تشير القيمة الموجبة لـ $A_m^{grp}$ إلى أن المجموعة أكثر تنوعًا من بدائلها.

3. إعادة التوزيع الواعي للمجموعة (مساهمة الترك الواحد المستبعد):
   لسد الفجوة بين إشارات مستوى المجموعة وتحديثات السياسة الفردية، يقوم SGRPO بإعادة توزيع مكافأة تنوع المجموعة على عمليات التشغيل الفردية بناءً على مساهمتها في التنوع.

• لكل عملية تشغيل $x_{m,i}$، يتم حساب مساهمة "الترك الواحد المستبعد": $c_{m,i} = D(G_m) - D(G_m \setminus \{x_{m,i}\})$.
• يتم توحيد هذه المساهمات واستخدامها لتشكيل أوزان softmax واعية للإشارة.
• إذا كانت المجموعة عالية التنوع ($A_m^{grp} > 0$)، يتم تركيز الإشارة الموجبة على المرشحين ذوي المساهمات العالية في التنوع. إذا كانت المجموعة أقل تنوعًا ($A_m^{grp} < 0$)، يتم تركيز الإشارة السلبية على المرشحين ذوي المساهمات المنخفضة.
• يضمن هذا الحفاظ على متوسط مكافأة المجموعة مع تخصيص الائتمان للجزيئات المحددة التي تدفع التنوع.

4. تحديث السياسة النسبي للمجموعة الفائقة:
   تجمع المكافأة النهائية لعملية التشغيل بين منفعتها الفردية $r_{m,i}$ ومكافأة التنوع المعاد توزيعها $\tilde{R}_{m,i}$:
   $$\bar{r}_{m,i} = (1-\lambda)r_{m,i} + \lambda \tilde{R}_{m,i}$$
   حيث يتحكم $\lambda$ في المقايضة بين المنفعة والتنوع. يتم حساب دالة الميزة (advantage function) كخط أساس (baseline) مستبعد لواحد عبر جميع عمليات التشغيل في المجموعة الفائقة، ويتم تحديث السياسة باستخدام هدف نمط PPO مع تنظيم KL.

3. المساهمات الرئيسية

• التحسين المباشر على مستوى المجموعة: يعد SGRPO أول إطار عمل يحسن تنوع مستوى المجموعة مباشرة كهدف أولي في التوليد الجزيئي الحيوي، بدلاً من الاعتماد على وكلاء الجدة غير المباشرين أو العقوبات المعتمدة على التاريخ.
• التصميم المنفصل: المنهج منفصل عن بنيات المولدات المحددة (التوليد الذاتي أو الانتشار)، أو مكافآت المنفعة، أو مقاييس التنوع، مما يسمح باستخدامه مع مختلف محسنات أسلوب GRPO (مثل GRPO القياسي للنماذج ذات التوليد الذاتي، وCoupled-GRPO للانتشار المتقطع).
• آلية تخصيص الائتمان: يسمح تقديم آلية "مساهمة الترك الواحد المستبعد" للنظام بتخصيص الائتمان للمرشحين الفرديين الذين يدعمون بالفعل تنوع المجموعة، مما يحل مشكلة تحسين خاصية المجموعة باستخدام تحديثات فردية.
• المتانة تجاه حجم المجموعة: تظل الطريقة فعالة حتى مع أحجام المجموعات الصغيرة، مما يجعلها قابلة للتنفيذ حاسوبيًا لتصميم الجزيئات الحيوية واسع النطاق.

4. النتائج التجريبية

قيم المؤلفون SGRPO عبر ثلاث حالات مختلفة من التوليد الجزيئي الحيوي:

1. تصميم الجزيئات الصغيرة من العدم (De Novo): باستخدام GenMol (الانتشار المتقطع).
2. تصزام الجزيئات الصغيرة القائم على الجيب (Pocket-Based): باستخدام GenMol-P (الانتشار المشروط بالجيب).
3. تصميم البروتين من العدم (De Novo): باستخدام ProGen2 (التوليد الذاتي).

مقاييس الأداء:
ركز التقييم على جبهة باريتو للمنفعة والتنوع (Utility-Diversity Pareto Frontier)، والتي تم قياسها بواسطة:

• الحجم الفائق (Hypervolume - HV): المساحة التي تهيمن عليها نقاط التشغيل غير المسيطرة.
• المسافة إلى النقطة المثالية (Distance to Ideal Point - DIP): المسافة إلى أفضل منفعة وتنوع نظريين.
• مؤشر R2: متوسط أسوأ نقص مرجح.

النتائج:

• توسيع الجبهة: عبر جميع المهام وعمليات فك التشفيد، نجح SGRPO باستمرار في توسيع جبهة باريتو للمنفعة والتنوع مقارنة بالمولدات مسبقة التدريب، وGRPO القياسي، وGRPO المدعوم بالذاكرة.
• الحفاظ على التنوع: في أنظمة المنفعة العالية حيث عانت النماذج المرجعية (خاصة GRPO) من انهيار شديد في التنوع، حافظ SGRS على تنوع أعلى بكثير. على سبيل المثال، في التصميم القائم على الجيب، دفع SGRPO مسار نقطة التشغيل نحو الخارج، محافظًا على تنوع أعلى بشكل ملحوظ عند مستويات منفعة مماثلة.
• الدراسات الاستئصالية (Ablation Studies): أدى إزالة مكافأة التنوع إلى العودة لمستويات GRPO القياسية. كما أدى إزالة تخصيص ائتمان "الترك الواحد المستبعد" إلى إضعاف الأداء، مما يؤكد أهمية إعادة توزيع إشارات التنوع إلى المساهمين المحددين.
• ديناميكيات التوزيع: أظهرت تصورات توزيع التسلسل أنه بينما انكمشت نماذج GRPO والـ GRPO المدعوم بالذاكرة في مناطق ضيقة أو انحرفت، استكشف SGRPO وحافظ على عدة عناقيد، مما يشير إلى تغطية أوسع لمساحة التسلسل.

5. الأهمية والادعاءات

تدعي الورقة أن SGRPO يوفر مبدأً عام التطبيق لما بعد التدريب لتوسيع نقاط التشغيل المتاحة لنماذج التوليد الجزيئي الحيوي. من خلال مكافأة المجموعات المولدة المتنوعة مباشرة، يدفع SGRPO جبهة المنفعة والتنوع نحو الخارج، مما يسمح للنماذج بتحقيق منفعة أفضل عند مستويات تنوع ثابتة (والعكس صحيح) دون التضحية بالتغطية.

يؤكد المؤلفون أن هذا النهج يعالج محدودية جوهرية في تصميم الجزيئات الحيوية القائم على التعلم التعزيزي حاليًا: وهي عدم القدرة على معاملة التنوع كهدف من الدرجة الأولى أثناء تحسين السياسة. تشير النتائج إلى أن تحسين تنوع المجموعة مباشرة هو استراتيجية عملية ومتينة للتخفيف من انهيار النمط في مهام توليد الجزيئات الصغيرة والبروتينات على حد سواء. الكود متاح لتسهيل المزيد من الأبحاث والاستخدام في مجالات أخرى.