ملخص تقني: SLIM (التوجيه الكامن المتناثر للتحرير الجزيئي القابل للتفسير والموجه بالخصائص القائم على النماذج اللغوية الكبيرة)

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات قوية في الاستدلال الكيميائي وتحرير الجزيئات، وغالبًا ما تتفوق على نماذج التعلم المعزز (RL) التقليدية ونماذج الانتشار (Diffusion models) من خلال الاستفادة من الأولويات الكيميائية المدربة مسبقًا. ومع ذلك، لا يزال هناك قصور حرج يتمثل في أن المعلومات ذات الصلة بالخصائص داخل النماذج اللغوية الكبيرة تكون متشابكة ضمنيًا عبر حالات خفية كثيفة. هذا التشابك لا يوفر آلية صريحة للتحكم في الخصائص.

وبناءً على ذلك، تعتمد محررات النماذج اللغوية الكبيرة الحالية على الضبط الدقيق تحت الإشراف (SFT) للتحكم التقريبي. ويعاني هذا النهج من مشكلتين رئيسيتين:

1. عدم الكفاءة: جزء كبير من عمليات التحرير يفشل في تحسين الخاصية المستهدفة أو حتى يؤدي إلى تدهورها.
2. الجمود: يتطلب تحسين خاصية معينة جمع بيانات جديدة مقترنة وإعادة تدريب النموذج، وهي عملية مكلفة لا تتوسع بشكل جيد عبر الخصائص أو بنيات النماذج المختلفة.

هناك حاجة لمنهجية يمكنها توجيه النماذج اللغوية الكبيرة نحو خصائص جزيئية محددة وقت الاستدلال دون تعديل معاملات النموذج الأساسي، مع تقديم قابلية للتفسير فيما يتعلق بكيفية تشفير هذه الخصائص.

2. المنهجية: إطار عمل SLIM

يقترح المؤلفون SLIM (التحرير الجزيئي المتناثر والمفسر كائنًا)، وهو إطار عمل جاهز للتشغيل (plug-and-play) يعمل على تفكيك الحالات الخفية الكثيفة إلى ميزات متناثرة ومحاذية للخصائص. يتكون خط العمل من ثلاث مراحل:

المرحلة 1: مسح الطبقات (Layer Scan)

يحدد إطار العمل أولًا نقطة التدخل المثلى ($l^*$) داخل النموذج. باستخدام مجسات انحدار ريدج (ridge regression probes) على التنشيطات المستخرجة من 5,000 جزيء من مجموعة ZINC، تقوم الطريقة بمسح جميع الطبقات للعثور على الطبقة التي تكون فيها الحالات الخفية الأكثر قدرة تنبؤية بخصائص الجزيئات (أعلى متوسط $R^2$). التدخل عند هذه الطبقة يعظم التأثير لأن التمثيل يكون غنيًا بالإشارات المراد تضخيمها.

المرحلة 2: تدريب المشفّر التلقائي المتناثر الموجه للمهام (Task-Oriented SAE)

يتم تدريب مشفر تلقائي متناثر ذو بوابة (Gated Sparse Autoencoder) على الحالات الخفية عند الطبقة $l^*$ باستخدام دالة خسارة متعددة الأهداف. على عكس المشفرات التلقائية القياسية التي تُدرب فقط على إعادة البناء، فإن هذا المشفر موجه للمهام بأربعة أهداف محددة:

1. إعادة البناء المتناثر ($L_{recon}$): يضمن أن المشفر التلقائي يعيد بناء التنشيطات بأمانة للحفاظ على المعلومات المتعلقة بالخصائص.
2. التناثر ($L_{sparse}$): يشجع على تناثر التنشيط لتمثيل كل جزيء بعدد قليل من الميزات النشطة.
3. التنبؤ الموجه ($L_{sup}$): تتعلم بوابات الأهمية ($w_p$) لكل خاصية كيفية اختيار مجموعة الميزات ذات الصلة بخاصية معينة. يقوم رأس MLP بالتنبؤ بقيمة الخاصية من هذه الرموز المبوّبة، مما يضمن أن الميزات المختارة تحتوي على معلومات كافية لعمل انحدار للقيم العددية الدقيقة.
4. المحاذاة التباينية ($L_{contrast}$): تعمل دالة تباين مجموعات على جذب الجزيئات ذات قيم الخصائص المتشابهة ودفع الجزيات ذات القيم المختلفة بعيدًا ضمن فضاء الرمز المتناثر المبوّب.
5. محاذاة التدرج ($L_{grad}$): ابتكار رئيسي حيث يتم محاذاة أساس المشفر التلقائي مع اتجاهات التوجيه السببية. يقوم النموذج بحساب اتجاه قائم على التدرج ($d_{grad}$) مسبقًا من أزواج التدريب (المصدر مقابل الهدف المحسن). يتم تدريب المشفر التلقائي لضمان أن مسار الترميز-فك الترميز يحافظ على هذا الاتجاه، مما يضمن أن الأساس المتناثر محاذٍ سببيًا لتحسين الخاصية وليس مجرد مرتبط بها.

المرحلة 3: توجيه التنشيط وقت الاستدلال

عند الاستدلال، يولد الإطار متجه توجيه متناثر لخاصية مستهدفة $p$:

1. يتم إسقاط الاتجاه المشتق من التدرج $d_{grad}^{(p)}$ عبر المشفر التلقائي المدرب.
2. يتم الاحتفاظ بأكبر $k$ من الميزات ذات القيم المطلقة الأكبر لتشكيل متجه توجيه متناثر $d_{steer}^{(p)}$.
3. يُضاف هذا المتجه إلى تيار المتبقي (residual stream) عند الطبقة $l^*$ لجميع مواضع الرموز (tokens): $h'_{l^*,t} = h_{l^*,t} + \alpha \cdot d_{steel}^{(p)}$.

هذه العملية لا تتطلب إعادة تدريب النموذج الأساسي؛ حيث تظل أوزان النموذج الأساسي ثابتة بينما يتم تطبيق اتجاه التوجيه. ولتحسين الخصائص المتعددة، يتم دمج المتجهات عبر الجمع.

3. المساهمات الرئيسية

• إطار عمل جاهز للتشغيل: يقوم SLIM بتفكيك الحالات الخفية الكثيفة للنماذج اللغوية الكبيرة إلى ميزات متناثرة ومحاذية للخصائص، مما يتيح التحكم في الخصائص دون تدريب وقت الاستدلال.
• المشفر التلقائي الموجه للمهام: يقدم مشفرًا تلقائيًا متناثرًا مدربًا بأهداف المحاذاة التباينية والتنبؤية ومحاذاة التدرج، مقترنًا ببوابات الأهمية لكل خاصية. يضمن هذا أن الميزات المتعلمة محاذية سببيًا للخصائص المستهدفة.
• القابلية للتفسير: يسمح الأساس المتناثر بتحليل سلوك التحرير، حيث تشفر الميزات الفردية للمشفر التلقائي دلالات كيميائية قابلة للتمييز (مثل مجموعات وظيفية محددة أو سمات هيكلية).

4. النتائج التجريبية

أجريت التجارب على اختبار MolEditRL المرجعي عبر أربع بنيات نماذج (DrugAssist/LLaMA-2، GeLLM3O/LLaMA-3، GeLLM3O/Mistral، MolGen/BART) وثماني خصائص جزيئية (QED، DRD2، logP، MW، RotBond، SA، HBA، HBD).

• مكاسب الأداء: حسن SLIM باستمرار معدلات نجاح التحرير (Acc@$\tau$) عبر جميع النماذج والخصائص.
  • وصلت التحسينات إلى 42.4 نقطة مئوية (على سبيل المثال، MolGen في RotBond، حيث ارتفع من 43.2% إلى 85.6%).
  • حتى أقوى خط أساس (GeLLM3O-LLaMA3) شهد تحسنًا متوسطًا قدره +3.9 نقطة.
  • عند عتبة التشابه الصارمة ($\tau=0.65$)، حافظت جميع النماذج على مكاسب متوسطة إيجابية، مما يشير إلى أن SLIM يحسن الخصائص دون التضحية بالتشابه الهيكلي.
• المقارنة مع خطوط الأساس: تفوق SLIM على خطوط الأساس الخارجية مثل REINVENT4 (القائم على RL) و MolEditRL (الانتشار + RL) في 4 من أصل 6 خصائص متداخلة، محققًا درجات متوسطة أعلى رغم كونه وحدة لا تتطلب تدريبًا.
• دراسات الاستبعاد (Ablation Studies):
  • اتجاه التوجيه: تفوقت الاتجاهات المشتقة من التدرج (SLIM) بشكل كبير على اتجاهات فرق المتوسط البسيطة (إضافة التنشيط التباينية) والمتجهات العشوائية. غالبًا ما أدت طرق فرق المتوسط إلى تدهور الأداء في خصائص العد (HBA، HBD) أو فشلت في تحسين الخصائص المستمرة بفعالية.
  • تدريب المشفر التلقائي (SAE): تفوق المشفر التلقائي الكامل الموجه للمهام على المشفر التلقائي التقليدي المخصص لإعادة البناء فقط. وُجد أن خسارة محاذاة التدرج ($L_{grad}$) ضرورية، خاصة للتحكم في الخصائص المنفصلة (خصائص العد)، حيث منعت التدهور الذي يحدث عند إزالتها.
• توجيه الخصائص المتعددة: أظهرت المتجهات المتناثرة أنها قابلة للتركيب. أدى جمع متجهات التوجيه لخصائص متعددة (مثل HBA + HBD) إلى تحسين معدلات النجاح المشتركة بنجًاج، مما يدل على وجود حد أدنى من التداخل بين مجموعات الميزات الخاصة بكل خاصية.

5. الأهمية والادعاءات

يزعم البحث أن SLIM يعالج طبيعة "الصندوق الأسود" للتحكم في الخصائص في النماذج اللغوية الكبيرة. من خلال تفكيك الحالات الخفية إلى ميزات متناثرة وقابلة للتفسير، يوفر إطار العمل:

1. التحكم الدقيق: يوفر مقبضًا صريحًا للتحكم في الخصائص دون تكلفة إعادة التدريب، مما يصحح أوجه الفشل المحددة لمحررات SFT (مثل التحريرات التي تعكس الخصائص أو التعديلات غير الفعالة).
2. القابلية للتفسير: تكشف دراسات الحالة أن ميزات المشفر التلقائي الفردية تشفر دلالات كيميائية محددة (على سبيل المثال، الميزة F31553 تشفر الوزن الجزيئي بارتباط عالٍ، أو F5418 تلتقط التعقيد الجزيئي). وهذا يسمح للباحثين بفهم لماذا يعمل اتجاه التوجيه.
3. القدرة على التعميم: الطريقة مستقلة عن البنية، حيث تعمل بفعالية عبر نماذج اللغة السببية (decoder-only) ونماذج المشفر-المفكك (encoder-decoder).

يشير المؤلفون إلى القيود، بما في ذلك الحاجة إلى ضبط قوة التوجيه وطبقات التدخل لكل خاصية، والعبء الحسابي لتدريب المشفر التلقائي، والاعتماد الحالي على نماذج حسابية (oracles) للخصائص بدلاً من نتائج الاختبارات التجريبية. ومع ذلك، فإن هذا العمل يؤسس لنموذج جديد للتحرير الجزيئي القابل للتحكم يجسد الفجوة بين التمثيلات العصبية الكثيفة والاستدلال الكيميائي القابل للتفسير.