JURY: A Comprehensive Training-Free to Fully-Supervised Framework for Evaluating Chemical Language Models

في السباق لاكتشاف أدوية جديدة، يواجه العلماء عقبة تبطئ كل اختراق علمي: فقبل أن يتحول أي مركب كيميائي إلى دواء، يجب أن يجتاز سلسلة صارمة من فحوصات السلامة. يحتاج الباحثون لمعرفة ما إذا كان الجسم سيمتصه، وكيف سينتقل عبر الدم، وما إذا كان الكبد سيقوم بتفكيكه، وما إذا كان قد يكون ساماً. هذه الفحوصات، المعروفة باسم الامتصاص، والتوزيع، والتمثيل الغذائي، والإخراج، والسمية، هي عمليات مكلفة وبطيئة التنفيذ في المختبر. ولتسريع هذه العملية، لجأ العلماء إلى الحواسيب، مستخدمين الذكاء الاصطناعي للتنبؤ بهذه الخصائص بمجرد النظر إلى بنية الجزيء. لسنوات، كانت الأدوات الأكثر نجاحاً هي "نماذج اللغة" التي تتدرب على ملايين الصيغ الكيميائية المكتوبة كسلاسل نصية. تتعلم هذه النماذج ضغط جزيء معقد في قائمة واحدة ثابتة من الأرقام، وهي بصمة رقمية تلتقط جوهره الكيميائي. وكانت الطريقة القياسية للحكم على مدى جودة هذه النماذج هي إلحاق أداة تنبؤ بسيطة بها، وتدريب تلك الأداة على مجموعة صغيرة من البيانات التجريبية، ثم رؤية مدى براعتها في تخمين الإجابة. فإذا كان التخمين جيداً، تحصل النماذج على درجة عالية.

ومع ذلك، تشير دراسة جديدة إلى أن هذه الطريقة القياسية كانت تخفي حقيقة جوهرية. فقد وجد الباحثون أن أداة التنبؤ نفسها غالباً ما تقوم بالجزء الأكبر من العمل الشاق، مما يحجب ما تعلمه النموذج الأساسي بالفعل. فالأداة القوية يمكنها أن تتعلم الكثير فقط من الإجابات التي تُعطى لها، حتى لو كانت البصمة الرقمية التي تقرأها ضعيفة أو غير مفيدة. ولحل هذه المشكلة، طور فريق من الباحثين من ألمانيا طريقة جديدة لاختبار هذه النماذج، تسمى JURY. فبدلاً من الاعتماد على أداة واحدة مدربة، استخدموا أربع طرق مختلفة لقراءة البصمات الرقمية للنماذج. تطلبت طريقتان من هذه الطرق عدم التدريب على الإطلاق، حيث اكتفتا بمجرد النظر في مدى قرب الجزيئات من بعضها البعض في الفضاء الرقمي. أما الطريقتان الأخريان فقد استخدمتا تدريباً بسيطاً، تراوح بين حساب خطي أساسي وشبكة صغيرة مرنة. ومن خلال تطبيق هذه الطرق الأربع على عشرة نماذج كيميائية مختلفة عبر ثلاثة وسبعين اختبار سلامة مختلف، اكتشف الفريق أن النماذج أكثر تشابهاً مع بعضها البعض مما كان يعتقده الجميع. لم يكن هناك نموذج واحد هو الأفضل في كل شيء؛ بل إن طريقة يدوية الصنع تعود لعقود مضت، تُستخدم لوصف الجزيئات، قدمت أداءً يضاهي أفضل نماذج الذكاء الاصطناعي الحديثة في كثير من الحالات.

كان الاكتشاف الأكثر إثارة للدهشة هو أن النماذج لا تختلف في مقدار المعرفة الكيميائية التي تحملها، بل في كيفية تنظيم تلك المعرفة. فبعض النماذج ترتب بصماتها الرقمية بحيث تجلس الجزيئات ذات الخصائص المتشابهة بالقرب من بعضها البعض بشكل طبيعي، مما يجعل العثور عليها سهلاً دون الحاجة إلى أي تدريب إضافي. بينما تخفي نماذج أخرى نفس المعرفة الكيميائية بطريقة لا تظهر إلا بعد تدريب مُتنبئ لإعادة ترتيب البيانات. الأمر يشبه النظر إلى مكتبة حيث قام أمين مكتبة بتصنيف الكتب حسب النوع، بينما قام آخر بتكديسها بشكل عشوائي لكنه يعرف بالضبط أين يجد كتاباً معيناً إذا سألته السؤال الصحيح. وقد أظهرت الدراسة أن النموذج الذي يتفوق في النهج الأول قد يفشل في النهج الثاني، والعكس صحيح. وهذا يعني أن درجة واحدة لا يمكنها إخبارك ما إذا كان النموذج جيداً أم لا؛ بل يجب عليك النظر في ملفه التعريفي عبر طرق اختبار مختلفة لفهم مواطن قوته.

اختبر الباحثون عشرة نماذج لغة كيميائية مختلفة، بما في ذلك عدة نماذج تستخدم ثلاث عائلات مختلفة من الـ "ترانسفورمر" (transformer)، إلى جانب طريقة تقليدية يدوية الصنع تُعرف باسم "بصمة الاتصال الممتدة". وطبقوا طرق الاختبار الأربع هذه على ثلاثة وسبعين مهمة مختلفة، غطت كل شيء من كيفية امتصاص الدواء إلى مدى سميته المحتملة. وعندما نظروا في النتائج، وجدوا أن ترتيب النماذج يتغير تماماً اعتماداً على طريقة الاختبار المستخدمة. فالنموذج الذي جاء في المركز الأول عند اختباره بطريقة لا تتطلب تدريباً، غالباً ما يهبط إلى أسفل القائمة عند اختباره بطريقة تتضمن تدريب مُتنبئ. وعلى العكس من ذلك، فإن النموذج الذي عانى بدون تدريب، ارتفع إلى أعلى الترتيب بمجرد إضافة مُتنبئ بسيط. هذا التباين أثبت أن النماذج لم تكن ببساطة "أفضل" أو "أسوأ"، بل إنها تخزن معرفتها الكيميائية بطرق مختلفة جوهرياً.

أظهر أحد النماذج، ويُدعى MoLFormer-XL، أنه رتب فضاءه الرقمي بوضوح شديد بحيث أصبحت الجزيئات ذات السلوكيات المتشابهة مجمعة معاً بالفعل. وقد قدم أداءً استثنائياً عندما نظر الباحثون ببساطة في أقرب الجيران في الفضاء الرقمي، دون تدريب أي أدوات إضافية. وفي المقابل، قدم نموذج آخر يُدعى MolEncoder أداءً ضعيفاً عندما نظر الباحثون في الترتيب الخام للفضاء. ومع ذلك، بمجرد تدريب مُتنبئ بسيط على بياناته، قفز MolEncoder إلى أعلى التصنيفات. أظهر هذا أن MolEncoder كان يحمل نفس القدر من المعرفة الكيميائية، لكنها كانت مخفية في تنسيق يتطلب أداة مدربة لفتحها. كما وجدت الدراسة أن طريقة البصمة التقليدية المصنوعة يدوياً، والتي تسبق عصر الذكاء الاصطناعي الحديث، تفوقت غالباً على النماذج الأكثر تقدماً عندما لم يُسمح بالتدريب، لا سيما في التنبؤ بكيفية تصرف المواد الكيميائية في الجسم. وهذا يشير إلى أنه بالنسبة لمهام معينة، لا تزال الطريقة القديمة لتنظيم البيانات الكيميائية فعالة للغاية.

خلص الفريق إلى أن المجال كان يعتمد على رقم واحد للحكم على أنظمة معقدة، وهو أمر يشبه الحكم على موسيقي من خلال أغنية واحدة فقط. فقد يكون النموذج ممتازاً في نوع واحد من التنبؤ ولكنه سيء جداً في نوع آخر، اعتماداً على كيفية هيكلة بياناته الداخلية. ويستبدل إطار العمل الجديد، JURY، هذا الرقم الواحد بملف تعريفي مفصل يوضح كيفية أداء النموذج عبر مستويات مختلفة من الإشراف. وهذا يسمح للعلماء باختيار الأداة المناسبة للمهمة. فإذا كان الباحث بحاجة إلى فحص سريع لمكتبة من المواد الكيميائية دون قضاء وقت في تدريب أداة جديدة، فعليه اختيار نموذج يؤدي جيداً في الاختبارات غير المدربة. وإذا كان لديه الكثير من البيانات ويريد تدريب مُتنبئ محدد لمهمة عالية المخاطر، فقد يختار نموذجاً يتفوق فقط بعد التدريب. ومن خلال فهم أين تقع معرفة النموذج وكيف يتم تنظيمها، يمكن للعلماء اتخاذ قرارات أفضل بشأن الأدوات التي يجب استخدامها، والانتقال من مجرد التصنيفات البسيطة إلى فهم أعمق لما تعلمته هذه الأنظمة الاصطناعية بالفعل.