Evaluating the Impact of Tokenization Schemes on the Performance of Chemical Language Models
تقدم هذه الدراسة أول تقييم منهجي لتسع استراتيجيات لترميز (SMILES) عبر ثلاثة مقاييس للنماذج، كاشفةً أنه في حين تتفوق أجهزة الترميز القائمة على القواعد في الصلاحية التوليدية، فإن النهجين القائمين على المتون الهجينة والمدونات يتفوقان في التنبؤ بالخصائص اللاحقة، مما يوصي في النهاية باستراتيجية هجينة لنماذج اللغة الكيميائية القابلة للتعميم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المختبر الحديث، لم تعد لغة الكيمياء تُكتب فقط في أنابيب الاختبار والكؤوس الزجاجية، بل تُكتب أيضاً في أسطر من النصوص. لطالما استخدم العلماء اختصاراً يُسمى "SMILES" لتمثيل الجزيئات المعقدة كسلاسل بسيطة من الحروف، تماماً كما تصف جملةٌ ما قصةً. يتيح هذا التنسيق للبرامج الحاسوبية القوية، التي صُممت في الأصل لقراءة لغة البشر، تحليل البنى الكيميائية. هذه البرامج، المعروفة بنماذج اللغة الكيميائية، يمكنها التنبؤ بكيفية سلوك دواء جديد أو حتى ابتكار جزيئات جديدة تماماً من الصفر. ومع ذلك، لكي يفهم الحاسوب سلسلة كيميائية، يجب عليه أولاً تفكيك تلك السلسلة إلى قطع أصغر وأسهل في التعامل معها، وهي عملية تُسمى "الترميز" (tokenization). وكما يجزئ القارئ الجملة إلى كلمات لفهم معناها، يجزئ الحاسوب السلسلة الكيميائية إلى رموز (tokens) لاستيعاب بنية الجزيء. والسؤال الحاسم الذي يواجه الباحثين هو كيفية إجراء هذا التفكيك على أفضل وجه: هل يجب على الحاسوب اتباع قواعد صارمة ومكتوبة مسبقاً حول ما يشكل جزءاً كيميائياً، أم يجب أن يتعلم إيجاد الأنماط بنفسه من خلال قراءة ملايين الأمثلة؟
لقد شرع فريق من الباحثين في جامعة كايزرسلاوترلانداو ومركز الأبحمان الألماني للذكاء الاصطناعي في الإجابة على هذا السؤال من خلال دراسة شاملة. فقد فحصوا تاريخ المجال، وراجعوا أكثر من مائتي ورقة بحثية لتحديد الطرق المختلفة التي يعلم بها العلماء الحواسيب كيفية قراءة السلاسل الكيميائية. ومن هذا المسح الواسع، اختاروا تسع طرق متميزة ونظموها في ثلاث مجموعات: تلك التي تعتمد على قواعد كيميائية ثابتة، وتلك التي تتعلم بالكامل من البيانات، وتلك التي تمزج بين النهجين. ولاختبار هذه الطرق بإنصاف، بنى الباحثون سلسلة من النماذج الحاسوبية ذات أحجام متفاوتة، تتراوح من الصغيرة إلى الكبيرة جداً، ودربوها باستخدام نفس مجموعة البيانات الضخمة التي تضم ما يقرب من مليوني سلسلة كيميائية. ثم أخضعوا هذه النماذج لنوعين مختلفين من الاختبارات. أولاً، تحققوا من مدى قدرة النماذج على إعادة بناء السلاسل الكيميائية الأصلية بعد إخفاء أجزاء منها، وهو مقي de لمدى تعلم الحاسوب لقواعد اللغة الكيميائية الأساسية. ثانياً، اختبروا النماذج في مهام واقعية، حيث طلبوا منها التنبؤ بخصائص محددة للجزيئات، مثل مدى ذوبان الدواء في الماء أو احتمالية عبوره للحاجز الدموي الدماغي.
كشفت النتائج عن مقايضة واضحة ومفاجئة بين القدرة على توليد جزيئات جديدة والقدرة على التنبؤ بخصائصها. فقد أثبتت النماذج المدربة باستخدام المرمّزات القائمة على القواعد، والتي اتبعت التعريفات الكيميائية بصرامة، أنها الأفضل في عملية إعادة البناء. فقد استطاعت تجميع الأجزاء المخفية من السلسلة الكيميائية بدقة عالية، والأهم من ذلك، ضمنت أن تكون الجزيئات الناتجة صالحة كيميائياً وممكنة فيزيائياً. وهذا يجعلها الخيار المتفوق للمهام التي يكون فيها الهدف هو ابتكار مركبات جديدة، حيث نادراً ما تنتج نتائج مستحيلة أو غير منطقية. ومع ذلك، عندما انتقل الباحثون إلى مهمة التنبؤ بالخصائص الجزيئية، تغيرت القصة؛ إذ تفوقت النماذج التي استخدمت نهجاً قائماً على البيانات أو نهجاً هجيناً، والتي سمحت للحاسوب بتعلم أنماط مرنة من البيانات نفسها، باستمرار على النماذج الصارمة القائمة على القواعد. فقد تعلمت هذه النماب المرنة التعرف على علاقات دقيقة داخل السلاسل الكيمائية فاتتها القواعد الصارمة، مما أدى إلى تنبؤات أكثر دقة لكيفية سلوك الجزيء في العالم الحقيقي.
كما استكشفت الدراسة ما إذا كان مجرد جعل النماذج الحاسوبية أكبر سيحل المشكلة. فقد اختبروا نماذج تحتوي على 7 ملايين، و50 مليوناً، و150 مليوناً من المعلمات (parameters) لمعرفة ما إذا كانت قوة حوسبة أكبر يمكنها التغلب على الاختيار السيئ للترميز. ووجدوا أنه بينما أدت النماذج الأكبر أداءً أفضل بشكل عام، إلا أن المكاسب تضاءلت بشكل ملحوظ مع نمو النماذج من 50 مليوناً إلى 150 مليون معلمة. وهذا يشير إلى أن الطريقة التي يتم بها تفكيك البيانات الكيميائية غالباً ما تكون أكثر أهمية من الحجم الهائل للنموذج الحاسوبي. إن استراتيجية الترميز المختارة جيداً يمكن أن تحقق نتائج أفضل من مجرد إضافة المزيد من القدرة الحوسبية. وفي النهاية، خلص الباحثون إلى أنه لا توجد طريقة واحدة هي الأفضل لجميع المواقف. فإذا كان الهدف هو تصميم جزيئات جديدة، فإن النهج القائم على القواعد هو المسار الأكثر أماناً وفعالية. ولكن إذا كان الهدف هو التنبؤ بكيفية عمل الجزيء، فإن النهج الهجين الذي يجمع بين المعرفة الكيميائية والمرونة القائمة على البيانات يقدم الحل الأكثر قوة. ويقدم هذا العمل دليلاً واضحاً للعلماء، موضحاً أن اختيار كيفية تعليم الحاسوب قراءة الكيمياء لا يقل أهمية عن الحاسوب نفسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.