Bi-semantic Chemical Embedder for Joint Representation Learning of SMILES and Natural Language
تقدم الورقة البحثية CheMatE، وهو نموذج تضمين ثنائي الدلالة مبني على ModernBERT، والذي يستخدم عملية تدريب من مرحلتين تتضمن نمذجة لغوية مقنعة مستمرة على متن علمي ضخم مشفّر بترميزات SMILES، تليها عملية تعلم تبايني لتمثيل البنى الجزيئية واللغة الطبيعية بشكل مشترك، محققاً أداءً قوياً عبر كل من مهام التنبؤ بالخصائص الكيميائية وفهم اللغة العامة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالم الكيمياء كمكتبة ضخمة تعج بالحركة. في الداخل، هناك طريقتان مختلفتان تماماً لوصف الشيء نفسه: الجزيء. على أحد الرفوف، لديك "اختصار العالم"، وهو كود مدمج يسمى SMILES يبدو كسلسلة غريبة من الحروف والأرقام (مثل C1=CC=CC=C1). إنه فعال للحواسيب، لكنه يبدو كشفرة سرية للبشر. وعلى الرف الآخر، لديك "وصف الحكواتي"، وهو فقرات طويلة من اللغة الطبيعية تشرح كيفية سلوك الجزيء، أو أين يوجد، أو كيف يتفاعل. لفترة طويلة، كان على البرامج الحاسوبية التي تحاول فهم الكيمياء أن تختار جانباً واحداً؛ فإما أن تكون بارعة في قراءة الشفرة السرية ولكنها سيئة في فهم القصة، أو العكس. لقد كانت تنسى غالباً كيف تتحدث "لغة البشر" لمجرد أن تصبح خبيرة في "الكود الكيميائي". هذا البحث يطرح سؤالاً بسيطاً ولكنه صعب: هل يمكننا بناء عقل واحد يتقن كل من الشفرة السرية والقصة في آن واحد، دون أن يفقد عقله؟
يقول الباحثون وراء هذه الدراسة، بقيادة ديفيد مينغ سيجورا وفيليب شوالر، نعم. لقد بنوا نموذج ذكاء اصطناعي جديد يسمى CheMatE (المُدمِج الكيميائي باستخدام تضمين ماتريوشكا) والذي يعمل كـمترجم فائق الثنائية اللغة. بدلاً من إجبار الذكاء الاصطناعي على الاختيار بين كونه كيميائياً أو لغوياً، علموه أن يرى الكود الكيميائي والقصة العلمية كوجهين لعملة واحدة.
إليك كيف فعلوا ذلك، ولماذا ينجح الأمر.
المشكلة: فخ "المتخصص"
فكر في نماذج الذكاء الاصطناعي السابقة كطالب يدرس فقط من أجل اختبار الرياضيات. قد يحصل على درجة مثالية في التفاضل والتكامل، ولكن إذا طلبت منه كتابة قصيدة، فقد ينسى كيفية استخدام الصفات. في عالم ذكاء الكيمياء الاصطناعي، أصبحت النماذج المدربة بكثافة على سلاسل SMILES (الكود) جيدة جداً في التعرف على الأنماط في الكود لدرجة أنها "نسيت" كيف تفهم الجمل باللغة الطبيعية المحيطة بها. لقد أصبحوا متخصصين لا يستطيعون التحدث مع بقية المكتبة.
الحل: مكتبة "ثنائية اللغة"
قرر الفريق التوقف عن معاملة الكود والقصة كأشياء منفصلة. بدلاً من ذلك، ابتكروا طريقة تدريب يتم فيها نسج الاثنين معاً.
1. خط أنابيب الحقن: تتبيل النص
تخيل أن لديك كومة من 14.4 مليون مقال علمي ونصوص تعليمية. هذه هي "القصص". بنى الباحثون خط أنابيب آلياً يقرأ هذه القصص، ويجد كل ذكر لمادة كيميائية (مثل "الجلوكوز" أو "الأسبرين")، ويدرج كود SMILES الخاص بالمادة سراً بجانبها مباشرة.
- النتيجة: جملة مثل "الجلوكوز هو سكر بسيط" تصبح "الجلوكوز هو سكر بسيط
0=С[С@H](0)...". - النطاق: قاموا بهذا لأكثر من 14 مليون مستند، مما خلق مجموعة تدريب ضخمة تضم 21.9 مليار "كلمة" (توكن). هذا يعني أن الذكاء الاصطناعي يرى الكود والقصة يحدثان في الوقت ذاته، مراراً وتكراراً.
2. خدعة "التجميع الذكي": تركيب قطع اللغز
تدريب ذكاء اصطناعي على مكتبة ضخمة كهذه يشبه محاولة وضع قطع أحجية ذات أحجام مختلفة تماماً في صندوق واحد. بعض المستندات قصيرة، وأخرى ضخمة (تصل إلى 8,192 توكن). إذا رميتها عشوائياً، فستظل بعض المعالجات الحاسوبية (GPUs) خاملة تنتظر انتهاء المستندات البطيئة، مما يهدر الوقت والمال.
- الإصلاح: ابتكر الفريق "منظم دفعات مدرك للتكلفة". فكر فيه كأمين مكتبة ذكي لا يكتفي بعدّ الكتب في الكومة فحسب، بل يحسب مدى ثقل وصعوبة كل كتاب. لقد رتبوا الكومات بحيث يحصل كل معالج حاسوبي على نفس القدر من "العمل" للقيام به، بغض النظر عن طول المستندات. جعل هذا التدريب أكثر كفاءة بنسبة 30% وسمح لهم بالتعامل مع تلك المستندات الطويلة والمعقدة دون انهيار النظام.
3. التدريب ذو المرحلتين: تعلم القراءة، ثم الربط
لم يقرأ الذكاء الاصطناعي النص المختلط مرة واحدة فقط؛ بل تعلم في مرحلتين متميزتين، مثل الطالب الذي يتعلم أولاً المفردات ثم يتعلم كيفية كتابة المقالات.
- المرحلة الأولى (المفردات): استخدم النموذج تقنية تسمى "نمذجة اللغة المقنعة". تخيل قراءة جملة حيث تغطي صناديق سوداء بعض الكلمات. كان على الذكال الاصطناعي تخمين الكلمات المفقودة. ولكن هنا، يمكن أن تكون الكلمات المفقودة كلمة عادية أو جزءاً من كود SMILES. هذا أجبر الذكاء الاصطناعي على تعلم أن الكود والنص ينتميان إلى نفس السياق.
- المرحلة الثانية (الربط): بمجرد أن عرف الذكاء الاصطناعي المفردات، علموه فهم العلاقات. أنشأوا لعبة كان على الذكاء الاصطناعي فيها مطابقة كود كيميائي محدد مع الفقرة الصحيحة من النص، مع تجاهل الفقرات المتعلقة بكيميائيات مختلفة تماماً. استخدموا طريقة تسمى "خسارة الترتيب السلبية المتعددة" مع لمسة "ماتريوشكا" (المسماة تيمناً بدمى الماتريوشكا الروسية). وهذا يعني أن الذكاء الاصطناعي تعلم فهم المادة الكيميائية بمستويات مختلفة من التفاصيل، من الرؤية العامة الشاملة وصولاً إلى أدق التفاصيل، مما يضمن عدم فقدان المعلومات المهمة حتى لو تم تصغير الرؤية.
النتائج: أفضل ما في العالمين
عندما اختبروا CheMatE، كانت النتائج مبهرة. قارنوه بـ 11 نموذجاً آخر، بما في ذلك النماذج التي كانت خبيرة في الكود فقط وتلك التي كانت خبيرة في النصوص فقط.
- الدرجة: كان ChematE هو النموذج الوحيد الذي صنف ضمن المجموعة المتفوقة في كلا المهمتين في آن واحد. سجل درجة "دلالية مزدوجة" بلغت 86.7%، مما يعني أنه كان من بين أفضل أداء في ما يقرب من 88% من الاختبارات الـ 48 التي أجروها.
- المقارنة: النماذج التي كانت رائعة في قراءة كود SMILES (مثل MoLFormer أو ChemBERTa) كانت سيئة جداً في فهم اللغة الطبيعية. أما النماذج التي كانت رائعة في اللغة، فكانت جيدة في الكود، ولكن ليست الأفضل. لقد كسر CheMatE هذه المقايضة؛ فقد أثبت أنه ليس عليك التضحية بمهارة لاكتساب أخرى.
لماذا يهم هذا؟
الأمر لا يتعلق فقط بالحصول على درجة أعلى في اختبار. من خلال إثبات أن نموذجاً واحداً يمكنه فهم كل من الهيكل الصارم للصيغ الكيميائية والسياق المرن للكتابة العلمية، يفتح ChematE الباب أمام أدوات أكثر ذكاءً في اكتشاف الأدوية وعلوم المواد. إنه يشير إلى أنه في المستقبل، لن نحتاج إلى أدوات منفصلة لقراءة مخطط كيميائي وورقة بحثية؛ بل يمكن لعقل موحد القيام بكل ذلك، مما يساعد العلماء على إيجاد أدوية أو مواد جديدة بشكل أسرع من خلال فهم القصة الكاملة وراء العلم.
يلاحظ المؤلفون بحذر أنه على الرغم من كون هذه خطوة كبيرة للأمام، إلا أن النظام ليس مثالياً. فهو يعتمد على أدوات موجودة للعثيد على الكيميائيات في النصوص، والتي يمكن أن تخطئ أحياناً في المركبات الصعبة أو الجديدة كلياً. ومع ذلك، فإن الفكرة الجوهرية — وهي أن دمج الكود والقصة يخلق ذكاءً اصطناعياً أكثر ذكاءً وتعدداً في الاستخدامات — قد تم إثباتها بنجاح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.