💬 NLP

Speak-to-Structure: Evaluating LLMs in Open-domain Natural Language-Driven Molecule Generation

تقدم هذه الورقة البحثية Speak-to-Structure (S^2-Bench)، وهو أول معيار تقييم مُصمم لتقييم النماذج اللغوية الكبيرة في مهام توليد الجزيئات القائمة على اللغة الطبيعية من نوع "واحد إلى كثير" في النطاق المفتوح، إلى جانب OpenMolIns، وهي مجموعة بيانات تُمكّن النماذج التي خضعت للضبط الدقيق من التفوق على النماذج اللغوية الكبيرة الرائدة في التصميم الجزيئي الواقعي.

المؤلفون الأصليون: Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "Speak-to-Structure" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: من "تخمين الإجابة" إلى "تصميم الحل"

تخيل أنك طاهٍ (شيف). لسنوات، اختبر الباحثون طهاة الذكاء الاصطناوي عبر إعطائهم وصفة محددة (مثل "اصنع كعكة شوكولاتة") وطلب منهم إعادة صنع كعكة موجودة بالفعل في قاعدة بيانات. إذا صنع الذكاء الاصطناعي كعكة تشبه تماماً تلك الموجودة في قاعدة البيانات، فإنه يحصل على نجمة ذهبية.

المشكلة: الطبخ الحقيقي (والعلم الحقيقي) لا يتعلق بالنسخ. إذا سألت طاهياً: "اصنع لي كعكة قليلة السكر ولكنها لا تزال حلوة المذاق"، فلن تكون هناك إجابة واحدة صحيحة فقط. هناك مئات الوصفات المختلفة التي يمكن أن تنجح. الاختبارات القديمة كانت صارمة للغاية؛ فقد كانت تكافئ الذكاء الاصطناعي فقط على حفظ "الإجابة الصحيحة"، وليس على كونه مبدعاً.

الحل: تقدم هذه الورقة البحثية S2-Bench (Speak-to-Structure). وهو اختبار جديد مصمم لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي أن يعمل كطاهٍ مبدع حقيقي. فبدلاً من طلب نسخة، يطلب من الذكاء الاصطناعي ابتكار أشياء جديدة بناءً على وصف معين، مع العلم أن هناك العديد من الإجابات "الصحيحة" الممكنة.

التحديات الثلاثة (قائمة الطعام)

يختبر البحث الذكاء الاصطناعي في ثلاث مهام محددة، والتي تشبه مستويات مختلفة من تحدي الطبخ:

تعديل الجزيئات (تحدي "التعديل الطفيف"):
- التشبيه: تخيل أن لديك طراز سيارة معيناً. يطلب الاختبار من الذكاء الاصطناعي "إضافة شاحن توربيني" أو "إزالة فتحة السقف".
- الهدف: يجب على الذكاء الاصطناعي أخذ السيارة الأصلية وإجراء هذا التغيير المحدد فقط دون إتلاف المحرك أو تحويل السيارة إلى قارب. هذا يختبر ما إذا كان الذكاء الاصطناعي يفهم قواعد كيفية ترابط الأشياء معاً.
تحسين الجزيئات (تحدي "الترقية"):
- التشبيه: لديك سيارة، وتريدها أن تكون "أسرع" أو "أكثر كفاءة في استهلاك الوقود".
- الهدف: يحتاج الذكاء الاصطناعي إلى تعديل السيارة لتحسين سمة معينة (مثل السرعة) مع الحفاظ على هوية السيارة الأصلية. لا يكفي مجرد بناء سيارة سريعة جديدة من الصفر؛ بل يجب أن تكون تحسيناً للسيارة الأصلية.
توليد جزيئات مخصصة (تحدي "اللوحة البيضاء"):
- التشبيه: تقول للذكاء الاصطناعي: "ابنِ لي مركبة بـ 4 عجلات بالضبط، وهيكل أحمر، ومحرك V8".
- الهدف: يجب على الذكاء الاصطناعي ابتكار مركبة جديدة تماماً من العدم تتوافق مع هذه القواعد الصارمة. هذا هو الاختبار الأصعب لأن الذكاء الاصطناعي يجب أن يتبع القواعد بدقة دون أي نموذج أصلي يبدأ منه.

دليل التدريب الجديد: OpenMolIns

لمساعدة الذكاء الاصطناعي على التحسن في هذه المهام، أنشأ المؤلفون كتاب تدريب ضخم جديد يسمى OpenMolIns.

الطريقة القديمة: كانت كتب التدريب السابقة تحتوي على أمثلة قليلة جداً، وكانت معظمها بصيغة "سؤال: ما هو هذا الجزيء؟ إجابة: [اسم الجزيء بدقة]". هذا كان يعلم الذكاء الاصطناعي الحفظ.
الطريقة الجديدة: OpenMolIns يشبه مكتبة ضخمة تضم 1.2 مليون مثال حيث يتعلم الذكاء الاصطناعي منطق الكيمياء. إنه يعلم الذكاء الاصطناعي: "إذا كنت تريد جعل الشيء أسرع، جرب إضافة هذا الجزء"، بدلاً من مجرد "إليك الإجابة".

النتيجة: باستخدام كتاب التدريب الجديد هذا، تمكن نموذج ذكاء اصطناعي صغير نسبياً (Llama3.1-8B) من التغلب على نماذج أكبر وأكثر شهرة (مثل GPT-4o و Claude-3.5) في هذه المهام الإبداعية. لقد أثبت أن التدريب الجيد أهم من مجرد امتلاك "دماغ" ضخم.

كيف يتم تقييم الذكاء الاصطناعي (بطاقة الدرجات)

في الاختبارات القديمة، إذا كتب الذكاء الاصطناعي جزيئاً يطابق الهدف كلمة بكلمة، فإنه يحصل على 100%. لكن في هذا الاختبار الجديد، هذا ليس كافياً. فقد ابتكر المؤلفون نظام تسجيل أكثر ذكاءً:

هل اتبعت التعليمات؟ (معدل النجاح)
هل التغيير منطقي؟ (التشابه)
- الفخ: إذا طلبت "إضافة عجلة" إلى سيارة، وقام الذكاء الاصطناعي ببناء سيارة مختلفة تماماً تصادف أنها تحتوي على عجلة، فإن الاختبار القديم سيقول "عمل جيد!". أما الاختبار الجديد فيقول: "لا، أنت لم تعدل السيارة الأصلية بالفعل؛ لقد تجاهلت الأمر وبنيت شيئاً آخر".
هل هو جديد؟ (الحداثة)
- بالنسبة لتحدي "اللوحة البيضاء"، يحصل الذكاء الاصطناعي على نقاط مقابل ابتكار شيء لا يوجد بالفعل في قواعد البيانات العالمية.

النقاط الرئيسية المستخلصة

الذاكرة ليست كافية: نماذج الذكاء الاصطناعي الحالية جيدة في استرجاع الحقائق ولكنها تعاني في اتباع التعليمات المعقدة والإبداعية في الكيمياء.
"واحد إلى كثير" هو واقع حقيقي: في العلم، غالباً ما يكون هناك العديد من الإجابات الصحيحة لسؤال واحد. الاختبارات القديمة لم تسمح بذلك؛ أما الاختبار الجديد فيسمح به.
النماذج الصغيرة يمكنها الفوز: مع بيانات التدريب المناسبة (OpenMolIns)، يمكن لذكاء اصطناعي أصغر وأرخص أن يتفوق على النماذج الضخمة والمكلفة.
الفحص "البشري": قام المؤلفون بجعل خبراء بشريين يراجعون عمل الذكاء الاصطناعي. ووجدوا أن نظام التسجيل الجديد (الذي يكافئ التغييرات المنطقية بدلاً من التخمينات العشوائية) يتوافق مع آراء البشر بشكل أفضل بكثير من نظام "المطابقة التامة" القديم.

باختًا، تبني هذه الورقة البحثية "صالة ألعاب رياضية" أفضل للذكاء الاصطناعي ليتدرب على الكيمياء. فبدلاً من مجرد حفظ البطاقات التعليمية، يتعلم الذكاء الاصطناعي الآن كيفية التصميم والبناء الفعلي لأشياء جديدة بناءً على محادثة.

ملخص تقني: التحدث إلى البنية (S2-Bench)

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) الحالية واعداً في اكتشاف الجزيئات الموجه بالنصوص الطبيعية، ومع ذلك تعاني معايير التقييم الحالية من قصور حرج: فهي تعتمد على تطابقات واحد لواحد بين الأوصاف النصية وجزيئات مستهدفة محددة مسبقاً (مثل ChEBI-20 وPubChem324K). يفترض هذا النموذج وجود حل فريد لكل أمر (prompt)، وهو ما لا يتوافق مع واقع اكتشاف الجزيئات حيث يمكن لعدة جزيئات متميزة أن تلبي نفس الخصائص البيولوجية أو الفيزيائية. وبناءً على ذلك، تختبر المعايير الحالية بشكل أساسي قدرة النموذج على حفظ واستدعاء أنماط محددة بدلاً من قدرته على التصميم الجزيئي الإبداعي والمفتوح والاستدلال الهيكلي الحقيقي. هناك نقص في التقييم المعياري لعلاقات "واحد إلى كثير" في توليد الجزيئات من النص.

المنهجية

1. التحدث إلى البنية (S2-Bench)

يقترح المؤلفون S2-Bench، وهو أول معيار مصمم لتقييم النماذج اللغبية الكبيرة في توليد الجزيئات في النطاق المفتوح الموجه باللغة الطبيعية. بخلاف قواعد البيانات السابقة، يتبنى S2-Bench نموذج "واحد إلى كثير"، حيث يمكن لأمر واحد أن يتم تنفيذه بواسطة هياكل جزيئية صالحة متعددة. يتكون المعيار من ثلاث مهام رئيسية، تستهدف كل منها مرحلة مختلفة من عملية اكتشاف الأدوية:

تعديل الجزيئات (MolEdit): يختبر القدرة على إجراء تعديلات هيكلية دقيقة وموضعية (إضافة، حذف، أو استبدال مجموعات وظيفية) مع الحفاظ على الهيكل الأساسي (scaffold). هذا يحاكي عملية تحسين الرصاص (lead optimization).
تحسين الجزيئات (MolOpt): يقيم الاستدلال الكيميائي الموجه نحو الأهداف، حيث يجب على النموذج تعديل مركب رصاص لتحسين خصائص معينة (مثل LogP وMR وQED) دون تغيير الهيكل الأساسي بشكل غير ضروري.
توليد الجزيئات المخصصة (MolCustom): يتحدى النموذج لتخليق جزيء جديد من الصفر بناءً على قيود اللغة الطبيعية المتعلقة بعدد الذرات، أنواع الروابط، أو المجموعات الوظيفية، مما يحاكي مرحلة التصميم الأولية.

مقاييس التقييم:
لمعالجة طبيعة "واحد إلى كثير"، تجاوز المؤلفون المطابقة النصية الدقيقة. لقد استخدموا نظام تقييم آلي باستخدام أدوات الكيمياء المعلوماتية (RppKit) لحساب:

الصلاحية (Validity): ما إذا كان نص SMILES المولد صالحاً كيميائياً.
معدل النجاح (SR): ما إذا كان الجزيء يلبي قيوداً محددة (مثل اتجاه الخاصية الصحيح أو المجموعة الوظيفية).
التشابه (لـ MolEdit/MolOpt): تشابه تانيموتو (Tanimoto similarity) باستخدام بصمات مورغان (Morgan Fingerprints) لضمان أن المخرج هو تعديل عقلاني للمدخل، وليس مجرد جزيء صالح عشوائي.
الحداثة (لـ MolCustom): تقيس مدى تميز الجزيء المولد عن قاعدة بيانات مرجعية (Zinc-250K).
معدل النجاح الموزون (WSR): مقياس مركب يجمع بين معدل النجاح والتشابه (للتعديل/التحسين) أو الحداثة (للتخصيص) لتوفير درجة أداء شاملة.

2. مجموعة بيانات OpenMolIns

لتسهيل التدريب لهذه المهام مفتوحة النهايات، قدم المؤلفون OpenMolIns، وهي مجموعة بيانات ضخمة لضبط التعليمات (instruction-tuning) تم إنشاؤها برمجياً من قاعدة بيانات PubChem.

النطاق: تحتوي على ما يصل إلى 1.2 مليون زوج من (التعليمات-الجزيء).
البناء: تستخدم أدوات كيميائية مؤتمتة لتوليد أوامر متنوعة وجزيئات صالحة مقابلة لها، مما يضمن علاقة "واحد إلى كثير".
الهيكل: يعكس مهام S2-Bench الثلاث ويتضمن خمسة مقاييس للبيانات (من خفيفة إلى ضخمة جداً) لدراسة قوانين توسع البيانات.
النزاهة: مصممة بدون أي تداخل مع مجموعة اختبار S2-Bench (Zinc-250K) لمنع تسرب البيانات.

3. الإعداد التجريبي

قام المؤلفون باختبار 31 نموذجاً لغوياً كبيراً، تم تصنيفهم إلى:

نماذج مملوكة (مثل GPT-4o وClaude-3.5).
نماذج لغوية عامة مفتوحة المصدر (مثل Llama3 وMistral وQwen).
نماذج لغوية متخصصة في المجال (مثل ChemLLM وBioT5).
نماذج تم ضبطها بدقة باستخدام OpenMolIns.

أجري التقييم باستخدام مسارات مؤتمتة، مع التحقق من مجموعة فرعية من النتائج بواسطة خبراء بشريين لربط المقاييس الآلية بالتقدير البشري.

النتائج الرئيسية

الفجوة في الأداء في القيود الهيكلية: حتى النماذج المملوكة رفيعة المستوى (مثل Claude-3.5 وGemini-1.5-Pro) حققت متوسط معدلات نجاح موزونة متوسطة (~35%)، لكنها واجهت صعوبة كبيرة في مهام MolCustom، حيث فشلت في تجاوز معدل نجاح موزون بنسبة 25% في المهام الفرعية الفردية. يشير هذا إلى صعوبة في تلبية القيود الهيكلية الدقيقة (عدد الذرات/الروابط الدقيق) رغم امتلاك قدرات استدلال عامة.
تفوق ضبط التعليمات: بينما أدت النماذج الكيميائية المدربة مسبقاً (مثل BioT5-base) أداءً ضعيفاً (4.21% WSR) مقارنة بالنماذج اللغوية العامة، أدى ضبط التعليمات على OpenMolIns إلى تحسينات هائلة.
- حقق نموذج Llama3.1-8B-Instruct الذي تم ضبطه على أكبر مقياس لـ OpenMolIns معدل 39.33% في WSR، متفوقاً على جميع النماذج الأخرى، بما في ذلك النماذج الأكبر حجماً.
- ومن المثير للاهتمام، أن نموذج Galactica-125M الصغير، عند ضبطه على OpenMolIns، حقق 25.73% في WSR، متفوقاً على نماذج أكبر منها بمرتبتين (مثل Llama3-70B).
محدودية معايير "واحد لواحد": النماذج التي تم ضبطها باستخدام مجموعات بيانات تقليدية "واحد لواحد" (مثل ChEBI-20) كان أداؤها أسوأ من النماذج اللغوية العامة في S2-Bench. كانت هذه النماذ تج tends إلى توليد جزيئات صالحة كيميائياً ولكنها غير مرتبطة هيكلياً بالمدخلات لتلبية القيود، مما يكشف عن الاعتماد على استدعاء الأنماط بدلاً من الاستدلال الهيكلي.
قوانين توسع البيانات: العلاقة بين حجم البيانات والأداء تعتمد على المهمة.
- أظهرت مهمة MolCustom (التخليق من الصفر) مكاسب كبيرة (286%) عند التوسع من البيانات "الكبيرة" إلى "الضخمة جداً".
- أظهرت مهام MolEdit وMolOpt عوائد متناقصة أو سلبية مع زيادة البيانات للنماذج الصغيرة، مما يشير إلى أن هذه المهام مقيدة بسعة النموذج أكثر من حجم البيانات.
التحقق من WSR: أكد التقييم من قبل الخبراء البشريين أن معدل النجاح الموزون (Wps) يرتبط بشكل أفضل مع حكم الخبراء (معامل Spearman $\rho \approx 0.90$ ) من معدل النجاح الخام (SR)، مما يؤكد ضرورة معاقبة المخرجات غير المرتبطة هيكلياً.

الأهمية والادعاءات

يزعم البحث أنه يؤسس لنموذج جديد لتقييم النماذج اللغوية الكبيرة في اكتشاف الجزيئات من خلال نقل التركيز من استدعاء الأنماط إلى التصميم الجزيئي الواقعي.

سد الفجوة: يعالج S2-Bench عدم التوافق بين مقاييس التقييم الحالية والطبيعة المفتوحة لاكتشاف الجزيئات في العالم الحقيقي.
إثبات الإمكانات: تُظهر النتائج أنه مع ضبط التعليمات المناسب على بيانات ضخمة ومتنوعة، يمكن للنماذج اللغوية الأصغر تحقيق أداء رائد، مما يتحدى فكرة أن النماذج الضخمة أو البنيات المتخصصة هي الوحيدة القادرة على ذلك.
أداة تشخيصية: يعمل المعيار كأداة تشخيصية للكشف عن نقاط الضعف المنهجية في النماذج اللغوية الكبيرة الحالية فيما يتعلق بالقيود الهيكلية المنفصلة والمترابطة عالمياً، مما يوجه الأبحاث المستقبلية في التعلم المعزز وضبط التعليمات.

يؤكد المؤلفون أن عملهم يوفر أساساً قوياً لتطوير نماذج لغوية كبيرة أكثر قدرة، وقابلية للتفسير، وموثوقية لاكتشاف الجزيئات الموجه باللغة الطبيعية، مما ينقل المجال إلى ما وراء مجرد الترجمة من النص إلى الهيكل.