🤖 AI

Can Agents Price a Reaction? Evaluating LLMs on Chemical Cost Reasoning

تقدم هذه الورقة ChemCost، وهو معيار مرجعي صارم لتقييم قدرة النماذج اللغوية الكبيرة على تقدير تكاليف التفاعلات الكيميائية من خلال تحديد الهويات، واسترجاع عروض أسعار الموردين، وإجراء العمليات الحسابية، مما يكشف أن حتى الوكلاء المتقدمين يعانون في هذه المهمة بسبب هشاشة التحليل، وعدم فعالية دمج الأدلة، وضعف القدرة على تحمل الضجيج.

المؤلفون الأصليون: Yuyang Wu, Yue Huang, Shuaike Shen, Xujian Wang, Shuhao Zhang, Qiyao Xue, Weichen Liu, Runtian Gao, Jian Ma, Xiangliang Zhang, Olexandr Isayev

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuyang Wu, Yue Huang, Shuaike Shen, Xujian Wang, Shuhao Zhang, Qiyao Xue, Weichen Liu, Runtian Gao, Jian Ma, Xiangliang Zhang, Olexandr Isayev

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يحاول معرفة التكلفة الدقيقة لتحضير طبق معين لحفلة عشاء. لديك الوصفة (التفاعل الكيميائي)، لكنك لا تملك أسعار المكونات، ولا تعرف بالضبط أي علامة تجارية أو حجم عبوة تحتاج لشرائه للحصول على الكمية الصحيحة.

تقدم هذه الورقة البحثية اختبارًا جديدًا يسمى CHEMCOST لمعرفة ما إذا كانت أجهزة الذكاء الاصطناً المتقدمة (التي تسمى النماذج اللغوية الكبيرة أو LLMs) يمكنها العمل كمساعد تسوق ذكي لحل هذه المشكلة.

إليك تفصيل لما وجدته الورقة، باستخدام تشبيهات بسيطة:

1. التحدي: الأمر ليس مجرد "بحث في جوجل"

أراد المؤلفون معرفة ما إذا كان بإمكان الذكاء الاصطناعي أن يعمل كـ وكيل مشتريات علمي. هذا ليس مجرد كتابة قصيدة أو الإجابة على سؤال عام؛ بل هو لغز رياضي وتسوق متعدد الخطوات:

لعبة الأسماء: قد تقول الوصفة "TEA". هل هذا هو "Triethylamine" (مادة كيميائية) أم "Triethanolamine" (مادة كيميائية مختلفة)؟ يجب على الذكاء الاصطناعي تحديد المادة الجزيئية المقصودة بدقة.
رحلة البحث عن التسوق: يجب على الذكاء الاصطناعي البحث عن الأسعار من قاعدة بيانات مجمدة تضم أكثر من 230,000 عرض سعر من موردين. لا يمكنه التخمين؛ بل يجب عليه العث/ على "العبوة" المحددة (على سبيل المثال، زجاجة 1 جرام مقابل زجاجة 100 جرام) التي تناسب الوصفة.
الرياضيات: يجب عليه تحويل "1.5 مكافئ" إلى جرامات، وحساب تكلفة كل مكون على حدة، ثم القسمة على الكمية النهائية للمنتج للحصول على السعر لكل جرام.

التشبيه: تخيل أن الذكاء الاصطناعي هو طالب يؤدي امتحاناً نهائياً. يعطيه المعلم وصفة، ومكتبة مغلقة من بطاقات الأسعار، وآلة حاسبة. يجب على الطالب العثور على المكونات الصحيحة، وشراء الأحجام المناسبة، وإجراء الحسابات، ثم تقديم رقم واحد فقط: التكلفة الإجمالية.

2. الاختبار: CHEMCOST

قام الباحثون ببناء معيار يتضمن 1,427 وصفة كيميائية مختلفة.

"نموذج الإجابة": لم يطلبوا من البشر تقييم الذكاء الاصطناعي. بدلاً من ذلك، أنشأوا قاعدة بيانات "مجمدة" من الأسعار الحقيقية ومجموعة صارمة من القواعد. يقوم الكمبيوتر بحساب الإجابة الصحيحة بدقة مسبقاً. وهذا يعني أن التقييم موضوعي بنسبة 100% — لا يوجد انحياز بشري.
اختبار "الضجيج": لمعرفة ما إذا كان الذكاء الاصطناعي ذكياً حقاً أم أنه مجرد يحفظ الأنما، قاموا بتخريب الوصفات. لقد غيروا الأسماء (على سبيل المثال، كتابة "Na2C03" بدلاً من "Na2CO3" باستخدام الرقم صفر بدلاً من حرف O)، أو حذفوا نسب الإنتاج، أو كتبوا التعليمات بنصوص فوضوية وغير منظمة.

3. النتائج: "الوصول إلى الأدوات" ليس كافياً

اختبر الباحثون العديد من نماذج الذكاء الاصطناعي، من أكبر "النماذج الرائدة" إلى النماذج المتخصصة في الكيمياء. وإليكم ما حدث:

السقف: حتى أذكى نماذج الذكاء الاصطناعي لم تحصل إلا على حوالي 50% من الإجابات الصحيحة (ضمن هامش خطأ 25%) عند استخدام مدخلات نظيفة وسهلة. إنهم بعيدون جداً عن المثالية.
فخ "الأداة": تم إعطاء نماذج الذكاء الاصطناعي "أدوات" (مثل محرك بحث للأسماء الكيميائية والبحث عن الأسعار). وجدت الورقة أن امتلاك الأدوات ضروري، ولكنه ليس كافياً.
- التشبيه: إعطاء طالب آلة حاسبة وبطاقة مكتبة لا يضمن حل المسألة الرياضية بشكل صحيح. لا يزال يتعين عليه معرفة أي أرقام يضع في الآلة الحاسبة وأي كتاب يفتحه.
مشكلة "الهشاشة": عندما كانت المدخلات غير مرتبة قليلاً (مثل خطأ مطبعي في اسم كيميائي أو خطأ في التنسيق)، غالباً ما يستسلم نماذج الذكاء الاصطناعي تماماً أو يعطي إجابات خاطئة تماماً.
- التشبيه: إذا رأى طاهٍ بشري "Na2C03" (بالرقم صفر)، فقد يخمن أنه خطأ مطبعي لـ "Na2CO3". ومع ذلك، فإن الذكاء الاصطناعي غالباً ما يصاب بالذعر، ولا يستطيع العثور على العنصر، ويتوقف عن المحاولة.

4. أين يفشلون؟

فصلت الورقة بدقة أين يتعثر الذكاء الاصطناعي:

التحليل (Parsing): لا يمكنهم قراءة النصوص الفوضوية للعثور على المكونات.
دمج الأدلة: يجدون الأسعار ولكن لا يستطيعون دمجها بشكل صحيح مع كميات الوصفة.
اختيار العبوة: يختارون حجم الزجاجة الخاطئ (شراء زجاجة 100 جرام بينما يحتاجون فقط إلى 1 جرام، أو العكس).
الاستسلام: عندما يكون النص فوضوياً، غالباً ما يرفضون الإجابة بدلاً من محاولة فهم الأمر.

5. المعيار "البشري"

قام الباحثون أيضاً بجعل كيميائيين حقيقيين يخوضون الاختبار.

النتيجة: أدى البشر بشكل أفضل من الذكاء الاصطناعي (حوالي 67% دقة في المدخلات النظيفة)، لكنهم لا يزالون يرتكبون الأخطاء. هذا يثبت أن المهمة صعبة حقاً، حتى بالنسبة للخبراء.
الخلاصة: الذكاء الاصطناعي ليس "غبياً" فحسب؛ بل إن المهمة نفسها هي عملية توازن معقدة بين القراءة، والبحث، والحساب، وهي عملية صعبة لكل من البشر والآلات على حد سواء.

الملخص

تخلص الورقة إلى أنه على الرغم من أن الذكاء الاصطناوي يتحسن في استخدام الأدوات، إلا أنه ليس موثوقاً بما يكفي بعد ليتم الوثوق به في تقدير التكاليف الكيميائية في العالم الحقيقي. فهو يعاني عندما لا تكون المعلومات منسقة بشكل مثالي، وغالباً ما يفشل في الربط بين إيجاد السعر وحساب الإجمالي النهائي.

باختصار: الذكاء الاصطناعي يشبه متدرباً سريعاً جداً وواسع المعرفة لديه وصول إلى الإنترنت بأكل ومعه آلة حاسبة، ولكنه لا يزال بحاجة إلى إنسان ليدقق عمله، خاصة عندما تكون التعليمات مكتوبة بطريقة فوضوية قليلاً.

ملخص تقني: هل تستطيع الوكلاء تسعير التفاعل؟ تقييم النماذج اللغوية الكبيرة في الاستدلال على التكلفة الكيميائية

بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) قدرة متزايدة كوكلاء يستخدمون الأدوات في المجالات العامة (مثل هندسة البرمجيات أو تصفح الويب)، إلا أن التقييم الصارم لأدائها في استخدام الأدوات العلمية لا يزال محدودًا. تعتمد الاختبارات المرجعية الحالية غالبًا على عروض توضيحية منسقة، أو تقييم الخبراء، أو نظام "النموذج اللغوي كحكم" (LLM-as-judge) بدلاً من الحقيقة الأرضية (ground truth) الدقيقة والخالية من الأحكام البشرية.

في الكيمياء، وتحديدًا، يمكن للوكلاء تخطيط عمليات التخليق واستدعاء أدوات المجال، لكنهم يفتقرون إلى بيئة اختبار محكومة لـ تقدير تكلفة المشتريات الكيميائية. هذه مهمة صناعية عملية تتطلب من الوكيل القيام بما يلي:

ربط الأسماء الكيميائية الغامضة ببنى جزيئية فريدة.
استرجاع عروض أسعار الموردين المجزأة من قاعدة بيانات التسعير.
اختيار العبوات القابلة للشراء الصالحة تحت قيود النقاء والكمية.
تطبيع الكميات (تحويل المكافئات، والنسب المولية، والأحجام إلى كتلة).
إجراء عمليات حسابية دقيقة لتجميع التكاليف بناءً على وصف التفاعل.

تفشل التقييمات الحالية في عزل أوضاع الفشل المحددة (مثل أخطاء الربط مقابل أخطاء الحساب) أو توفير تسميات حتمية وقابلة لإعادة الإنتاج لسير العمل متعدد الخطوات هذا.

المنهجية: معيار CHEMCOST

لمعالجة هذه الفجوة، قدم المؤلفون CHEMCOST، وهو معيار مصمم للتقييم الحتمي لوكلاء النماذج اللغوية الكبيرة في تقدير تكاليف المشتريات الكيميائية.

بناء مجموعة البيانات

النطاق: يتكون المعيار من 1,427 تفاعلًا قابلاً للتقييم مستمد من خمسة مصادر: قاعدة بيانات التفاعلات المفتوحة (Open Reaction Database)، وكتب التفاعلات المسماة، وOrganic Syntheses، ومجموعات مسارات التخليق التراجعي (PaRoutes, ChemPU)، وأمثلة مصممة يدويًا.
الحقيقة الأرضية: يتم حساب التسميات بشكل حتمي من لقطة ثابتة لـ 230,775 عرض سعر على مستوى العبوة تغطي 2,261 مادة كيميائية.
قواعد المشتريات: تفترض الحقيقة الأرضية مقياسًا ثابتًا للمادة المتفاعلة المحددة بـ 1 مليمول. تُحسب التكلفة عن طريق:
- تحديد المادة المحددة (limiting reagent).
- حساب الكتلة المطلوبة لكل مكون غير مذيب ( $m_i = e_i \times MW_i \times 10^{-3}$ جرام).
- اختيار أصغر عبوة صالحة (النقاء $\ge$ 95%) تغطي الكتلة المطلوبة. إذا لم تكفِ عبوة واحدة، يتم شراء الحد الأدنى من أكبر العبوات.
- تطبيع إجمالي تكلفة الشراء بناءً على جرامات المنتج الناتج (مع مراعاة العائد/الإنتاجية).
حقن الضجيج: لاختبار المتانة، يقوم خط أنابيب ضجيج رباعي الطبقات بتعديل المدخلات مع الحفاظ على الحقيقة الأرضية:
1. ضجيج الاسم الكيميائي: تعدد الأسماء، الاختصارات (مثل TEA)، وغموض المتشكلات (isomers).
2. ضجيج الكمية: التحويل بين النسب المولية، والمكافئات، والأحجام، والمصطلحات الغامضة (مثل "فائض").
3. المعلومات المفقودة: حذف حقول مثل الأوزان الجزيئية، أو العوائد، أو الأدوار.
4. ضجيج التنسيق: محاكاة أخطاء التعرف الضوئي على الحروف (OCR)، والنثر اللغوي الطبيعي، وتدهور ترميز يونيكود (Unicode).

بروتوكول التقييم

إعداد الوكيل: يعمل الوكلاء كحلقات ReAct (الاستدلال + الفعل) بحد أقصى 40 خطوة. وهم مجهزون بأربعة أدوات حتمية: حل الاسم الكيميائي، استرجاع عروض أسعار الموردين، حساب الوزن الجزيئي، والحساب الرياضي.
المقاييس: المقياس الأساسي هو دقة تحمل التكلفة (CTA@k)، والتي تُعرف بأنها نسبة التنبؤات التي تقع ضمن نسبة خطأ نسبي قدرها $k\%$ من الحقيقة الأرضية. تشمل المقاييس الإضافية دقة واستدعاء المكونات، وكفاءة الأدوات، ومعدلات الامتناع عن الإجابة.
النماذج التي تم تقييمها: مجموعة متنوعة من النماذج الرائدة، والنماذج مفتوحة الأوزان، والنماذج المتخصصة في الكيمياء (مثل GPT-5، Qwen3.5-Plus، DeepSeek V4 Pro، ChemDFM، LlaSMol).

النتائج الرئيسية

1. الوصول إلى الأدوات ضروري ولكنه غير كافٍ

سقف الأداء: حتى أقوى الوكلاء (Qwen3.5-Plus) يحققون فقط 50.6% دقة ضمن خطأ نسبي 25% (CTA@25) على المدخلات النظيفة. ينخفض الأداء بشكل كبير تحت المقاييس الأكثر صرامة (CTA@10) وتحت تأثير الضجيج.
فجوة التخصص: تظهر النماذج المتخصصة في الكيمياء (مثل ChemDFM، ChemLLM) قدرة عالية على التعرف على المكونات (الدقة/الاستدعاء) ولكن دقة تكلفة تقترب من الصفر. يشير هذا إلى أن المعرفة بالمجال وحدها لا تترجم إلى استدلال وكيل فعال أو تجميع كمي.
الاعتماد على الأدوات: تؤدي أساليب Zero-shot وChain-of-Thought (CoT) بدون أدوات أداءً ضعيفًا (CTA@25 < 8%)، مما يؤكد أن المعرفة البارامترية غير كافية لاسترجاع أسعار موردين محددة ومحدثة واختيار العبوات بدقة.

2. أوضاع الفشل والمتانة

ضجيج التنسيق حاسم: تعد اضطرابات التنسيق (مثل أخطاء OCR، والنصوص غير المهيكلة) أقوى محفز لامتناع الوكلاء عن الإجابة، حيث تزيد معدلات الامتناع بنحو 26 نقطة مئوية عبر النماذج الرائدة. هذا يعطل مرحلة التحليل الأولية، مما يمنع بدء سير العمل.
أنماط استخدام الأدوات:
- الضرورة: هناك ارتباط قوي ( $r=0.98$ ) بين الانخراط في استخدام الأدوات والنجاح؛ فالنماذج التي لا تستدعي الأدوات تفشل.
- عدم الكفاءة: مجرد استدعاء الأدوات ليس كافيًا. غالبًا ما تتضمن المسارات الفاشلة استرجاعًا غير متقارب (الاستعلام المتكرر دون اختيار عبوة صالحة) أو إنهاءً مبكرًا. غالبًا ما تستخدم الحالات الفاشلة عددًا أكبر من استدعاءات الأدوات مقارنة بالناجحة.
التعرف مقابل الحساب: يمكن للوكلاء غالبًا تحديد المكونات الكيميائية بشكل صحيح (دقة عالية) ولكنهم يفشلون في تجميعها في حالة مشتريات صحيحة (CTA منخفض). الفجوة بين التعرف والحساب تتسع بشكل كبير تحت تأثير الضوضاء.

3. الصعوبة الهيكلية

عمق المسار: يعد عدد خطوات التخليق العامل المهيمن في الصعوبة. تنخفض الدقة من ~42% للتفاعلات ذات الخطوة الواحدة إلى ~11-13% للمسارات متعددة الخطوات (3-5 خطوات).
عدد المكونات: ضمن التفاعلات ذات الخطوة الواحدة، يوجد تأثير يعتمد على النموذج لعدد المكونات؛ حيث تتعامل بعض النماذج بشكل أفضل مع الوصفات متعددة المكونات، ربما بسبب السياق الأغنى للاسترجاع.

الأهمية والادعاءات

يدعي البحث أن CHEMCOST يوفر أول معيار صارم وخالي من الأحيز لتقييم استخدام الأدوات العلمية في سير عمل صناعي واقعي. تكمن أهميته في:

تجاوز التقييم "الصندوق الأسود": من خلال تفكيك المهمة إلى الربط، والاسترجاع، واختيار العبوة، والتجميع، يسمح المعيار بالتشخيص على مستوى المراحل لمعرفة أين يفشل الوكلاء (مثل هشاشة التحليل مقابل عدم فعالية دمج الأدلة).
تسليط الضوء على "فجوة الربط": تظهر النت النتائج أنه بينما تتحسن النماذج اللغوية الكبيرة في التنسيق العام للأدوات، فإنها تعاني مع القيود المحددة للمجالات العلمية: حل الكيانات الغامضة، والالتزام بقواعد المشتريات الصارمة، والحفاظ على تتبع الحالة الكمية تحت مدخلات ضوضائية.
تحديد المسار المستقبلي: يرى المؤلفون أن التقدم في الوكلاء العلميين يتطلب ليس فقط نماذج أفضل، بل أيضًا ربطًا موثوقًا، وتتبعًا للحالة مدركًا للاسترجاع، وآليات امتناع معايرة. تشير الحالة الراهنة إلى أن الوصول إلى الأدوات هو شرط مسبق، لكن دمج الأدلة المسترجعة في قرار كمي متماسك يظل تحديًا كبيرًا.

يخلص المؤلفون إلى أنه بينما يمكن للوكلاء تقريب التكالب، فإن الاستدلال الدقيق والموثوق للمشتريات في الظروف الواقعية لا يزال مشكلة مفتوحة، مما يستلزم مزيدًا من البحث في استخدام الأدوات المهيكلة والمتانة تجاه تغير المدخلات.