← أحدث الأبحاث
🤖 machine learning

Designing a Robust LLM-Based Evaluation System for Agentic AI in Drug Discovery Through Human Alignment

تقدم هذه الورقة إطار عمل لتقييم "النموذج اللغوي الكبير كحكم" (LLM-as-a-Judge) متوافق مع البشر لنظام ChatInvent الوكيل لاكتشاف الأدوية، والذي يحدد أبعاد جودة محددة، ويتحقق من نموذج الحكم ويقوم بتحسينه من خلال التعليقات التوضيحية للخبراء لتحقيق توافق عالٍ، ويكشف أن الصياغة غير الرسمية لا تعيق الأداء.

المؤلفون الأصليون: Emma Granqvist, Rocío Mercado, Samuel Genheden

نُشر 2026-08-24
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Emma Granqvist, Rocío Mercado, Samuel Genheden

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم اكتشاف الأدوية عالي المخاطر، يقضي العلماء سنوات في تصميم الجزيئات، وبنائها في المختبر، واختبارها لمعرفة ما إذا كان بإمكانها علاج الأمراض. هذه العملية بطيئة، ومكلفة، ومليئة بالقرارات المعقدة. مؤخراً، دخل نوع جديد من الذكاء الاصطناي إلى المشهد: أنظمة لا تكتفي فقط بالإجابة على الأسئلة، بل تتخذ إجراءات. تُسمى هذه الأنظمة "الأنظمة الوكيلة" (agentic systems). وخلافاً لبرامج الدردشة الآلية القياسية التي تولد النصوص فحسب، يمكن للوكيل التخطيط لتجربة متعددة الخطوات، والاستعانة ببرمجيات متخصصة لحساب الخصائص الكيميائية، واسترجاع البيانات من قواعد بيانات علمية ضخمة. إنه يعمل كأنه مساعد بحث رقمي يمكنه القيام بالعمل فعلياً، وليس مجرد التحدث عنه. ومع ذلك، مع زيادة قدرة هؤلاء المساعدين الرقميين، يبرز مشكل حرج: كيف نعرف ما إذا كانوا يقومون بعمل جيد؟ إن الطرق التقليدية لتقييم إجابات الكمبيوتر، والتي تعتمد غالباً على مطابقة الكلمات مع إجابة صحيحة، تفشل عندما تكون المهمة مفتوحة أو إبداعية. علاوة على ذلك، فإن طلب تقييم كل مخرج من قبل خبراء بشريين يعد أمراً بطيئاً جداً لمواكبة سرعة هذه الآلات الجديدة. لقد احتاج المجتمع العلمي إلى طريقة لتقييم هؤلاء الوكلاء تكون سريعة وموثوقة في آن واحد.

قام فريق من الباحثين في شركة "أسترازينيكا" وجامعة "غوتهنبرغ" بمعالجة هذا التحدي من خلال بناء نظام يعمل فيه ذكاء اصطناعي واحد كحكم لذكاء اصطناعي آخر. وقد ركزوا على أداة محددة تسمى "ChatInvent"، وهو مساعد وكيل مصمم لمساعدة العلماء في التنقل عبر مراحل تطوير الأدوية. أدرك الباحثون أن مجرد ترك الذكاء الاصطناعي يقيم نفسه هو أمر محفوف بالمخاطر، لأن هذه النماذج قد تكون منحازة أو غير متسقة. ولحل هذه المشكلة، صمموا إطار اختبار صارم لضمان توافق "الذكاء الاصطناعي الحَكَم" مع الخبراء البشريين. وقد حددوا أربعة صفات محددة يجب أن تتوفر في الإجابة الجيدة: ما إذا كانت الاستجابة كاملة، وما إذا كانت المعلومات ذات صلة بالسؤال، ومدى وضوح وتنظيم النص، وما إذا كان الوكيل ملتزماً بدوره المحدد دون محاولة القيام بأشياء لم يُكلف بها. كما تضمنوا فحصاً دقيقاً لمعرفة ما إذا كان الوكيل قد استخدم الأدوات الحاسوبية الصحيحة لإنجاز المهمة.

ولإيجاد أفضل حَكَم، اختبر الفريق أربعة نماذج مختلفة من الذكاء الاصطناعي القوية، بما في ذلك خيارات من شركات تكنولوجية كبرى ومشاريع مفتوحة المصدر. وطلبوا من خمسة خبراء في الكيمياء والذكاء الاصطناعي تقييم مجموعة من 35 سؤالاً وإجابة. وقد زُوّد هؤلاء الخبراء بنفس التعليمات والمعلومات التي حصل عليها الحكام من الذكاء الاصطناعي. ثم قارن الباحثون الدرجات التي وضعها البشر مقابل الدرجات التي قدمها كل نموذج من نماذج الذكاء الاصطناعي. ووجدوا أنه بينما لم يتفق الخبراء البشريون دائماً فيما بينهم بشكل مثالي، إلا أن نماذج الذكاء الاصطناعي كانت متسقة بشكل مدهش. وقد توافق أحد النماذج، على وجه الخصوص، بشكل وثيق جداً مع رأي أغلبية البشر. ثم استخدم الباحثون مجموعة صغيرة من الأمثلة، التي قام الخبراء البشريون بتوصيفها، لضبط أداء هذا الحَكَم من الذكاء الاصطناعي الأفضل أداءً. هذه العملية، المعروفة باسم "التحسين" (optimization)، حسنت قدرة الحَكَم على مطابقة التفكير البشري، مما رفع درجة توافقه من 80% إلى 86%.

ومع وجود حَكَم موثوق، قام الفريق بتقييم 70 سؤالاً جديداً لم يسبق لنظام "ChatInvent" رؤيتها من قبل. وكشفت النتలు عن نقاط القوة والضعف في أداء الوكيل. فقد كان النظام ممتازاً في البقاء ضمن الموضوع، وتنظيم إجاباته بوضوح، واستخدام الأدوات الصحيحة لجمع المعلومات. ومع ذلك، فقد عانى من مشكلة في الاكتمال؛ ففي ما يقرب من 40% من الحالات، قدم الوكيل إجابة جزئية، وغالباً ما نسي تضمين تفاصيل محددة مثل مكان العثين على ملف تم إنشاؤه أو خاصية كيميائية مطلوبة. واكتشف الباحثون أن هذا لم يكن بسبب سوء فهم الوكيل للسؤال، بل لأنه فشل أحياناً في تنفيذ خطوة نهائية في سير عمله. ومن المثير للاهتمام أن الطريقة التي يُطرح بها السؤال أحدثت فرقاً؛ فقد اختبر الفريق أسئلة تتراوح بين الرسمية جداً والعفوية جداً. ووجدوا أن الصياغة الرسمية المفرطة لم تساعد الوكيل على الأداء بشكل أفضل؛ بل في الواقع، أدت الصياغة الأكثر عفوية أو حيادية أحياناً إلى نتائج أفضل. وهذا يشير إلى أن الوكيل قد يستفيد من امتلاك نظام داخلي خاص به يعيد كتابة مطالب المستخدم المتصلبة أو المعقدة إلى نسخة أكثر وضوحاً قبل أن يبدأ العمل.

تخلص الدراسة إلى أنه على الرغم من أن هذه الأنظمة الوكيلة تحمل وعوداً كبيرة لتسريع اكتشاف الأدوية، إلا أنها ليست مثالية بعد. لقد أثبت الباحثون أنه من الممكن بناء نظام تقييم آلي قوي يحاكي الحكم البشري، بشرط أن يكون الحَكَم متوافقاً بعناية مع آراء الخبراء. ويسمح هذا النهج للمطورين بتحديد مواضع إخفاق وكلائهم بسرعة — مثل فقدان مسارات الملفات أو البيانات غير المكتملة — دون الحاجة إلى توظيف فريق من المقيمين البشريين لكل اختبار. ويعمل هذا العمل كنموذج للمستقبل، موضحاً أنه لكي يكون الذكاء الاصطناعي مفيداً حقاً في العلوم، يجب علينا أولاً تعليمه كيفية تقييم عمله بنفس العناية والدقة التي يستخدمها الخبير البشري.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.LG →