INS-ActBench: A Comprehensive Benchmark for Assessing Professional Actuarial Capability of Large Language Models
تقدم الورقة البحثية INS-ActBench، وهو معيار شامل يتكون من أكثر من 12,000 سؤال من 16 جمعية اكتوارية لتقييم النماذج اللغوية الكبيرة عبر المعرفة، والاستدلال في الحالات ذات السياق الطويل، والممارسة القائمة على الأدوات، مما يكشف أنه بينما تتفوق النماذج الرائدة في المعرفة المعيارية، إلا أنها لا تزال تتخلف بشكل كبير في تدفقات العمل المهنية المعقدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يصبح ساحراً مالياً. لقد علمته بالفعل كيفية قراءة قاموس لمصطلحات المال، وكيفية إجراء العمليات الحسابية الأساسية. لكن لكي يكون ساحراً حقيقياً، لا يكفي أن يعرف التعاويذ فحسب؛ بل يجب أن يعرف متى يستخدمها، وكيف يمزج بينها عندما يكون الموقف معقداً، وأن يمتلك يدين ثابتتين لإلقاء التعويذة بالفعل دون إحراق القلعة. هذا هو عالم النماذج اللغوية الكبيرة (LLMs)—وهي برامج حاسوبية ذكية للغاية يمكنها القراءة والكتابة والاستنتاج مثل البشر. لفترة طويلة، اختبرنا هذه الروبوتات في مهام معزولة: "هل يمكنك تعريف هذه الكلمة؟" أو "هل يمكنك حل هذه المسألة الرياضية؟" ولكن في العالم الحقيقي، لا يعمل المحترفون في عزلة. عليهم قراءة عقد مكون من مائة صفحة، والعثور على البند الصغير الوحيد الذي يهم، وحساب المخاطر، ثم استخدام جدول بيانات أو كود برمجي لإثبات صحة إجابتهم. يسأل هذا البحث سؤالاً كبيراً: هل تستطيع هذه السحرة من الذكاء الاصطناعي القيام بالوظيفة بأكملها، أم أنهم بارعون فقط في حفظ البطاقات التعليمية؟
إليك INS-ActBench، وهو "امتحان نهائي" ضخم جديد صممه باحثون من جامعة فودان لاختبار الذكاء الاصطناعي في وظيفة محددة وعالية المخاطر وهي: العلوم الاكتوارية. فكر في الخبير الاكتواري كأنه محقق مخاطر محترف يعمل لصالح شركات التأمين. إنهم يستخدمون الرياضيات والإحصاء والاقتصاد لمعرفة مدى احتمالية وقوع شيء سيء (مثل حادث سيارة أو حريق منزل) وكمية الأموال التي تحتاج الشركة لادخارها لتغطية ذلك. إنها وظيفة تتطلب معرفة القواعد، وقراءة قصص معقدة عن كوارث واقعية، وإجراء حسابات دقيقة لا يمكن أن تخطئ. لقد بنى الباحثون بنك أسئلة يتكون من 12,050 سؤالاً مستخرجة من امتحانات حقيقية خاضها خبراء اكتواريون حول العالم. لم يكتفوا بسؤال معلومات عامة بسيطة؛ بل صمموا الاختبار ليروا ما إذا كان بإمكان الذكاء الاصطناعي التعامل مع ثلاثة مستويات مختلفة من الصعوبة:
- البطاقات التعليمية (INS-Act-Know): هل يمكن للذكاء الاصطناعي تذكر التعريفات والصيغ؟
- الرواية الغامضة (INS-Act-Case): هل يمكن للذكاء الاصطناعي قراءة قصة طويلة ومعقدة عن تمويل شركة ما، والعثور على الأدلة الخفية، وتقديم تخمين ذكي للمستقبل؟
- الورشة (INS-Act-Practice): هل يمكن للذكاء الاصطناعي القيام بالعمل فعلياً عبر كتابة الكود البرمجي الصحيح أو صيغ جداول البيانات للحصول على رقم يمكن التحقق منه؟
عندما وضع الباحثون تسعة نماذج مختلفة من الذكاء الاصطناعي تحت هذا الاختبار المرهق، كانت النتائج مزيجاً من "الذهول" و"الإخفاق". كانت نماذج الذكاء الاصطناعي جيدة بشكل مفاجئ في المستوى الأول؛ فقد أتقنوا البطاقات التعليمية، وغالباً ما سجلوا درجات أعلى من الخبراء البشر في أسئلة المعرفة المعيارية. اتضح أنه إذا طلبت من الذكاء الاصطناعي مجرد استرجاع قاعدة أو حل مسألة رياضية بسيطة، فإنه يكون عبقرياً.
ومع ذلك، في اللحظة التي أصبح فيها الاختبار معقداً، تعثرت الروبوتات. عندما كان على الذكاء الاصطناعي قراءة حالة تأمينية طويلة ومعقدة (مستوى "الرواية الغامضة")، انخفضت درجاتهم بشكل كبير. لقد عانوا في ربط النقاط بين الأجزاء المختلفة من القصة. والأسوأ من ذلك، عندما كان عليهم دخول "الورشة" وكتابة الكود أو صيغ جداول البيانات لإنتاج رقم نهائي، فشلوا في القيام بذلك بشكل موثوق. وجدت الدراسة أنه بينما يمكن للذكاء الاصطناعي التحدث عن الرياضيات، فإنه غالباً لا يستطيع إجراء الرياضيات بطريقة متسقة وقابلة للتحقق.
اكتشف الباحثون أيضاً أن أداء الذكاء الاصطناعي يتغير بناءً على مصدر القواعد. فقوانين التأمين تختلف في الولايات المتحدة والمملكة المتحدة واليابان. كانت نماذج الذكاء الاصطناعي رائعة في القواعد "القياسية" التي رأت كثيراً في تدريبها، لكنها ارتبكت عندما جاءت الأسئلة من دول مختلفة ذات لوائح محلية مختلفة. كما وجدوا أن أكبر إخفاقات الذكاء الاصطناعي لم تكن عادةً بسبب نسيانه لكيفية استخدام أداة (مثل الآلة الحاسبة)؛ بل لأنه استخدم الأداة بشكل صحيح ولكنه طبق المنطق أو الصيغة الخاطئة على المشكلة.
باختصار، يشير هذا البحث إلى أنه بينما أصبح الذكاء الاصطناعي موسوعة رائعة للمعرفة الاكتوارية، فإنه ليس بعد مساعداً مهنياً موثوقاً. يمكنه اجتياز الاختبار التحريري، لكنه ليس مستعداً للجلوس في المكتب واتخاذ القرارات النهائية التي تحافظ على سلامة شركات التأمين. ويخلص الباحثون إلى أنه لكي يساعد الذكاء الاصطناعي حقاً في هذا المجال، يجب أن يصبح أفضل بكثير في ربط النقاط في القصص الطويلة وتنفيذ سير عمل معقد وخطوة بخطوة دون ارتكاب أخطاء صغيرة ولكنها مكلفة. في الوقت الحالي، لا يزال الخبير البشري هو من يمسك بالقلم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.