Evaluating Large Language Model Performance on International Maritime Dangerous Goods Code Compliance
تقدم هذه الورقة DGEval، وهو أول معيار لتقييم النماذج اللغوية الكبيرة في مجال المدونة الدولية لنقل البضائع الخطرة (IMDG)، والذي كشف عن أنه بينما يمكن للنماذج أن تفوق البشر في الأسئلة متعددة الخيارات وعمليات البحث المهيكلة، فإن عدم موثوقيتها في المجالات الحرجة للسلامة مثل التخزين والفصل تستوجب استمرار الإشراف البشري قبل النشر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
المحيط قوة هائلة وجبارة، ويتطلب نقل البضائع عبره مجموعة صارمة من القواعد للحفاظ على سلامة السفن والبحارة والبيئة. عندما تقوم الشركات بشحن مواد خطرة مثل المواد الكيميائية أو البطاريات أو السوائل القابلة للاشتعال، يجب عليها اتباع كتاب قواعد دولي ضخم يسمى "المدونة الدولية لنقل البضائع الخطرة". هذا المستند ليس مجرد قائمة بسيطة؛ بل هو شبكة معقدة من التعليمات التي تملي كيفية تصنيف كل عنصر وتعبئته ووضع الملصقات عليه ووضعه على متن السفينة. إن ارتكاب خطأ في هذا المجال قد يؤدي إلى حرائق أو انفجارات أو تسربات سامة يستحيل إصلاحها بمجرد أن تكون السفينة في عرض البحر. ولعقود من الزمن، اعتمد الأشخاص المسؤولون عن هذه القرارات على تدريبهم الخاص وفحوصاتهم اليدوية الدقيقة لضمان الامتثال. والي اليوم، يتجه العديد من هؤلاء المهنيين إلى نوع جديد من الأدوات: أنظمة الذكاء الاصطناعي المعروفة باسم نماذج اللغات الكبيرة. يمكن لهذه البرامج الحاسوبية قراءة الإجابة على الأسئلة بلغة بشرية، مما يوفر وعداً بالوصول الفوري إلى آلاف الصفحات من اللوائح. ولكن نظرًا لأن الخطأ في هذا المجال قد يكلف أرواحاً، فإن السؤال لا يقتصر فقط على ما إذا كانت هذه الأدوات ذكية، بل ما إذا كانت آمنة بما يكفي للوثوق بها في اتخاذ القرونات الأكثر حرجاً.
لقد وضع فريق من الباحثين مهمة للإجابة على هذا السؤال من خلال بناء اختبار صارم مصمم خصيصاً لسلامة الملاحة البحرية. لقد أنشأوا معياراً تقييمياً يسمى "DGEval"، والذي يعمل كاختبار نهائي للذكاء الاصطناعي. تم بناء الاختبار من مواد تدريبية واقعية يستخدمها المتخصصون في الشحن ومن القائمة الرسمية للبضائع الخطرة. ويحتوي الاختبار على ما يقرب من 1700 سؤال تغطي كل شيء، بدءاً من تحديد الاسم الصحيح لمادة كيميائية وصولاً إلى معرفة مكان وضع حاوية معينة على السفينة لتجنب وقوع كارثة. قام الباحثون بتقييم ثلاثة عشر نموذجاً مختلفاً من الذكاء الاصطناعي من ست شركات تكنولوجية كبرى. واختبروا هذه النماذج بطرق متنوعة، حيث طلبوا منها الإجابة على أسئلة الاختيار من متعدد، وكتابة شروحات نصية حرة، والبحث عن بيانات محددة، وتحديد الجزء بدقة من كتاب القواعد الذي يحتوي على الإجابة. كما اختبروا ما إذا كان منح النماذج إمكانية الوصول إلى الإنترنت للبحث عن المعلومات سيساعدها على الأداء بشكل أفضل.
كشفت النتائج عن انقسام واضح بين ما تستطيع هذه النماذج القيام به وما لا تستطيع. فالنموذج الأفضل أداءً، وهو نظام ضخم من شركة جوجل، تمكن من الإجابة على أسئلة الاختيار من متعدد بشكل صحيح أكثر من متوسط المحترفين المدربين. وقد برع في استرجاع الحقائق المباشرة، مثل الاسم الرسمي لمادة كيميائية أو فئتها الخطرة الأساسية. ومع ذلك، وجدت الدراسة أن النماذج كانت أضعف بكثير في المجالات التي تهم السلامة أكثر. فعندما تضمنت الأسئلة قرارات تشغيلية معقدة — وتحديداً كيفية فصل البضائع غير المتوافقة أو أين يتم تخزينها على متن السفينة — واجهت النماذج صعوبة. حتى الأنظمة الأعلى أداءً ارتكبت أخطاءً متكررة في هذه المناطق عالية المخاطر. كما اكتشف الباحثون أن النماذج كانت سيئة جداً في الإشارة إلى القسم المحدد من كتاب القواعد الذي يمكن العث find الإجابة فيه، وهي مهارة ضرورية للإنسان للتحقق من عمل الذكاء الاصطناعي.
كما بحثت الدراسة في كيفية تأثير أنواع مختلفة من الأسئلة على الأداء. فعندما طُلب من النماذج ببساطة اختيار الإجابة الصحيحة من قائمة، كان أداؤها جيداً إلى حد ما. ولكن عندما طُلب منها توليد إجابة من الصفر دون وجود خيارات للاختيار من بينها، انخفضت دقتها. يشير هذا إلى أن النماذج جيدة في التعرف على المعلومات الصحيحة عندما تُعرض عليها، لكنها أقل موثوقية في إنتاج تلك المعلومات من تلقاء نفسها. ووجد الباحثون أن منح النماذج إمكانية الوصول إلى الإنترنت للبحث عن الإجابات ساعدها بشكل كبير عند البحث عن بيانات محددة، لكنه لم يساعدها في مهام الاستنتاج المعقدة. ومن المثير للاهتمام أن النموذج الذي تم تدريبه خصيصاً على اللوائح البحرية لم يؤدِ بشكل أفضل من نموذج عام قياسي، مما يشير إلى أن مجرد إضافة المزيد من النصوص حول السفن إلى بيانات التدريب ليس كافياً لحل المشكلة.
ولعل أهم نتيجة هي أن النماذج كانت غير متسقة. فقد يحصل النظام على حقيقة بسيطة بشكل صحيح ولكنه يفشل في قاعدة حاسمة للسلامة يمكن أن تمنع نشوب حريق. وأشار الباحثون إلى أن النماذج غالباً ما ترفض الإجابة على الأسئلة المتعلقة بالمواد الخطرة مثل المتفجرات أو الغازات السامة، حيث تعامل استفسارات السلامة المشروعة كما لو كانت طلبات ضارة. إن عدم القدرة على التمييز بين سؤال السلامة وتهديد السلامة يعني أن هذه الأدوات غير موثوقة حالياً في الأجزاء الأكثر خطورة من العمل. وخلصت الدراسة إلى أنه بينما يمكن أن تكون أدوات الذكاء الاصطناعي هذه مفيدة لمساعدة المهنيين في العثور على المعلومات بسرعة، إلا أنها ليست جاهزة بعد لاتخاذ قرارات السلامة بمفردها. وقد أكد الباحثون أن الإشراف البشري يظل ضرورياً؛ إذ يجب على المهني دائماً مراجعة عمل الذكاء الاصطناعي مقابل كتاب القواعد الرسمي قبل اتخاذ القرار النهائي. إن هذه الدراسة ليست حكماً لمرة واحدة، بل هي أداة لضمان السلامة المستمرة، تذكر الصناعة بأنه مع تطور هذه الأنظمة الحاسوبية، يجب اختبارها باستمرار لضمان عدم فشلها عندما يكون الأمر في غاية الأهمية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.