From Values to Benchmarks: Evaluating Large Language Models for Governmental Use in Dutch
تقدم هذه الورقة إطار عمل "السيطرة على النماذج اللغوية الكبيرة" (Grip on LLMs)، وهو مجموعة تقييم شاملة تم تطويرها بالتعاون مع خبراء من البلديات الهولندية لتقييم النماذج اللغوية الكبيرة للاستخدام الحكومي عبر ستة أبعاد رئيسية، كاشفةً أنه لا يوجد نموذج واحد يتفوق في جميع المجالات ومسلطةً الضوء على المقايضات الحاسمة بين الجودة والتكلفة والأثر البيئي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك اشتريت للتو مساعداً آلياً (روبوتاً) فائق الذكاء، يمكنه كتابة رسائل البريد الإلكتروني، والإجابة على الأسئلة، وتلخيص التقارير الطويلة. إنه يشبه امتلاك أمين مكتبة عبقري لا ينام أبداً. ولكن هنا تكمن المشكلة: لقد تم تدريب هذا الروبوت في الغالب على كتب مكتوبة باللغة الإنجليزية، وأنت تحتاج إليه لمساعدة حكومة مدينة في هولندا، حيث يتحدث الجميع اللغة الهولندية. لا يمكنك ببساطة أن تطلب منه أن "يبذل قصارى جهده"، لأنه إذا ارتكب خطأً، فقد يحرم شخصاً ما من ميزة ما عن غير قصد، أو ينشر أخباراً كاذبة، أو يعامل مجموعة من الناس بشكل غير عادل.
هذا هو عالم النماذج اللغوية الكبيرة (LLMs). فكر فيها كأدمغة رقمية قرأت كل شيء تقريباً على الإنترنت. إنها بارعة في التحدث والكتابة، ولكن يمكن أن تكون مخادعة أيضاً. قد تكذب بثقة (تختلق أشياء من عندها)، أو تكون متحيزة ضد بعض الناس، أو تستهلك الكثير من الكهرباء لدرجة تجعلها تبدو وكأنها محطة طاقة صغيرة. بالنسبة للحكومة، استخدام هذه الروبوتات لا يتعلق فقط باختيار "الأذكى" منها؛ بل يتعلق باختيار الروبوت الذي يتسم بالأمانة، والعدل، ولا يستنزف الميزانية أو الكوكب. وحتى الآن، لم تكن هناك طريقة جيدة لاختبار هذه الروبوتات خصيصاً لوظائف الحكومة الهولندية.
تقرير "السيطرة على النماذج اللغوية الكبيرة": اختبار الروبوتات
قرر فريق من الباحثين من مدينة أمستردام، بالتعاون مع خبراء جامعيين، إصلاح هذا الأمر. لقد بنوا إطار عمل جديد للاختبار يسمى "Grip on LLMs" (السيطرة على النماذج اللغوية الكبيرة). وبدلاً من مجرد السؤال: "ما مدى ذكاء هذا الروبوت؟"، سألوا مجموعة من موظفي المدينة، وصناع السياسات، وخبراء التنوع: "ما هو الأمر الأكثر أهمية عندما توظفون روبوتاً للمساعدة في إدارة المدينة؟"
قدم لهم الخبراء قائمة من ستة أشياء تهمهم:
- الواقعية (Factuality): هل يقول الحقيقة؟
- الأمانة (Honesty): إذا لم يعرف الإجابة، هل يعترف بذلك، أم أنه يختلق شيئاً ما فحسب؟
- التحيز الاجتماعي (Social Bias): هل يعامل الناس من مختلف الأعمار أو الأجناس أو الخلفيات بعدل؟
- استهلاك الطاقة (Energy Consumption): كم تستهلك من الكهرباء؟
- التكلفة (Cost): كم يكلف تشغيلها؟
- شفافية بيانات التدريب (Training Data Transparency): هل نعرف الكتب والمواقع التي تعلم منها؟
بعد ذلك، قاموا باختبار أكثر من 30 عقلاً روبوتياً مختلفاً (سواء تلك الشهيرة من شركات التكنولوجيا الكبرى أو الأصغر والأكثر انفتاحاً/مفتوحة المصدر) باستخدام هذه المعايير الستة. كما أنشأوا "بطاقة تقرير" خاصة يمكن لأي شخص، حتى غير المتخصص، فهمها.
المفاجأة الكبرى: لا يوجد روبوت مثالي
أهم شيء وجدوه هو أنه لا يوجد روبوت واحد "أفضل". الأمر يشبه محاولة شراء سيارة تكون هي الأسرع، والأكثر كفاءة في استهلاك الوقود، والأرخص، والأكثر أماناً في آن واحد. لا يمكنك الحصول على كل شيء؛ عليك تقديم تنازلات.
- مشكلة "الذكاء مع الخداع": اكتشف الباحثون أن كون الروبوت "ذكياً" (واقعية عالية) لا يعني بالضرورة أنه "أمين". في الواقع، كانت بعض النماذج الأحدث والأكثر قوة بارعة في الإجابة على الأسئلة بشكل صحيح، ولكنها كانت سيئة جداً في الاعتراف بعدم معرفتها لشيء ما. كانت تختلق إجابات بثقة بدلاً من قول: "أنا لست متأكداً". بالنسبة للحكومة، هذا أمر خطير لأن الكذبة الواثقة أسوأ من قول "لا أعرف" بهدوء.
- تكلفة القوة: الروبوتات التي كانت الأكثر ذكاءً وقدرة كانت أيضاً الأكثر تكلفة في المال واستهلاكاً للطاقة. إذا أرادت مدينة روبوتاً فائق الذكاء، فعليها أن تكون مستعدة لدفع سعر أعلى واستخدام المزيد من الكهرباء.
- التحيز هو متغير عشوائي: كون الروبوت مكلفاً أو ذكياً لم يضمن أنه عادل. كانت بعض الروبوتات الرخيصة متحيزة جداً، بينما كانت بعض الروبوتات الغالية عادلة. لا يمكنك افتراض أن إنفاق المزيد من المال سيشتري لك روبوتاً "ألطف". يجب عليك فحص التحيز بشكل محدد.
الحل: لوحة تحكم سهلة الاستخدام
بسبب تعقيد النتائج، لم يكتفِ الفريق بنشر قائمة مملة من الأرقام. بل بنوا لوحة تحكم ملونة وسهلة القراءة (مثل شاشة اختيار الشخصيات في ألعاب الفيديو).
- الحبوب الخضراء توضح مدى جودة الروبوت في قول الحقيقة.
- الأعمدة الحمراء توضح مقدار الطاقة أو المال الذي يستهلكه.
- الأيقونات توضح ما إذا كان الروبوت متحيزاً ضد مجموعات معينة.
تسمح هذه الأداة لمدير المدينة بالنظر إلى لوحة التحكم والقول: "حسناً، نحن بحاجة إلى روبوت يكون أميناً جداً ورخيصاً، حتى لو لم يكن الأذكى على الإطلاق"، أو "نحن بحاجة إلى الأذكى، ونحن مستعدون لتحمل تكلفة الطاقة العالية".
ما لم يجدوه (وما هو القادم)
يؤكد البحث بعناية أن هذه ليست قائمة "الفائز الوحيد" النهائية. إنها لقطة للوضع الحالي. كما أشاروا إلى أنه بينما اختبروا التحيز ضد العمر والجنس والأصل، فإن هناك العديد من أنواع التحيز الأخرى (مثل الآراء السياسية) التي لم يغطوها بالكامل بعد. كما وجدوا أن بعض الروبوتات كانت رائعة في تلخيص المستندات ولكنها سيئة جداً في تبسيط النصوص القانونية المعقدة للمواطنين العاديين.
الخلاصة الرئيسية هي أن الحكومات لا يمكنها ببساطة اختيار الروبوت الذي يحصل على أعلى درجة في اختبار قياسي. عليهم النظر إلى الصورة الكاملة. إذا أرادوا روبوتاً آمناً وعادلاً وصادقاً للمواطنين الهولنديين، فعليهم أن يكونوا مستعدين لاتخاذ خيارات والقبول بأنه لا يوجد روبوت واحد مثالي في كل شيء. أداة "Grip on LLMs" هي الخريطة التي تساعدهم على التنقل عبر هذه الخيارات دون أن يضلوا الطريق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.