NeuroState-Bench: A Human-Calibrated Benchmark for Commitment Integrity in LLM Agent Profiles
يُعد NeuroState-Bench معياراً مُعايرًا بشرياً يُقيّم ملفات تعريف وكلاء النماذج اللغوية الكبيرة باستخدام مجسات الاستعلام الجانبي لقياس نزاهة الالتزام، كاشفاً أن النجاح في المهام والنزاهة غالباً ما يتباعدان، وأن تصنيفات النزاهة أكثر استقراراً تحت تأثير اضطرابات المشتتات مقارنة بمقاييس النجاح التقليدية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً شخصياً لتخطيط رحلة معقدة لعدة أيام. تعطيه قائمة من القواعد: "احجز الفندق الذي يطل على المحيط"، "لا تنفق أكثر من 200 دولار على العشاء"، و"تذكر أن لدي حساسية من الفول السوداني".
الطريقة القديمة (تقييم النتيجة النهائية فقط):
في الماضي، كنا نتحقق فقط من النتيجة النهائية. إذا عاد إلينا المساعد بمسار رحلة مثالي يتضمن فندقاً بإطلة على المحيط، وعشاءً رخيصاً، وخالياً من الفول السوداني، كنا نعطيه درجة "أ". لم نكن نهتم بكيفية وصوله إلى هناك. ربما نسي موضوع حساسية الفول السوداني في منتصف الطريق، ثم أصابه الذعر وقام بإصلاح الأمر في اللحظة الأخيرة. ربما حجز الفندق الخطأ بالخطاب لكنه استبدله لأنه حالفه الحظ. طالما أن الورقة النهائية تبدو جيدة، فقد أُنجزت المهمة.
المشكلة الجديدة:
يجادل مؤلفو هذه الورقة البحثية، NeuroState-Bench، بأن نظام "الدرجة النهائية" هذا أمر خطير. في العالم الحقيقي، نحتاج إلى معرفة ما إذا كان المساعد قد "تذكر القواعد باستمرار" طوال العملية بأكملها. هل وضع حساسية الفول السوداني في اعتباره أثناء طلب الغداء؟ هل التزم بالميزانية حتى عندما أغرته مطاعم فاخرة؟ إذا نسي القواعد في المنتصف ثم أصلحها في النهاية فقط، فقد يرتكب خطأً في رحلة أخرى حيث لا تتاح له فرصة ثانية.
الحل الجديد: اختبار "السؤال الجانبي"
قدمت الورقة طريقة جديدة لاختبار وكلاء الذكاء الاصطناי (برامج كمبيوتر ذكية) تسمى NeuroState-Bench. بدلاً من مجرد انتظار الإجابة النهائية، يطرح هذا المعيار "أسئلة جانبية" على الذكاء الاصطنا أثناء العمل.
فكر في الأمر كمعلم يتجول في الفصل الدراسي أثناء الاختبار:
- المهمة: "اكتب مقالاً عن تاريخ روما."
- السؤال الجانبي: "مهلاً، قبل أن تنتهي، ما هو اسم أول إمبراطور ذكرته؟"
إذا كتب الطالب مقالاً رائعاً ولكنه لم يستطع تذكر اسم الإمبراطور عندما سُئل، فقد يكون قد خمن النهاية أو نسخها من مكان ما. هو لم "يحافظ حقاً على الالتزام" بالحقائق التي كان يكتب عنها.
كيف يعمل هذا المعيار:
- الإعداد: أنشأ الباحثون 144 "سيناريو" مختلفاً (مثل مثال تخطيط الرحلة) مع 8 أنواع مختلفة من التحديات الذهنية (مثل تذكر قاعدة، أو تجاهل مشتت، أو إصلاح خطأ).
- الاختبارات (البروبس): لكل سيناريو، أضافوا 306 "أسئلة جانبية" محددة مصممة للتحقق مما إذا كان الذكاء الاصطناعي لا يزال متمسكاً بالقواعد الأصلية.
- التحقق البشري: راجع البشر هذه الاختبارات للتأكد من أن الأسئلة عادلة وأن مستويات الصعوبة دقيقة. وجدوا أن البشر والذكاء الاصطناعي اتفقوا بدرجة عالية جداً على ما هو "صعب" وما هو "سهل".
- الدرجة: قاموا بحساب درجة جديدة تسمى HCCIS-CORE. تقيس هذه الدرجة "نزاهة الالتزام". وهي تسأل: هل ظل الذكاء الاصطناعي وفياً للقواعد التي وعد باتباعها، حتى عندما أصبحت الأمور مربكة؟
النتائج المفاجئة:
عندما اختبروا 32 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (بعضها صغير وبعضها ضخم وقوي جداً)، وجدوا شيئاً صادماً:
- "الطالب الأفضل" ليس هو "الطالب الأكثر أمانة": النموذج الذي حصل على أكبر عدد من الإجابات النهائية الصحيحة لم يكن هو النموذج الذي ظل أكثر اتساقاً مع القواعد.
- انقلاب التصنيف: إذا قمت بترتيب نماذج الذكاء الاصطناعي حسب إجاباتها النهائية، فسيذهب المركز الأول لنموذج معين. ولكن إذا رتبتها حسب "نزاهة الالتزام" (مدى تمسكها بالقواعد)، فإن هذا النموذج نفسه سيتراجع، وسيتولى نموذج آخر المركز الأول. في الواقع، تغير تصنيف 31 نموذجاً من أصل 32 نموذجاً عند الانتقال من تقييم "الإجابة النهائية" إلى تقييم "الالتزام".
- المشتتات: عندما أضاف الباحثون "مشتتات" (معلومات إضافية مربكة)، انهارت النماذج التي كانت جيدة في الحصول على الإجابة النهائية الصحيحة. ومع ذلك، ظلت النماذج ذات "نزاهة الالتزام" العالية ثابتة؛ فقد كانت أفضل في تجاهل الضجيج والتمسك بالخطة.
ماذا يعني هذا (وفقاً للورقة البحثية):
تخلص الورقة إلى أن الحصول على الإجابة الصحيحة في النهاية ليس دليلاً كافياً على أن الذكاء الاصطناعي موثوق. يمكن للذكاء الاصطناعي أن يحصل بالصدفة على الإجابة الصحيحة بينما يفقد تماماً تتبع القواعد في المنتصف.
لقد بنى المؤلفون هذا المعيار ليكون بمثابة "اختبار جهد" لأمانة واتساق الذكاء الاصطناعي. هم لا يدعون أنهم صنعوا ذكاءً اصطناعياً جديداً أكثر ذكاءً، بل صنعوا "مسطرة" أفضل لقياس ما إذا كان الذكاء الاصطناعي يفعل حقاً ما يقول إنه يفعله.
ما لم يدّعوه:
- لم يدّعوا أن هذا أداة طبية أو طريقة لتشخيص المشكلات الدماغية البشرية (على الرغم من وجود كلمة "Neuro" في الاسم، إلا أنها تتعلق بـ "الحالات الذهنية" للذكاء الاصطناعي، وليس البيولوجيا البشرية).
- لم يدّعوا أن طريقة التقييم الجديدة الخاصة بهم مثالية أو أنها ستتنبأ بالمستقبل دائماً.
- صرحوا بوضوح أن الإضافات "العصبية" (الشبيهة بالدماغ) لم تجعل الدرجة أفضل بكثير، لذا قرروا الالتزام بالنسخة الأبسط والمعايرة بشرياً.
باخت-صار:
NeuroState-Bench هو تقرير درجات جديد للذكاء الاصطناعي. فهو يتوقف عن مجرد النظر إلى الدرجة النهائية ويبدأ في فحص ملاحظات الواجب المنزلي ليرى ما إذا كان الطالب منتبهاً طوال الوقت. وقد تبين أن الذكاء الاصطنا الذي يحصل على أفضل درجة نهائية لم يكن هو الأكثر انتباهاً في كثير من الأحيان.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.