One prompt is not enough: Instruction Sensitivity Undermines Embedding Model Evaluation
تُثبت هذه الورقة أن طريقة التقييم الحالية القائمة على المطالبة الواحدة (single-prompt) لنماذج التضمين المضبوطة بالتعليمات معيبة بشكل جوهري بسبب حساسيتها العالية لصياغة التعليمات، مما يؤدي إلى درجات أداء مضللة وتصنيفات غير مستقرة في لوحة الصدارة، وهو ما يستلزم وجود معايير قياس تتضمن متانة المطالبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول الحكم على مدى جودة مجموعة من الرياضيين في الجري. تقوم بصفهم وتقول لهم: "اجروا بأقصى سرعة ممكنة!" ثم تقوم بتوقيتهم. هذه هي الطريقة القياسية التي نختبر بها نماذج "التمثيل الرقمي" (Embedding) للذكاء الاصطناعي حالياً (وهي بمثابة الأدمغة التي تساعد الحواسيب على فهم معنى النصوص).
لكن هذه الورقة البحثية تجادل بأن الطريقة الحالية لاختبار هذه النماذج تشبه مطالبة عداء بالركض بسرعة، لكنك لا تسمح له بالركض إلا على مسار يتصادف أنه سطحه المفضل، بينما تجعل الجميع الآخرين يركضون في حقل طيني. والنتيجة؟ الدرجات التي نراها على لوحات الصدارة لا تخبرنا بالحقيقة كاملة.
إليك تفصيل ما وجده الباحثون، باستخدام تشبيهات بسيطة:
1. مشكلة "الكلمة السحرية" (حساسية التوجيه/البرومبت)
هذه النماذج من الذكاء الاصطناعي "مُدوزنة حسب التعليمات"، مما يعني أنها تحتاج إلى جملة محددة (توجيه/برومبت) لتخبرها بما يجب فعله.
- التشبيه: تخيل طباخاً بارعاً في طهي المعكرونة، ولكن فقط إذا قلت له: "من فضلك اصنع أفضل معكرونة يمكنك صنعها". إذا قلت له: "اطبخ بعض المعكرونة"، فقد يصنع شيئاً متوسط الجودة. أما إذا قلت له: "ابتكر تحفة فنية من السباغيتي"، فقد يحرق المطبخ بالكامل.
- النتيجة: اختبر الباحثون 6 نماذج مختلفة من الذكاء الاصطناعي عبر 11 مهمة مختلفة. وبالنسبة لكل مهمة، لم يستخدموا السؤال "الرسمي" فقط (التوجيه الافتراضي)؛ بل كتبوا 15 نسخة مختلفة من السؤال.
- النتيجة: وجدوا أن أداء الذكاء الاصطناعي يتأرجح بشكل جامح اعتماداً على كيفية طرح السؤال. في بعض الأحيان، سجل النموذج درجة عالية جداً؛ وفي أحيان أخرى، سجل نفس النموذج نفسه درجة منخفضة جداً، لمجرد أن صياغة السؤال تغيرت قليلاً.
2. "الدرجة العالية المزيفة" و"الدرجة المنخفضة غير العادلة"
وجدت الورقة أن نظام الاختبار الحالي يكذب علينا بطريقتين رئيسيتين:
- تضخم التوجيه (الدرجة العالية): أحياناً، يكون السؤال "الرسمي" هو السؤال المثالي لنموذج معين بالصدفة. الأمر يشبه إعطاء عداء رياحاً خلفية ومنحدراً هابطاً. يحصل النموذج على درجة ضخمة تبدو مذهلة، لكنها في الواقع مجرد حالة استثنائية. إنه ليس الأداء الذي يقدمه النموذج عادةً.
- انكماش التوجيه (الدرجة المنخفضة): وعلى العكس من ذلك، أحياناً يكون السؤال الرسمي هو أسوأ سؤال ممكن لنموذج ما. الأمر يشبه طلب الركض بسرعة من عداء وهو يرتدي أحذية ثقيلة. يحصل النموذج على درجة سيئة، مما يجعله يبدو سيئاً رغم أنه قد يكون جيداً جداً في الواقع.
3. "فوضى لوحة الصدارة" (تغيير الترتيب)
الجزء الأكثر صدمة في الدراسة هو ما يحدث عندما تنظر إلى التصنيفات.
- التشبيه: تخيل سباقاً يتم فيه تحديد الفائز بناءً على من يحصل على أفضل وضعية انطلاق.
- النتيجة: أظهر الباحثون أنه إذا كان بإمكانك اختيار السؤال "المثالي" لكل نموذج، فإن أيّاً من النماذج يمكن أن يظهر كفائز بالمركز الأول. حتى النموذج الذي يأتي عادة في المركز الأخير يمكن رفعه إلى المركز الأول بمجرد إعطائه "الكلمات السحرية" الصحيحة وإعطاء النماذج الأخرى الكلمات الخاطئة.
- الواقع: هذا يعني أن "لوحات الصدارة" الحالية (مثل تصنيفات الرياضة) ليست مستقرة. إذا أرادت شركة ما استعراض نموذجها، فقد تكتفي بإيجاد سؤال واحد محدد يجعل نموذجها يبدو كعبقري، بينما تتجاهل مئات الأسئلة الأخرى التي يعاني فيها النموذج.
4. "اختراق التوجيه" (الغش الذي ليس غشاً)
يسمي المؤلفون هذا "اختراق التوجيه" (Prompt Hacking).
- التشبيه: يشبه الأمر طالباً خاض اختباراً تجريبياً، وحاول 50 طريقة مختلفة للإجابة على الأسئلة، فوجد الطريقة الوحيدة التي تحصل على درجة "امتياز"، ثم قدم تلك الإجابة فقط. هو لم يغير عقله (كود النموذج)، بل وجد فقط ثغرة في تعليمات الاختبار.
- النتيجة: هذا لا يتم دائماً بنوايا سيئة. قد يقوم مطور بتجربة بعض الأسئلة المختلفة أثناء التطوير، ويجد السؤال الذي يعمل بشكل أفضل، ثم يبلغ عن تلك الدرجة. ولكن بما أنهم لا يبلغون عن متوسط جميع محاولاتهم، فإن الجمهور يحصل على درجة مضللة ومرتفعة.
الحل المقترح
يقترح البحث التوقف عن استخدام "تقدير نقطي" واحد (درجة واحدة من سؤال واحد) للحكم على هذه النماذج.
- الإصلاح: بدلاً من سؤال: "كيف كان أداؤك في هذا السؤال؟"، يجب أن نسأل: "كيف كان أداؤك في كل من هذه النسخ الـ 15 المختلفة من السؤال؟".
- الهدف: نحن بحاجة لرؤية التوزيع (انتشار الدرجات) بدلاً من مجرد رقم واحد. هذا سيوضح ما إذا كان النموذج جيداً باستمرار، أم أنه كان محظوظاً فقط بسؤال معين طُرح عليه.
باخت ملخص: الطريقة الحالية لتقييم نماذج الذكاء الاصطناعي هذه تشبه الحكم على موسيقي بناءً على أغنية واحدة عزفها بإتقان، بينما تتجاهل أنه قد يتعثر في كل أغنية أخرى. وللحصول على صورة عادلة، نحتاج للاستماع إلى قائمة أغانيه الكاملة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.