What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models
تجادل هذه الورقة بأن معايير دقة المطالبة الواحدة غير كافية لتقييم موثوقية النماذج اللغوية، حيث تثبت من خلال تدقيق متعدد المتغيرات أن خيارات تصميم التقييم، وإشارات الثقة الهشة، وعدم اتساق متانة المطالبة يمكن أن تغير الاستنتاجات بشكل جذري وتخفي الإخفاقات الحرجة في كل من النماذج والمقيمين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم بتوظيف فريق من المحققين المبتدئين (نماذج الذكاء الاصطال) لحل سلسلة من الألغاز. الطريقة المعتادة لتقييمهم هي طرح سؤال واحد، ورؤية ما إذا كانوا قد حصلوا على الإجابة الصحيحة، ثم منحهم درجة. إذا حصلوا على 8 من أصل 10 إجابات صحيحة، فإنهم يحصلون على درجة 80%.
هذه الورقة البحثية تجادل بأن هذه الدرجة الواحدة هي كذبة. فهي تغفل أهم الأجزاء المتعلقة بمدى موثوقية المحقق في العالم الحقيقي. لقد أجرى المؤلفون "تدقيقاً متعدد المتغيرات" على 15 محققاً صغيراً من نماذج الذكاء الاصطناعي لإظهار أن كيفية طرح السؤال، وكيفية قراءة الإجابة، وكيفية قياس ثقتهم، تهم بقدر ما تهم ذكاء المحقق نفسه.
إليك الاكتشافات الثلاثة الكبرى، مشروحة بتشبيهات بسيطة:
1. فخ "الكلمة الأولى" (تصميم التقييم يمكن أن يزيف الفشل)
التشبيه: تخيل أنك طلبت من محقق حل لغز، لكنك قلت له: "أولاً، اكتب قصة طويلة عن طريقة تفكيرك، ثم اكتب الإجابة في السطر الأخير تماماً".
يكتب المحقق قصة رائعة من 3 صفحات، ويحل القضية بشكل مثالي، ثم يكتب في النهاية "الخادم هو الفاعل".
ومع ذلك، فإن نظام التصحيح الخاص بك هو روبوت لا ينظر إلا إلى الكلمة الأولى من الاستجابة ليقرر ما إذا كانت الإجابة صحيحة أم لا. وبما أن الكلمة الأولى كانت "الخادم"، فإن الروبوت يعتبر الإجابة خاطئة.
ما وجدته الورقة البحثية:
وجد الباحثون أنه عندما طلبوا من نماذج الذكاء الاصطناعي استخدام "سلسلة الأفكار" (التفكير خطوة بخطوة)، أصبحت النماذج أكثر ذكاءً بالفعل. ولكن لأن نظام التصحيح القياسي كان ينظر فقط إلى أول حرف من المخرجات، فإن درجات النماذج انهارت بنسبة 72% إلى 88%.
- الحل: لم يكونوا بحاجة إلى ترقية النماذج، بل كانوا بحاجة فقط إلى تغيير "الروبوت المصحح" ليبحث عن الإجابة في نهاية النص بدلاً من بدايته. وبمجرد إصلاح المصحح، عادت درجات النماذج لتصل إلى ما يقرب من 100%.
- الدرس المستفاد: يمكن للنموذج أن يبدو سيئاً لمجرد أن الشخص الذي يقيمه ينظر في المكان الخطأ.
2. "الكاذب الواثق" (إشارات الثقة هشة)
التشبيه: تخيل طالباً يؤدي اختباراً صعباً. لقد أجاب بشكل خاطئ، ولكن عندما سُئل: "ما مدى تأكدك؟" قال: "أنا متأكد بنسبة 90% أنني أصبت!".
في العالم الحقيقي، نحن بحاجة لمعرفة ما إذا كان الطالب متأكداً حقاً أم أنه يبدو متأكداً فحسب.
ما وجدته الورقة البحثية:
في اختبار صعب جداً (MMLU-Pro)، كانت نماذج الذكاء الاصطناعي كاذبة واثقة باستمرار.
- كانت تحصل على الإجابات الصحيحة بنسبة 20-30% فقط من الوقت.
- ولكن عندما طُلب منها تحديد مدى ثقتها، ادعت لفظياً أنها متأكدة بنسبة 60-78%.
- والأسوأ من ذلك، أحياناً كانت النماذج تثرثر كثيراً أو تستخدم صياغات غريبة لدرجة أن الكمبيوتر لا يستطيع حتى العثض على رقم الثقة الخاص بها (فشل في التحليل/Parsing). الأمر يشبه طالباً يصرخ بثقته بلغة لا يفهمها المعلم.
- الدرس المستفاد: مجرد قول الذكاء الاصطناعي "أنا متأكد!" لا يعني أنه على صواب. وأحياناً، لا يمكنك حتى معرفة ما إذا كان واثقاً لأنه يتحدث بطريقة لا تستطيع فهمها.
3. "الأكبر ليس دائماً الأكثر استقراراً" (الحجم لا يعني المتانة)
التشبيه: تخيل أن لديك كرسياً خشبياً صغيراً ومتيناً، وكرسي عرش رخامياً ضخماً وفاخراً. قد تفترض أن العرش الضخم أكثر استقراراً. لكن إذا هززت أرجل العرش الرخامي، فقد يتأرجح وينكسر، بينما يظل الكرسي الخشبي الصغير ثابتاً تماماً.
ما وجدته الورقة البحثية:
غالباً ما يفترض الناس أن نموذج الذكاء الاصطناعي الأكبر (الذي يمتلك "قدرة دماغية" أو بارامترات أكثر) سيكون أكثر استقراراً ولن يرتبك إذا غيرت صياغة السؤال قليلاً.
اختبر الباحثون ذلك من خلال طرح نفس الأسئلة بخمس طرق مختلفة (تغيير ترتيب الكلمات، إضافة أمثلة، تغيير التنسيق).
- النتيجة: لم يكن هناك ارتباط واضح بين حجم النموذج ومدى قدرته على التعامل مع هذه التغييرات.
- بعض النماذج الصغيرة كانت ثابتة للغاية (حصلت على نفس الدرجة بغض النظر عن كيفية طرح السؤال).
- بعض النماذج الضخمة كانت هشة للغاية (تأرجحت درجاتها بشكل حاد بناءً على صياغة السؤال).
- الدرس المستفاد: لا يمكنك الحكم على مدى "متانة" أو موثوقية النموذج بمجرد النظر إلى حجمه. يمكن للنموذج الصغير أن يكون أكثر موثوقية بكثير من النموذج الكبير.
الخلاصة
تخلص الورقة البحثية إلى أننا بحاجة للتوقف عن معاملة موثوقية الذكاء الاصطناعي كأنها مجرد درجة عالية في اختبار.
إذا كنت تريد معرفة ما إذا كان الذكاء الاصطناعي جاهزاً للعالم الحقيقي، فلا يمكنك الاكتفاء بالنظر إلى الدرجة النهائية. يجب أن تعرف:
- كيف تم تصحيح الاختبار؟ (هل نظر المصحح إلى الكلمة الأولى أم الأخيرة؟)
- هل فهم النموذج السؤال حقاً؟ (أم أنه قام بالتخمين فقط؟)
- هل يمكننا الوثوق بثقته؟ (هل هو كاذب واثق؟)
- هل هو متين؟ (هل ينكسر إذا غيرنا الصياغة قليلاً؟)
يجادل المؤلفون بأنه قبل أن نثق في هذه النماذج، نحتاج إلى نشر الوصفة الكاملة لكيفية اختبارها، وليس فقط الرقم النهائي. وإلا، فقد نقوم بتوظيف محقق يبدو رائعاً على الورق، ولكنه يفشل بمجرد بدء العمل الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.