The Wording Effect: Quantifying Two-Way Drift in LLM Benchmark Performance
تقدم هذه الورقة BenchDrift، وهو إطار عمل يقيس كيف تتسبب إعادة الصياغة المحافظة على المعنى لمشكلات الاختبارات المرجعية في تقلبات كبيرة في الأداء في اتجاهين لدى النماذج اللغوية الكبيرة، مما يكشف أن الحساسية تجاه الصياغة تستمر عبر مختلف مستويات قوة النماذج وأن الهشاشة تنبع من صياغات محددة أكثر من كونها ناتجة عن نقاط ضعف فردية في النماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك حَكَم في برنامج مواهب، ولكن بدلاً من مشاهدة عرض أدائي، تقوم بتقييم قدرة روبوت على حل الألغاز. في عالم الذكاء الاصطناعي، تُسمى هذه الألغاز "اختبارات قياس الأداء" (benchmarks). فكر في اختبار القياس هذا كأنه اختبار معياري، مثل الامتحان النهائي للكمبيوتر. لسنوات، اعتقد العلماء أنه إذا حصل الروبوت على درجة عالية في هذا الاختبار، فإنه يفهم المادة حقاً. لكن هناك خدعة: كل لغز في الاختبار مكتوب بطريقة واحدة محددة فقط. الأمر يشبه سؤال طالب: "ما هو حاصل جمع 2 زائد 2؟" وإعطائه درجة كاملة، دون أن تسأله أبداً: "هل يمكنك إخباري بمجموع اثنين واثنين؟" أو "إذا كان لديك تفاحتان ووجدت تفاحتين أخريين، فكم يصبح لديك؟"
يتعمق هذا البحث في زاوية من علوم تسمى "معالجة اللغات الطبيعية" (Natural Language Processing)، وهي العلم الذي يدرس كيفية فهم الحواسيب للكلمات البشرية. الفكرة الجوهرية هنا هي أن الحواسيب حساسة بشكل مدهش لـ كيفية طرح السؤال. تماماً كما قد يرتبك الإنسان إذا استخدم المعلم له لهجة غريبة أو بنية جملة مربكة، قد يتعثر الكمبيوتر إذا تغيرت الكلمات، حتى لو ظل المنطق أو الحساب كما هو تماماً. لماذا يهم هذا؟ لأنه إذا كانت درجة الروبوت تعتمد كلياً على الصياغة المحددة للاختبار، فلا يمكننا حقاً الوثوق بأن هذه الدرجة تخبرنا بمدى ذكاء الروبوت فعلياً. قد يكون الأمر مجرد قدرة على تخمين الإجابة الصحيحة للغز معين، وليس حل المشكلة نفسها.
قرر الباحثون وراء هذه الدراسة، العاملون في شركة IBM، استقصاء "تأثير الصياغة" هذا باستخدام أداة جديدة قاموا ببنائها تسمى BenchDrift. تخيل أن لديك آلة تصوير سحرية يمكنها إعادة كتابة سؤال الاختبار بعشرات الطرق المختلفة دون تغيير الإجابة. يمكنك طرح نفس المسألة الرياضية كطلب مهذب، أو قصة درامية، أو قائمة من النقاط، أو حتى سلسلة من الأسئلة الصغيرة. استخدم الفريق أداة BenchDrift لأخذ أسئلة اختبارات حقيقية وإعادة كتابتها عبر أربعة محاور مختلفة: اللغوي (تغيير الكلمات والأسلوب)، المرجعي (استبدال الأسماء أو الأرقام)، البراغماتي/النفعي (تغيير النبرة أو السياق، مثل التظاهر بأن الروبوت فنان)، والهيكلي (تغيير كيفية تنظيم المعلومات).
قاموا بتمرير هذه الأسئلة المعاد صياغتها عبر ثمانية نماذج ذكاء اصطناعي مختلفة، تتراوح من الصغيرة إلى الكبيرة جداً. وما وجدوه كان صدمة. فقد اكتشفوا ظاهرة يسمونها "الانحراف" (drift). أحياناً، ساعدت إعادة صياغة السؤال الروبوت على الحصول على الإجابة الصحيحة عندما كان قد فشل سابقاً (انحراف إيجابي). ولكن في كثير من الأحيان، جعلت إعادة الصياغة الروبوت يفشل في مسألة كان قد حلها بشكل صحيح سابقاً (انحراف سلبي).
كان الاكتشاف الأكثر إثارة للدهشة هو أنه كلما كان الروبوت أكثر ذكاءً، بدا أكثر هشاشة. فالنماذج الأقوى، التي تحصل عادةً على أعلى الدرجات، فقدت في الواقع عدداً أكبر من الإجابات الصحيحة عند إعادة صياغة الأسئلة مما اكتسبته. يبدو الأمر وكأن الطلاب المتفوقين اعتادوا كثيراً على الطريقة المحددة التي يسأل بها المعلم، فلم يستطيعوا التعامل مع صياغة مختلفة قليست قليلاً. في الواقع، بالنسبة لأفضل النماذج، غالباً ما تكون درجة الاختبار الواحدة مبالغة في تقدير قدرتها الحقيقية. وجد الباحثون أن الفجوة بين "أفضل حالة" لدرجة النموذج (عندما يحالفه الحظ في الصياغة) و"أسوأ حالة" (عندما تضلله الصياغة) كانت هائلة، حيث بلغ متوسط التفاوت 74.7 نقطة مئوية. على سبيل المثال، نموذج سجل 93.4% في الاختبار الأصلي، انخفض إلى 38.2% عندما تمت إعادة صياغة الأسئلة بطريقة معينة.
لقد استبعد الفريق أيضاً بعض الأعذار السهلة. فقد أثبتوا أن الروبوتات لم تكن تفشل لمجرد أن الأسئلة أصبحت أصعب أو أطول؛ ففي بعض الأحيان، تسبب جعل السؤال أقصر أو أطول في نفس القدر من المشاكل. كما وجدوا أنه حتى عندما كان الروبوت واثقاً للغاية من إجابته (يعطي درجة احتمالية عالية)، فإن إعادة صياغة بسيطة يمكن أن تكسر منطقه. وهذا يشير إلى أن الهشاشة ليست مجرد ناتجة عن عدم تأكد الروبوت، بل تتعلق باعتماد الروبوت بشكل مفرط على الشكل المحدد للكلمات.
علاوة على ذلك، لاحظ الباحثون أن النماذج المختلفة تميل إلى الفشل في أنواع معينة من إعادة الصياغة. فعلى سبيل المثال، تقسيم المسألة إلى سلسلة من الأسئلة الصغيرة والصريحة (تغيير هيكلي) تسبب في أكبر عدد من الإخفاقات بشكل عام، بينما تسبب مجرد إضافة مسافات إضافية أو تغيير الخط في مشاكل قليلة جداً. وهذا يعني أن المشكلة ليست فريدة لنوع واحد من الروبوتات، بل هي خلل في كيفية تعامل هذه الأنظمة مع أنواع معينة من البنى اللغوية.
في النهاية، تجادل الورقة البحثية بأن درجة اختبار القياس الواحدة تشبه لقطة ثابتة لسيارة متحركة؛ فهي تخبرك أين كانت السيارة في لحظة معينة بالضبط، ولكنها لا تخبرك بمدى استقرارها. يقترح الباحثون أنه بدلاً من مجرد الإبلاغ عن رقم واحد، يجب علينا الإبلاغ عن نطاق: أسوأ درجة يمكن أن يحصل عليها النموذج، وأفضل درجة، والمتوسط. هذا يعطي صورة أوضح لما يمكن للذكاء الاصطناعي فعله حقاً. لقد وجدوا أنه للحصول على صورة موثوقة لقوة النموذج الحقيقية، تحتاج إلى اختباره على نسخ مختلفة عديدة من نفس المشكلة، وليس فقط على النسخة الأصلية الوحيدة. إذا لم نفعل ذلك، فقد نكون بصدد الاحتفاء بروبوتات هشة للغاية، لمجرد أنها صادفت ضبط صياغة الاختبار بالشكل الصحيح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.