Structured Prompts Improve Evaluation of Language Models
تقدم هذه الدراسة إطار عمل DSPy+HELM قابل للتكرار يوضح أن استراتيجيات التلقين المهيكلة تحسن أداء النماذج اللغوية بشكل كبير وتغير ترتيبات المعايير المرجعية، مما يكشف أن اختيار التلقين هو عامل حاسم غالباً ما يتم إغفاله في تكوينات التقييم الثابتة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك كشاف مواهب يحاول توظيف أفضل طباخ لمطعم جديد. لديك قائمة بأفضل الطهاة (النماذج اللغوية أو LMs)، وتريد أن ترى من منهم سيطهو أفضل وجبة.
في الماضي، كانت الطريقة القياسية لاختبار هؤلاء الطهاة هي إعطاؤهم وصفة واحدة جامدة ("مطالبة ثابتة" - static prompt) ورؤية مدى جودة اتباعهم لها. فإذا اتبع الطباخ (أ) الوصفة بدقة بينما تعثر الطباخ (ب) بسبب صياغة معينة، فإنك ستصنف الطباخ (أ) في مرتبة أعلى.
المشكلة:
أدرك مؤلفو هذه الورقة البحثية أن هذا الأمر غير عادل نوعاً ما. تماماً كما قد يكون الطباخ بارعاً جداً في طهي الطعام الإيطالي ولكنه سيء جداً في اتباع وصفة فرنسية محددة، قد يكون الذكاء الاصطناعي ذكياً جداً في حل المشكلات، لكنه قد "يسيء فهم" الطريقة المحددة التي طُرح بها السؤال. إذا سألت سؤالاً واحداً فقط، فأنت لا ترى الإمكانات الحقيقية للطباخ؛ بل ترى فقط مدى جودة تعامله مع تلك الجملة المحددة.
الحل: نهج "قائمة الطعام" (The Menu Approach)
قرر الباحثون التوقف عن استخدام وصفة واحدة فقط. بدلاً من ذلك، استخدموا أداة تسمى DSPy لإنشاء قائمة طعام كاملة من طرق مختلفة لطرح نفس السؤال.
فكر في الأمر على هذا النحو:
- الطريقة القديمة: تسأل الطباخ، "اصنع لي برجر". (بعض الطهاة يصنعون برجر رائعاً؛ والبعض الآخر يرتبك بسبب التعليمات الغامضة).
- الطريقة الجديدة: تقدم للطباخ قائمة من التعليمات:
- "اصنع لي برجر، ولكن أخبرني أولاً بخطتك خطوة بخطوة". (هذا هو سلسلة الأفكار - Chain-of-Thought).
- "إليك ثلاثة أمثلة لبرجر مثالي صنعته سابقاً؛ قلد هذا الأسلوب". (هذا هو التعلم من أمثلة قليلة - Few-Shot).
- "تخيل أنك طباخ عالمي مشهور؛ الآن اصنع لي برجر". (هذا هو التحسين - Optimization).
ما وجدوه:
عندما اختبروا الطهاة باستخدام نهج "قائمة الطعام" هذا، حدثت ثلاثة أشياء كبيرة:
- الجميع أصبحوا أفضل: في المتوسط، تحسن أداء الطهاة بنسبة 6% عندما مُنحوا قائمة طعام أفضل. اتضح أن الطهاة لم يكونوا سيئين؛ بل كانوا يحتاجون فقط إلى تعليمات أكثر وضوحاً.
- تغيرت التصنيفات: تغيرت "لوحة الصدارة" (القائمة التي تضع من هو رقم 1). في بعض الحالات، قفز طباخ كان مصنفاً في المرتبة الثالثة فجأة إلى المرتبة الأولى لأنه حصل أخيراً على تعليمات تتوافق مع نقاط قوته.
- تشبيه: الأمر يشبه سباقاً حيث كان الجميع يركضون على مضمار طيني. بمجرد أن قم بتمهيد الطريق (تقديم مطالبات أفضل)، أصبح العداء الذي كان ينزلق سابقاً في الطين هو الأسرع فجأة.
- "الخدعة السحرية" كانت بسيطة: توقعوا أن تكون التعليمات الأكثر تعقيداً والمولدة حاسوبياً هي الأفضل. لكنهم وجدوا أن أكبر دفعة جاءت ببساطة من طلب "التفكير خطوة بخطوة" (سلسلة الأفكار).
- تشبيه: الأمر يشبه طلبك من طالب أن "يوضح خطوات حله" في اختبار رياضيات. بمجرد أن يبدأوا في كتابة خطواتهم، يحصلون على الإجابة الصحيحة في كثير من الأحيان. إضافة تعليمات إضافية معقدة لم تساعد كثيراً أكثر من مجرد مطالبتهم بالتفكير أولاً.
التكلفة:
كانت بعض هذه التعليمات الجديدة طويلة جداً (مثل إعطاء الطباخ كتاب طهي مكوناً من 50 صفحة)، مما يكلف وقتاً ومالاً أكثر لتشغيلها. ومع ذلك، كان أسلوب "التفكير خطوة بخطوة" هو النقطة المثالية (Sweet Spot): فقد قدم تحسينات هائلة دون تكبد الكثير من الوقت الإضافي.
الخلاصة الكبرى:
تخلص الورقة البحثية إلى أنه لا يمكننا الوثوق بـ "لوحات الصدارة" الحالية التي تصنف نماذج الذكاء الاصطناعي بناءً على سؤال واحد ثابت. فالتصنيف يعتمد بشكل كبير على كيفية طرحك للسؤال، وليس فقط على مدى ذكاء الذكاء الاصطناعي.
باخت-اختصار: إذا كنت تريد معرفة من هو أفضل ذكاء اصطناائي، فلا تسأله سؤالاً واحداً فقط. أعطه بضعة طرق مختلفة للإجابة، وقد تفاجئك النتيجة بمن هو الفائز حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.