💬 NLP

Anticipatory Evaluation of Language Models

تقدم هذه الورقة PRECOG، وهو متن من أوصاف المهام ومقاييس الأداء، لتوضيح أن النماذج اللغوية الكبيرة يمكنها التنبؤ بنتائج التقييم بناءً فقط على أوصاف المهام والتكوينات التجريبية، مما يوفر مساراً للتغلب على عنق الزجاجة الحالي في تقييم أبحاث الذكاء الاصطناعي.

المؤلفون الأصليون: Jungsoo Park, Ethan Mendes, Gabriel Stanovsky, Alan Ritter

نُشر 2026-02-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jungsoo Park, Ethan Mendes, Gabriel Stanovsky, Alan Ritter

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يخطط لإعداد طبق جديد ومعقد. عادةً، لتعرف ما إذا كان الطبق سيحقق نجاحاً، عليك شراء جميع المكونات، وتقطيعها، وطهيها، وتذوقها، ثم سؤال ضيوفك عن رأيهم. هذه العملية مكلفة، وتستغرق وقتاً طويلاً، وتتطلب الكثير من التجربة والخطأ.

تقدم هذه الورقة البحثية "متذوق أطعمة سحرياً" يدعي أنه يستطيع إخبارك بدقة كيف سيتم تقييم طبقك قبل أن تشتري حتى مكوناً واحداً.

إليك تفصيل لما قام به الباحثون، باستخدام تشبيهات بسيطة:

المشكلة: "عنق زجاجة" اختبار التذوق

في عالم الذكاء الاصطناعي، يقوم الباحثون باستمرار ببناء "اختبارات" جديدة (معايير قياس) لمعرفة مدى ذكاء نماذج الكمبيوتر الخاصة بهم. لكن بناء هذه الاختبارات عمل شاق؛ إذ يتعين عليك كتابة الأسئلة، وجمع البيانات، وتشغيل الذكاء الاصطناعي عليها. وغالباً ما يقضي الباحثون شهوراً في بناء اختبار ليكتشفوا لاحقاً أنه كان سهلاً للغاية (حصل الذكاء الاصطناعي على 100% ولم يتعلم شيئاً) أو صعباً للغاية (حصل الذكاء الاصطناعي على 0% وأصبح الاختبار بلا فائدة).

تسمي الورقة البحثية هذا الأمر بـ "عنق زجاجة التقييم". عليك القيام بالعمل قبل أن تعرف ما إذا كان هذا العمل يستحق العناء أم لا.

الحل: "الكرة البلورية" (PRECOG)

سأل الباحثون: هل يمكننا التنبؤ بالدرجة بمجرد قراءة الوصفة؟

لقك أنشأوا مكتبة ضخمة تسمى PRECOG. فكر في هذه المكتبة كأنها مجموعة هائلة من "بطاقات الوصفات" (أوصاف اختبارات الذكاء الاصطناعي) مقترنة بـ "الدرجات" الفعلية التي حصلت عليها تلك الاختبارات لاحقاً.

المدخلات: بدلاً من تغذية الذكاء الاصطناعي بأسئلة الاختبار الفعلية، قاموا فقط بتغذيته بوصف نصي للاختبار. على سبيل المثال: "هذا اختبار رياضيات لطلاب الجامعات. يحتوي على 20 خياراً من متعدد لكل سؤال. يجب على الذكاء الاصطناعي الإجابة دون استخدام آلة حاسبة."
المخرجات: يحاول الذكاء الاصطناعي تخمين الدرجة (مثلاً: "أتوقع أن يحصل هذا الذكاء الاصطناعي على 62% صحيح").

كيف بنوا هذه المكتبة؟

لم يبتكروا اختبارات وهمية، بل قاموا بسحب آلاف الأوراق العلمية الحقيقية من قاعدة بيانات تسمى arXiv.

أخذوا "الوصفة" (وصف المهمة) من الورقة العلمية.
أخذوا "الدرجة" (النتيجة) من الورقة العلمية.
تأكدوا من إخفاء أسماء الاختبارات حتى لا يقوم الذكاء الاصطناعي بمجرد حفظ الإجابات؛ بل كان عليه أن يفهم فعلياً "الصعوبة" الموصوفة في النص.

انتهى بهم المطاف بحوالي 2,300 زوج من الأوصاف والدرجات، تغطي كل شيء من الاستيعاب القرائي إلى الألغاز المنطقية.

النتائج: ليس مثالياً، لكنه جيد

اختبروا "متذوق الأطعمة السحري" الخاص بهم (نموذج ذكاء اصطناعي متطور جداً يسمى GPT-5) لمعرفة ما إذا كان بإمكانه تخمين الدرجات.

إنه يعمل بشكل أفضل من مجرد التخمين: إذا خمنت فقط متوسط الدرجات لكل شيء، فستكون مخطئاً بنحو 23 نقطة. أما الذكاء الاصطناعي فقد كان مخطئاً بنحو 14.6 نقطة في المتوسط فقط.
الثقة مهمة: عندما قال الذكاء الاصطناعي: "أنا متأكد جداً من هذا التوقع"، كان أكثر دقة، حيث أصاب الدرجة ضمن نطاق 10 نقاط تقريباً.
يتفوق على البشر: طلبوا من خبراء بشريين (أساتذة وطلاب ملمين بمجال الذكاء الاصطناعي) تخمين الدرجات بناءً على نفس الأوصاف. كان البشر مخطئين بنحو 19.6 نقطة، بينما كان الذكاء الاصطناعي مخطئاً بنحو 13.6 نقطة فقط. لقد كان الذكاء الاصطناعي أفضل من البشر في تخمين درجة الصعوبة.
يعمل على أشياء جديدة: اختبروه على أوراق بحثية جديدة نُشرت بعد تدريب الذكاء الاصطناعي. ولا يزال الذكاء الاصطناعي يؤدي بشكل جيد، مما يثبت أنه لم يكن يغش عبر حفظ الإجابات القديمة.

لماذا هذا مهم (وفقاً للورقة البحثية)

تشير الورقة إلى أن هذه الأداة يمكن أن تكون "مساعد تخطيط" للباحثين.

قبل إنفاق المال والوقت في بناء مجموعة بيانات ضخمة، يمكن للباحث أن يسأل الذكاء الاصطناعي: "إذا جعلت الاختبار يحتوي على 20 خياراً بدلاً من 4، فهل سيكون صعباً للغاية؟"
قد يجيب الذكال الاصطناعي: "بناءً على أوصاف مشابهة، سيؤدي ذلك إلى انخفاض الدرجة بشكل كبير. ربما جرب 10 خيارات بدلاً من ذلك."
يساعد هذا الباحثين على تحديد الأفكار التي تستحق المتابعة وتلك التي قد تكون مضيعة للوقت، وكل ذلك قبل كتابة سطر برمجي واحد أو تسمية نقطة بيانات واحدة.

الخلاصة

لا تدعي الورقة البحثية أن هذا يحل محل الاختبار الفعلي. فلا يزال يتعين عليك إجراء الاختبارات الحقيقية للحصول على الإجابات الحقيقية. لكنها تدعي أن قراءة "الوصفة" أصبحت الآن وسيلة قوية للحصول على "مسودة أولية" للنتائج، مما يساعد الباحثين على تجنب بناء اختبارات سهلة للغاية أو صعبة للغاية قبل البدء حتى في العمل.

ملخص تقني: التقييم الاستباقي للنماذج اللغوية

بيان المشكلة

يتزايد تعثر تقدم النماذج اللغوية الكبيرة (LLMs) بسبب عقبة التقييم. يتطلب الاختبار التقليدي بناء مجموعات بيانات، وإجراء تجارب، والتكرار فقط بعد الحصول على النتائج. يبحث هذا البحث فيما إذا كان يمكن التنبؤ بنتائج التقييم قبل إجراء أي تجارب. تحديداً، يحدد المؤلفون مهمة التنبؤ بالأداء القائم على النص فقط: بالنظر فقط إلى وصف باللغة الطبيعية لمهمة مقترحة، ومصدر مجموعة البيانات، وتكوين التجربة (دون الوصول إلى عينات مجموعة البيانات أو قياسات البذور)، التنبؤ بمقياس الأداء المتوقع مع تطبيعه على مقياس من 0 إلى 100.

يختلف هذا الإعداد عن الأعمال السابقة في التنبؤ بالأداء، والتي تعتمد عادةً على نتائج تجريبية جزئية، أو عمليات تشغيل تجريبية صغيرة، أو جداول مهيكلة من البيانات المرصودة. الهدف هنا هو دعم التخطيط للتجارب في مراحلها المبكرة من خلال تقدير الصعوبة والقدرة التمييزية قبل عملية التوسيم (annotation) أو تخصيص الموارد.

المنهجية

تجميع البيانات: مجموعة بيانات PRECOG

لتمكين الدراسة المنهجية، قام المؤلفون بتجميع PRECOG، وهي مجموعة بيانات تتكون من 2,290 زوجاً من (الوصف–الأداء) المستمدة من 1,519 ورقة بحثية من arXiv.

المصدر: تم استخراج السجلات التجريبية من الأدبيات العلمية، عبر الربط بين "ورقة النتائج" (التي تبلغ عن الدرجات) و"ورقة مجموعة البيانات" (التي تصف المهمة).
البناء: استخرج نموذج لغوي كبير (GPT-5-mini) أوصافاً متوافقة مع المخطط ( $x_i$ ) مع إخفاء الهوية، تلخص تعريف المهمة، ومصدر البيانات، وبروتوكولات التقييم، وإشارات الصعوبة، واستراتيجيات التلقين (prompting).
الهدف: تم تطبيع الدرجات المبلغ عنها إلى مقياس من 0 إلى 100 ( $y_i$ ) للتعامل مع المقاييس غير المتجانسة (مثل: الدقة Accuracy، F1، BLEU، ROUGE، EM).
التحكم في التسريب: تتضمن مجموعة البيانات تقسيم اختبار للأوراق البحثية المنشورة بعد تاريخ قطع المعرفة للنماذج التي تم تقييمها (2025)، مما يضمن أن التنبؤات لا تعتمد على بيانات مخزنة في ذاكرة التدريب. كما تم إنشاء إعداد تدفق (streaming) حيث تتنبأ النماذج بالأوراق المنشورة حديثاً قبل فهرستها بواسطة محركات البحث.

صياغة المهمة

تُصاغ المشكلة كمهمة انحدار (regression) حيث يتنبأ النموذج $f_\theta$ بالقيمة $\hat{y}_i \in [0, 100]$ بناءً على الوصف $x_i$ .

المدخلات: مواصفات نصية حرة لتصميم المعيار التجريبي والإعداد التجريبي.
المخرجات: تقدير رقمي للأداء مع درجة ثقة ذاتية مُبلغ عنها.
الاسترجاع: يمكن للنماذج اختيارياً استخدام نهج مدعوم بالأدوات (على نمط Reat) للاستعلام من مجموعة أدبيات محدودة زمنياً للحصول على أدلة، رغم أن الإشارة الأساسية تُستمد من الوصف والمعرفة الداخلية للنموذج.

مقاييس التقييم

يُقاس الأداء باستخدام:

متوسط الخطأ المطلق (MAE): كلما انخفض كان أفضل؛ يقيس الدقة المطلقة عبر المقاييس غير المتجانسة.
معامل ارتباط بيرسون ( $r$ ): كلما ارتفع كان أفضل؛ يقيم ما إذا كانت التنبؤات تحافظ على الترتيب النسبي للمهام.

النتائج الرئيسية

أداء النماذج

الجدوى: التنبؤ القائم على النص فقط هو أمر صعب ولكنه ممكن. حقق GPT-5 أفضل أداء إجمالي بمتوسط خطأ مطلق (MAE) قدره 14.6 على تقسيم الاختبار الخاص بعام 2025 المتحكم في التسريب، متفوقاً بشكل كبير على نماذج التضمين النصي الأساسية (مثل E5-Mistral + XGBoost، التي سجلت حوالي 21.4 MAE).
القدرة على الاستنتاج: أدى تمكين أوضاع الاستنتاج (سلسلة الأفك‏ر - Chain-of-Thought) إلى تحسين الأداء. تفوق GPT-5 في وضع الاستنتاج على نسخته غير المستندة إلى الاستنتاج وعلى النماذج مفتوحة المصدر مثل Qwen3-32B (الاستنتاجي) وQwen2.5-72B.
معايرة الثقة: تُعد الثقة المُبلغ عنها ذاتياً إشارة مفيدة. عند التصفية بناءً على التنبؤات عالية الثقة، انخفض MAE لنموذج GPT-5 إلى 9.9، مما يشير إلى أن النموذج يمكنه تحديد الحالات التي يُحتمل أن تكون تنبؤاته دقيقة بدقة.
التقييم التدفيقي (Streaming): في إعداد التنبؤ في الوقت الفعلي للأوراق البحثية الجديدة من arXiv قبل فهرستها في محركات البحث، حقق GPT-5 قيمة MAE بلغت 14.0 ومعامل ارتباط بيرسون قدره 0.78، وهو ما يطابق أداء العمل غير المتصل (offline) تقريباً.

المقارنة البشرية

في دراسة شملت خبراء في معالجة اللغات الطبيعية (طلاب دراسات عليا وأستاذ جامعي)، حقق المتنبئون البشريون MAE قدره 19.6 على مجموعة فرعية من تنبؤات الدقة. بينما حقق GPT-5 قيمة 13.6 على نفس المجموعة الفرعية، مما يشير إلى أن النماذج اللغوية الاستنتاجية الحالية يمكنها التفوق على الخبراء البشر في هذه المهمة المحددة من التنبؤ الصفري (zero-shot forecasting).

التحليل والاستبعاد (Ablation)

عدم تجانس المقاييس: يختلف خطأ التنبؤ باختلاف المقياس. تم التنبؤ بالدقة (Accuracy) والمطابقة التامة (EM) بخطأ متوسط، بينما أظهرت الاستدعاء (Recall) والدقة (Precision) أخطاءً أعلى، ويرجع ذلك غالباً إلى قلة أمثلة التدريب لهذه المقاييس المحددة في مجموعة البيانات.
نقل مجموعة البيانات: ظل الأداء مستقراً عبر مجموعات البيانات "المستقرة" (حيث تختلف ورقة النتائج عن ورقة مجموعة البيانات) ومجموعات البيانات "الجديدة"، مما يشير إلى أن المتنبئات تعمم بشكل جيد على المعايير غير المرئية.
تأثير الاسترجاع: على الرغم من أن أدوات الاسترجاع حسنت أداء GPT-5 قليلاً، إلا أنها لم تساعد بشكل كبير نموذج Qwen3-32B. ويشير المؤلفون إلى أن معظم إشارة التنبؤ تأتي من الاستنتاج فوق الأوصاف المنسقة والتدريب المسبق للنموذج، وليس من استرجاع أوراق المصدر المحددة.

الأهمية والادعاءات

يزعم البحث أن التقييم الاستباقي يوفر أداة تخطيط عملية وخفيفة الوزن لمجتمع تعلم الآلة. من خلال التنبؤ بالصعوبة مسبقاً، يمكن للباحثين:

تحديد أولويات التجارب: تحديد تصميمات المعايير التي من المرجح أن تكون سهلة جداً (مشبعة) أو صعبة جداً (متدهورة) قبل الالتزام بعمليات التوسيم واسعة النطاق.
تحسين الموارد: توجيه تصميم الدراسات التجريبية واختيار الخطوط المرجعية (baselines) بشكل أكثر كفاءة.
إثراء التصميم: الإجابة على أسئلة "ماذا لو" المتعلقة بخيارات التصميم (مثل تأثير زيادة خيارات الاختيار من متعدد من 5 إلى 20) دون إجراء تجارب أولية.

يؤكد المؤلفون أن هذا النهج ليس مقصوداً به استبدال التقييم التجريبي. بدلاً من ذلك، يعمل كخطوة أولى نحو تصميم تجريبي مفتوح النهايات وفعال في استهلاك البيانات، مما يدعم تخصيص الموارد بشكل أذكى في عصر ترتفع فيه تكاليف التقييم. ويهدف إطلاق مجموعة بيانات PRECOG والتعليمات البرمجية المرتبطة بها إلى تعزيز المزيد من الأبحاث في أساليب التقييم التنبؤي.