💬 NLP

Towards More Standardized AI Evaluation: From Models to Agents

تجادل هذه الورقة بأنه مع تطور أنظمة الذكاء الاصطناعي من نماذج ثابتة إلى وكلاء ديناميكيين، يجب أن ينتقل التقييم من الاعتماد على المعايير المرجعية الثابتة التي عفا عليها الزمن والدرجات الإجمالية إلى صيرورة قياس مستمرة لبناء الثقة، قادرة على حوكمة السلوكيات غير الحتمية على نطاق واسع.

المؤلفون الأصليون: Ali El Filali, Inès Bedar

نُشر 2026-02-23

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ali El Filali, Inès Bedar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث بعنوان "نحو تقييم أكثر معيارية للذكاء الاصطناعي: من النماذج إلى الوكلاء" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: من "سائقي الاختبار" إلى "السيارات ذاتية القيادة"

تخيل تاريخ تقييم الذاء الاصطناعي مثل تاريخ اختبار السيارات.

الطريقة القديمة (النماذج الثابتة):
في الماضي، كنا نختبر الذكاء الاصطناعي مثلما نختبر سائق اختبار في مضمار مغلق. نعطي السيارة مسارًا محددًا (أمرًا/Prompt)، ونتحقق مما إذا كانت قد وصلت إلى الوجهة (الإجابة). إذا نجحت السيارة في الوصول، نمنحها نجمة ذهبية. كان هذا يعمل بشكل جيد عندما كان الذكاء الاصطناعي مجرد "متنبئ بالنصوص" يجيب على الأسئلة واحدًا تلو الآخر.

الطالطريقة الجديدة (وكلاء الذكاء الاصطناعي - AI Agents):
الي اليوم، يتطور الذكاء الاصطناعي ليصبح سيارات ذاتية القيادة تقود نفسها عبر زحام المدن الحقيقي والفوضوي. هي لا تكتفي بالإجابة على الأسções؛ بل تتخذ القرارات، وتستخدم الأدوات (مثل فتح الأبواب أو تشغيل المساحات)، وتتذكر أين كانت، وتتكيف مع العوائق غير المتوقعة.

تجادل الورقة بأن اختباراتنا القديمة في "المضمار المغلق" أصبحت عديمة الفائدة لهذه السيارات ذاتية القيادة. لا يمكننا فقط التحقق مما إذا كانت قد وصلت إلى الوجهة مرة واحدة؛ بل نحتاج لمعرفة ما إذا كان بإمكانها القيادة بأمان، وبثبات، ودون أن تصطدم، يوماً بعد يوم، تحت المطر، ومع ركاب مختلفين، وعندما يتعطل نظام تحديد المواقع (GPS).

المفاهيم الأساسية مشروحة

1. التحول: من "هل حصلت على الإجابة؟" إلى "هل تصرفت بشكل جيد؟"

التفكير القديم: "هل هذه الإجابة الرياضية صحيحة؟" (نعم/لا).
التفكير الجديد: "هل استطاع الوكيل فهم المشكلة، وطلب المساعدة عند التعثر، ولم يقم بالخطأ بحذف الملف الخاطئ؟"
التشبيه: إنه الفرق بين التحقق مما إذا كان الطيار قد هبط بالطائرة مرة واحدة، مقابل التحقق مما إذا كان بإمكانه قيادة الطائرة بأمان خلال عاصفة، والتعامل مع مشاد في المحرك، والهبوط مرة أخرى غداً دون تحطم. الثبات هو سيد الموقف.

2. "الأخطاء الصامتة" (الفخاخ الخفية)

تحذر الورقة من أن العديد من "الدرجات العالية" في اختبارات الذكاء الاصطناعي هي درجات مزيفة بسبب أخطاء في الإعدادات.

التشبيه: تخيل طالباً يجري اختباراً في الرياضيات، لكن المعلم أعطاه بالخطأ آلة حاسبة تعمل فقط في الجمع وليس الضرب. إذا حصل الطالب على درجة منخفضة، فهل السبب هو سوء مستواه في الرياضيات؟ لا، بل لأن الأداة كانت معطلة.
في الذكاء الاصطناعي: أحياناً يفشل الاختبار ليس لأن الذكاء الاصطناعي غبي، بل لأن "هيكل الاختبار" (البيئة) مُعد بشكل خاطئ، أو التعليمات مربكة، أو لأن الكمبيوتر يعاني من نقص في الذاكرة. هذه هي "الأخطاء الصامتة" التي تجعل الذكاء الاصطناعي يبدو أسوأ (أو أحياناً أفضل) مما هو عليه في الواقع.

3. مشكلة "قانون جودهارت" (عندما يصبح الاختبار هو الهدف)

التشبيه: تخيل أن معلماً يقول لطالب: "ستحصل على قطعة حلوى مقابل كل صفحة واجب تكتبها". سيبدأ الطالب بكتابة كلام غير مفهوم لمجرد ملء الصفحات. سيحصل على المزيد من الحلوى، لكنه لا يتعلم فعلياً.
في الذكاء الاصطناعي: عندما نجعل اختباراً معيناً (مثل لوحة المتصدرين) هو الهدف، تبدأ نماذج الذكاء الاصطناعي في "حفظ" إجابات الاختبار بدلاً من تعلم المهارة. تصبح بارعة في اجتياز الاختبار ولكنها سيئة جداً في أداء المهمة الفعلية في العالم الحقيقي. تقول الورقة إننا بحاجة إلى اختبارات معقدة وصعبة للغاية بحيث لا يمكن مجرد حفظها.

4. "Pass@k" مقابل "Passk" (الحظ مقابل الموثوقية)

هذا مفهوم رياضي مهم مشروح ببساطة:

Pass@k (القدرة): "إذا طلبت من الذكاء الاصطناعي كتابة قصيدة 10 مرات، هل توجد قصيدة واحدة على الأقل جيدة من بينها؟" هذا يقيس الإمكانات.
Passk (الموثوقية): "إذا طلبت من الذكاء الاصطناعي كتابة قصيدة 10 مرات، هل ستكون كل واحدة منها جيدة؟" هذا يقيس الثقة.
الدرس: بالنسبة لسيارة ذاتية القيادة، لا يهم "Pass@k". إذا اصطدمت السيارة 9 مرات من أصل 10 ونجحت مرة واحدة، فهي عديمة الفائدة. نحن بحاجة إلى Passk (موثوقية بنسبة 100%) لأي شيء مهم.

5. "الملاعب الجديدة" (العوالم المحاكية)

لا يمكننا اختبار هؤلاء الوكلاء الجدد عبر أسئلة الاختيار من متعدد الثابتة بعد الآن. نحن بحاجة لوضعهم في ألعاب فيديو محاكية أو مكاتب افتراضية.

GAIA2: تخيل اختباراً حيث يجب على الذكاء الاصطناعي أن يعمل كمساعد بشري في هاتف ذكي وهمي. يجب عليه فحص التقويم، وإرسال بريد إلكتروني، وحجز رحلة. إذا تعطل خادم البريد الإلكتروني، هل يمكن للذكاء الاصطناعي التعامل مع الأمر؟
TextQuests: تخيل لعبة مغامرات نصية (مثل Zork). يجب على الذكاء الاصطناعي أن يتذكر أنه التقط مفتاحاً قبل 50 خطوة. إذا نسي، فسيعلق. هذا يختبر ما إذا كان بإمكان الذكاء الاصطناعي "التفكير" والتذكر، وليس مجرد التخمين.

لماذا يهمك هذا الأمر

تخلص الورقة إلى أننا نعيش حالياً في فجوة خطيرة. الذكاء الاصطناعي لدينا يزداد ذكاءً واستقلالية (مثل السيارة ذاتية القيادة)، لكن قدرتنا على اختباره والثقة به لا تزال عالقة في الماضي (مثل اختبار دراجة هوائية).

الخطر: إذا استمررنا في استخدام الاختبارات القديمة، فقد نطلق أنظمة ذكاء اصطناعي تبدو رائعة على الورق ولكنها تفشل بشكل كارثي في العالم الحقيقي.
الحل: نحن بحاجة إلى عدم معاملة التقييم كـ "امتحان نهائي" في نهاية المدرسة، بل كـ فحص سلامة مستمر (مثل ميكانيكي يفحص السيارة كل يوم). نحن بحاجة لبناء اختبارات أفضل، وأكثر فوضوية، وأكثر واقعية تقيس السلوك، وليس فقط الإجابات.

باخت-صار: نحن بحاجة للتوقف عن سؤال "ما مدى ذكاء الذكاء الاصطناعي؟" والبدال بـ "هل يمكننا الوثوق بالذكاء الاصطناعي للقيام بعمله دون مراقبتنا له؟"

بناءً على ورقة "نحو تقييم أكثر معيارية للذكاء الاصطناعي: من النماذج إلى الوكلاء" (علي الفليلي وإينيس بيدار، فبراير 2026)، إليكم ملخصاً تقنياً مفصلاً.

1. بيان المشكلة

تجادل الورقة بأن ممارسات تقييم الذكاء الاصطناعي الحالية غير متوافقة جوهرياً مع تطور أنظمة الذكاء الاصطناعي.

التحول: ينتقل الذكاء الاصطناعي من النماذج الساكنة (عديمة الحالة، تتنبأ بالمدخلات والمخرجات) إلى الوكلاء المركبين (أنظمة ذاتية التحكم، تقوم بالاستدلال، وتستخدم الأدوات، وتحافظ على الحالة، وتتفاعل مع بيئات ديناميكية).
فشل الأساليب الموروثة: يعتمد التقييم التقليدي على اختبارات قياسية ساكنة، ودرجات إجمالية (مثل الدقة في MMLU)، ومعايير نجاح لمرة واحدة. تفترض هذه الأساليب وجود علاقة حتمية بين المدخل والمخرج.
المشكلة الجوهرية: بالنسبة للوكلاء، فإن مخرجاً واحداً صحيحاً لا يثبت شيئاً. المعيار الحاسم هو الاتساق، وأنماط الفشل، والحساسية للتغيير بمرور الوقت. الأساليب الموروثة تحجب سلوك النظام، مما يؤدي إلى "أنماط فشل صامتة"، ونتائج اختبارات قياسية مضللة، وعدم القدرة على الوثوق بالأنظمة على نطاق واسع.
الفجوة: هناك فجوة تقييمية تتسع، حيث تجاوزت القدرة على تطوير الوكلاء المستقلين القدرة على قياسهم وحوكمتهم، مما يخلق خطراً يتمثل في نشر أنظمة هشة في بيئات عالية المخاطر.

2. المنهجية والإطار العملي

يقترح المؤلفان تحولاً جذرياً من "فحص المخرجات" إلى "قياس السلوك"، مع معاملة التقييم كوظيفة هندسية وحوكمية أساسية وليس مجرد خطوة تحقق لاحقة.

أ. الإطار المفاهيمي

التقييم كدالة تحكم: يُعاد تعريف التقييم باعتباره الآلية التي تُفعّل الحوكمة. فهو يترجم النوايا البشرية وقيود المخاطر إلى إشارات قابلة للملاحظة، مما يتيح ثقة مبررة في الأنظمة غير الحتمية.
التمييز عن تقييم المخاطر:
- تقييم المخاطر: استباقي وهيكلي (تحديد الأضرار المحتملة).
- التقييم: تجريبي وعلى مستوى التنفيذ (اختبار ما إذا كانت حالات الفشل تحدث بالفعل، وكم مرة، وتحت أي ظروف).
دورة الحياة المكونة من 8 خطوات: تتبع عملية التقييم الفعالة دورة حياة براغماتية (موضحة بالتفصيل في الملحق الثاني من الورقة) تنمو تدريجياً مع النظام، بدءاً من مجموعات اختبار صغيرة وغير كاملة لتوفير إشارة مبكرة بدلاً من انتظار التغطية "المثالية".

ب. تصنيف أهداف التقييم

تفصل الورقة بين ثلاثة دوافع للتقييم لتجنب الخلط بينها:

اختبار عدم التراجع (من وجهة نظر الباني): يشبه اختبار الوحدات (Unit Testing). يركز على الاستقرار والمسار بدلاً من الدرجات المطلقة.
لوحات المتصدرين (من وجهة نظر المستخدم): تحليل مقارن لاختيار النموذج. صالحة فقط إذا كانت الاختبارات القياسية غير مشبعة وغير ملوثة بالبيانات.
تقييم القدرة العلمية: قياس المفاهيم المجردة (الاستدلال، المعرفة بالعالم)، وهو ما وُصف بأنه الأكثر هشاشة من الناحية المنهجية.

ج. الركائز المنهجية

يحلل المؤلفون ثلاثة نهج رئيسية للتقييم ومقايضاتها:

الاختبارات القياسية المؤتمتة:
- الاحتمالية اللوغاريتمية (Log-likelihood): فعالة ولكنها قد تبالغ في تقدير الأداء في مهام الاختيار من متعدد.
- التوليدية (Generative): ضرورية للمهام المعقدة ولكن يصعب تسجيل درجاتها بموثوقية دون استخدام حكام بشريين أو نماذج ذكاء اصطناعي.
التقييم البشري:
- يتراوح من "فحص الانطباع" (Vibe checks) غير الرسمي إلى التدوين من قبل الخبراء. يتميز بالدقة العالية ولكن بضعف القابلية للتوسع وارتفاع زمن الاستجابة.
النموذج كحكم (Model-as-a-Judge):
- استخدام النماذج اللغوية الكبيرة المتطورة لتقييم النماذج الأخرى. قابل للتوسع ولكنه يقدم تحيزات تكرارية (مثل التحيز للموقع، أو الإسهاب في الكلام، أو التفضيل الذاتي) ويتطلب معايرة صارمة.

د. بنية تقييم خاصة بالوكلاء

بالنسبة للوكلاء، تحدد الورقة بنية جديدة تتمحور حول الحامل (Harness) والسجل (Transcript):

الحامل (The Harness): البنية التحتية (البيئة المعزولة/Sandbox) حيث يعمل الوكيل. يجب أن يكون جزءاً من أداة القياس، مما يضمن حالات نظيفة وبيئات قابلة لإعادة الإنتاج.
السجل (The Transcript): سجل كامل للمحاولة (الاستدلال، استدعاء الأدوات، تغييرات الحالة)، وهو ضروري للتمييز بين أخطاء الوكيل وأخطاء نظام التقييم نفسه.
استراتيجية التصحيح الهجينة:
- المصححات القائمة على الكود: فحوصات حتمية للنتائج (مثل وجود ملف معين).
- المصححات القائمة على النماذج: فحوصات احتمالية للفروق الدقيقة (مثل النبرة، أو جودة الاستدلال).
- المصححات البشرية: المعيار الذهبي للمعايرة.
مقاييس الموثوقية:
- التحول من Pass@k (احتمالية تحقيق نجاح واحد على الأقل في $k$ من المحاولات) إلى Pass $_k$ (احتمالية نجاح جميع المحاولات الـ $k$ في كل مرة).
- الصيغة: $Pass_k = (\frac{c}{n})^k$ . وهذا يوضح أن القدرة العالية لا تعني بالضرورة الجاهزية للإنتاج إذا كانت الموثوقية منخفضة.

3. المساهمات الرئيسية

تقدم الورقة عدة مساهمات تقنية ومفاهيمية بالغة الأهمية:

تحديد "الأخطاء الصامتة": يسرد المؤلفون أنماط فشل محددة في أنابيب التقييم التي تشوه النتائج دون إظهار أخطاء، بما في ذلك:
- فخاخ قوالب الدردشة (Chat template traps): عدم تطابق هياكل المطالبات (Prompts).
- تباين معاملات أخذ العينات (Sampling parameter variance): عدم الاتساق بسبب إعدادات درجة الحرارة (Temperature) أو top-k.
- اللا حتمية في الأجهزة (Hardware indeterminism): اختلافات الدقة عبر المعالجات المختلفة.
- القطع الخفي (Hidden truncation): الحذف الصامت لسياق البيانات (Context windows).
- تلوث الحالة (State contamination): مشاركة الحالة بين المحاولات في بيئات الوكلاء.
نقد المقاييس الحالية:
- قانون جودهارت (Goodness's Law): تتحول الاختبارات القياسية إلى أهداف للتحسين، مما يؤدي إلى تلوث البيانات والحفظ الآلي بدلاً من اكتساب المهارات.
- مغالطة المقياس (Metric Fallacy): مقاييس مثل ROUGE وBERTScore تقيس التداخل اللفظي أو الدلالي، وليس الصحة الواقعية أو إتمام المهمة. فهي تكافئ السلوك السلس ولكن الخاطئ.
- قاعدة "−200%": تقترح تصميم اختبارات قياسية صعبة للغاية بحيث تسجل النماذج الحالية فيها ما يقرب من 0%، لضمان بقاء الاختبار ذا معنى مع تحسن النماذج (تجنب التشبع).
بيئات تقييم جديدة:
- GAIA2: تحول من الاسترجاع إلى "الواقع الفوضوي"، حيث يختبر الوكلاء في أنظمة بيئية لمحاكاة الهواتف الذكية (البريد الإلكتروني، التقويم، نظام الملفات) مع تحديات فشل الأدوات والاستدلال الزمني.
- TextQuests: يستخدم القصص التفاعلية (مثل Zork) لاختبار الاستدلال طويل السياق، والتوجيه المكاني، وإدارة الحالة دون أدوات خارجية.
التحليل التنظيمي:
- تحلل الورقة قانون الذكاء الاصطناعي للاتحاد الأوروبي وأطر عمل NIST الأمريكية، مشيرة إلى أنه بينما تفرض اللوائح التقييم، إلا أنها تظل غير محددة تقنياً. وتجادل الورقة بأن وثائق التقييم يجب أن تصبح أدوات حوكمة رسمية ذات ملكية واضحة وقابلية للتدقيق.

4. النتائج والمكتشفات

على الرغم من أن الورقة هي وثيقة وضع إطارات عمل ومواقف وليست دراسة تجريبية بنتائج مجموعات بيانات جديدة، إلا أنها تلخص النتائج من أفضل الممارسات الصناعية والأدبيات الموجودة لتثبت ما يلي:

الموثوقية مقابل القدرة: غال true المرتفعة للقدرة (Pass@k) غالباً ما تخفي موثوقية منخفضة (Pass $_k$ ). الوكيل الذي لديه معدل نجاح بنسبة 70% في المحاولة الواحدة، لديه فقط حوالي 34% من فرصة التعامل مع ثلاث طلبات متتالية دون فشل.
تشبع الاختبارات القياسية: دورة حياة الاختبارات القياسية تتسارع؛ فالعديد من الاختبارات "الذهبية" (مثل MMLU) تم حلها فعلياً بواسطة النماذج المتطورة، مما يجعلها عديمة الفائدة لقياس التقدم.
تكلفة عدم الكفاءة: يجب تقييم الأداء بناءً على "جبهة باريتو" (Pareto frontier) بين الدقة وتكلفة الحوسبة. الوكلاء الذين يلجؤون إلى الحلول بالقوة الغاشمة (حلقات تكرار لانهائية، استهلاك مفرط للرموز/Tokens) يتم معاقبتهم حتى لو وصلوا إلى الحالة الصحيحة.
ضرورة البيئات: البيانات الساكنة غير كافية. يجب أن ينتقل التقييم إلى بيئات حالة (Stateful) ومحاكية، حيث يكون "الناتج" هو تغيير في حالة العالم (مثل تعديل ملف)، وليس مجرد استجابة نصية.

5. الأهمية

تعتبر الورقة مهمة لمجتمع الذكاء الاصطناعي، والمنظمين، والممارسين للأسباب التالية:

إعادة تعريف الثقة: تؤسس الورقة على أن الثقة في وكلاء الذكاء الاصطناعي لا يمكن استخلاصها من الدرجات الساكنة، بل يجب بناؤها من خلال القياس التجريبي المستمر للسلوك بمرور الوقت.
تكامل الحوكمة: تسد الفجوة بين الهندسة التقنية والحوكمة التنظيمية، وتجادل بأن مجموعات التقييم هي الآلية الأساسية لفرض قيود المخاطر وتمكين النشر.
خارطة طريق المعيارية: توفر خارطة طريق ملموسة وقابلة للتنفيذ لبناء قدرات التقييم، والانتقال من "فحص الانطباع" العشوائي إلى مسارات صارمة، قابلة للتدقيق، ومؤتمتة.
العدالة العالمية: تسلط الضوء على الحاجة الملحة لاختبارات قياسية متعددة اللغات وخاصة بالأقاليم لمنع مستقبل يكون فيه الاستقلال الذاتي للوكلاء قوياً فقط باللغة الإنجليزية، مما يعالج فجوة حرجة في الأنظمة الحالية.
الاستعداد للمستقبل: من خلال الدعوة إلى اختبارات قياسية "أكثر صعوبة ممكنة" وبيئات حالة، تقدم الورقة استراتيجية لإبقاء أدوات التقييم ذات صلة مع التقدم السريع لقدرات الذكاء الاصطناعي.

في الختام، ترى الورقة أن مستقبل تقدم الذكاء الاصطناعي يعتمد أقل على الاختراقات الهيكلية وأكثر على تطوير أدوات التقييم القادرة على قياس وتقييد وحوكمة الأنظمة المستقلة في بيئات غير حتمية وعالية المخاطر.