💬 NLP

Searching the Internet for Challenging Benchmarks at Scale

تقدم هذه الورقة إطار عمل آلياً بالكامل وفعالاً من حيث التكلفة، يعمل على نمذجة الإنترنت كفضاء مواضيع شاسع ويستخدم استراتيجية "المتعدد الأذرع" (multi-armed bandit) لاكتشاف وبناء معايير اختبارية تحديّة بشكل ديناميكي تتجنب مشكلات التشبع التي تعاني منها مجموعات الاختبار الثابتة.

المؤلفون الأصليون: Wenda Xu, Vilém Zouhar, Parker Riley, Mara Finkelstein, Markus Freitag, Daniel Deutsch

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenda Xu, Vilém Zouhar, Parker Riley, Mara Finkelstein, Markus Freitag, Daniel Deutsch

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم يحاول تقييم طالب يزداد ذكاءً بسرعة مذهلة. لديك كومة من اختبارات الرياضيات القديمة (المعايير المرجعية). في البداية، كان الطالب يعاني معها، لذا كان بإمكانك بسهولة معرفة الأماكن التي يحتاج فيها إلى مساعدة. ولكن الآن، أصبح الطالب يحصل على الدرجة الكاملة في كل سؤال من تلك الاختبارات القديمة؛ إنه يحقق 100% في كل شيء.

المشكلة هي؟ لا يمكنك معرفة ما إذا كان عبقرياً حقاً أم أنه مجرد حفظ الإجابات لتلك الاختبارات المحددة. أنت بحاجة إلى اختبار جديد وأصعب لترى أين تكمن نقاط ضعفه الحقيقية. لكن صنع اختبار جديد يدوياً عملية بطيئة ومكلفة، وقد يضع الخبراء -عن غير قصد- اختبارات سهلة جداً أو صعبة جداً بناءً على تحيزاتهم الخاصة.

تقترح هذه الورقة البحثية طريقة ذكية وتلقائية بالكامل لإيجاد "الأسئلة الأصعب" في العالم بأكمله (الإنترنت) دون الحاجة إلى كتابتها من قبل بشر.

الفكرة الكبرى: الإنترنت كبوفيه ضخم

تخمل الإنترنت كبوفيه ضخم ولا نهائي يحتوي على آلاف المحطات المختلفة من الأطعمة (المواضيع). بعض المحطات تقدم وجبات خفيفة بسيطة (مثل "كيفية صنع التوست")، بينما تقدم محطات أخرى أطباقاً معقدة وحارة للغاية (مثل "الثغرات القانونية في قانون الضرائب الدولي").

يريد المؤلفون العثور على الأطباق "الأكثر حدة وحرارة" — أي المواضيع التي تجعل حتى نماذج الذكاء الاصطناعي الأكثر ذكاءً تتعثر. لكنهم لا يستطيعون تذوق كل طبق في البوفيه؛ لأن ذلك سيستغرق وقتاً طويلاً وسيكلف ثروة.

الاستراتيجية: "المتذوق الذكي" (Multi-Armed Bandit)

بدلاً من تذوق كل شيء، يعامل المؤلفون هذا الأمر كأنه لعبة قمار أو "متذوق ذكي" باستخدام استراتيجية تسمى Multi-Armed Bandit.

آلات القمار: كل موضوع على الإنترنت (مثل "موسيقى الباروك"، "بناء الخرسانة"، "لحام الغاز") يشبه آلة القمار.
التكلفة: سحب الرافعة (أخذ عينة نصية من هذا الموضوع واختبار الذكاء الاصطناعي) يكلف مالاً ووقتاً.
الهدف: العثور على آلة القمار التي تمنح أكبر قدر من "الصعوبة" (حيث يفشل الذكاء الاصطناعي أكثر) باستخدام أقل عدد ممكن من السحبات.

تستخدم الورقة استراتيجية محددة تسمى $\epsilon$ -greedy. تخيل أنك في كازينو:

الاستكشاف (الورقة الرابحة غير المتوقعة): أحياناً، تجرب آلة لم تلمسها من قبل، فقط لترى ما يمكن أن تقدمه.
الاستغلال (الفائز): معظم الوقت، تستمر في سحب الرافعة في الآلة التي منحتك أكبر قدر من "الصعوبة" حتى الآن.

من خلال الموازنة بين هذين الأمرين، يجد النظام المواضيع الأصعب بسرعة فائقة. وتدعي الورقة أن هذا الأسلوب يحتاج فقط إلى فحص 6% من المواضيع المتاحة للعثور على الأصعب منها، مما يوفر 100 ضعف التكلفة مقارنة بفحص كل شيء.

ما الذي وجدوه؟

لقد اختبروا ذلك على شيئين:

الترجمة الآلية: طلب ترجمة نصوص من الإنجليزية إلى لغات أخرى.
أسئلة المعرفة: طرح أسئلة واقعية على الذكاء الاصطناعي.

النتائج:

الاختبارات القديمة مقابل الاكتشافات الجديدة: كانت المواضيع التي وجدها نظامهم أصعب بكثير من الاختبارات القياسية التي يستخدمها الخبراء اليوم (مثل WMT أو FLORES).
قصير ومفيد: من المثير للاهتمام، كانت النصوص الأصعب التي وجدوها غالباً أقصر من النصوص الصعبة في المعايير الحالية. وهذا يثبت أن الطول ليس هو ما يجعل الأمور صعبة؛ بل هي المفاهيم المحددة والمراوغة (مثل المصطلحات القانونية أو الحقائق الغامضة) التي تعيق الذكاء الاصطناعي.
نقاط الضعف الحقيقية: لم تكن الأخطاء التي ارتكبها الذكاء الاصطناعي في هذه الاختبارات الجديدة مجرد "أخطاء سخيفة"، بل كانت مشكلات عميقة في المصطلحات (استخدام الكلمة الخاطئة لمجال معين) والدقة (الوقوع في خطأ بخصوص الحقائق). وهذا يثبت أن الاختبارات تجد بالفعل نقاط الضعف الحقيقية، وليس مجرد إرباك الذكاء الاصطناعي بجمل طويلة.

فحص "التحايل"

قد يتساءل قارئ ذكي: "هل وجد الذكاء الاصطناعي أسئلة صعبة بالنسبة لنماذج ذكاء اصطناعي أخرى، لكنها سهلة بالنسبة للعالم الحقيقي؟"

تحقق المؤلفون من ذلك باستخدام "حَكَمين" مختلفين (أنظمة تسجيل) لا يعرف أحدهما الآخر. ووجدوا أنه عندما يجد النظام موضوعاً صعباً، فإن كلا الحَكمين يتفقان على أنه صعب. وهذا يثبت أن النظام لا يقوم بـ "التحايل" على نظام التقييم؛ بل يجد محتوى صعباً بشكل حقيقي.

الخلاصة

تقدم هذه الورقة أداة للبحث تلقائياً عن مستوى "الوحش النهائي" من الصعوبة في عالم الذكاء الاصطناعي. بدلاً من قيام البشر بصياغة اختبارات صعبة يدوياً، يبحث النظام في الإنترنت، ويتعلم أين يفشل الذكاء الاصطناعي، ويبني معياراً جديداً وأكثر قوة. وهذا يسمح للباحثين برؤية الحدود الحقيقية لنماذج الذكاء الاصطناعي مع ازدياد ذكائها، مما يضمن أننا لا نعتقد أنها مثالية لمجرد أنها اجتازت الاختبارات القديمة السهلة.

الخلاصة الرئيسية: الإنترنت هو منجم ذهب للمشكلات الصعبة. تمنحنا هذه الورقة خريطة للعثور عليها بسرعة وبتكلفة منخفضة، حتى نتمكن من مواصلة اختبار نماذج الذكاء الاصطناعي مقابل العالم الحقيقي، وليس فقط مقابل الكتب المدرسية القديمة.

ملخص تقني: البحث في الإنترنت عن معايير قياسية تحدّية على نطاق واسع

بيان المشكلة

تتعرض المعايير القياسية الثابتة (Static benchmarks) للنماذج اللغوية الكبيرة (LLMs) للتشبع بسرعة. فمع تحسن النماذج، تحقق درجات تقترب من الكمال في مجموعات الاختبار الثابتة (مثل WMT وFLORES)، مما يترك "مساحة" ضئيلة جدًا لكشف نقاط الضعف الحقيقية. وحتى مجموعات التحدي التي يشرف عليها خبراء تتعرض للتشبع بسرعة مع محاولة النماذج "تسلق التلال" (hillclimbing) لتجاوزها، مما يتطلب عمليات تنسيق يدوي مكلفة ومتكررة لتحديثها. ويتمثل التحدي المركزي في إنشاء معايير قياسية تتسم بالصعوبة بشكل آلي ومستمر على نطاق واسع، بحيث تكشف عن القيود الحقيقية للنماذج دون الاعتماد على الحدس البشري، الذي غالبًا ما لا يتوافق مع أنماط الفشل الفعلية للنماذج (على سبيل المثال، قد يرى البشر أن "موسيقى الباروك" صعبة، بينما تفشل النماذج في "البناء بالحجر والخرسانة" بسبب المصطلحات المتخصصة).

المنهجية

يقترح المؤلفون إطار عمل آلي بالكامل يعامل الإنترنت كخزان غير محدود فعليًا من المحتوى، ويصيغ البحث عن المواضيع الصعبة كمسألة "مقامر متعدد الأذرع" (Multi-Armed Bandit - MAB).

1. بناء فضاء المواضيع

يبني إطار العمل فضاء مواضيع هرميًا ( $T$ ) يبدأ من فئات بذور عريضة (مثل "العلوم"، "الأعمال") ثم يتخصص فيها بشكل متكرر إلى مواضيع فرعية أكثر دقة باستخدام نموذج لغوي كبير موجه (Prompted LLM). تولد هذه العملية شجرة تضم حوالي 3,200 موضوع ورقي (مثل "التمويل المؤسسي" $\leftarrow$ "التنبؤ بالتدفق النقدي").

2. أخذ العينات وتقدير الصعوبة

يعمل النظام عبر حلقة "أخذ عينات وتقييم":

التوليد المستند إلى الواقع (Grounded Generation): لكل موضوع مختار، يستخدم نموذج لغوي كبير بحث Google لاسترجاع مقتطفات من العالم الحقيقي، واستخراج النصوص وروابط المصادر لضمان الارتباط بالواقع.
تسجيل درجة الصعوبة: يقوم إطار العمل بتوليد مخرجات النموذج للنصوص المستخرجة ويقدر جودتها.
- الترجمة الآلية (MT): يستخدم GEMBA (وهو مقياس يعتمد على "النموذج كحكم" باستخدام Gemini-2.5-Pro) لتعيين درجة جودة. وتُعرف الصعوبة بأنها: $100 - \text{درجة الجودة}$ .
- الإجابة على الأسئلة المعرفية (KQA): توليد أزواج من الأسئلة والأجوبة الواقعية من المقتطفات المسترجعة. وتُقدر الصعوبة من خلال معدل الخطأ عبر تكوينات متعددة للنماذج (مثلاً: مع أو بدون خاصية "التفكير" أو البحث).
نموذج التكلفة: لكل استعلام (أخذ عينات + توليد + تقييم) تكلفة وحدة واحدة. والهدف هو تحديد أكثر $k$ من المواضيع صعوبة ضمن ميزانية ثابتة $B$ .

3. خوارزمية البحث: $\epsilon$ -Greedy

يتم نمذجة البحث كمسألة "تحديد أفضل ذراع" (Best Arm Identification). يقارن المؤلفون بين عدة استراتيجيات:

البحث الشامل (Brute-force): أخذ عينات عشوائية (غير فعال).
الجشع (Greedy): الاستغلال الصرف لأفضل موضوع حالي (يتطلب أخذ عينات من جميع المواضيع أولاً، وهو أمر مكلف).
$\epsilon$ -Greedy: التبديل العشوائي بين الاستكشاف (أخذ عينات من المواضيع غير المأخوذة سابقًا باحتمالية $\epsilon$ ) والاستغلال (أخذ عينات من الموضوع الأفضل حاليًا باحتمالية $1-\epsilon$ ).

تسمح استراتيجية $\epsilon$ -greedy للنظام بالبدء في استغلال المواضيع الواعدة مبكرًا دون الانتظار لتقييم كل موضوع في الفضاء، مما يقلل بشكل كبير من الميزانية المطلقة للعثور على المحتوى الأصعب.

النتائج الرئيسية

الكفاءة وخفض التكلفة

كفاءة البحث: تحدد استراتيجية $\epsilon$ -greedy مستويات الصعوبة القريبة من المستوى المثالي (Oracle) عبر استكشاف 6% فقط من فضاء البحث في مهمة الترجمة الآلية و**~10%** في مهمة الإجابة على الأسئلة المعرفية.
خفض التكلفة: يمثل هذا خفضًا في التكلفة بمقدار 100 ضعف مقارنة بالتقييم الشامل. على سبيل المثال، الوصول إلى أعلى 10 مواضيع صعوبة بدرجة 19.7 كلف 104 دولارات باستخدام $\epsilon$ -greedy، بينما كان البحث الشامل سيتطلب 10,403 دولارًا للوصات إلى مستويات مماثلة.
التقارب: تتقارب استراتيجية $\epsilon$ -greedy للوصول إلى تقديرات دقيقة للصعوبة ( $\Delta < 0.12$ ) بحلول الخطوة 5,000، بينما يفشل البحث الشامل في التقارب حتى عند الخطوة 6,000.

جودة المعايير القياسية

التفوق على المعايير الموجودة: المواضيع المكتشفة آليًا (مثل "السجن مقابل السجن/الاحتجاز"، "عقارات الإيجار" Leasehold Estates) هي أكثر صعوبة بكثير من مجموعات فرعية من WMT 2024/2025 وFLORES، رغم امتلاكها أعداد كلمات أقل في المتوسط. وهذا يؤكد أن الصعوبة تنبع من تعقيد المحتوى (المصطلحات، الدقة القانونية) وليس من طول النص.
المتانة: الصعوبة المكتشفة متينة عبر:
- اللغات: أداء عالٍ في كل من الأزواج عالية الموارد (الإنجليزية $\leftarrow$ الصينية) والأزواج منخفضة الموارد (الإنجليزية $\leftarrow$ الأوكرانية).
- النماذج: تظل مواضيع التحدي صعبة أمام النماذج الرائدة (Gemini-2.5-Pro) والنماذج مفتوحة المصدر (Gemma-3-27B).
- المقاييس: يؤكد التحقق باستخدام مقاييس مستقلة (MetricX) أن البحث لا يستغل مجرد انحيازات المقدر الأساسي (GEMBA).

تحليل الأخطاء

يكشف تحليل مجموعة الاختبار المكتشفة باستخدام AutoMQM أن 90% من الأخطاء تقع في فئتي المصطلحات (47.7%) والدقة (42.3%). أما أخطاء الطلاقة والأسلوب فهي ضئيلة (~10%)، مما يشير إلى أن النماذج اللغوية الحديثة قد حلت مشكلات الطلاقة إلى حد كبير، وأن الحدود المتبقية تكمن في المصطلحات المتخصصة والدقة الواقعية. كما تظهر النماذج المختلفة ملفات تعريف أخطاء متميزة على نفس البيانات، مما يؤكد أن المعيار يكشف عن نقاط ضعف حقيقية ومحددة لكل نموذج.

قابلية التكرار

تمت إعادة إنتاج خط العمل بالكامل بنجاح باستخدام نموذج Gemma-27B-it مفتوح المصدر لجميع خطوات التوليد (اقتراح المواضيع، استخراج النصوص، تقدير الصعوبة)، مما يثبت أن إطار العمل لا يعتمد على النماذج الرائدة المملوكة لجهات خارجية.

الأهمية والادعاءات

يدعي البحث أنه يرسي مسارًا من المعايير القياسية الثابتة التي يتم تنسيقها يدويًا إلى معايير ديناميكية تُبنى آليًا وتتطور جنباً إلى جنب مع قدرات النماذج.

إطار عمل مستقل عن المهمة: تنتقل صياغة "المقامر متعدد الأذرع" بفعالية عبر مهام متنوعة (الترجمة الآلية وKQA) دون تعديلات خاصة بالمهمة.
التخفيف من التحسين المفرط للمقاييس (Proxy Over-Optimization): يوضح المؤلفون أن الاعتماد على مقياس واحد يمكن أن يؤدي إلى "اختراق المقياس" (Metric Hacking). ويقترحون استراتيجيتين للتخفيف من ذلك دون تكلفة إضافية: (1) التجميع (Ensembling) لمقاييس متنوعة بنيويًا (مثل GEMBA + MetricX) و(2) التوقف المبكر الموجه بمقياس مستقل محجوز للاختبار.
القابلية للتوسع: يتوسع إطار العمل ليشمل فضاءات مواضيع كبيرة للغاية (تم اختبارها حتى مليون موضوع اصطناعي) مع مكاسب صعوبة لوغاريتمية يمكن التنبؤ بها.
إمكانية الوصول للمجتمع العلمي: من خلال إثبات أن خط العمل يعمل مع النماذج مفتوحة المصدر وتوفير المطالبات (Prompts) والشيفرات البرمجية (Pseudocode) بالتفصيل، يجعل المؤلفون بناء معاي قياسية صعبة متاحًا لمجتمع البحث الأوسع، مما يقلل الاعتماد على واجهات برمجة التطبيقات المكلفة والمغلقة.

باختصار، يجادل هذا العمل بأن الإنترنت، عندما يتم البحث فيه بكفاءة عبر خوارزميات المقامر، يوفر مصدرًا مستدامًا ومنخفض التكلفة للمحتوى الصعب الذي يكشف عن "الذيل" الحقيقي لتوزيعات أداء النماذج، مما يعالج المشكلة الحرجة المتمثلة في تشبع المعايير القياسية.