💻 computer science

BeyondBench: Contamination-Resistant Evaluation of Reasoning in Language Models

يقدم "بينش-بيند" (BeyondBench) إطار تقييم مقاوم للتلوث يستخدم التوليد الخوارزمي للمشكلات أثناء التشغيل لتقييم قدرات الاستنتاج الحقيقية لـ 101 نموذج لغوي عبر 44 مهمة، مما يكشف عن فجوات كبيرة في حل المشكلات المعقدة والدور الحاسم لاستخدام الأدوات.

المؤلفون الأصليون: Gaurav Srivastava, Aafiya Hussain, Zhenyu Bi, Swastik Roy, Priya Pitre, Meng Lu, Morteza Ziyadi, Xuan Wang

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gaurav Srivastava, Aafiya Hussain, Zhenyu Bi, Swastik Roy, Priya Pitre, Meng Lu, Morteza Ziyadi, Xuan Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول اختبار مدى براعة طالب في الرياضيات. تعطي له ورقة عمل تحتوي على 100 مسألة. إذا كان الطالب قد رأى هذه المسائل المئة تحديداً من قبل في كتابه المدرسي، فقد يقوم بمجرد حفظ الإجابات ليحصل على 100%. لكن هذا لا يعني أنه بارع حقاً في الرياضيات؛ بل يعني فقط أن لديه ذاكرة قوية.

هذا هو بالضبط ما يحدث مع الذكاء الاصطناعي اليوم. إن "الكتب المدرسية" (البيانات المتاحة على الإنترنت المستخدمة لتدريب الذكاء الاصطناعي) ضخمة جداً لدرجة أن نماذج الذكاء الاصطناعي من المحتمل أنها حفظت الإجابات للاختبارات القياسية التي نستخدمها لتقييمها. إنها لا "تفكر"؛ بل هي مجرد "تسترجع" ما حفظته.

BEYONDBENCH هي طريقة جديدة لاختبار الذكاء الاصطناعي تعالج هذه المشكلة. إليك كيف تعمل، مشروحة ببساطة:

1. المكتبة اللانهائية (لا مزيد من الحفظ)

تخيل مكتبة حيث تُكتب الكتب بواسطة آلة سحرية. في كل مرة تطلب فيها اختباراً، تقوم الآلة بإنشاء كتاب جديد تماماً لم يوجد من قبل ولن يوجد مرة أخرى أبداً.

الطريقة القديمة: كنا نستخدم اختبارات ثابتة (مثل قائمة محددة من مسائل الرياضيات). الأمر يشبه إعطاء نفس الاختبار لكل الطلاب؛ فإذا تسرب الاختبار، سيغش الجميع.
طريقة BEYONDBENCH: تقوم بإنشاء المسائل فورياً. عدد المسائل الممكنة أكبر من عدد حبات الرمل على الأرض (أكثر من $10^{15}$ احتمالاً). من المستحيل إحصائياً أن يكون الذكاء الاصطناعي قد حفظ المسألة المحددة التي قدمتها له للتو. هذا يجبر الذكاء الاصطناعي على حل اللغز فعلياً، وليس مجرد استرجاع الإجابة.

2. مستويات الصعوبة الثلاثة (تشبيه ألعاب الفيديو)

تنظم الورقة البحثية هذه المسائل إلى ثلاثة "مستويات"، مثل لعبة الفيديو:

المستوى السهل (المرحلة التعليمية): الحساب الأساسي والعد. هل يمكن للذكاء الاصطناعي جمع الأرقام أو إيجاد الرقم الأكبر في قائمة؟
المستوى المتوسط (مواجهة الزعيم): الأنماط والمتتاليات. هل يمكن للذكاء الاصطناعي اكتشاف الرقم التالي في نمط معقد (مثل متتالية فيبوناتشي) أو حل لغز في نظرية الأعداد؟
المستوى الصعب (الدهليز النهائي): هذه هي مسائل "NP-complete". فكر في هذه المسائل كأكثر الألغاز تعقيداً في الكون، مثل السودوكو، أو برج هانوي (تحريك الأقراص بين الأوتاد)، أو تلوين المخططات (تلوين خريطة بحيث لا تملك الدول المتجاورة نفس اللون). تتطلب هذه المسائل تخطيطاً منطقياً عميقاً وخطوة بخطوة.

3. "آلة الحقيقة" (لا مجال للتخمين)

في العديد من اختبارات الذكاء الاصطناعي، يتعين على الكمبيوتر التخمين عما إذا كانت إجابة الذكاء الاصطناعي صحيحة أم لا. أحياناً يعطي الذكاء الاصطناعي إجابة غريبة قد تكون صحيحة، فيصاب الكمبيوتر بالارتباك.

يستخدم BEYONDBENCH "آلة حقيقة" (حلول رياضية). قبل أن يرى الذكاء الاصطناعي المسألة حتى، يقوم الكمبيوتر بحساب الإجابة الصحيحة بالضبط.

إذا كانت هناك إجابة واحدة صحيحة فقط، يتحقق الكمبيوتر منها.
إذا كانت هناك إجابات متعددة صحيحة (كما في بعض الألغاز)، يقوم الكمبيوتر بسرد كل تلك الإجابات.
إذا أجاب الذكاء الاصطناعي بشكل صحيح، يحصل على الدرجة. وإذا أخطأ، يحصل على صفر. لا يوجد تخمين، ولا غموض.

4. النتائج: وهم "التفكير"

اختبر الباحثون 101 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي، من النماذج الصغيرة إلى الحواسيب الفائقة الضخمة. وهذا ما وجدوه:

نماذج "التفكير" تفرط في التفكير: صُممت بعض نماذج الذكاء الاصطري الجديدة لـ "تفكر" لفترة أطول قبل الإجابة (مثل أخذ نفس عميق). وجدت الورقة البحثية أنه بالنسبة لهذه الألغاز المعقدة، غالباً ما يؤدي التفكير لفترة أطول إلى جعل أدائهم أسوأ. فهم يبدأون في حل اللغز بشكل صحيح، ثم يرتبكون في المنتصف، ثم يحاولون "إصلاح" خطئهم، مما يجعل الأمر أسوأ. الأمر يشبه طالباً يعرف الخطوة الأولى من مسألة رياضية، لكنه يبدأ في التشكيك في نفسه ثم يكتب إجابة خاطئة تماماً.
مستخدمو "الأدوات" هم الفائزون: أفضل المؤدين لم يكونوا أولئك الذين يحاولون القيام بكل شيء في عقولهم، بل كانوا أولئك الذين عرفوا متى يستخدمون الآلة الحاسبة أو كتابة الكود البرمجي.
- تشبيه: تخيل إنساناً يحاول حل لغز سودوكو. إذا حاول القيام بذلك بالكامل في ذهنه، فقد يفشل. ولكن إذا سُمح له باستخدام قلم وورقة (أداة)، فيمكنه حلها بسهولة. أفضل نماذج الذكاء الاصطناعي أدركت: "لا يمكنني الاحتفاظ بكل هذه الأرقام في ذاكرتي؛ أحتاج إلى تدوينها".
السقف: حتى أكثر نماذج الذكاء الاصطناعي ذكاءً تصطدم بـ "سقف" في المسائل الأكثر صعوبة. تمكنوا من حل حوالي 50-60% من أصعب المسائل، لكنهم لم يستطيعوا الوصول إلى 100%. هذا يشير إلى أن الذكاء الاصطناعي الحالي لا يزال يفتقر إلى قطعة أساسية من "الاستنتاج المنطقي" التي يمتلكها البشر.

5. لماذا هذا مهم؟

يثبت BEYONDBENCH أن العديد من نماذج الذكاء الاصطناعي هي أوهام من الذكاء. فهي تبدو ذكية لأنها حفظت بيانات التدريب، ولكن عندما تعطيها لغزاً جديداً تماماً لم يسبق رؤيته، فإنها تعاني.

تخلص الورقة البحثية إلى أنه لبناء ذكاء اصطناعي عام حقيقي (AGI)، لا ينبغي لنا فقط جعل النماذج أكبر حجماً. بدلاً من ذلك، نحتاج إلى بناء أنظمة هجينة: أنظمة ذكاء اصطناعي يمكنها التحدث وفهم اللغة، ولكنها تعرف أيضاً متى تتوقف وتستخدم آلة حاسبة، أو مفسر كود، أو محرك بحث لإنجاز المهمة.

باختصار: BEYONDBENCH هو أول اختبار يكشفحيل غش نماذج الذكاء الاصطناعي عبر حفظ الإجابات. إنه يوضح لنا أنه بينما يتحسن الذكاء الاصطناعي في التحدث، فإنه لا يزال يعاني في "التفكير" حقاً عبر المسائل المعقدة والجديدة دون مساعدة.

ملخص تقني: BEYONDBENCH: تقييم مقاوم للتلوث للقدرة على الاستنتاج في النماذج اللغوية

1. بيان المشكلة

يتعرض تقييم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لعملية تلوث البيانات (Data Contamination). فمع نمو مجموعات البيانات التدريبية لتصل إلى حجم الويب، تتداخل الاختبارات المعيارية الثابتة (مثل GSM8K وMATH وOlympiadBench) حتمًا مع بيانات التدريب. يؤدي هذا إلى قيام النماذج بـ "حفظ" إجابات محددة بدلاً من تعلم أنماط استنتاج عامة، مما ينتج عنه مقاييس أداء مضخمة لا تعكس قدرات الاستنتاج الخوارزمي الحقيقية. تفتقر الاختبارات المعيارية الديناميكية الحالية غالبًا إلى الضمانات الرياضية فيما يتعلق بتفرد الحلول أو تفشل في مراعاة قيود النماذج مثل ميزانيات الرموز (Tokens).

2. المنهجية: إطار عمل BEYONDBENCH

BEYONDBENCH هو إطار تقييم مصمم للقضاء على التلوث من خلال التوليد الخوارزمي للمشكلات. وبدلاً من مجموعات البيانات الثابتة، يقوم الإطار بتوليد مشكلات آنيًا من فضاء توافقي يتجاوز $10^{15}$ حالة فريدة لكل مهمة.

المكونات الأساسية

التوليد الخوارمازمي للمشكلات:
- التوليد الديناميكي: تُعرف المهام بواسطة مولدات $G_\tau$ تقوم برسم خرائط لمعاملات قابلة للضبط (مثل أحجام القوائم، وكثافة القيود) وبذور عشوائية (Random Seeds) لإنتاج حالات المشكلات.
- المقاومة للتلوث: حجم فضاء المشكلات ( $|\Theta \times R| > 10^{15}$ ) أكبر بعدة مراتب من أي مجموعة بيانات تدريبية ممكنة ( $|C| < 10^{12}$ )، مما يجعل احتمال حدوث تصادم دقيق للحالة (Exact Instance Collision) ضئيلاً للغاية ( $< 10^{-3}$ ).
- التحقق الرسمي (Formal Verification): يتم التحقق من كل مشكلة مُولدة لضمان سلامة الصياغة (Well-posedness).
  - الحلول الفريدة: في مهام مثل الحساب أو برج هانوي (Tower of Hanoi)، تتحقق الحلول من وجود حل فريد واحد فقط.
  - التعامل مع الحلول المتعددة: في مهام مثل N-Queens أو Sudoku، يقوم الإطار بحصر المجموعة الكاملة للحلول الصالحة. تُمنح النماذج الدرجة إذا تطابق مخرجها مع أي حل صالح، مما يمنع العقاب على الإجابات غير النموذجية ولكن الصحيحة.
بروتوكول التقييم المدرك للرموز (Token-Aware):
- يقوم إطار العمل بتوسيع صعوبة المشكلة ديناميكيًا بناءً على نافذة السياق الخاصة بالنموذج وميزانية رموز المخرجات ( $C$ ).
- القيد: $T_{prompt}(n) + T_{solution}(n) + T_{buffer} \leq C$ .
- إذا تجاوز طول الحل الأدنى لمشكلة ما قدرة النموذج، يتم استبعاد المشكلة أو تقليص حجمها، لضمان تقييم عادل يختبر الاستنتاج بدلاً من الحدود الهيكلية (Architectural Limits).
منهج الصعوبة (Difficulty Curriculum):
يتم هيكلة الاختبار المعياري في ثلاث مجموعات تغطي 44 مهمة خوارزمية و117 تنويعًا:
- المجموعة السهلة (29 مهمة): مشكلات قابلة للحل في وقت حدودي (الحساب، الفرز، الإحصاء الأساسي). التعقيد: $O(n^k)$ .
- المجموعة المتوسطة (5 مهام، 49 تنويعًا): أنماط النمو الأسي (متتالية فيبوناتشي، المتتاليات الهندسية، نظرية الأعداد الأولية). التعقيد: $^n2$ إلى $!nO$ .
- المجموعة الصعبة (10 مهام، 68 تنويعًا): مشكلات NP-complete وإرضاء القيود (برج هانوي، N-Queens، تلوين الرسم البياني، Boolean SAT، Sudoku). التعقيد: NP-complete.

3. المساهمات الرئيسية

تقييم مقاوم للتلوث: إطار عمل يضمن رياضيًا استحالة الغش القائم على الحفظ من خلال فضاء مشكلات ضخم ديناميكيًا وتوليد خوارزمي مع التحقق الرسمي من الحلول.
التوسع المدرك للرموز: بروتوكول تقييم مبتكر يكيف تعقيد المشكلة مع بنية النموذج، مما يمنع العقاب غير العادل للنماذج ذات نوافذ السياق الصغيرة.
1. دراسة تجريبية شاملة: تقييم منهجي لـ 101 نموذج لغوي (85 نموذج مفتوح المصدر، 16 نموذج مغلق المصدر) تتراوح أحجامها من 0.5 مليار إلى 141 مليار معلمة، بما في في ذلك النسخ المكممة (Quantized) ونماذج "الاستنتاج".
التحليل المعزز بالأدوات: تقييم صارم لكيفية تأثير تنفيذ الكود والمحللات الرمزية (Symbolic Solvers) على الاستنتاج، والتمييز بين الاستنتاج الفطري والقدرات المعززة بالأدوات.

4. النتائج والرؤى الرئيسية

أ. الانهيار المنهجي للأداء

تظهر النماذج منحدرات أداء حادة بدلاً من التدهور التدريجي مع زيادة التعقيد.

السهل مقابل الصعب: بينما تحقق أفضل النماذج حوالي 90% في المهام السهلة، ينخفض الأداء بشكل حاد في المهام الصعبة. على سبيل المثال، يهبط GPT-5 من 97.3% (السهل) إلى 71.7% (الصعب). أما النماذج مفتوحة المصدر مثل Llama-3.3-70B فتسقط من 74.8% إلى 27.2%.
سلوك العتبة (Threshold Behavior): تظهر مهام مثل Sudoku وN-Queens "انتقال طوري" حيث تظل الدقة مرتفعة حتى الوصول إلى عتبة تعقيد حرجة (حوالي $0.7 \times \log_2(\text{context\_length})$ )، وبعدها ينهار الأداء إلى ما يقرب من الصفر.

ب. حدود التوسع و"التفكير"

توسع المعلمات (Parameter Scaling): تتبع مكاسب الأداء منحنى لوغاريتمي مع تناقص العوائد. إن زيادة حجم النموذج من 0.6 مليار إلى 32 مليار تحقق مكاسب كبيرة، لكن التوسع الإضافي يقدم تحسينات هامشية في المهام الصعبة.
نماذج الاستنتاج (LRMs): تُظهر نماذج "التفكير" (مثل o3 وPhi-4-reasoning) تحسنات ضئيلة مقارنة بنسخها الأساسية في المهام الخوارزيمية. وتكشف دراسات الحالة التفصيلية أنها غالبًا ما تفشل بسبب أخطاء إدارة الحالة (State Management Errors) أثناء الاستنتاج الممتد (على سبيل المثال، فقدان تتبع مواقع الأقراص في برج هانوي بعد 89 خطوة)، بدلاً من نقص المعرفة الخوارزمية.
الضبط الدقيق للرياضيات: غالبًا ما يؤدي الضبط الدقيق المتخصص للرياضيات (مثل Qwen2.5-72B-math) إلى تدهور الأداء في الاستنتاج الخوارزمي، مما يشير إلى أن التحسين من أجل حل المعادلات لا ينتقل إلى التنفيذ الخوارزمي الإجرائي.

ج. دور الأدوات

التعزيز بالأدوات: تُظهر النماذج التي تمتلك وصولًا إلى الأدوات (تنفيذ الكود، الآلات الحاسبة) مكاسب هائلة في الأداء (على سبيل المثال، +44% في برج هانوي و+55% في Sudoku).
عنق زجاجة التنسيق (Orchestration Bottleneck): العائق الرئيسي للنماذج الصغيرة ليس الاستنتاج نفسه بل التنسيق (Orchestration) للأدوات (اختيار الأداة المناسبة، تنسيق المدخلات، تفسير المخرجات). يحقق GPT-5 نجاحًا بنسبة 94% في تنسيق الأدوات، بينما يحقق Qwen2.5-3B نسبة 41% فقط.
الاستنتاج: من المرجح أن النماذج الرائدة المملوكة لشركات تنجح ليس من خلال "الاستنتاج النقي" المتفوق، بل عبر التعرف الفعال على متى يجب نقل العمليات الحسابية إلى أدوات خارجية.

د. التحقق من مقاومة التلوث

تجارب التدريب: عندما تم ضبط النماذج دقيقًا باستخدام 66,000 حالة من BEYONDBENCH (باستخدام بذرة مختلفة عن بذرة التقييم)، تحسن الأداء في المجموعة الصعبة بنسبة 12-15% فقط، بينما تسجل الاختبارات الثابتة (مثل GSM8K) درجات تقترب من الكمال عند التدريب على بيانات الاختبار. وهذا يؤكد أن BEYONDBENCH يجبر النماذج على تعلم الاستدلالات العامة بدلاً من الحفظ.

5. الأهمية والخاتمة

يعيد BEYONDBENCH تعريف المعيار لتقييم استنتاج النماذج اللغوية الكبيرة عبر الانتقال من مجموعات البيانات الثابتة المعرضة للتلوث إلى تحديات خوارزمية ديناميكية ذات أسس رياضية.

العائق الجوهري: تكشف الدراسة أن الاستنتاج الخوارزمي الفطري هو عائق أساسي للنماذج اللغوية الكبيرة الحالية، وهو أمر لا يمكن حله بمجرد توسيع المعلمات أو إطالة عملية "التفكير" وحدها.
الطريق نحو AGI: تشير النتائج إلى أن الطريق نحو الذكاء الاصطناوي العام (AGI) يكمن في البنى الهجينة (Neuro-symbolic) والأنظمة الوكيلة (Agentic Systems) التي يمكنها دمج فهم اللغة بسلاسة مع الأدوات الحسابية الخارجية.
التقييم العادل: من خلال ضمان مقاومة التلوث والعدالة المدركة للرموز، يوفر BEYONDBENCH لوحة صدارة موثوقة لقياس قدرات الاستنتاج الحقيقية، كاشفًا "وهم الاستنتاج" في النماذج التي تكتفي باستدعاء بيانات التدريب.

إطار العمل مفتوح المصدر، مما يسمح للمجتمع بتوسيع الاختبار المعياري بمهام جديدة ومواصلة تقييم النماذج مع تطورها بما يتجاوز قدراتها الحالية.