Interactive Benchmarks
تقترح هذه الورقة البحثية "المعايير المرجعية التفاعلية"، وهي نموذج تقييم موحد يقيس ذكاء النماذج من خلال الاستحواذ النشط على المعلومات والاستدلال تحت قيود الميزانية في البراهين والألعاب التفاعلية، مما يثبت أن النماذج الحالية لا تزال لديها مجال كبير للتحسين في هذه السيناريوهات الديناميكية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز، ولكن بدلاً من أن تُمنح قائمة بالدلاء، يتعين عليك أن تسأل عنها. لديك عدد محدود من الأسئلة التي يمكنك طرحها قبل أن تنتهي اللعبة. إذا طرحت الأسئلة الخاطئة، سينفد وقتك وتفشل. وإذا طرحت الأسئلة الصحيحة، فستحل القضية.
هذه هي الفكرة الجوهرية وراء ورقة البحث "المعايير التفاعلية" (Interactive Benchmarks).
إليك تفصيل لما يهم، وما فعلوه، وما وجدوه، باستخدام تشبيهات بسيطة.
1. المشكلة: "الحشو" مقابل "المحقق"
لفترة طويلة، كنا نختبر نماذج الذكاء الاصطناعي (مثل تلك التي تشغل برامج الدردشة الآلية) باستخدام معايير ثابتة.
- الطريقة القديمة: تشبه إعطاء طالب اختباراً من نوع الاختيار من متعدد حيث لا يمكنه طلب المساعدة من المعلم. عليه فقط حفظ الحقائق أو تخمين الإجابة بناءً على السؤال وحده.
- الخلل: لقد أصبح الذكاء الاصطناعي بارعاً جداً في حفظ هذه الاختبارات لدرجة أنهم "يغشون" عبر رؤية الإجابات أثناء مرحلة التدريب. كما أن المشكلات في العالم الحقيقي ليست اختياراً من متعدد؛ فأنت لا تحصل على جميع الحقائق دفعة واحدة، بل يتعين عليك الخروج والبحث عنها.
يجادل المؤلفون بأن الذكاء الحقيقي ليس مجرد معرفة الإجابة؛ بل هو معرفة ما الذي يجب أن تسأل عنه للحصول على الإجابة.
2. الحل: "المعايير التفاعلية"
ابتكر المؤلفون طريقة جديدة لاختبار الذكاء الاصطناعي تسمى المعايير التفاعلية. بدلاً من الاختبار الثابت، قاموا بإعداد محادثة حيث يتعين على الذكاء الاصطناعي البحث بنشاط عن المعلومات ضمن "ميزانية" صارمة (حد من عدد الأدوار أو الأسئلة التي يمكنه طرحها).
وقد قسموا هذا إلى "لعبتين" رئيسيتين:
اللعبة (أ): المحقق (الأدلة التفاعلية)
- السيناريو: تخيل "لغز موقف" (مثل الألغاز). يقال لك: "آه شينغ أُسقط أرضاً بواسطة طفل، لكنه كان سعيداً. لماذا؟"
- القواعد: لا يمكنك التخمين فقط. عليك أن تسأل "قاضياً" (يعرف الحقيقة) أسئلة بصيغة نعم/لا. لكن لديك 20 سؤالاً فقط لحل اللغز.
- الاختبار: هل يستطيع الذكاء الاصطناعي تحديد الأسئلة الصحيحة لطرحها؟ (مثلاً: "هل كان الطفل أكبر منه سناً؟" "هل بدا الطفل وكأنه طالب؟")
- النتيجة: عندما حاول الذكاء الاصطناعي التخمين فقط دون طرح أسئلة، فشل الجميع (دقة 0%). ولكن عندما سُمح لهم بطرح الأسئلة، بدأت بعض النماذج (مثل Gemini وGPT-5) في حلها. هذا يثبت أن طرح الأسئلة الصحيحة هو مهارة يحتاج الذكاء الاصطناعي لتعلمها.
اللعبة (ب): لاعب البوكر والدبلوماسي (الألعاب التفاعلية)
هنا، لا يوجد "قاضٍ" يملك الإجابة. يتعين على الذكاء الاصطناعي اللعب ضد الآخرين للفوز.
- البوكر (تكساس هولدم): يتعين على الذكاء الاصطناعي القيام بالخداع (Bluffing)، وحساب الاحتمالات، وقراءة "علامات" اللاعبين الآخرين دون معرفة أوراقهم. الأمر يشبه لعب البوكر في غرفة مليئة بالغرباء حيث يتعين عليك تقرير متى تراهن بقوة ومتى تنسحب.
- لعبة الثقة: تخيل لعبة متكررة من "التعاون أو الخيانة". إذا تعاونت، سنربح كلانا قليلاً. إذا خنت، ستربح كثيراً وأنا أخسر. ولكن إذا خنا كلانا، فسنخسر نحن الاثنين. يتعين على الذكاء الاصطناعي تعلم: هل يجب أن أثق بهذا الشخص؟ هل يجب أن أعاقبه لأنه غش؟ متى يجب أن أسامحه؟
3. الاكتشاف الكبير: "الفجوة"
اختبر الباحثون أفضل نماذج الذكاء الاصطناعي (Grok, Gemini, GPT-5، إلخ) في هذه الألعاب التفاعلية. وإليكم ما وجدوه:
- نماذج "الحشو" عالقة: العديد من النماذج بارعة في الإجابة على الأسئلة إذا كانت لديها كل المعلومات، لكنها سيئة جداً في تحديد المعلومات التي تنقصها.
- مهارة "المحقق" نادرة: في لعبة الألغاز، فشلت معظم النماذج تماماً لأنها لم تعرف كيفية طرح الأسئلة لتضييق نطاق الاحتمالات.
- طاولة البوكر: في لعبة البوكر، كان أحد النماذج (Gemini) هو الأكثر اتساقاً في الفوز، حيث وازن بين الهجوم والحذر. أما النماذج الأخرى فكانت إما شديدة التردد أو متهورة للغاية.
- لعبة الثقة: تعلم عدد قليل فقط من النماذج كيفية بناء الثقة والتعاون بفعالية بمرور الوقت. معظم النماذج إما خانت بسهل جداً أو كانت ساذجة للغاية.
4. لماذا يهم هذا (الخلاصة)
فكر في المعايير القديمة كاختبار لـ آلة حاسبة: "ما هو 2+2؟"
المعايير الجديدة تختبر محققاً: "إليك مسرح جريمة. الأدلة مخفية. اذهب وابحث عنها، واطرح الأسئلة الصحيحة، وحل الجريمة قبل أن ينفد وقتك."
تخلص الورقة البحثية إلى أن:
- الذكاء الاصطناعي الحالي لا يزال "سلبياً" للغاية. إنه ينتظر أن تُعطى له المعلومات.
- الذكاء الحقيقي يتطلب فضولاً نشطاً—القدرة على إدراك "أنا لا أعرف هذا، لذا أحتاج إلى السؤال عنه".
- لا تزال هناك مساحة كبيرة للتحسين. حتى أكثر نماذج الذكاء الاصطناعي ذكاءً اليوم تعاني لتكون محققين جيدين أو لاعبين استراتيجيين.
باختاً: لقد توقفنا عن اختبار الذكاء الاصطناعي على مدى جودة حفظه لكتاب مدرسي، وبدأنا نختبره على مدى جودة تنقله في متاهة وهو معصوب العينين، يطلب الاتجاهات فقط عندما يتعثر. وتخمين ماذا؟ لا يزالون يضلون الطريق كثيراً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.