HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam
تقدم هذه الورقة HLE-Verified، وهي نسخة مراجعة ومنقحة بشكل منهجي من معيار Humanity's Last Exam، تستخدم سير عمل ثنائي المرحلة للتحقق والإصلاح من قبل الخبراء للقضاء على العناصر المشوشة، مما يؤدي إلى تحسين دقة وموثوقية تقييمات النماذج اللغوية الرائدة بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم يستعد لإعداد "الامتحان النهائي للبشرية" لفصل دراسي من طلاب الذكاء الاصطناعي فائق الذكاء. هذا الامتحان، المسمى HLE (آخر امتحان للبشرية)، من المفترض أن يكون الاختبار النهائي لمعرفة أذكى ذكاء اصطناعي في العالم. وهو يغطي كل شيء من الرياضيات والفيزياء إلى التاريخ والبرمجة.
ومع ذلك، بعد إصدار الامتحان، بدأ المجتمع يلاحظ شيئًا غريبًا: الامتحان نفسه كان معطوبًا.
كُتبت بعض الأسئلة في شكل ألغاز محيرة. وبعضها احتوى على إجابات خاطئة مطبوعة في خلف الكتاب. كما كانت بعض التفسيرات غير منطقية. كان الأمر أشبه باختبار رياضيات يطلب فيه السؤال "2 + 2"، لكن مفتاح الإجابة يقول "5"، ويحاول المدرس في ملاحظاته شرح لماذا 2 + 2 تساوي 5 باستخدام السحر.
عندما خاض طلاب الذكاء الاصطناعي هذا الاختبار المعطوب، لم تعكس درجاتهم مدى ذكائهم الفعلي، بل عكست مدى براعتهم في تخمين ما "قصده" المعلم المرتبك، أو مدى حظهم في التعثر بالإجابة الصحيحة رغم وجود مفتاح خاطئ.
الحل: HLE-Verified
قرر مؤلفو هذه الورقة البحثية (فريق من علي بابا وكوين) إصلاح هذا الفوضى. لقد أنشأوا HLE-Verified.
لا تنظر إلى هذا كاختبار جديد، بل كعملية "تدقيق جودة" صارمة للاختبار القديم. لم يكتفوا بمجرد التخمين؛ بل بنوا خط إنتاج لتفتيش كل سؤال.
كيف أصلحوا الأمر (مصنع ذو مرحلتين)
المرحلة الأولى: فحص "المعيار الذهبي"
أخذوا كل سؤال وسألوا نوعين من المفتشين:
- خبراء بشريون: علماء وأساتذة حقيقيون يدركون التخصص بعمق.
- مفتشون من الذكاء الاصطناعي: نماذج ذكاء اصطناعي قوية أخرى تحاول حل المشكلة لترى ما إذا كانت ستصل إلى نفس إجابة المفتاح.
إذا كان السؤال واضحًا، والإجابة صحيحة، والتفسير منطقيًا، فإنه يحصل على "نجمة ذهبية" ويبقى كما هو تمامًا. (نجت 668 سؤالًا من هذه المرحلة).
المرحلة الثانية: غرفة "الجراحة"
بالنسبة للأسئلة التي كانت معطوبة ولكن "قابلة للإصلاح"، لم يتخلصوا منها، بل أجروا لها عملية جراحية.
- إذا كان السؤال ينقصه تفصيل جوهري، قاموا بإضافته.
- إذا كانت الإجابة خاطئة (على سبيل المثال، خطأ في إشارة رياضية في الفيزياء)، قاموا بتصحيحها.
- إذا كان التفسير غير مفهوم، أعادوا كتابته.
ومن الأهمية بمكان أنهم تعهدوا بعدم تغيير ما كان السؤال يحاول اختباره. لقد قاموا فقط بإصلاح الأجزاء المعطوبة لكي يقيس الاختبار بالفعل "عقل" الذكاء الاصطناعي، وليس قدرته على فك رموز خطأ مطبعي. (تم إصلاح 1,143 سؤالًا بهذه الطريقة).
صندوق "عدم اليقين"
أما بالنسبة للأسئلة المتبقية (689 سؤالًا) التي كانت محيرة أو معقدة للغاية لدرجة أن حتى الخبراء لم يستطيعوا الاتفاق على الإجابة الصحيحة لها، فلم يحذفوها. بدلاً من ذلك، وضعوها في "صندوق عدم اليقين" الخاص. ووسموها بوضوح: "لا نعرف ما إذا كان هذا صحيحًا بعد؛ من فضلكم، أيها الخبراء المستقبليون، تعالوا وساعدونا في اكتشاف ذلك".
ماذا حدث عندما أعادوا الاختبار؟
أخذ الفريق 8 من أذكى نماذج الذكاء الاصطناعي في العالم وأعطوهم الامتحان الأصلي المعطوب والامتحان الجديد المُصحح.
إليكم ما وجدوه:
- ارتفعت الدرجات (بشكل كبير):
في الامتحان الأصلي المعطوب، عانى الذكاء الاصطناعي لأن الأسئلة كانت عبارة عن فخاخ. في الامتحان المُصحح، قفزت درجاتهم بمعدل 7% إلى 10% في المتوسط.
- تشبيه: تخيل عداءً يتعثر في حفرة مخفية في مضمار السباق. بمجرد ردم الحفرة، لا تصبح قدماه أسرع، لكنه أخيرًا يتمكن من الجري بسرعته الحقيقية.
- الأسئلة "المعطوبة" كانت الأسوأ حالًا:
بالنسبة للأسئلة المحددة التي كانت تحتوي على إجابات خاطئة أو نصوص محيرة، كان التحسن هائلًا. قفزت دقة الذكاء الاصطناعي في هذه العناصر بنسبة 30% إلى 40%.
- تشبيه: اتضح أن الذكاء الاصطناعي لم يكن "سيئًا في الرياضيات"؛ بل كان يحاول فقط حل مسألة رياضية حيث كتبت الأرقام بحبر سري. وبمجرد الكشف عن الحبر، تمكنوا من حلها ببراعة.
- أصبحت الثقة حقيقية:
في السابق، عندما يواجه الذكاء الاصطناعي سؤالًا معطوبًا، كان غالبًا ما يخمن بثقة ولكنه يخطئ (لأن السؤال كان خدعة). بعد الإصلاح، تطابقت ثقة الذكاء الاصطناعي مع قدرته الفعلية. إذا عرف الإجابة، كان واثقًا. وإذا لم يعرفها، لم يكن كذلك.
لماذا يهم هذا الأمر؟
تعلمنا هذه الورقة درسًا حيويًا: لا يمكنك قياس ذكاء شخص ما إذا كان الاختبار معطوبًا.
- لمطوري الذكاء الاصطناعي: يوضح هذا أنه عندما يفشل الذكاء الاصطناعي في اختبار صعب، فقد لا يكون الخطأ خطأ الذكاء الاصطناعي؛ بل قد يكون خطأ الاختبار نفسه.
- للعلوم: يثبت هذا أننا بحاجة إلى فحص "أدوات القياس" الخاصة بنا باستمرار للتأكد من أنها ليست منحنية.
- للجميع: إنه تذكير بأنه في عالم المعلومات المعقدة، التحقق لا يقل أهمية عن الابتكار.
باختًا، HLE-Verified هو "التدقيق الإملائي" و"التدقيق الحقائقي" لأهم اختبار في تاريخ الذكاء الاصطناعي، مما يضمن أنه عندما نقول إن ذكاءً اصطناعيًا "ذكي"، فإننا نعني ذلك حقًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.