Research-Oriented Human-Centric Evaluation for Foundation Models
تقدم هذه الورقة إطار عمل للتقييم المتمحور حول الإنسان موجهًا نحو البحث، يعالج أوجه القصور في المعايير الموضوعية من خلال رصد تصورات المستخدمين عبر القدرة على حل المشكلات، وجودة المعلومات، وتجربة التفاعل من خلال 604 جلسات بشرية، بينما يثبت أنه حتى النماذج اللغوية الكبيرة المتقدمة لا يمكنها محاكاة القيمة التي لا تُعوض للحكم البشري من منظور الشخص الأول بشكل كامل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول العثور على شريك الدراسة المثالي. لقد سمعت عن هؤلاء المساعدين الرقميين الأذكياء للغاية، "نماذج التأسيس" (foundation models)، التي يمكنها قراءة الكتب، وكتابة الأكواد البرمجية، وحل المسائل الرياضية. لفترة طويلة، اختبر العلماء هذه الأدمغة الرقمية باستخدام اختبارات اختيار من متعدد صارمة. كانوا يسألون: "هل حصل الروبوت على الإجابة الصحيحة؟" و"ما مدى سرعة حسابه؟". الأمر يشبه تقييم طالب بناءً على درجة الاختبار النهائي فقط، مع تجاهل ما إذا كان مفيداً، أو سهل التعامل معه، أو ما إذا كان قد فهم حقاً ما تطلبه منه.
ولكن في العالم الحقيقي، لا نريد مجرد روبوت يعطي الإجابة الصحيحة؛ بل نريد شريكاً يساعدنا على التفكير. وهنا يأتي دور مجال "التقييم المتمحور حول الإنسان" (Human-Centric Evaluation). إنها الفكرة القائلة بأنه لكي نحكم حقاً على ذكاء اصطناعي، نحتاج إلى سؤال المستخدم البشري: "هل كان العمل معه مريحاً؟" و"هل وفر عليّ الوقت؟" و"هل ساعدني حقاً في حل مشكلتي؟". تغوص هذه الورقة البحثية بعمق في هذا السؤال، متجاوزةً مجرد درجات الاختبار البسيطة لترى كيف تؤدي هذه النماذج عملها عندما تتعاون فعلياً مع البشر في مهام بحثية حقيقية ومعقدة.
فحص شامل لزميل الدراسة الذكي (الذكاء الاصطناعي)
لذا، قرر الباحثون وراء هذه الورقة التوقف عن معاملة الذكاء الاصطناعي كمتدرب في اختبار، والبدء في معاملته كشريك دراسة. لقد بنوا طريقة جديدة لتقييم هذه النماذج تسمى إطار "التقييم المتمحور حول الإنسان" (HCE). فبدلاً من مجرد التحقق مما إذا كانت الإجابة صحيحة، نظروا إلى ثلاثة أمور كبيرة تجعل الإنسان يشعر بالسعادة أو الإحباط أثناء العمل مع الذكاء الاصطناعي:
- القدرة على حل المشكلات: هل ساعد الذكاء الاصطناعي حقاً في حل اللغز؟ هل كان دقيقاً، وهل غطى جميع الجوانب، وهل وفر وقت المستخدم؟
- جودة المعلومات: هل كانت المعلومات التي قدمها الذكاء الاصطناعي موثوقة، وعميقة، وكاملة؟ أم كانت ناقصة وغير مكتملة؟
- تجربة التفاعل: هل كان الحوار سلساً؟ هل استمع الذكاس الاصطناعي إليك عندما قلت: "لا، ليس هذا ما قصدته"، أم استمر في الهذيان؟ هل بدا طبيعياً، أم كأنه روبوت يقرأ من دليل تعليمات؟
لاختبار ذلك، لم يكتف الفريق بإجراء محاكاة حاسوبية. بل أقاموا تجربة من العالم الحقيقي. فقد جمعوا 604 جلسة تقييم بشرية شارك فيها 82 شخصاً مختلفاً (معظمهم من الطلاب والباحثين) و 4 من أكثر نماذج الذكاء الاصطناعي تقدماً في ذلك الوقت.
إليك كيف سارت التجربة: تخيل أنك باحث. تختار موضوعاً تهتم به — ربما يكون عن السيارات التي تعمل بالطاقة الجديدة، أو كيفية وضع استراتيجية للتحوط من المخاطر في التمويل، أو حتى كيفية كتابة تقرير عن صلصة المكرونة. ثم تجلس مع ذكاء اصطناعي لمدة 20 دقيقة. تدردش بحرية، وتطرح الأسئلة، وتحاول إنجاز المهمة. وبمجرد توقف المؤقت، تملأ استبياناً. تقوم بتقييم الذكاء الاصطناعي على مقياس من 1 إلى 5 لأمور مثل "هل فهمتني؟" و"هل كانت المعلومات موثوقة؟".
ما وجدوه: الفائز "المتوازن"
كانت النتائج رائعة. وجدت الورقة أن الذكاء الاصطناعي "الأفضل" ليس بالضرورة هو الأقوى في شيء واحد فقط. بدلاً من ذلك، كان الفائز هو النموذج الذي كان جيداً باستمرار في كل شيء.
لقل نموذج واحد، وهو Grok-3، الصدارة بمتوسط درجات بلغ 4.30. لماذا؟ لأنه لم يكن لديه أي نقاط ضعف رئيسية. لقد كان جيداً في حل المشكلات، وقدم معلومات عالية الجودة، وكان يتمتع بتجربة دردشة رائعة.
من ناحية أخرى، كانت نماذج مثل Gemini-2.5 و DeepSeek-R1 تمتلك بعض "القوى الخارقة". رب فقد كانت مذهلة في إيجاد معلومات عميقة، لكنها تعثرت قليلاً في سرعة استجابتها أو مدى قدرتها على التكيف عندما تصحح لها مسارها. تشير الورقة إلى أنه في بيئة بحثية حقيقية، لا يمكنك امتلاك قوة خارقة واحدة فقط؛ بل تحتاج إلى لاعب فريق متوازن. فإذا كان الذكاء الاصطناعي الخاص بك عبقرياً ولكنه يستغرق وقتاً طويلاً للرد أو يتجاهل تصحيحاتك، فهو ليس شريكاً جيداً.
كما درست الدراسة موضوعات مختلفة مثل القانون، والطب، والبيولوجيا. ووجدوا أنه بينما تغيرت الدرجات قليلاً اعتماداً على الموضوع، إلا أن ترتيب النماذج ظل ثابتاً في الغالب. وهذا يعني أن النموذج الذي يعد "زميل دراسة" جيداً في مجال ما، من المرجح أن يكون زميلاً جيداً في مجال آخر أيضاً.
تجربة "القاضي الروبوت": اختبار الواقع
هذا هو الجزء الأكثر إثارة للدهشة في القصة. فقد طرح الباحثون سؤالاً كبيراً: هل يمكننا ببسا p استخدام ذكاء اصطناعي آخر لتقييم نماذج الذكاء الاصطنا هذه؟ وهذا ما يسمى "استخدام النموذج اللغوي الكبير كقاضٍ" (LLM-as-a-judge). لقد أخذوا سجلات الدردشة من التجارب البشرية وغذوا بها نماذج ذكاء اصطناعي متقدمة أخرى، وطلبوا منها إعطاء نفس التقييمات التي أعطاها البشر.
النتيجة؟ فشلت الروبوتات.
حتى أذكى القضاة من الذكاء الاصطناعي، مثل GPT-5.2، لم يحصلوا إلا على حوالي 51.5% من التقييمات بشكل صحيح. وهذا بالكاد يتجاوز رمية العملة! العديد من النماذج الأخرى سجلت درجات أقل، حيث تراوحت حول 30-40%، وهو ما يعد تخميناً عشوائياً تقريباً.
هذا يخبرنا بشيء مهم جداً: الذكاء الاصطناعي لا يمكنه بعد استبدال المشاعر البشرية. يمكن للذكاء الاصطناعي قراءة النص ومعرفة ما إذا كانت الحقائق موجودة، لكنه لا يستطيع "الشعور" بالإحباط الناتج عن الانتظار طويلاً للحصول على إجابة، أو متعة المحادثة الطبيعية المثالية. تشير الورقة إلى أنه نظراً لأن الذكاء الاصطناعي يفتقر إلى الخبرة الواقعية والقدرة على استشعار "تدفق" المحادثة، فإنه ليس جاهزاً بعد ليكون القاضي النهائي لمدى فائدة نموذج ما للإنسان.
الخلاصة
إذاً، ما هي الصورة الكبيرة؟ تجادل الورقة بأننا بحاجة إلى التوقف عن الاعتماد فقط على درجات الاختبارات الباردة والقاسية للحكم على الذكاء الاصطناعي. نحن بحاجة إلى الاستماع إلى البشر الذين يستخدمون هذه الأدوات فعلياً. تثبت الدراسة أنه بالنسبة للمهام المعقدة مثل البحث، فإن أفضل ذكاء اصطناعي هو الذي يشعرك بأنه شريك متعاون، وموثوق، وسريع البديهة، وليس مجرد قاموس يجيب على الأسئلة. وإلى أن تتمكن الروبوتات من فهم شعور المستخدم البشري حقاً، فسنظل بحاجة إلى بشر حقيقيين للقيام بعملية التقييم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.