Beyond Questions: Evaluating What Large Language Models (Actually) Know
تقدم هذه الورقة البحثية "ما وراء الأسئلة" (BeQu)، وهو نموذج تقييم جديد للمعرفة المفتوحة يقيم النماذج اللغوية الكبيرة بناءً على المعرفة التي تعبر عنها بشكل طبيعي من خلال الاستدلال المفتوح بدلاً من الأسئلة المحددة مسبقاً، مما يكشف عن رؤى هامة حول قدرات النماذج عبر عوامل مختلفة مثل الحجم وجهد الاستدلال.
تخيل أنك تحاول اكتشاف ما يعرفه طالب بالفعل عن شخصية تاريخية مشهورة، مثل مارتن لوثر كينغ جونيور.
الطريقة القديمة (نهج "برنامج المسابقات") لسنوات، اختبر الباحثون نماذج الذكاء الاصطعي مثل مقدم برنامج مسابقات صارم. يطرحون أسئلة محددة وضيقة: "ما هو تاريخ ميلاده؟" أو "من هي زوجته؟"
المشكلة: هذا يشبه الحكم على طاهٍ من خلال سؤاله فقط عن كيفية صنع شطيرة الجبن المشوية. إذا كان الطاهي خبيرًا في صناعة الحلويات لكنه سيء في صنع الشطائر، فإن الاختبار سيقول إنه طاهٍ سيء. الاختبار يقيس فقط ما اعتقد مصمم الاختبار أنه يجب سؤاله عنه. إذا لم يسأله المصمم أبدًا عن لونه المفضل، فستظل معرفة الذكاء الاصطناعي بهذه الحقيقة غير مرئية. وهذا ما يسمى بـ انحياز التوافر (Availability Bias).
الطريقة الجديدة (نهج "الاستعراض والوصف") تقدم هذه الورقة البحثية طريقة جديدة تسمى تقييم المعرفة المفتوحة (Open Knowledge Evaluation). بدلًا من المسابقة، تخيل أنك تسأل الذكاء الاصطناعي: "أخبرني بكل ما تعرفه عن مارتن لوثر كينغ جونيور."
الهدف: نحن لا نتحقق فقط مما إذا كان الذكاء الاصطناعي قد حصل على الإجابة الصحيحة لسؤال محدد. نحن ننظر إلى القصة الكاملة التي يرويها. نحن نتحقق من:
الدقة (Precision): هل اخترع حقائق (هل هلوس)؟
الاستدعاء (Recall): هل تذكر كل ما يعرفه، أم أنه أغفل تفاصيل مهمة؟
الأداة: BeQu (ما وراء الأسئلة) لاختبار ذلك، بنى المؤلفون ساحة لعب ضخمة تسمى BeQu.
اختاروا 10,000 شيء عشوائي (أشخاص، أماكن، أحداث) من ويكيبيديا.
بنوا "مكتبة مرجعية" لكل منها، حيث جمعوا الحقائق من ويكيبيديا والإنترنت.
طلبوا من 20 نموذجًا مختلفًا من نماذج الذكاء الاصطناعي أن "يخبروا بكل ما يعرفونه" عن هذه الـ 10,000 شيء.
ثم استخدموا نموذج ذكاء اصطناعي فائق الذكاء كحكم لمقارنة القصص التي رواها النماذج مع المكتبة المرجعية لمعرفة ما هو صحيح، وما هو خاطئ، وما هو مفقود.
ما وجدوه (النتائج)
النماذج الكبيرة لا تزال تفوز (لكن النماذج المفتوحة تلحق بها): تخيل نماذج الذكاء الاصطناعي كطلاب. "الطلاب التجاريون" (النماذج المدفوعة والكبيرة مثل Claude Opus) لا يزالون يحصلون على أعلى الدرجات. ومع ذلك، فإن بعض "الطلاب مفتوحي المصدر" (النماذج المجانية) يحققون درجات قريبة بشكل ملحوظ، مما يثبت أنهم منافسون للغاية.
التفكير بعمق لا يساعد كثيرًا: قد تعتقد: "إذا قلت للذكاء الاصطناعي أن 'يفكر بعمق أكثر' أو 'يفكر أكثر' قبل الإجابة، فسيعرف المزيد". وجدت الورقة أن هذا مجرد أسطورة بالنسبة لهذه المهمة تحديدًا. سواء قضى الذكاء الاصطناعي ثانية واحدة أو 10 ثوانٍ في "التفكير"، فإن كمية الحقائق التي استخرجها لم تتغير كثيرًا. المعرفة كانت موجودة بالفعل، وكان ينقصها فقط أن تُقال.
"المعلم الصارم" مقابل "الكاتب المبدع": حاول الباحثون إجبار الذكاء الاصطناعي على الإجابة بتنسيق صارم (مثل جدول بيانات بأعمدة محددة).
النتيجة: أصبح الذكاء الاصطناعي دقيقًا جدًا (دقة عالية) ولكنه توقف عن مشاركة الكثير من الحقائق (استدعاء منخفض). كان الأمر أشبه بطالب يجيب فقط على ما يطلبه المعلم بالضبط، رافضًا إضافة أي سياق إضافي.
على العكس من ذلك، عندما سُمح له بأن يكون حرًا ومنفتحًا، شارك الذكاء الاصطناعي المزيد من الحقائق، حتى لو ارتكب خطأً صغيرًا من حين لآخر.
طلب المزيد يمنحك المزيد (إلى حد ما): عندما طلب الباحثون من الذكاء الاصطناعي سرد "5 حقائق" مقابل "100 حقيقة"، فإن الذكاء الاصطناعي الذي تلقى طلبًا أكبر شارك معلومات أكثر عادةً. ومع ذلك، إذا ضغطوا على الذكاء الاصطناعي بشدة لسرد مئات الحقائق، بدأ في اختلاق أشياء (الهلوسة) لمجرد ملء الحصة المطلوبة.
اختبار "الشخص الوهمي": سألوا الذكاء الاصطناعي عن أشياء غير موجودة (مثل "مطار أندورا الدولي"). أفضل النماذج قالت ببساطة: "لا أعرف شيئًا عن ذلك". أما النماذج الأضعف فبدأت في اختراع تفاصيل وهمية، مما أظهر أنها كانت تخمن بدلاً من أن تكون تعرف حقًا.
الخلاصة تجادل هذه الورقة بأننا بحاجة إلى التوقف عن معاملة الذكاء الاصطناعي كآلة لأسئلة الاختيار من متعدد. لفهم ما يعرفه الذكاء الاصطناعي حقًا، نحتاج إلى تركه يتحدث بحرية لنرى مقدار ما يمكنه وصفه من العالم الحقيقي، ومدى دقة وصفه، وما يختار تركه دون ذكر. إن معيار "BeQu" الجديد هو أداة لقياس قدرة "الاستعراض والوصف" هذه، والتي تكشف أنه بينما يزداد الذكاء الاصطناعي ذكاءً، إلا أنه لا يزال يمتلك الكثير من المعرفة الخفية التي لا يختار دائمًا مشاركتها.
ملخص تقني: ما وراء الأسئلة (BeQu)
بيان المشكلة
تعتمد الاختبارات المرجعية الحالية لتقييم معرفة النماذج اللغوية الكبيرة (LLMs) بشكل كبير على أزواج (سؤال-جواب) محددة مسبقاً. ويرى المؤلفون أن هذا النموذج يعاني من تحيز التوافر (availability bias) الأساسي: فهو لا يمكنه إلا تقييم المعرفة التي يختار مصممو الاختبار استجوابها صراحةً. وبناءً على ذلك، تظل الحقائق الواقعة خارج نطاق هذه الأسئلة غير مرئية، ولا يعني الأداء العالي في هذه الاختبارات بالضرورة امتلاك معرفة واسعة وعامة. علاوة على على ذلك، تواجه اختبارات (سؤال-جواب) الحالية مشكلات تتعلق بالتشبع، وتسرب البيانات، والحساسية تجاه صياغة الأوامر (prompt sensitivity). وبينما تحاول الأعمال الحديثة حول "تجسيد المعرفة" (knowledge materialization) استخراج المعرفة عبر أوامر مفتوحة النهايات، لا يوجد إطار عمل منهجي لتقييم الموثوقية والدقة والاستدعاء في عملية استخلاص المعرفة مفتوحة النهايات هذه.
المنهجية: اختبار BeQu المرجعي
يقدم هذا البحث مفهوم تقييم المعرفة المفتوحة (Open Knowledge Evaluation)، وهو نموذج يغير التركيز من استرجاع الإجابات لأسئلة ثابتة إلى توصيف نماذج المعرفة التي تظهر بشكل طبيعي استجابةً لأوامر مفتوحة النهايات (مثل: "أخبرني بكل ما تعرفه عن X"). ويتم تجسيد ذلك من خلال BeQu (ما وراء الأسئلة)، وهو اختبار مرجعي يتكون من 10,000 كيان و6 جيجابايت من المراجع النصية.
بناء الاختبار المرجعي
اختيار الكيانات: تم تحديد ثلاثة مجموعات فرعية:
عشوائية (Random): 10,000 مقال من ويكيبيديا تم تصفيتها بناءً على الطول، وعدد بيانات ويكيداتا (Wikidata)، وعدم الغموض، ثم تم تقييمها بواسطة حكم (LLM) وهو (Llama 4 Scout) من حيث الإفادة والملاءمة.
نطاقات (Domains): 100 كيان لكل واحد من 10 نطاقات (مثل: شخص، منظمة، حدث).
غير موجودة (Non-existent): 10 كيانات وهمية تم إنشاؤها يدوياً لاختبار الهلوسة.
بناء المرجع النصي: لكل كيان، تم بناء مرجع نصي من مقال ويكيبيديا الكامل وما يصل إلى 20 وثيقة ويب (عبر Brave Search API). ويقوم نموذج لغوي كبير باستخراج ثلاثيات حقائق (مبتدأ، مسند، خبر / subject, predicate, object) من هذه المصادر لتعمل كحقيقة مرجعية (ground truth).
بروتوكول التقييم: يعامل التقييم مخرجات النموذج كمجموعة من الثلاثيات المستخلصة، ويقارنها بالمرجع النصي باستخدام الاستلزام النصي (Textual Entailment) (الاستدلال باللغة الطبيعية) عبر حكم (LLM).
الدقة (Precision): تقيس نسبة الثلاثيات التي أنتجها النموذج والتي يستلزمها المرجع النصي.
الاستدعاء (Recall): يقيس نسبة الثلاثيات المرجعية التي تستلزمها الثلاثيات التي أنتجها النموذج.
المقاييس: دقة الاستلزام، الاستدعاء، ومقياس F1.
المساهمات الرئيسية
تحول النموذج: تقديم "تقييم المعرفة المفتوحة"، الذي ينتقل من مجرد استرجاع إجابات لأسئلة محددة مسبقاً إلى تقييم التعبير عن المعرفة عبر الاستخلاص مفتوح النهايات.
اختبار BeQu المرجعي: اختبار مرجعي واسع النطاق يضم 10,000 كيان ومراجع نصية مصممة لقياس كل من الدقة والاستدعاء للمعرفة المولدة.
التحليل التجريبي: دراسة شاملة لـ 20 نموذجاً (تجارية ومفتوحة المصدر) تحلل تأثيرات جهد الاستدلال، وحجم النموذج، وتنسيق الأوامر، ونطاق المعرفة.
النتائج التجريبية
1. ترتيب النماذج والتحجيم (Scaling)
الأداء: تهيمن النماذج التجارية عموماً على التصنيفات العليا (مثل: Claude Opus 4.6، Kimi K2.5، Gemini 3 Flash)، رغم أن العديد من النماذج ذات الأوزان المفتوحة تقترب منها بشكل ملحوظ.
التحجيم (Scaling): تزدزد درجات F1 عموماً مع حجم النموذج داخل العائلات الواحدة (مثل: Anthropic، OpenAI، Google). ومع ذلك، تختلف تأثيرات التحجيم: فالنماذج الأكبر غالباً ما تظهر استدعاءً أعلى ولكن دقة أقل أحياناً.
جبهة الدقة-الاستدعاء (Precision-Recall Frontier): يوجد مقايضة واضحة؛ لا يحقق أي نموذج دقة واستدعاء عاليين في آن واحد. وتتجمع النماذج في مجموعات "دقة عالية/استدعاء منخفض" (مثل: GPT-5 Nano) أو "استدعاء عالٍ/دقة متوسطة" (مثل: Claude Opus 4.6). وتدفع درجات F1 الرائدة بشكل أساسي بواسطة الاستدعاء، مما يشير إلى أن العامل المحدد هو غالباً فشل النموذج في تأكيد الحقائق المعروفة بدلاً من تأكيد معلومات خاطئة.
2. جهد الاستدلال (Reasoning Effort)
تأثير ضئيل: أدى تغيير جهد الاستدلال (منخفض، متوسط، مرتفع) في نماذج مثل Claude Opus 4.6، وGPT-5.4، وGemini 3.1 Pro إلى تغييرات طفيفة لا تذكر في درجات F1 الإجمالية (تفاوتات < 0.05). وهذا يشير إلى أن المعرفة الحقائقية يتم تشفيرها واسترجاعها بشكل كبير دون الحاجة إلى خطوات استدلال صريحة ومجهدة.
3. النطاق والهلوسة
تباين النطاقات: يختلف الأداء باختلاف النطاق. حققت "الأحداث" و"المفاهيم العلمية" أعلى الدرجات، بينما كان "الشخص" هو الأضعف لجميع النماذج المختبرة، مدفوعاً بشكل أساسي بانخفاض الاستدعاء.
الهلوسة: في الكيانات غير الموجودة، امتنع GPT-5.4 فقط عن توليد أي ثلاثيات. أما النماذج الأخرى (مثل DeepSeek V3.2 و Llama 4 Scout) فقد هلوست بعدد كبير من الثلاثيات.
4. تنسيق الأمر (Prompt Format) والقيود
قيود المخطط (Schema Constraints): أدى فرض مخططات مخرجات موحدة (مثل Wikidata أو Schema.org) إلى تحسين الدقة بشكل كبير ولكنه أدى إلى انهيار حاد في الاستدعاء.
مفتوح النهايات مقابل المقيد: أعطت الأوامر مفتوحة النهايات أفضل درجات F1 إجمالية.
قوائم المسندات (Predicate Lists): كانت قوائم المسندات المحددة مسبقاً هي العامل المهيمن في مقايضة الدقة والاستدعاء؛ حيث أدى إزالة هذه القوائم إلى استعادة استدعاء كبير مقابل تكلفة ضئيلة في الدقة.
5. نطاق الثلاثيات (Triple Range)
تناقص العوائد: أدى زيادة عدد الثلاثيات المطلوبة لكل كيان إلى تحسين الاستدعاء وF1 حتى نقطة معينة (على سبيل المثال، بلغ ذروته في GPT-5.4 عند 75-150 ثلاثية)، وبعد ذلك استقر الأداء أو تدهور بسبب الهلوسة. يشير هذا إلى أن النماذج تمتلك معرفة كامنة لا يتم التعبير عنها بالكامل عندما تكون مقيدة بأحجام مخرجات صغيرة.
الأهمية والادعاءات
يزعم البحث أن BeQu يوفر مكملاً ضرورياً للاختبارات المرجعية الحالية القائمة على (سؤال-جواب) من خلال معالجة تحيز التوافر وقياس الطيف الكامل للتعبير عن المعرفة (كل من ما تعرفه النماذج وما تختار قوله).
وتشمل النقاط الرئيسية التي أكد عليها المؤلفون ما يلي:
ديمومة الاختبار المرجعي: إن توليد المعرفة مفتوح النهايات بعيد كل البعد عن التشبع، والنماذج مفتوحة المصدر تنافس النماذج التجارية في هذا النموذج.
المهمة "غير المعقولة": على عكس المهام الأخرى، يوفر جهد الاستدلال الصريح فوائد ضئيلة للتعبير عن المعرفة مفتوحة النهايات.
المقايضات: بينما يعزز فرض المخطط (Schema) من الدقة، فإنه يضر بالاستدعاء بشكل كبير، كما أن المحاولات الصريحة للمقايضة بين الدقة والاستدعاء عبر الأوامر لها تأثير محدود.
التقنين: يقترح المؤلفون أن تقييم المعرفة المفتوحة يجب أن يصبح بعداً قياسياً لتقييم النماذج اللغوية الكبيرة جنباً إلى جنب مع (سؤال-جواب) التقليدي.
يقر المؤلفون بوجود قيود، أبرزها الاعتماد على حكم (LLM) وهو (Llama 4 Scout) لعملية الاستلزام، مما قد ينشر تحيزات منهجية، وكذلك استخدام مجموعات فرعية مختارة (200 كيان) لمعظم التجارب بسبب القيود الحسابية.