Are Large Language Models Truly Smarter Than Humans?
تقدم هذه الورقة تدقيقاً صارماً متعدد الأساليب لستة نماذج لغوية كبيرة رائدة، كاشفةً أن تفوقها الظاهري على البشر في الاختبارات المرجعية العامة يتضخم بشكل كبير بسبب تلوث البيانات، مع تباين معدلات الحفظ حسب المجال وتسببها في انخفاضات جوهرية في الأداء عند اختبارها على أسئلة غير مباشرة أو معاد صياغتها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مجموعة من الطلاب يخوضون امتحاناً هاماً جداً لإثبات أنهم عباقرة. يسمى هذا الاختبار "MMLU"، وهو يغطي كل شيء من القانون والطب إلى الفيزياء والفلسفة.
مؤخراً، بدأت نماذج الذكاء الاصطنا-ئي (مثل روبوتات الدردشة فائقة الذكاء التي قد تكون سمعت عنها) في الحصول على درجات تقترب من المثالية في هذا الامتحان. ويقول الناس: "واو، هذه النماذج أذكى من الخبراء البشر!".
لكن هذه الورقة البحثية تطرح سؤالاً بسيطاً وملحاً: "هل درس هؤلاء الطلاب المادة حقاً، أم أنهم قاموا فقط بحفظ نموذج الإجابة؟"
قرر مؤلفو هذه الورقة التحقيق في ثلاث طرق مختلفة لمعرفة ما إذا كان الذكاء الاصطناعي "ذكياً" حقاً أم أنه مجرد "يغش" لأنه رأى أسئلة الاختبار من قبل. إليكم ما وجدوه، مشروحاً ببساطة.
التحقيقات الثلاثة
1. اختبار "بحث جوجل" (التجربة 1)
الفكرة: إذا كان الطالب قد حفظ الاختبار، فلا بد أن تكون الأسئلة موجودة في مكان ما على الإنترنت.
الطريقة: أخذ الباحثون 513 سؤالاً من الامتحان وبحثوا عنها في "جوجل". وتحققوا مما إذا كانت الأس_ئلة والأجوبة الدقيقة تدور في أرجاء الإنترنت في الكتب المدرسية، أو الملاحظات الدراسية، أو المدونات.
النتيجة: وجدوا أن 13.8% من الأسئلة كانت "ملوثة" بالتأكيد (بمعنى أن الذكاء الاصطناعي من المرجح أنه رآها أثناء عملية التدريب).
- التشبيه: الأمر يشبه اكتشاف أن سؤالاً واحداً من كل 7 أسئلة في امتحان نهائي كان منشوراً في منتدى عام حيث ترك المعلم نموذج الإجابة بالخطأ.
- المفاجأة: كانت مواد "STEM" (العلوم، التكنولوجيا، الهندبة، الرياضيات) هي الأكثر تلوثاً. والأسوأ من ذلك، أنه في مواد مثل الفلسفة، وُجد أن ما يصل إلى 66% من الأسئلة موجودة عبر الإنترنت. يبدو أن الذكاء الاصطناعي لم يتعلم المفاهيم فحسب؛ بل حفظ الأسئلة المحددة.
2. اختبار "إعادة الصياغة" (التجربة 2)
الفكرة: إذا كان الطالب يفهم مفهوماً ما حقاً، فيمكنه الإجابة عليه حتى لو أعاد المعلم صياغة السؤال. أما إذا كان يحفظ الإجابة فقط، فسيصاب بالارتباك إذا تغيرت الكلمات.
الطريقة: أخذ الباحثون 100 سؤال وأعادوا صياغتها.
- الأصل: "ما هي عاصمة فرنسا؟"
- إعادة الصياغة: "أي مدينة تعمل كمقر للحكومة للجمهورية الفرنسية؟"
سألوا الذكاء الاصطناعي نفس الأسئلة ولكن بصياغة مختلفة.
النتيجة: عندما تغيرت الكلمات، انخفضت درجات الذكاء الاصطناعي بشكل كبير. - التشبيه: تخيل طالباً يستطيع إلقاء قصيدة "الطريق غير المطروق" بشكل مثالي. ولكن إذا سألته: "عن ماذا تتحدث القصيدة بخصوص المسافر الذي سلك الطريق الأقل ارتياداً؟"، فإنه يتجمد. لقد حفظ الكلمات، وليس المعنى.
- الانخفاض الكبير: في مجالي القانون والأخلاق، انخفضت درجة الذكاء الاصطناعي بنسبة تقارب 20%. وهذا يشير إلى أنه في هذه المجالات الحساسة، كان الذكاء الاصطنائي يعتمد أساساً على التعرف على الصياغة المحددة للسؤال، وليس على فهم المنطق القانوني أو الأخلاقي الفعلي.
3. اختبار "ملء الفراغات" (التجربة 3)
الفكرة: إذا كان الذكاء الاصطناعي قد حفظ الاختبار، فيجب أن يكون قادراً على ملء الفراغات في سؤال رآه من قبل، حتى لو أخفيت كلمة منه.
الطريقة: أخذوا الأسئلة وغطوا كلمة رئيسية أو خيار إجابة خاطئ. ثم طلبوا من الذكاء الاصطناعي تخمين ما هو مخفي.
النتيجة: تمكن الذكاء الاصطناعي من تخمين الأجزاء المخفية بنسبة 72.5%.
- التشبيه: الأمر يشبه عرض جملة على طالب مع فراغ: "عاصمة فرنسا هي [____]". إذا قال "باريس" دون تفكير، فهو لم يخمن فحسب؛ بل تذكر بنية الجملة.
- الشذوذ الغريب: كان أحد النماذج، DeepSeek-R1، غريباً. لم يستطع تذكر الكلمات الدقيقة (لم يستطع ملء الفراغ بشكل مثالي)، لكنه استطاع تخمين فكرة الكلمة المفقودة. كان الأمر أشبه بطالب نسي المفردات الدقيقة ولكنه تذكر القصة العامة. وهذا يفسر سبب أدائه الضعيف في اختبار "إعادة الصياغة" رغم أنه بدا وكأنه يعرف المادة.
الصورة الكبيرة: ماذا يعني هذا؟
تخلص الورقة البحثية إلى أن الذكاء الاصطناعي ليس بالضرورة "أذكى" من البشر بعد؛ إنه فقط بارع جداً في التعرف على الأنماط التي رآها من قبل.
- "الامتحان" مسرب: الاختبارات التي نستخدمها لقياس ذكاء الذكاء الاصطناعي تشبه امتحانات الكتاب المفتوح حيث تُنشر الإجابات على الإنترنت. الذكاء الاصطناعي قرأ الإنترنت، لذا فقد رأى الاختبار.
- الحفظ مقابل الفهم: الدرجات العالية في هذه الاختبارات تعني غالباً أن الذكاء الاصطناعي قد حفظ "نص" السؤال، وليس أن لديه التفكير المرن والعميق الذي يمتلكه الخبير البشري.
- الخطر: إذا وثقنا في نماذج الذكاء الاصطناعي هذه للوظائف الحقيقية (مثل أن يكون محامياً أو طبيباً) بناءً على هذه الدرجات، فسنكون في ورطة.
- الاستعارة: تخيل توظيف طيار حصل على 100% في اختبار المحاكي، ولكن فقط لأنه حفظ مسار الرحلة المحدد للاختبار. إذا تغيرت الرياح أو ظهر عائق جديد (سؤال "معاد صياغته")، فقد يتسبب في تحطم الطائرة.
الخلاصة
المؤلفون لا يقولون إن الذكاء الاصطناعي عديم الفائدة. هم يقولون إننا بحاجة إلى التوقف عن التظاهر بأن هذه الاختبارات العامة هي مقياس عادل لـ "الذكاء بمستوى البشر".
لمعرفة ما إذا كان الذكاء الاصطناعي ذكياً حقاً، نحتاج إلى إعطائه اختباراً لم يره من قبل، بأسئلة مكتوبة بطريقة لم يسبق له مواجهتها. وحتى نفعل ذلك، فإن الدرجات العالية التي نراها في لوحات المتصدرين قد تكون مجرد صدى لببغاء جيد يكرر ما سمعه، بدلاً من عبقري يفكر من تلقاء نفسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.