Disentangling generalization and memorization in large language models using chess
تستخدم هذه الورقة الشطرنج كبيئة اختبار مضبوطة لتوضيح أن النماذج اللغوية الكبيرة تعتمد بشكل كبير على حفظ الأنماط الشائعة، حيث يتدهور أداؤها بشكل كبير ويقترب من العشوائية عند مواجهة وضعيات مستحدثة تفتقر إلى الأولويات التدريبية ذات الصلة، مما يكشف عن قيود متأصلة في قدراتها على التعميم المنهجي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول معرفة ما إذا كان الطالب يتعلم حقاً مادة ما، أم أنه مجرد يحفظ الإجابات لاختبار محدد رآه من قبل.
تستخدم هذه الورقة البحثية لعبة الشطرنج كفصل دراسي ضخم ومسيطر عليه لاختبار النماذج اللغوية الكبيرة (LLMs) — وهي العقول الاصطناعية التي تقف وراء أدوات مثل ChatGPT وClaude وGemini. أراد الباحثون معرفة ما يلي: عندما يحل هؤلاء الذكاءات الاصطناعية مشكلة ما، هل يستخدمون تفكيراً حقيقياً، أم أنهم يستدعون فقط إجابة محفوظة من قاعدة بياناتهم الضخمة لبيانات التدريب؟
إليك تفصيل تجربتهم ونتائجهم، باستخدام تشبيهات بسيطة.
1. الإعداد: ثلاثة أنواع من ألغاز الشطرنج
لاختبار الفرق بين الحفظ والاستنتاج، أنشأ الباحثون ثلاثة أنواع من وضعيات الشطرنج، مثل ثلاثة مستويات مختلفة في لعبة فيديو:
- الألغاز "الشهيرة" (داخل التوزيع - Within-Distribution): هذه هي افتتاحيات الشطرنج القياسية والمعروفة جيداً (مثل "روي لوبيز"). تظهر هذه الافتتاحيات في ملايين المباريات، ومن المرجح أن تكون موجودة في بيانات تدريب الذكاء الاصطناعي.
- التشبيه: هذا يشبه سؤال طالب عن سؤال مكتوب حرفياً في كتابه المدرسي. إذا أجاب بشكل صحيح، فقد يكون مجرد يردد ما في الكتاب.
- الألغاز "المألوفة ولكن الجديدة" (قريبة من التوزيع - Near-Distribution): تبدو هذه الألغاز مثل مباريات الشطرنج العادية ولكنها لم تُلعب من قبل. هي تتبع القواعد وتبدو كأنها مباراة قياسية، لكن الترتيب المحدد فريد من نوعه.
- التشبيه: هذا يشبه مسألة رياضية تستخدم نفس الأرقام والمعادلات الموجودة في الكتاب المدرسي، ولكن القصة حول "التفاح والبرتقال" مختلفة قليلاً. يجب على الطالب هنا ربط النقاط ببعضها، وليس مجرد نسخ الإجابة.
- الألغاز "الغريبة/الفضائية" (خارج التوزيع - Out-of-Distribution): هذه وضعيات عشوائية وغريبة للوحة الشطرنج. القطع موضوعة بطرق لا تحدث أبداً في الحياة الواقعية (مثل وجود بيادق تسد الطريق أمام الملوك). إنها تكسر كل الأنماط المعتادة.
- التشبيه: هذا يشبه طلب حل لغز منطقي من طالب باستخدام لغة لم يسمع بها من قبل، مع قواعد لم يرها من قبل. لا يوجد كتاب مدرسي ليحفظه؛ يجب عليه التفكير من الصفر.
2. التجربة: كيف كان أداء الذكاء الاصطناعي؟
طلب الباحثون من مختلف نماذج الذكاء الاصطناعي المتطورة (GPT-3.5, GPT-4o, GPT-5, Claude, Gemini) القيام بأفضل حركة في هذه الأنواع الثلاثة من الألغاز. وقاسوا النجاح بمدى قرب حركة الذكاء الاصطناعي من الحركة التي سيقوم بها محرك شطرنج فائق القدرة.
إليكم ما وجدوه:
الألغاز "الشهيرة": الذكاء الاصطناعي هو "مسترجع معلومات خارق"
عندما كانت الألغاز قياسية ومألوفة، لعبت النماذج بشكل جيد جداً.
- الخلاصة: النماذج بارعة للغاية في الحفظ. إذا رأت نمطاً من قبل، يمكنها استدعاء الحل بدقة.
الألغاز "الغريبة": الذكاء الاصطناعي ينهار
عندما كانت الألغاز غريبة وجديدة (خارج التوزيع)، انهار أداء الذكاء الاصطناعي.
- الخلاصة: انخفض أداؤهم إلى مستوى التخمين العشوائي. وفي الواقع، بدأوا في ارتكاب حركات غير قانونية (مثل تحريك الحصان كأنه فيل) بمعدل مرتفع.
- التشبيه: الأمر يشبه طالباً يعرف الإجابات لكل الأسئلة في الامتحان النهائي، ولكن عندما يُعطى ورقة بيضاء ويُطلب منه "كتابة قصة"، يبدأ بالتحدث بهذيان. هم لا يفهمون حقاً قواعد اللعبة؛ هم فقط يتعرفون على الأنماط التي رأوها من قبل.
الألغاز "المألوفة ولكن الجديدة": هبوط حاد
كلما أصبحت الألغاز أقل ألفة، لم ينخفض أداء الذكاء الاصطناعي فحسب، بل انزلق من منحدر حاد.
- الخلاصة: كلما بدا اللغز أقل شبهاً بما رآه الذكاء الاصطناعي من قبل، ساء أداؤه أكثر.
3. اختبار "التفكير بعمق"
اختبر الباحثون أيضاً النماذج الأحدث (مثل GPT-5) التي تمتلك "وضع الاستنتاج"، حيث يُطلب من الذكاء الاصطناعي "التفكير خطوة بخطوة" قبل الإجابة.
- النتيجة: التفكير بعمق ساعد، ولكن إلى حد معين فقط.
- العقبة: عندما كان اللغز غريباً (خارج التوزيع)، كان الذكاء الاصطناعي يقضي وقتاً طويلاً جداً في "التفكير" (باستخدام الكثير من الكلمات/الرموز/Tokens)، ومع ذلك لم يتمكن من حل المشكلة.
- التشبيه: تخيل طالباً، عندما يواجه مسألة رياضية صعبة، يبدأ في كتابة مقال من 10 صفحات عن تاريخ الرياضيات بدلاً من حل المعادلة. إنه يعمل بجد، لكنه يقوم فقط بإعادة ترتيب الأشياء التي يعرفها بالفعل، وليس ابتكار حل جديد. عملية "التفكير" ضخمت قدرته على الحفظ لكنها لم تخلق استنتاجاً حقيقياً.
4. الاستنتاج الكبير
تخلص الورقة البحثية إلى أن النماذج اللغوية الكبيرة الحالية بارعة في مطابقة الأنماط ولكنها تعاني في التعميم الحقيقي.
- التوسع ليس الحل السحري: جعل النماذج أكبر (إضافة المزيد من البيانات والمعاملات) يساعدها على حفظ المزيد، لكنه لا يبدو أنه يساعدها على تعلم كيفية الاستنتاج حول أشياء لم ترها من قبل.
- فخ "المعرفة المتبلورة": تعتمد النماذج على "المعرفة المتبلورة" (كتل محفوظة). وعندما لا تتوفر تلك الكتل، لا تمتلك ذكاءً "سيالاً" (مرناً) لتعتمد عليه. لا يمكنهم اشتقاق قواعد اللعبة من المبادئ الأولى؛ يمكنهم فقط التعرف على اللعبة إذا بدت تماماً مثل شيء رأوه من قبل.
باختختصار: هذه الذكاءات الاصطناعية تشبه الموسوعات التي يمكنها سرد تاريخ الشطرنج بالكامل، ولكن إذا وضعتها في غرفة مع لوحة شطرنج ومجموعة من القواعد التي لم ترها من قبل، فقد لا تعرف حتى كيفية تحريك القطع بشكل صحيح. إنهم أسياد الماضي، لكنهم ليسوا بعد أسياد الجديد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.