💬 NLP

Reasoning Capabilities of Large Language Models. Lessons Learned from General Game Playing

تقيم هذه الورقة قدرات الاستدلال الصوري لأربعة نماذج لغوية كبيرة ضمن بيئات اللعب العام، كاشفةً أنه بينما تُظهر النماذج الحالية تقدماً ملحوظاً، فإن أداءها يتدهور مع زيادة تعقيد المهام وعمق الخطوات، وغالباً ما يكون ذلك بسبب أخطاء استدلال محددة مثل القواعد المهلوسة والأخطاء النحوية.

المؤلفون الأصليون: Maciej Świechowski, Adam Żychowski, Jacek Mańdziuk

نُشر 2026-02-24

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Maciej Świechowski, Adam Żychowski, Jacek Mańdziuk

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

لعبة المنطق الكبرى: هل يمكن للذكاء الاصطناعي التفكير حقاً، أم أنه مجرد تخمين؟

تخيل أنك تعلم روبوتاً فائق الذكاء كيف يلعب لعبة لوحية جديدة تماماً. أنت لا تطلعه على شكل اللوحة أو القطع، بل تسلمه كتاب قواعد سميك وجاف مكتوب بلغة غريبة تشبه الأكواد (تسمى GDL). الروبوت الخاص بك لم يرَ هذه اللعبة من قبل، وعليه أن يقرأ القواعد، ويكتشف الحركات القانونية، ويتوقع بدقة كيف سيكون شكل اللوحة بعد قيامك بحركة ما.

هذا هو بالضبط ما فعله الباحثون في هذه الورقة البحثية. لقد أرادوا معرفة ما إذا كان الذكاء الاصطناعي الحديث (النماذج اللغوية الكبيرة، أو LLMs) يمكنه حقاً التفكير المنطقي مثل البشر، أم أنه مجرد تخمين بناءً على الأنماط التي رآها من قبل.

إليك تفصيل لتجربتهم، ونتائجها، وما تعنيه، مشروحة ببعض التشبيهات الممتعة.

1. الإعداد: اختبار "الشطرنج مع عصبة العينين"

عادةً، عندما نسأل الذكاء الاصطناعي سؤالاً، يجيب بناءً على بيانات تدريبه (مثل طالب حفظ الكتاب المدرسي عن ظهر قلب). ولكن ماذا لو كان السؤال حول شيء لم يره الذكاء الاصطناعي من قبل؟

استخدم الباحثون إطار عمل يسمى اللعب العام للألعاب (GGP). فكر في هذا كاختبار "شطرنج مع عصبة العينين".

القواعد: أعطوا الذكاء الاصطناński وصفاً للعبة مكتوباً بلغة منطقية صارمة (GDL). الأمر يشبه إعطاء شخص وصفة مكتوبة بشفرة سرية.
المهمة: كان على الذكاء الاصطناعي أن يعمل كحكم. كان عليه النظر إلى الحالة الحالية للعبة، وقراءة القواعد، وقول: "إذا قام اللاعب (أ) بالخطوة (س)، فإن اللوحة ستتغير إلى (ص)".
الخدعة: لضمان أن الذكاء الاصطناعي لا يتعرف فقط على كلمات مثل "ملك" أو "بيدق" من بيانات تدريبه، قاموا بخلط الأسماء.
- الأصل: "الفارس يتحرك بشكل حرف L".
- الاسم المختلط: "الفليرج يتحرك بشكل حرف L".
- عشوائي: "X9z يتحرك بشكل Q2p".

إذا استطاع الذكاء الاصطناعي لعب اللعبة بشكل صحيح بالأسماء المختلطة، فهذا يثبت أنه كان يفهم المنطق بالفعل، وليس مجرد تذكر حقائق عن الشطرنج.

2. المتسابقون

لقد اختبروا أربعة "أدمغة" مختلفة:

Gemini 2.5 Pro: بطل الوزن الثقيل (ذكي جداً، ومكلف جداً).
Gemini 2.5 Flash: لاعب خفيف وسريع (سريع، وأقل عمقاً قليلاً).
GPT-OSS 120B: نموذج مفتوح المصدر قوي.
Llama 3.3 70B: نموذج آخر واسع الانتشار مفتوح المصدر.

3. التحديات الأربعة

كان على الذكاء الاصطناعي اجتياز أربعة اختبارات، تتراوح من السهل إلى المستحيل:

المستوى 1: القفزة الواحدة. "إليك اللوحة. إليك الحركة. كيف ستبدو اللوحة تالياً؟"
- النتيجة: كانت النماذج العليا مذهلة. أصابت في هذا بنسبة 95-99% من المرات. كان الأمر أشبه بإنسان يقرأ تعليمات بسيطة ويتبعها بدقة.
المستوى 2: فحص كتاب القواعد. "إليك اللوحة. ما هي الحركات القانونية المتاحة الآن؟"
- النتيجة: أصبح الأمر أصعب. بدأ الذكاء الاصطناعي يفوت بعض الحركات أو يخترع حركات غير قانونية. إنه مثل حكم يعرف القواعد ولكنه ينسى التحقق من التفاصيل الدقيقة.
المستوى 3: المسافر عبر الزمن. "إليك اللوحة الابتدائية. إليك 5 حركات متتالية. كيف ستبدو اللوحة في النهاية؟"
- النتيجة: هنا بدأت الأمور تصبح فوضوية. كان على الذكاء الاصطناعي تذكر الحالة بعد الحركة الأولى، واستخدامها للحركة الثانية، وهكذا. الأخطاء الصغيرة في الخطوة 1 ستفسد الخطوة 5. النماذج العليا كانت جيدة، لكنها بدأت ترتكب أخطاءً.
المستوى 4: الأستاذ الكبير (Grandmaster). "العب اللعبة لمدة 5 خطوات بنفسك، مع اتخاذ حركات قانونية، وأخبرني بالحالة النهائية."
- النتيجة: كان هذا هو الأصعب. كان على الذكاء الاصطناعي اختيار الحركات وحساب النتيجة. انخفض الأداء بشكل كبير. إنه يشبه طلب لعب الشطرنج من شخص وهو معصب العينين ويقوم بتسميع الحركات بصوت عالٍ؛ في النهاية سيفقد تتبع أماكن القطع.

4. الاكتشافات الكبرى

🧠 مفاجأة "الأسماء المختلطة"

عندما استبدل الباحثون كلمات مثل "ملك" و"بيدق" بكلمات nonsense مثل "X9z" و"Q2p"، فإن النماذج الأكثر ذكاءً (Gemini 2.5 Pro) لم تنهار. بل استمرت في لعب اللعبة بشكل جيد.

ماذا يعني هذا: الذكاء الاصطناعي لا يحفظ فقط أن "الفرسان يتحركون بشكل حرف L". بل إنه يتعلم بالفعل بنية القواعد. إنه مثل طفل يتعلم أنه "إذا دفعت مكعباً، فسيقع"، بغض النظر عما إذا كنت تسمي المكعب "صخرة" أو "طوبة" أو "شيء ما".

📉 مشكلة "السلسلة الطويلة"

كلما طالت سلسلة الاستنتاج (المزيد من الحركات المتتالية)، زاد سوء أداء الذكاء الاصطناعي.

التشبيه: تخيل لعبة "الهاتف المكسور" (Telephone). تهمس برسالة لصديق، الذي يهمسها للصديق التالي، وهكذا. بحلول الوقت الذي تصل فيه الرسالة إلى الشخص العاشر، تكون قد تشوهت.
الذكاء الاصطناعي: في كل مرة يحسب فيها الذكاء الاصطناعي حالة جديدة، تزداد احتمالية ارتكابه لخطأ صغير. إذا ارتكب خطأ في الخطوة 1، فإن الخطوة 2 ستُبنى على كذبة، وبحلول الخطوة 10، ستصبح اللعبة بأكملها بلا معنى. النماذج الأكثر ذكاءً ارتكبت أخطاءً أقل، لكنها لا تزال لا تستطيع الاستمرار للأبد دون تعثر.

🚫 فخ "الهلوسة"

وجد الباحثون أنه عندما يعجز الذكاء الاصطناعي، فإنه لا يقول "لا أعرف"، بل يبدأ في اختلاق الأمور.

قواعد وهمية: كان يخترع قاعدة لم تكن موجودة في الكود.
قطع شبحية: كان يبقي قطعاً على اللوحة كان ينبغي إزالتها.
أخطاء في الصيغة (Syntax): كان يكتب الإجابة بتنسيق خاطئ (مثل كتابة جملة بينما المطلوب قائمة).

5. الحكم النهائي: هل هم أذكياء أم محظوظون؟

الأخبار الجيدة:
لقد حقق الذكاء الاصطناعي الحديث قفزة هائلة في التفكير المنطقي. يمكنهم النظر إلى مجموعة معقدة ورسمية من القواعد لم يروها من قبل واتباعها بدقة عالية. إنهم يصبحون أفضل بكثير في "التفكير" بدلاً من مجرد "توقع الكلمات".

الأخبار السيئة:
إنهم ليسوا بعد "محركات منطقية" مثالية.

يعانون مع السلاسل الطويلة من الاستنتاج (مثل التخطيط لـ 10 خطوات للأمام).
يصابون بالارتباك عندما تكون القواعد عميقة أو معقدة للغاية.
معرضون لـ الهلوسة (اختلاق الحقائق) عندما يزداد الضغط.

الخلاصة

فكر في نماذج الذكاء الاصطناعي هذه كأنها متدربون بارعون.

إذا أعطيتهم مهمة بسيطة مكونة من خطوة واحدة، فسيكونون مثاليين.
إذا أعطيتهم مشروعاً معقداً يتكون من خطوات عديدة، فسيؤدون عملاً رائعاً في البداية، لكنهم قد يغفلون عن تفصيل ما في منتصف الطريق، ثم قد يحاولون "إصلاح" ذلك عبر ابتكار حل يبدو جيداً ولكنه في الواقع خاطئ.

الاستنتاج: يمكننا الوثوق بهم لمساعدتنا في التفكير، لكن لا ينبغي لنا الوثوق بهم للقيام بالمراجعة النهائية. نحن بحاجة إلى إنسان (أو برنامج حاسوبي صارم) للتحقق من عملهم، خاصة في المهام الطويلة والمعقدة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "قدرات الاستنتاج لدى النماذج اللغوية الكبيرة: دروس مستفادة من ألعاب اللعب العام".

1. بيان المشكلة

تتناول الورقة السؤال الجوهري حول ما إذا كانت النماذج اللغوية الكبيرة (LLMs) قادرة على أداء الاستنتاج الرمزي الصوري بشكل موثوق في بيئات منظمة ومحكومة بالقواعد. وبينما تتفوق هذه النماذج في مهام اللغة الطبيعية، فإن قدرتها على العمل كمفسرات رمزية أمينة — أي اتباع قواعد منطقية صارمة دون هلوسة أو انحياز دلالي — تظل غير مؤكدة.

تعتمد الاختبارات المرجعية الحالية غالبًا على الأوصاف باللغة الطبيعية أو الاستنتاج أحادي الخطوة، مما يخلط بين الاستنتاج المنطقي وفهم اللغة. ويجادل المؤلفون بأنه لتقييم استنتاج النماذج اللغوية الكبيرة حقًا، يجب اختبارها في بيئات حيث:

تكون القواعد محددة صوريًا (وليست بلغة طبيعية).
يمكن التحقق من الصحة بشكل موضوعي مقابل حقيقة مرجعية.
يتطلب الاستنتاج انتقالات متعددة الخطوات وربطًا ثابتًا للمتغيرات.

2. المنهجية

يستخدم المؤلفون إطار عمل ألعاب اللعب العام (GGP) ولغة وصف الألعاب (GDL) كبيئة اختبار صارمة. لغة GDL هي لغة برمجة منطقية من الدرجة الأولى (تعتمد على Datalog) تُعرف قواعد اللعبة، والحالات الأولية، وانتقالات الحالة بشكل رسمي.

الإعداد التجريبي

النماذج التي تم تقييمها: أربعة نماذج لغوية كبيرة معاصرة تمثل بنيات وأحجامًا مختلفة:
- Gemini 2.5 Pro (مملوك، حالة متطورة)
- Gemini 2.5 Flash (مملوك، مُحسَّن للسرعة)
- Llama 3.3 70B (مفتوح الأوزان)
- GPT-OSS 120B (مفتوح الأوزان)
مجموعة البيانات: مجموعة فرعية منسقة من 35 لعبة تم اختيارها من أصل 86 وصفًا للغة GDL، اختيرت لتنوعها الهيكلي وتعقيدها.
المهام: تم تصميم أربع مهام استنتاج متميزة لاختبار جوانب مختلفة من المنطق:
1. توليد الحالة التالية: إعطاء حالة مع حركة مشتركة، والتنبؤ بالحالة الناتجة.
2. توليد الإجراءات القانونية: إعطاء حالة، وحصر جميع الحركات الصالحة لجميع اللاعبين.
3. توليد الحالة متعدد الخطوات: محاكاة تسلسل من $n$ من الحركات من الحالة الأولية إلى الحالة النهائية.
4. توليد الإجراء والحالة متعدد الخطوات: توليد تسلسل صالح من $n$ من الحركات القانونية والحالة النهائية الناتجة.
التعمية الدلالية (Semantic Obfuscation): لتمييز الاستنتاج الرمزي عن الحفظ الدلالي (مثل معرفة أن "الرخ" يتحرك أفقيًا بسبب بيانات التدريب على الشطرنج)، أنشأ المؤلفون نسخًا معماة من الألعاب حيث استُبدلت الرموز بـ:
- مصطلحات مؤقتة (مثل term1 ،term2).
- كلمات قاموسية (أسماء محايدة دلاليًا مثل "كرسي"، "غابة").
- سلاسل نصية عشوائية (أكواد أبجدية رقمية).
المقاييس:
- مؤشر جاكارد (JI): يقيس التداخل بين مجموعة الحقائق التي توقعها النموذج والواقع الحقيقي.
- معدل النجاح الصارم (%S): مقياس ثنائي يشير إلى ما إذا كانت الحالة الكاملة قد تم توليدها بدقة مثالية (JI = 1). وهذا أمر بالغ الأهمية لأن خطأً واحدًا في المحاككة متعددة الخطوات يؤدي إلى حالة نهائية خاطئة تمامًا.

3. المساهمات الرئيسية

GGP كمعيار مرجعي: تؤسس الورقة لـ GDL-based GGP كمعيار مرجعي قوي وقابل للتفسير لتقييم الاستنتاج الصوري، متجاوزةً ألغاز المنطق باللغة الطبيعية.
تقييم شامل للنماذج: تقدم تحليلًا مقارنًا لأربعة نماذج رائدة عبر آفاق استنتاج متفاوتة (من 1 إلى 10 خطوات) وتعقيدات المهام.
التحليل الدلالي مقابل الهيكلي: من خلال التعمية، تعزل الدراسة قدرة النماذج على الاستنتاج بناءً على المنطق الهيكلي مقابل الاعتماد على المعرفة الدلالية المسبقة.
توصيف الأخطاء: تحدد الورقة أنماط الفشل المحددة، بما في ذلك القواعد المهلوسة، والحقائق الزائدة، وانتهاكات قيود الحركة.
الارتباط بخصائص اللعبة: تحلل الورقة كيف ترتبط سمات هيكلية معينة للعبة (مثل عمق القواعد، عدد الشروط) بتدهور أداء النموذج.

4. النتائج الرئيسية

التسلسل الهرمي للأداء

تفوق Gemini 2.5 Pro باستمرار على جميع النماذج الأخرى في جميع المهام والآفاق.
جاء Gemini 2.5 Flash في المرتبة الثانية، مظهرًا أداءً قويًا ولكن بمعدلات نجاح صارمة أقل قليلاً.
أظهر GPT-OSS 120B و Llama 3.3 70B أداءً أقل بكثير، خاصة في السيناريوهات متعددة الخطوات.
أكدت اختبارات ويلكوكسون (Wilcoxon signed-rank tests) أن التسلسل الهرمي للأداء ذو دلالة إحصائية ( $p < 0.05$ ).

صعوبة المهمة وأفق الاستنتاج

الخطوة الواحدة (المهمة 1): حققت جميع النماذج (باستثناء Llama 3.3) دقة عالية (متوسط JI > 0.8). حقق Gemini 2.5 Pro نسبة نجاح صارم تجاوزت 95%.
متعدد الخطوات (المهام 3 و 4): تدهور الأداء مع زيادة أفق الاستنتاج ( $n$ $n$ ).
- عند $n=10$ ، شهد حتى أفضل نموذج (Gemini 2.5 Pro) انخفاضًا في معدل النجاح الصارم، رغم أنه حافظ على صدارته.
- أظهرت النماذج الأضعف (Llama 3.3) تقلبات غير رتيبة، مما يشير إلى الاعتماد على الارتباطات الزائفة بدلاً من الاشتقاق المتسق.
الإجراء مقابل الحالة: كانت النماذج أفضل عمومًا في تطبيق الإجراءات المعروفة (الحالة التالية) من اكتشاف جميع الإجراءات القانونية الممكنة (الإجراءات القانونية)، ويرجع ذلك على الأرجوات إلى أن الأخيرة تتطلب حصرًا شاملاً لاعتمادات القواعد المعقدة.

تأثير التعمية

الاتجاه العام: انخفض الأداء تحت التعمية، لكن الانخفاض كان طفيفًا بالنسبة للنماذج القوية.
التسرب الدلالي: كان متغير "الكلمات القاموسية" هو الأكثر صعوبة، مما يشير إلى أن الدلالات الواقعية المضللة تعطل الاستنتاج أكثر من غياب الدلالات.
السلاسل النصية العشوائية: من المثير للدهشة أن السلاções النصية العشوائية غالبًا ما أعطت أداءً أفضل من الكلمات المؤقتة، لأنها عملت كمعرفات فريدة، مما قلل من ارتباك الرموز (tokens).
الاستنتاج: يمكن للنماذج القوية (Gemini 2.5 Pro) إجراء استنتاج رمزي متعدد الخطوات حتى بدون معرفات ذات معنى، مما يثبت أنها تعتمد على الأنماط الهيكلية بدلاً من دلالات الألعاب المحفوظة.

الارتباط بخصائص اللعبة

Gemini 2.5 Pro: كان أداؤه مرتبطًا ارتباطًا سلبيًا بـ عمق القواعد المتداخلة (الحد الأقصى/المتوسط لعمق القاعدة)، مما يشير إلى الحساسية تجاه سلاسل المنطق العميقة والمتكررة.
Gemini 2.5 Flash: كان أداؤه مرتبطًا ارتباطًا سلبيًا بـ إجمالي عدد القواعد، مما يشير إلى أنه يعاني مع مساحات البحث الكبيرة حتى لو كانت الخطوات الفردية ضحلة.
Llama 3.3 70B: أظهر ارتباطًا إيجابيًا قويًا مع "خاصية التقارب" (حيث تُضاف الحقائق فقط ولا تُحذف أبدًا)، مما يعني أن استنتاجه محدود بمدى قابلية ديناميكيات اللعبة للحوسبة بدلاً من الميزات المنطقية المحددة.

أنماط الفشل الشائعة

القواعد المهلوسة: قامت النماذج ضمنيًا بـ "تصحيح" القواعد المفقودة بناءً على المنطق العام (مثل افتراض فقدان العناصر عند شرائها) بدلاً من اتباع GDL المقدم بدقة.
الحقائق الزائدة: غالبًا ما احتفظت النماذج بحقائق في الحالات اللاحقة كان ينبغي التخلص منها (انتهاك افتراض العالم المغلق).
انتهاك القيود: في الألعاب ذات قواعد حركة محددة (مثل الاتجاهات الأصلية فقط)، اقترحت النماذج كثيرًا حركات قطرية غير صالحة.
أخطاء التنسيق: حتى النماذج القوية أنتجت أحيانًا مخرجات غير صالحة نحويًا (مثل نقص الأقواس)، مما أدى إلى فشل في التحليل (parsing).

5. الأهمية والخاتمة

تثبت الورقة أن النماذج اللغوية الكبيرة المعاصرة حققت تقدمًا كبيرًا في الاستنتاج الرمزي الصوري، وهي قادرة على محاكاة بيئات معقدة قائمة على القواعد بدقة دون معرفة مسبقة بالمجال. ومع ذلك، فهي ليست بعد "أمينة" كليًا كمحاكيات رمزية.

الموثوقية: بينما يعد الاستنتاج أحادي الخطوة قويًا، فإن انتشار الخطأ في المهام طويلة الأمد يظل عائقًا حاسمًا. فالأخطاء المحلية الصغيرة تتراكم بسرعة، مما يؤدي إلى حالات نهائية غير صحيحة.
الآثار المترتبة: بالنسبة للتطبيقات الحرجة (مثل دعم القرار، الوكلاء المستقلين)، لا ينبغي الوثوق بمخرجات النماذج اللغوية الكبيرة في مهام الاستنتاج الصوري بشكل أعمى. فهي تتطلب تحققًا تكراريًا، أو فحصًا للحالات الوسيطة، أو نهجًا هجينًا (نموذج لغوي + محلل رمزي).
العمل المستقبلي: يقترح المؤلفون أن الاختبارات المرجعية المستقبلية يجب أن تستكشف عائلات الألعاب القابلة للضبط لعزل عوامل التعقيد المحددة واختبار نطاق أوسع من النماذج لفهم سلوكيات التوسع في الاستنتاج الرمزي.

باختصار، تؤكد الدراسة أن النماذج اللغوية الكبيرة تنتقل من مجرد مطابقة الأنماط نحو الاستدلال المنطقي الحقيقي، لكن موثوقيتها في سلاسل الاستنتاج الطويلة والمعقدة لا تزال محدودة بميلها للهلوسة وحساسيتها للعمق الهيكلي.