🤖 AI

Distilling Game Code World Model Generation into Lightweight Large Language Models

تقترح هذه الورقة خط إنتاج قابل للتوسع لما بعد التدريب يجمع بين الضبط الدقيق الخاضع للإشراف والتعلم التعزيزي مع مكافآت قابلة للتحقق لاستخلاص قدرات توليد نماذج عالم أكواد الألعاب من النماذج الرائدة إلى نموذج لغوي كبير خفيف الوزن بـ 3 مليارات معلمة، مما يمكّنه من توليد بيئات ألعاب قابلة للتنفيذ بدقة من القواعد المكتوبة باللغة الطبيعية.

المؤلفون الأصليون: Tyrone Serapio, Arjun Prakash, Haoyang Xu, Kevin Wang, Amy Greenwald

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tyrone Serapio, Arjun Prakash, Haoyang Xu, Kevin Wang, Amy Greenwald

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد بناء روبوت يمكنه لعب أي لعبة لوحية تصفها له، من الشطرنج إلى البوكر. وللقيام بذلك، يحتاج الروبوت إلى "كتاب قواعد" يخبره بالضبط كيف تسير اللعبة: كيف تتحرك القطع، وما الذي يحتسب فوزاً، وماذا يحدث عندما يرتكب اللاعب خطأً.

في الماضي، كان بناء كتب القواعد هذه للألعاب الجديدة يشبه توظيف فريق من المهندسين الخبراء لكتابة الكود البرمجي من الصفر في كل مرة. كان الأمر بطيئاً، ومكلفاً، ويتطلب أجهزة كمبيوتر ذكية جداً (ومكلفة للغاية) لفهم التفاصيل.

تقترح هذه الورقة طريقة جديدة للقيام بذلك: تعليم كمبيوتر صغير ورخيص كتابة كتب القواعد بنفسه.

إليك تفصيل نهجهم باستخدام تشبيهات بسيطة:

1. المشكلة: "المعلم العبقري" مقابل "المتدرب"

حالياً، إذا كنت تريد من الكمبيوتر إنشاء كتاب قواعد للعبة (وهو ما يسميه المؤلفون نموذج عالم كود اللعبة - Game Code World Model)، يجب عليك سؤال "معلم عبقري" (ذكاء اصطناعي ضخم ومكلف مثل GPT-4 أو Gemini).

الطريقة القديمة: تسأل المعلم العبقري: "اكتب قواعد هذه اللعبة الجديدة". إذا ارتكب خطأً، تقوم بفحص الكود، وتوضح الخطأ، وتطلب من العبقري المحاولة مرة أخرى. قد تضطر للقيء هذه الحلقة عشرات المرات. الأمر يشبه استئجار طاهٍ عالمي لطهي شطيرة بسيطة، لكن عليك تذوقها باستمرار وإعادتها إلى المطبخ حتى تصبح مثالية. هذا يعمل، لكنه بطيء ويكلف ثروة.

2. الحل: تقطير المعرفة

أراد المؤلفون معرفة ما إذا كان بإمكانهم تدريب ذكاء اصطناعي صغير وخفيف الوزن ("متدرب") للقيام بهذه المهمة دون الحاجة إلى "المعلم العبقري" للتحقق من عمله في كل مرة. هم يسمون هذه العملية "التقطير" (Distilling).

فكر في الأمر كأن معلماً طاهياً (الذكاء الاصطناعي الكبير) يعلم طاهياً مبتدئاً (الذكاء الاصطناعي الصغير) كيفية الطهي. بدلاً من أن يسأل الطاهي المبتدئ المعلم عن المساعدة في كل مرة يقطع فيها بصلة، يقضي المعلم وقتاً في تدريب الطاهي المبتدئ حتى يتمكن المبتدئ من طهي الطبق بمفرده وبشكل مثالي.

3. عملية التدريب: خطوتان

استخدم المؤلفون مسار تدريب مكون من خطوتين لتحويل الذكاء الاصطناعي الصغير (Qwen2.5-3B) إلى خبير في قواعد الألعاب:

الخطوة 1: الضبط الدقيق الخاضع للإشراف (SFT) - "كتاب الوصفات"
لقد عرضوا على الذكاء الاصطناعي الصغير 30 لعبة مختلفة (مثل إكس أو (Tic-Tac-Toe)، والبوكر، والبلاك جاك) جنباً إلى جنب مع الكود الصحيح لكيفية عمل تلك الألعاب. الأمر يشبه إعطاء المتدرب مجموعة من كتب الطبخ المثالية وقول: "احفظ هذه الوصفات".
- النتيجة: أصبح الذكاء الاصطناعي أفضل بكثير في كتابة الكود الذي لا يحتوي على أخطاء مطبعية أو أخطاء في بناء الجملة (مثل نسيان فاصلة أو قوس).
الخطوة 2: التعلم المعزز بمكافآت قابلة للتحقق (RLVR) - "اختبار المذاق"
مجرد حفظ الوصفات ليس كافياً؛ يجب أن يكون الطعام لذيذاً أيضاً. قام المؤلفون ببناء "مختبر مذاق" آلي (إطار عمل للتحقق).
- يحاول الذكاء الاصطناعي كتابة كتاب قواعد للعبة.
- يقوم "مختبر المذاق" بتشغيل الكود. هل تعطلت اللعبة؟ هل القواعد منطقية؟ هل تنتهي اللعبة بشكل صحيح؟
- إذا اجتاز الكود الاختبار، يحصل الذكاء الاصطناعي على "مكافأة" (نقاط). إذا فشل، يحصل على عقوبة.
- يحاول الذكاء الاصطناي مراراً وتكراراً، متعلمًا من هذه المكافآت لكتابة كود يعمل بالفعل، وليس مجرد كود يبدو صحيحاً.

4. النتائج: ما الذي نجح وما الذي لم ينجح

اختبر المؤلفون "المتدرب" المدرب على ألعاب لم يرها من قبل (ألعاب خارج التوزيع - Out-of-Distribution).

الأخبار الجيدة: أصبح الذكاء الاصطناعي الصغير المدرب أفضل بكثير في كتابة كود ألعاب صالح. لقد تعلم تجنب أخطاء بناء الجملة واتباع الهيكل الأساسي لقواعد الألعاب بشكل أفضل بكثير مما كان عليه قبل التدريب. لقد أثبت أنه يمكنك تعليم نموذج صغير القيام بهذه المهمة دون الحاجة إلى "الملم العبقري" للتحقق من كل سطر كود.
الأخبار السيئة: لا يزال الذكاء الاصطناعي يعاني مع الألعاب الأكثر تعقيداً، خاصة تلك التي تحتوي على معلومات مخفية (مثل البوكر، حيث لا تعرف ما هي أوراق خصمك).
- التشبيه: يمكن للمتدرب طهي شطيرة جبن مشوية مثالية (ألعاب بسيطة) وحتى لازانيا معقدة (ألعاب المعلومات الكاملة). لكن عندما يُطلب منه طهي طبق يتطلب تخمين ما يفكر فيه الشخص الآخر (ألعاب المعلومات الناقصة)، يرتبك المتدرب وأحياناً يستسلم أو يكتب نسخة مبسطة وغير صحيحة.
- ومن المثير للاهتمام أن "المعلم العبقري" نفسه (GPT-4) عانى أيضاً مع ألعاب المعلومات المخفية المعقدة هذه، مما يشير إلى أنها مشكلة صعبة جداً لجميع نماذج الذكاء الاصطناعي الحالية.

5. الخلاصة

تظهر هذه الورقة أنه يمكننا أخذ القدرة على توليد قواعد ألعاب معقدة من نماذج الذك_اصطناعي الضخمة والمكلفة و"تقطيرها" في نماذج أصغر وأرخص من خلال التدريب.

قبل: كنت بحتاج إلى كمبيوتر خارق والكثير من الوقت لتوليد محرك لعبة.
الآن: يمكنك تدريب نموذج صغير وفعال للقيام بذلك، بشرط ألا تكون اللعبة شديدة التعقيد.

يخلص المؤلفون إلى أنه بينما لا يزال هذا النموذج الصغير غير مثالي بعد (خاصة للألعاب الصعبة التي تحتوي على أسرار مخفية)، إلا أنه خطوة كبيرة نحو جعل إنشاء العوالم الرقمية التي تلعب فيها الوكلاء الذكيون أمراً سهلاً ورخيصاً. لم يدّع المؤلفون أن هذا يعمل للتشخيص الطبي، أو التداول المالي، أو التطبيقات الواقعية الأخرى، بل فقط لتوليد الكود الذي يحاكي بيئات الألعاب.

ملخص تقني: تقطير توليد نماذج عالم الأكواد البرمجية للألعاب إلى نماذج لغوية كبيرة خفيفة الوزن

بيان المشكلة

يعد بناء نماذج العالم (World Models) — وهي تمثيلات داخلية للبيئة تسمح للوكلاء الذكيين بمحاكاة عواقب الأفعال — أمراً بالغ الأهمية في الأنظمة متعددة الوكلاء. وبينما قدمت الأعمال الحديثة نماذج عالم الأكواد البرمجية (Code World Models - CWMs)، حيث تقوم النماذج اللغوية الكبيرة (LLMs) بترجمة أوصاف الألعاب باللغة الطبيعية إلى أكواد بايثون قابلة للتنفيذ ومتوافقة مع أدوات مثل بحث شجرة مونت كارلو (MCTS)، إلا أن المنهجيات الحالية تواجه عوائق كبيرة في التوسع.

تعتمد الطرق الحالية لتوليد نماذج عالم أكواد الألعاب (GameCWMs) بشكل كبير على النماذج "الرائدة" (مثل Gemini 2.5 Pro و GPT-4) وعلى حوسبة مكثفة أثناء وقت الاختبار (test-time compute). تستخدم هذه المنهجيات حلقات تحسين تكرارية حيث يقوم النموذج اللغوي بتوليد الكود، ثم التحقق منه مقابل اختبارات الوحدة (unit tests) أو مسارات الحقيقة الأرضية (ground-truth trajectories)، ثم إعادة توليد الكود عند الفشل. هذه العملية مكلفة حوسبياً وتحد من إمكانية الوصول إليها. السؤال الجوهري لهذا العمل هو ما إذا كان يمكن تقطير (distilling) القدرات المطلوبة لتوليد GameCWMs صالحة إلى نماذج أصغر وأخف وزناً (تحديداً نماذج بـ 3 مليارات معلمة) من خلال مرحلة ما بعد التدريب، وبالتالي إلغاء الاعتماد على النماذج الرائدة وحلقات التحسين أثناء الاستدلال.

المنهجية

يقترح المؤلفون خط إنتاج مكوناً من ثلاثة عناصر لتقطير قدرات توليد GameCWM إلى نموذج Qwen2.5-3B-Instruct:

1. تنسيق مجموعة البيانات

تم إنشاء مجموعة بيانات تضم 30 لعبة ذات شكل موسع (extensive-form games)، تشمل:

ألعاب المعلومات الكاملة: مثل Tic-Tac-Toe، وConnect4، وGeneralized Chess.
ألعاب المعلومات الناقصة: مثل Blackjack، وKuhn Poker، وLeduc Poker، وGin Rummy.
ألعاب خارج نطاق التوزيع (OOD): ألعاب مبتكرة غير موجودة في بيانات تدريب النماذج اللغوية القياسية، بما في ذلك لعبة جديدة تسمى Converge.

تتكون مجموعة البيانات من أزواج (المطالبة، الكود) $(P_G, C_G)$ ، حيث تتضمن المطالبة مواصفات واجهة برمجة التطبيقات (API)، ووصف اللعبة باللغة الطبيعية، وسلاسل الأفعال الصريحة، ومساراً مثالياً واحداً. المخرج المستهدف هو كود بايثون يمثل محرك اللعبة (ground-truth).

2. إطار التحقق الهرمي

لتمكين التدريب دون الحاجة لمحركات ألعاب للحقيقة الأرضية للألعاب الجديدة، طور المؤلفون إطار تحقق مكوناً من أربعة مستويات يقيم الكود المولد:

المستوى الأول (التحليل الساكن): يتحقق من الصلاحية النحوية، واكتمال واجهة برمجة التطبيقات (وجود جميع الدوال المطلوبة)، وتواقيع الأنواع، والترجمة الناجحة (compilation).
المستوى الثاني (الديناميكية/الاختبار بالضغط - Fuzzing): ينفذ 100 مسار اصطناعي عشوائي للتحقق من الحتمية (determinism)، ومنطق الحالات غير النهائية، ومنطق الحالات النهائية، والخلو من الأخطاء البرمجية (crash-free)، وعدم قابلية الحالة للتغيير (state immutability).
المستوى الثالث (الالتزام بالقواعد الدلالية): يقارن سلوك المحرك المولد مقابل مجموعة صغيرة من "مسارات السيناريوهات" (scenario traces) التي تم إنشاؤها بواسطة نموذج لغوي رائد من قواعد اللعبة. يختبر هذا المستوى حالات الحدود (boundary conditions) وطريقة اللعب النموذجية.
المستوى الرابع (اتساق المعلومات): مخصص لألعاب المعلومات الناقصة، حيث يقيم هذا المستوى وظيفة resample_history. يقوم بمحاكاة مسار عشوائي وصولاً إلى حالة معينة، واستخراج ملاحظة (observation)، والتحقق من أن التاريخ المعاد استخراجه ينتج نفس الملاحظة، لضمان الحفاظ على الحدود المعرفية (epistemic boundaries).

3. خط إنتاج ما بعد التدريب

تتضمن عملية التدريب مرحلتين:

الضبط الدقيق الخاضع للإشراف (SFT): يتم ضبط نموذج Qwen2.5-3B-Instruct الأساسي على أزواج (المطالبة-الكود) باستخدام تقنية LoRA. تهدف هذه المرحلة إلى مواءمة النموذج مع بنية واجهة برمجة التطبيقات (API) والنحو المطلوب.
التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR): بعد مرحلة SFT، يتم صقل النموذج بشكل أكبر باستخدام تحسين السياسة النسبي الجماعي (GRPO). إشارة المكافأة هي درجة مركبة مشتقة من إطار التحقق ذي المستويات الأربعة:
$r_i = \sum_{t=1}^{4} w_t S_t$
حيث $S_t$ هو معدل النجاح في المستوى $t$ ، وتُعطى الأوزان ( $w_1=0.15, w_2=0.25, w_3=0.3, w_4=0.3$ ) الأولوية للمنطق الدلالي ومعالجة المعلومات على مجرد النحو.

النتائج الرئيسية

أُجريت التجارب على 7 ألعاب مستبعدة (بما في ذلك ألعاب OO وألعاب المعلومات الناقصة)، مع توليد 25 عينة لكل لعبة.

الأداء العام: أنتج خط الإنتاج الكامل (SFT+RLVR) أقوى نموذج، حيث حقق متوسط درجة تحقق بلغت 53.2%، وهو ما يتفوق بشكل ملحوظ على النموذج الأساسي (47.3%) ونموذج SFT فقط (49.0%). ومع ذلك، ظل الأداء دون أداء النماذج الرائدة مثل GPT-4o (66.7%).
المكاسب النحوية والهيكلية: أدى SFT إلى تحسين كبير في درجات التحليل الساكن (المستوى 1) والاختبار بالضغط (المستوى 2)، مما يثبت أن الضبط الدقيق يعلم النموذج بفعالية بنية الـ API ومنطق الانتقال القوي.
الالتزام الدلالي: وفر RLVR أكبر دفعة لدرجات الدلالة (المستوى 3). حقق نموذج SFT+RLVR درجة دلالية بلغت 14.4% مقارنة بـ 8.5% للنموذج الأساسي، مما يشير إلى أن التعلم التعزيزي يساعد النموذج على الالتزام بقواعد اللعبة بما يتجاوز مجرد النحو.
تحديات المعلومات الناقصة: واجهت جميع النماذح، بما في ذلك GPT-4o، صعوبة في اتساق المعلومات (المستوى 4) في ألعاب المعلومات الناقصة. حقق أفضل نموذج Qwen (SFT+RLVR) نسبة 5.3% فقط، مقارنة بـ 14.0% لـ GPT-4o.
القيود الملحوظة:
- الإفراط في التخصيص (Overfitting) في SFT: في لعبة Gin Rummy (داخل نطاق التوزيع وليست ضمن مجموعة التدريب)، أدى SFT في الواقع إلى خفض الأداء (من 49.7% إلى 31.4%) بسبب تطبيق النموذج الأعمى لقوالب "فهم القوائم" (list-comprehension) التي تعلمها أثناء التدريب، مما أدى إلى أخطاء نحوية.
- حدود الاستدلال: غالباً ما تضع النماذج تعليقات تشير إلى صعوبة تنفيذ منطق resample_history ، مفضلة استخدام نماذج مبسطة (مثل إرجاع آخر إجراء) بدلاً من توليد مسارات استدلال معقدة. يشير هذا إلى أن الفضاء الكامن للنموذج الأساسي قد يفتقر إلى قدرات "نظرية العقل" (Theory of Mind) اللازمة لهذه المهام.

الأهمية والادعاءات

يدعي البحث أنه يمكن تقطير توليد GameCWM جزئياً في النماذج اللغوية خفيفة الوزن من خلال مرحلة ما بعد التدريب. تكمن الأهمية الأساسية لهذا العمل في إثبات ما يلي:

كفاءة الموارد: من الممكن تقليل الاعتماد على النماذج الرائدة المكلفة وحلقات التحسين المتكررة أثناء وقت الاختبار عن طريق نقل العبء الحوسبي إلى مرحلة ما بعد التدريب.
ضرورة المرحلتين: الجمع بين SFT (للهيكل/النحو) و RLVR (للالتزام الدلالي) هو أكثر فعالية من استخدام أي منهما بمفرده.
القابلية للتوسع: يوفر النهج مساراً قابلاً للتوسع نحو التوليد التلقائي للبيئات من اللغة الطبيعية، مما يجعل GameCWMs متاحة لمجموعة أوسع من التطبيقات.

ومع ذلك، يظل المؤلفون متواضعين بشأن الحالة الراهنة لهذه التكنولوجيا. فقد ذكروا صراحة أن الاستدلال الدلالي المعقد ومعالجة المعلومات الناقصة لا تزال مهاماً صعبة وتتجاوز القدرة الحالية لكل من النماذج خفيفة الوزن وخط الإنتاج. لا يدعي العمل أنه حل مشكلة التوليد المثالي لـ GameCWM، بل يقدم بديلاً أكثر كفاءة للنهج الحالي المعتمد على النماذج الرائدة.