Game2World Engine: Unlocking In-the-Wild Gameplay Videos for World Model Training
تقدم هذه الورقة البحثية Game2World، وهو إطار عمل شامل يتميز بـ G2WEngine لاستخراج أصول واجهة المستخدم ونموذج GameCleaner لإزالة واجهة العرض (HUD) بدون أقنعة، والذي يحول فيديوهات أسلوب اللعب الخام إلى بيانات تدريب عالية الجودة وخالية من واجهة المستخدم، مما يعزز بشكل كبير أداء نموذج العالم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل محاولة تعليم كمبيوتر كيف يفهم كيفية تحرك وتغير العالم المادي. للقيام بذلك، يحتاج الباحثون إلى كميات هائلة من مقاطع الفيديو التي تُظهر كيفية تفاعل الأشياء، وكيفية تغير الضوء، وكيف تتطور المشاهد بمرور الوقت. لسنوات، نظر العلماء إلى ألعاب الفيديو كمصدر مثالي لهذه البيانات؛ إذ توفر الألعاب بيئات متنوعة ولانهائية حيث يكون لكل فعل نتيجة واضحة، مما يوفر مكتبة غنية من التجارب البصرية التي يصعب التقاطها في العالم الحقيقي. ومع ذلك، هناك مشكلة كبيرة في استخدام اللقطات الخام من هذه الألعاب. فعندما يلعب شخص ما لعبة، تكون الشاشة مزدحمة بالطبقات الرقمية المتراكبة: أشرطة الصحة، والخرائط، وعدادات الذخيرة، ونوافذ الدردشة. هذه العناصر ليست جزءاً من عالم اللعبة نفسه، بل هي زينة في مساحة الشاشة أضيفت لمصلحة اللاعب. إذا تعلم الكمبيوتر من فيديوهات مليئة بهذه الطبقات، فإنه يصاب بالارتباك، ويمزج بين قواعد اللعبة وقواعد الواجهة.
لقد طور فريق من الباحثين نظاماً جديداً لحل هذه المشكلة، يعمل بفعالية على تجريد الفوضى الرقمية للكشف عن عالم اللعبة النقي الكامن تحتها. لقد أنشأوا إطار عمل يمكنه التعرف تلقائياً على الواجهات الموجودة على الشاشة، وإزالتها من الفيديو، وحتى ملء الخلفية المفقودة بحيث يبدو المشهد مكتملاً وطبيعياً. ومن خلال القيام بذلك، نجحوا في تحويل ملايين الساعات من لقطات اللعب الفوضوية إلى بيانات تدريب نظيفة وعالية الجودة. ويُظهر عملهم أنه عندما تتعلم الحواسيب من هذه الفيديوهات المنقحة، فإنها تصبح أفضل بكثير في فهم كيفية عمل العالم، مما يحسن أداءها في التنبؤ بالحركة والجودة البصرية بهامش قابل للقياس. يشير هذا الاختراق إلى أن المكتبة الهائلة وغير المستغلة من فيديوهات ألعاب الإنترنت يمكن استخدامها أخيراً لبناء أنظمة ذكاء اصطناعي أكثر ذكاءً وقدرة.
جوهر هذا المشروع هو محرك بيانات جديد يسمى G2WEngine. أدرك الباحثون أنه لتعليم الكمبيوتر عن العالم، كان عليهم أولاً تعليمه ما ليس جزءاً من العالم. بدأوا بإنشاء نظام تصنيف مفصل لواجهات الألعاب، حيث نظموا كل شيء بدءاً من البوصلات وأشرطة الصحة وصولاً إلى سجلات الدردشة وإشعارات النوافذ المنبثقة في فئات محددة. وباستخدام هذا النظام، يقوم المحرك بمسح آلاف مقاطع فيديو اللعب الحقيقية من مئات الألعاب المختلفة. إنه يستخرج بدقة الأصول الرقمية — الصور الفعلية لأشرطة الصحة أو الخرائط — ويحولها إلى قطع شفافة قابلة لإعادة الاستخدام. وهذا يسمح للنظام بفهم شكل هذه الواجهات وأين تظهر عادةً على الشاشة.
بمجرد أن يفهم النظام الواجهات، فإنه يعمل بشكل عكسي لإنشاء مجموعة بيانات جديدة ضخمة. يأخذ مقاطع فيديو نظيفة وخالية من الواجهات لعوالم الألعاب، ثم يضيف إليها الواجهات المستخرجة اصطناعياً، مما يخلق أزواجاً مثالية من لقطات "قبل" و"بعد". تولد هذه العملية 96,000 زوج فيديو اصطناعي حيث يعرف الكمبيوتر بالضبط كيف يبدو العالم النظيف وكيف يبدو النسخة المزدحمة منه. ولضمان عمل النظام على بيانات العالم الحقيقي، قاموا أيضاً بجمع أكثر من 1,000 مقطع من فيديوهات الإنترنت الفعلية، تغطي 303 لعبة مختلفة. هذا المزيج من البيانات الاصطناعية والحقيقية يوفر ميدان اختبار صارم لمعرفة مدى صمود عملية الإزالة تحت الضغط.
قام الباحثون بعد ذلك بتدريب نموذج متخصص، أطلقوا عليه اسم GameCleaner، للقيام بمهمة الإزالة. وعلى عكس الطرق السابقة التي كانت تتطلب من المستخدمين رسم مربعات يدوياً حول العناصر المراد إزالتها، يعمل GameCleaner تلقائياً. فهو يستخدم فهماً عميقاً للسياق البصري لتحديد أي أجزاء من الصورة هي عالم اللعبة وأيها الواجهات الرقمية. وعندما يزيل شريط صحة أو خريطة، فإنه لا يكتفي بمحو البكسلات فحسب؛ بل يعيد بناء المشهد المخفي خلفها، مما يضمن بقاء الخلفية متسقة وحركة الشخصيات سلسة. تم اختبار النموذج مقابل أدوات تحرير الفيديو الأخرى وأثبت تفوقاً كبيراً، حيث نجح في إزالة الواجهات مع الحفاظ على المشهد الأساسي بدرجة عالية من الدقة.
تم اختبار نتائج هذا العمل في تجربة منضبطة لمعرفة ما إذا كانت البيانات المنقحة ستحدث فرقاً بالفعل. قام الباحثون بتدريب نموذجين متطابقين لتوليد الفيديو: أحدهما على فيديوهات اللعب الأصلية المزدحمة، والآخر على النسخ المنقحة حديثاً. أظهر النموذج المدرب على البيانات النظيفة أداءً أفضل بشكل ملحوظ؛ فقد أنتج فيديوهات بجودة حركة أعلى وجودة بصرية إجمالية أفضل. وتحديداً، أظهر النموذج المدرب على البيانات المنقحة تحسناً بنسبة 18.8 بالمائة في كيفية التقاط الحركة، وتحسناً بنسبة 6.83 بالمائة في درجة أدائه الإجمالية. وهذا يثبت أن الطبقات الرقمية لم تكن مجرد ضجيج بصري؛ بل كانت تعيق عملية التعلم فعلياً، حيث عملت كاختصارات منعت الكمبيوتر من الفهم الحقيقي لديناميكيات البيئة.
يمتد تأثير هذا البحث إلى ما هو أبعد من مجرد جعل الفيديوهات تبدو أكثر نظافة. فمن خلال النجاح في فصل الواجهة عن العالم، فتح الباحثون مساراً قابلاً للتوسع لإنشاء نماذج عالم أفضل. هذه النماذج هي الأساس للذكاء الاصطناعي المستقبلي الذي يمكنه التنقل في بيئات معقدة، ومحاكاة التفاعلات الفيزيائية، وحتى التحكم في الروبوتات. إن القدرة على معالجة كميات هائلة من بيانات ألعاب الإنترنت دون الحاجة إلى محاكيات مخصصة ومكلفة تعني أن مجموعة بيانات التدريب المتاحة لهذه الأنظمة أصبحت الآن غير محدودة فعلياً. لقد وضع الفريق مجموعة البيانات والتعليمات البرمجية والنماذج الخاصة بهم تحت تصرف الجمهور، داعين علماء آخرين للبناء على هذا الأساس. إن عملهم يثبت أنه مع الأدوات المناسبة، يمكن تحويل فيديوهات الإنترنت الفوضوية والمزدحمة بالواجهات إلى مورد منظم ونقي لتعليم الآلات كيف يتحرك العالم حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.