Learning Abstract World Models with a Group-Structured Latent Space

ملخص تقني: تعلم نماذج عالم مجردة باستخدام فضاء كامن ذي بنية مجموعاتية

بيان المشكلة

يعد تعلم نماذج مجردة ذات معنى لعمليات ماركوف لاتخاذ القرار (MDPs) أمراً ضرورياً لتحسين القدرة على التعميم من البيانات المحدودة في التعلم المعزز (RL). وبينما تنجح أساليب تعلم نماذج العالم الحالية في تضمين البيانات عالية الأبعاد في مساحات مجردة منخفضة الأبعاد لتحسين كفاءة العينات، فإن النهج المتطورة غالباً ما تتطلب مجموعات بيانات تدريبية ضخمة لتحقيق أداء يتفوق على البشر. ويتمثل أحد القيود الرئيسية في غياب دمج الهياكل الهندسية المعروفة (التناظرات) المتأصلة في ديناميكيات البيئة. وبدون هذه الأولويات، قد يواجه الوكلاء صعوبة في التعميم إلى سيناريوهات غير مرئية أو قد يتطلبون بيانات مفرطة لتعلم التناظرات البسيطة، مثل الثبات الدوراني أو الانتقالي.

المنهجية

يقترح المؤلفون إطار عمل يفرض أولويات هندسية على متشعب التمثيل منخفض الأبعاد لنموذج انتقال مُتعلم. وتتضمن المنهجية الجوهرية ما يلي:

1. فضاء كامن ذو بنية مجموعاتية: بدلاً من معاملة فضاء الحالة المجرد $Z$ كفضاء متجه إقليدي قياسي، يقوم المؤلفون بنمذجته كفضاء ناتج (على سبيل المثال، $\mathbb{R}/k\mathbb{Z}$) أو كحاصل ضرب لمثل هذه الفضاءات. ويعكس هذا الاختيار مجموعات التناظر الأساسية للبيئة (مثل المجموعات الدورية للدورات).
2. أفعال المجموعات كديناميكيات انتقال: يتم تقييد نموذج الانتقال $\tau: Z \times A \to Z$ ليعمل عبر فعل مجموعة. وتحديداً، يتم التنبؤ بالحالة الكامنة التالية كحالة حالية مدمجة مع متجه انتقال مُتعلم عبر عملية مجموعة $\oplus$:
   $$\hat{z}_{t+1} = z_t \oplus \Delta(z_t, a; \theta_{trans})$$
   بالنسبة للفضاءات الناتجة مثل $\mathbb{R}/k\mathbb{Z}$، يتم تنفيذ هذه العملية عبر الحساب الموديولي (modular arithmetic)، مما يرمز طبيعياً لشروط الحدود الدورية.
3. تمثيلات مفككة: للتعامل مع البيئات التي تحتوي على ميزات متناظرة (مهيكلة) وأخرى غير متناظرة (غير مهيكلة)، يعزز إطار العمل التفكك. حيث يتم تطبيق تنظيم التشتت (sparsity regularization) على متجه الانتقال $\Delta$، مما يجبر الميزات التي يجب أن تظل ثابتة تحت فعل معين على أن تكون صفراً. ويتحقق ذلك من خلال قناع (masking) لإحداثيات معينة من متجه الانتقال بناءً على تخطيط $\sigma(a)$ الذي يحدد الإحداثيات الكامنة التي تتأثر بالفعل $a$.
4. هدف التعلم: يتم تدريب النموذج باستخدام هدف تعلم تبايني ذاتي التوجيه (InfoNCE loss) لمحاذاة الانتقالات المتوقعة مع الحقائق الأرضية، بالإضافة إلى فقدان التنبؤ بالمكافأة وفقدان تنظيم الحجم للحفاظ على الفضاء المجرد مدمجاً وقابلاً للتفسير. وخلافاً للنهج السابقة التي تفرض التكافؤ من خلال بنيات شبكات مرتبطة الأوزان (والتي قد تكون مكلفة حاسوبياً)، يفرض هذا الأسلوب الهيكل مباشرة داخل هندسة الفضاء الكامن.

المساهمات الرئيسية

• الأولويات الهندسية في الفضاء الكامن: يوضح البحث كيفية دمج هياكل تناظر معروفة (مثل التناظر الدوراني والانتقالي) من خلال اختيار الفضاءات الكامنة المناسبة (الفضاءات الناتجة) وأفعال المجموعات المقابلة، بدلاً من تعديل بنية الشبكة العصبية.
• التعامل مع التناظرات المختلطة: ينجح إطار العمل في تعلم تمثيلات تجمع بين الميزات المهيكلة (المتناظرة) وغير المهيكلة، مما يسمح للنموذج بالتوسع إلى بيئات معقدة مثل المشاهد ثلاثية الأبعاد من منظور الشخص الأول.
• تحسين التعميم: يؤدي هذا النهج إلى تمثيلات أبسط وأكثر تفككاً، مما يحسن من القدرة على التعميم إلى انتقالات غير مرئية ويتطلب عينات تدريب أقل مقارنة بالنماذج المرجعية غير المهيكلة بالكامل.
• أداء التعلم المعزز في المهام النهائية: تعمل نماذج العالم المجردة المتعلمة كأولويات فعالة لمهام التعلم المعزز اللاحقة، مما يحسن بشكل كبير من كفاءة العينات في الأنظمة ذات البيانات المنخفضة.

النتائج التجريبية

قيم المؤلفون نهجهم في عدة بيئات:

• نماذج MDP تجريبية (Passage & Torus): في عالم شبكي دوري بسيط وMDP حلقي (حاصل ضرب مجموعتين دوريتين)، تنبأ النموذج المجموعاتي بدقة بالانتقالات غير المرئية حيث فشلت النماذج المرجعية غير المهيكلة. واستعاد النموذج الطوبولوجيا الصحيحة (على سبيل المثال، رسم الخرائط للفضاء الكامن إلى طوروس في $\mathbb{R}^3$) باستخدام بُعدين كامنين فقط.
• MiniGrid (منظور علوي): نجح الأسلوب في تفكيك التوجه (المُنمذج كمجموعة دورية) عن الموقع (المُنمذج كفضاء إقليدي)، مما نتج عنه تمثيل حاصل ضرب الفضاءات $\mathbb{R}/2\pi\mathbb{Z} \times \mathbb{R}^2$.
• VizDoom (منظور شخص أول ثلاثي الأبعاد): في بيئة عالية الأبعاد بمدخلات RGB، قام النموذج برسم خرائط للبيانات البصرية المعقدة إلى فضاء كامن ثلاثي الأبعاد. وقد نجح في التقاط الطبيعة الدورية للدوران والطبيعة الانتقالية للحركة، متفوقاً على النماذج المرجعية في مقاييس التعميم (Hits@k، وMean Reciprocal Rank) وفي مهام التعلم المعزز اللاحقة.
• المقاييس الكمية: عبر جميع البيئات، تفوق نموذج "AWM + Geometric Priors" بشكل كبير على النماذج المرجعية غير المهيكلة (AWM بدون أولويات) والأساليب الأخرى (PRAE، وRotation Matrix) في التعميم على الانتقالات غير المرئية، خاصة في الأنظمة ذات البيانات المنخفضة. وفي مهام التعلم المعزز (Torus, MiniGrid, VizDoom)، حقق الوكلاء الذين استخدموا الأولوية الهندسية مكافآت تراكمية أعلى بخطوات تدريب أقل.

الأهمية والادعاءات

يزعم البحث أنه من خلال الاستفادة من الأولويات الهندسية عبر اختيار الفضاء الكامن وأفعال المجموعات، يمكن تعلم نماذج عالم أكثر كفاءة في العينات وأكثر قدرة على التعميم دون العبء الحسابي للشبكات العصبية المتكافئة. ويؤكد المؤلفون أن طريقتهم تسمح بالجمع المرن بين الميزات المتناظرة وغير المتناظرة، مما يجعلها قابلة للتطبيق في السيناريوهات المعقدة من العالم الحقيقي مثل الألعاب ثلاثية الأبعاد من منظور الشخص الأول. ويشير العمل إلى أن احترام التناظر الأساسي للبيئة في التمثيل المجرد يؤدي إلى "تمثيلات أبسط وأكثر تفككاً"، مما يسهل عمليات التنبؤ والتخطيط. وقد وفر المؤلفون الكود الكامل لضمان إمكانية إعادة الإنتاج.