MEM: Multi-Scale Embodied Memory for Vision Language Action Models

إليك ملخص تقني مفصل لورقة البحث "MEM: Multi-Scale Embodied Memory for Vision Language Action Models" (الذاكرة المتجسدة متعددة المقاييس لنماذج الرؤية واللغة والحركة).

1. بيان المشكلة (Problem Statement)

تعمل نماذج الرؤية واللغة والحركة (VLA) الحالية عادةً دون ذاكرة أو تعتمد على نافذة سياق محدودة للملاحظات الأخيرة. وهذا يخلق اختناقات كبيرة للمهام الروبوتية طويلة الأمد (التي تمتد لعشرات الدقائق) وللمهام التي تتطلب قابلية ملاحظة جزئية.

• المقايضة: تخزين تسلسل كثيف لجميع الملاحظات الماضية (الصور، الإدراك الحسي العميق) هو أمر غير ممكن حسابياً للمهام الطويلة بسبب قيود زمن الاستجابة (Latency). ومع ذلك، فإن ضغط كل التاريخ في تمثيل واحد يؤدي إلى فقدان التفاصيل الدقيقة الحرجة اللازمة للتحكم الفوري (مثل التعامل مع حالات الحجب/الانسداد).
• الفجوة: تستخدم النهج الحالية غالباً نمطاً واحداً للذاكرة (على سبيل المثال، الإدراك الحسي فقط، أو الإطارات المفتاحية فقط، أو النص الخام). وينتج عن ذلك تسوية: إما أن يفقد الروبوت المعلومات المكانية/الديناميكية الدقيقة اللازمة لتصحيح القبضة، أو يفقد القدرة على تتبع التقدم الدلالي عالي المستوى (مثل "لقد أضفت الزبدة بالفعل").
• الهدف: تطوير بنية ذاكرة يمكنها تمثيل الأحداث الماضية بمستويات مختلفة من الدقة—الذاكرة البصرية قصيرة المدى الكثيفة للديناميكيات الفورية، والذاكرة الدلالية طويلة المدى المضغوطة لتقدم المهمة—مع الحفاظ على سرعة الاستنتاج في الوقت الفعلي.

2. المنهجية: الذاكرة المتجسدة متعددة المقاييس (MEM)

يقترح المؤلفون نظام MEM، وهو نظام ذاكرة مختلط الأنماط يقوم بتفكيك السياسة (Policy) إلى مكونين متمايزين ومتفاعلين للتعامل مع المقاييس الزمنية المختلفة:

أ. نظرة عامة على البنية (Architecture Overview)

يقوم النظام بتفكيك سياسة التنبؤ بالحركة $\pi$ إلى:

1. السياسة عالية المستوى ($\pi_{HL}$): مسؤولة عن التخطيط طويل الأمد وتحديث الذاكرة اللغوية ($m_t$).
2. السياسة منخفضة المستوى ($\pi_{LL}$): مسؤولة عن توليد الحركة الفورية، مشروطة بـ ذاكرة فيديو قصيرة الأمد وتعليمات المهمة الفرعية الحالية.

يتم تعريف التفكيك كالتالي:
$$\pi(a_{t:t+H}, l_{t+1}, m_{t+1} | o_{t-T:t}, m_t, g) \approx \pi_{LL}(a_{t:t+H} | o_{t-K:t}, l_{t+1}, g) \cdot \pi_{HL}(l_{t+1}, m_{t+1} | o_{t}, m_t, g)$$
حيث $K \ll T$ (أفق قصير مقابل أفق طويل).

ب. الذاكرة طويلة الأمد: آلية قائمة على اللغة (Long-Term Memory)

• المفهوم: بدلاً من تخزين التاريخ الخام، تحتفظ السياسة عالية المستوى بملخص نصي مضغوط ($m_t$) للأحداث الدلالية (مثل "وضعت الطبق في الخزانة").
• الآلية: يتم تدريب السياسة على التنبؤ بملخص مُحدث $m_{t+1}$ بناءً على الملخص السابق $m_t$، والملاحظات الحالية، وهدف المهمة.
• استراتيجية الضغط: يتم تدريب النظام صراحةً على التخلص من التفاصيل غير ذات الصلة (مثل ألوان الأوعية المحددة) والاحتفاظ فقط بالمعلومات الضرورية للحالة (مثل "ثلاثة أوعية وضعت في الخزانة العلوية اليمنى"). هذا يمنع حدوث انزياحات التوزيع بين التدريب والاستنتاج الناتجة عن تكرار تعليمات المهام الفرعية الفاشلة في نافذة السياق.
• بيانات التدريب: يتم إنشاؤها باستخدام نموذج لغوي كبير (LLM) جاهز لتلخيص تسلسلات المهام الفرعية الناجحة/الفاشلة من عروض الروبوت، مما يعلم النموذج كيفية ضغط المعلومات بفعالية.

ج. الذاكرة قصيرة الأمد: مشفر فيديو فعال (Short-Term Memory)

• المفهوم: للتعامل مع حالات الحجب، والديناميكيات، والتحكم الدقيق، تتطلب السياسة منخفضة المستوى تسلسلاً كثيفاً من الملاحظات الأخيرة ($o_{t-K:t}$).
• التحدي: تمرير $K$ من الإطارات إلى هيكل VLA الأساسي يتسبب في انفجار زمن استجابة الاستنتاج (تجاوز حاجز الـ 300 مللي ثانية للوقت الفعلي).
• الحل: مشفر فيديو متخصص يعتمد على محولات الرؤية (Vision Transformers - ViT).
  • البنية: يقوم بدمج طبقات الانتباه المكاني القياسية مع طبقات الانتباه السببي-الزماني (كل 4 طبقات).
  • الكفاءة: يطبق الانتباه عبر الزمن لنفس الجزء (Patch)، مما يقلل التعقيد من $O(n^2K^2)$ إلى $O(Kn^2 + nK^2)$.
  • تقليل الرموز (Tokens): يقوم بحذف الرموز من الخطوات الزمنية الماضية في الطبقات العليا، ويمرر فقط تمثيل الخطوة الزمنية الحالية إلى هيكل VLA. هذا يحافظ على عدد الرموز مشابهاً لنماذج VLA أحادية الإطار مع ترميز السياق الزماني.
  • التهيئة: يتم تهيئة المشفر من أوزان ViT سابقة التدريب (مثل SigLIP) مع تضمينات موضع زمنية جيبية، مما لا يتطلب أي بارامترات جديدة قابلة للتعلم لنموذج الرؤية الأساسي.

د. التكامل مع $\pi0.6$

يتم دمج نظام MEM في نموذج $\pi0.6$ VLA (نموذج عام مدرب على بيانات متنوعة من الروبوتات والإنترنت).

• المدخلات: تجمع بين تاريخ الفيديو المشفر قصير الأمد، وتضمينات حالة الإدراك الحسي العميق (المسقطة خطياً)، وملخص الذاكرة اللغوية.
• التدريب: تم التدريب مسبقاً على خليط متنوع من بيانات التحكم عن بعد، ومخرجات السياسة، ومهام الفيديو واللغة. يتعلم النموذج تحديث الذاكرة اللغوية واستخدام مشفر الفيديو في آن واحد.

3. المساهمات الرئيسية (Key Contributions)

1. بنية ذاكرة متعددة الأنماط: أول نظام يجمع صراحةً بين الذاكرة القصيرة الأمد الكثيفة القائمة على الفيديو (للديناميكيات/الحجب) والذاكرة الدلالية طويلة الأمد المضغوطة القائمة على اللغة (للحالة الدلالية) في نموذج VLA واحد.
2. مشفر فيديو فعال: مشفر فيديو مبتكر وفعال من حيث عدد البارامترات يسمح لنماذج VLA بمعالجة عشرات الثواني من تاريخ الفيديو دون انتهاك قيود زمن الاستجابة في الوقت الفعلي، مما يتيح التكيف في السياق.
3. الضغط الدلالي: آلية تتيح للسياسة تلخيص وضغط تاريخها بنشاط، مما يمنع تجاوز نافذة السياق وانزياحات التوزيع أثناء المهام طويلة الأمد.
4. أداء رائد (SOTA): أثبت أن السياسات المعززة بالذاكرة يمكنها حل مهام معقدة تستغرق 15 دقيقة (مثل تنظيف المطبخ، أو طهي شطيرة الجبن المشوية) والتي يستحيل على نماذج SOTA الخالية من الذاكرة تنفيذها.

4. النتائج التجريبية (Experimental Results)

قيم المؤلفون MEM على هيكل $\pi0.6$ عبر مهام متنوعة:

• المهام طويلة الأمد:
  • إعداد الوصفات وتنظيف المطبخ: حقق MEM معدلات نجاح عالية في مهام تتطلب ذاكرة تصل إلى 15 دقيقة (مثل تتبع المكونات، إغلاق الأدراج، غسل الأطباق).
  • الدراسة الاستقصائية (Ablation): أدى إزالة الذاكرة المرئية أو الذاكرة اللغوية إلى انخفاض كبير في الأداء. كما فشلت الذاكرة النصية "الساذجة" (دمج جميع التعليمات دون ضغط) بسبب انزياحات التوزيع.
• التكيف في السياق (In-Context Adaptation):
  • مهام عيدان الأكل والثلاجة: استطاعت سياسات MEM تكييف استراتيجياتها بعد الفشل (مثل تعديل ارتفاع القبضة لعيدان الأكل أو تغيير اتجاه فتح الباب) من خلال مراقبة الفشل في ذاكرتها المرئية قصيرة الأمد. أما النماذج الخالية من الذاكرة فكررت نفس الفشل.
• قدرات الذاكرة الجوهرية:
  • القابلية الملاحظة الجزئية والعد: تفوق MEM على النماذج المرجعية مثل "Pool Memory" (متوسط الإطارات الماضية) و"Proprio Memory" (تاريخ الحالة فقط) في مهام مثل العثض على الأشياء المخفية، وعدّ ملاعق القهوة، وتفريغ البقالة.
  • أهمية التدريب المسبق: تفوقت النماذج التي تم تدريبها مسبقاً باستخدام مشفر الفيديو على بيانات متنوعة بشكل كبير على النماذج التي تم فيها إدخال وحدة الذاكرة فقط أثناء مرحلة ما بعد التدريب.
• التعميم: طابق MEM أداء النموذج الأساسي $\pi0.6$ في مهام المناولة القياسية (مثل طي الملابس، بناء الصناديق) حيث لا تتطلب الذاكرة بشكل صارم، مما يثبت أن إضافة الذاكرة لا تضعف الأداء الأساسي.

5. الأهمية (Significance)

• القابلية للتوسع: يوضح MEM أن الروبوتات يمكنها إدارة الذاكرة التي تمتد لـ عشرات الدقائق بفعالية، وهي خطوة حاسمة نحو وكلاء مستقلين قادرين على أداء أنشطة يومية معقدة متعددة المراحل.
• الكفاءة: من خلال فصل الذاكرة الكثيفة قصيرة الأمد عن الذاكرة الدلالية طويلة الأمد، يحل النظام معضلة "نافذة السياق مقابل زمن الاستجابة"، مما يجعل التحكم طويل الأمد ممكناً على الأجهزة الحقيقية.
• المتانة: القدرة على إجراء التكيف في السياق (التعلم من الإخفاقات الفورية الماضية ضمن حلقة واحدة) تجعل الروبوتات أكثر متانة تجاه عدم القدرة على التنبؤ والحالات الواقعية وحالات الحجب.
• الاتجاه المستقبلي: يضع هذا العمل الأساس لـ "التعلم المستمر" في الروبوتات، حيث يمكن للذاكرة أن تمتد في النهاية لأسابيع أو أشهر، مما يسمح للروبوتات بالتعلم من تجارب التشغيل بمرور الوقت.