🤖 AI

PEAM: Parametric Embodied Agent Memory through Contrastive Internalization of Experience in Minecraft

يُعد PEAM إطار عمل مبتكر للوكلاء المتجسدين في لعبة ماينكرافت، حيث يحول الذاكرة من مجرد استرجاع وقت الاستدلال إلى مهارات مستقرة في المعلمات عبر استخدام بنية ثنائية النظام تجمع بين التفكير التأملي البطيء والتنفيذ الانعكاسي السريع، حيث تعمل الإخفاقات كإشارات تدريب حاسمة للتعلم التبايني، كما يقرر آلية ذاتية التشغيل بشكل مستقل متى يتم استيعاب الخبرات لتمكين التعلم المستمر دون نسيان كارثي.

المؤلفون الأصليون: Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيف يلعب لعبة Minecraft. حالياً، تتعلم معظم الروبوتات مثل طالب لا يحفظ أي شيء أبداً؛ ففي كل مرة يواجه فيها زومبي أو يحتاج إلى بناء فرن، يضطر للتوقف، وفتح دفتر ملاحظات ضخم لتجاربه السابقة، والبحث عن قصة مشابهة، وقراءتها، ثم محاولة استنتاج ما يجب فعله. هذا الأمر بطيء، ويستهلك الكثير من "مساحة الدماغ" (ذاكرة الكمبيوتر)، وإذا أصبح الدفتر كبيراً جداً، يصاب الروبوت بالارتباك.

نظام PEAM (الذاكرة المجسدة ذات المعلمات - Parametric Embodied Agent Memory) هو طريقة جديدة لتعلم الروبوتات تغير قواعد اللعبة. فبدلاً من مجرد الاحتفاظ بدفتر ملاحظات، يساعد PEAM الروبوت على استيعاب تجاربه داخلياً. إنه يحول "أنا أتذكر كيف فعلت هذا" إلى "أنا أعرف كيف أفعل هذا".

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. نظام الدماغ المزدوج: المفكر والمنفذ

يستخدم PEAM "دماغاً بطيئاً" وآخر "سريعاً" يعملان معاً:

المفكر البطيء (LLM التأملي): هو المخطط الخبير. يفكر بعمق، ويكتب الأكواد، ويخطط لخطوات معقدة، ويحاول حل المشكلات الصعبة. وإذا فشل، فإنه يكتشف لماذا فشل ويحاول مجدداً.
المنفذ السريع (المهارات ذات المعلمات): هذه هي ذاكرة العضلات الانعكاسية. بمجرد أن يحل "المفكر البطيء" مشكلة ما (مثل صنع سيف)، فإنه لا يكتفي بحفظ القصة فحسب، بل يعلم "المنفذ السريع" المهارة مباشرة. في المرة القددمة، يمكن للمنفذ السريع القيام بذلك فوراً دون الحاجة لسؤال المفكر البطيء.

2. عملية "الاستيعاب الداخلي": من دفتر الملاحظات إلى ذاكرة العضلات

فكر في تعلم ركوب الدراجة. في البداية، عليك التفكير في التوازن، والتبديل، والتوجيه (المفكر الببطيء). وفي النهاية، تقوم بذلك ببساطة دون تفكير (المنفذ السريع). يقوم PEAM بأتمتة هذه العملية للروبوت.

التعلم من الفشل: معظم الروبوتات تتجاهل الأخطاء أو تكتفي بتدوينها كملاحظات نصية. أما PEAM فيعامل الفشل كـ إشارة تدريبية. فهو ينظر إلى "المحاولة الفاشلة" و"التصحيح" الذي أصلحها، ويعلم الروبوت: "لا تفعل X (الفشل)؛ بل افعل Y (التصحيح)". هذا يشبه مدرباً يقول لك: "لق{د سقطت لأنك ملت كثيراً نحو اليسار؛ في المرة القادمة، مِل نحو اليمين".
درجة "الاستحقاق": الروبوت لا يتعلم كل شيء. لديه مرشح (يسمى الاستحقاق للمعلمات - Parameterization-Worthiness) يسأل نفسه: "هل هذه المهارة مفيدة بما يكفي ليتم حفظها؟ هل هي مستقرة؟ هل هي شيء نفعله باستمرار؟" إذا كانت الإجابة بنعم، يتم استيعابها داخلياً. أما إذا كانت مجرد حادثة عابرة، فتظل في دفتر الملاحظات فقط.

3. "النادي الرياضي المتخصص" (المهايئات المعزولة)

هذا هو الابتكار الأكبر في الورقة البحثية لمنع "النسيان".
تخيل نادياً رياضياً به غرف مختلفة: غرفة الحرف اليدوية، وغرفة القتال، وغرفة الزراعة.

في الأنظمة القديمة، قد يؤدي تعلم القتال إلى مسح معرفة الروبوت بكيفية الحرف (مثل خلط ملابس الرياضة الخاصة بك).
في PEAM، يمتلك الروبوت غرفاً معزولة فيزيائياً (تسمى مهايئات - adapters). عندما يتعلم القتال، فإنه يحدث فقط "غرفة القتال". أما "غرفة الحرف اليدوية" فتظل دون مساس. هذا يعني أن الروبوت يمكنه تعلم مهارات جديدة للأبد دون أن ينسى المهارات القديمة.

4. منبه التشغيل الذاتي

كيف يعرف الروبوت متى يتوقف عن التدريب ويبدأ في الحفظ؟

الطريقة القديمة: "لنمارس التدريب لـ 100 محاولة، ثم نحفظ". (هذه طريقة جامدة وقد تؤدي للحفظ مبكراً جداً أو متأخراً جداً).
طريقة PEAM: يمتلك الروبوت منبهاً يعمل ذاتياً. فهو يراقب معدل فشله الخاص. إذا بدأ يفشل في مهمة معينة أكثر من المعتاد، ينطلق المنبه: "مهلاً، نحن نعاني مع هذا الأمر. لنتوقف ونستوعب الحل فوراً". هذا يعمل بغض النظر عن المهمة، دون الحاجة لضبط عدد معين من قبل البشر.

لماذا هذا أفضل؟

اختبرت الورقة البحثية هذا النظام في لعبة Minecraft ووجدت ثلاث فوائد رئيسية:

السرعة: لأن الروبوت لا يحتاج للبحث في دفتر ملاحظات في كل مرة، فإنه يعمل بشكل أسرع بكثير (أسرع بنسبة 40% تقريًا في الاختبارات).
الكفاءة: إنه يستخدم طاقة حاسوبية أقل بكثير (أقل بنسبة 85% من "النصوص" التي تحتاج للمعالجة) لأنه لا يحتاج لإعادة قراءة القصص القديمة.
عدم النسيان: بفضل "الغرف المتخصصة"، فإن تعلم حركة قتالية جديدة لم يجعل الروبوت ينسى كيفية بناء منزل.

الملخص

PEAM يشبه تحويل طالب يعتمد على كتاب مدرسي لكل سؤال يطرحه، إلى خبير يمتلك المهارات بالفعل. إنه يتعلم من خلال الفعل، ويتعلم من الأخطاء، ويبقي المهارات المختلفة منفصلة حتى لا تختلط ببعضها، ويعرف بالضبط متى يتوقف عن التدريب ويبدأ في الحفظ. والنتيجة هي روبوت أسرع، وأذكى، ولا ينسى ما تعلمه.

ملخص تقني: PEAM - ذاكرة الوكيل المتجسد البارامترية (Parametric Embodied Agent Memory)

1. بيان المشكلة

تعتمد الوكلاء المتجسدون القائمة على النماذج اللغوية الكبيرة (LLMs) الحالية، لا سيما في البيئات المعقدة مثل Minecraft، بشكل كبير على الذاكرة غير البارامترية. في هذه الأنظمة، يتم تخزين المسارات السابقة، والتأملات، والمهارات خارجيًا (على سبيل المثال، في قواعد بيانات متجهة أو مكتبات مهارات) وإعادة حقنها في "المطالبة" (prompt) وقت الاستنتاج. وبينما يسمح هذا بالاستدعاء، إلا أنه يفرض قيودًا كبيرة:

زمن الاستجابة والتكلفة: تتطلب كل دورة قرار استرجاع وتسلسل التجارب السابقة، مما يزيد من استخدام نافذة السياق وزمن استجابة الاستنتاج.
السياسة الثابتة: تظل السياسة البارامترية الأساسية للوكيل (النموذج العمود الفقري أو الوحدة القابلة للتدريب) دون تغيير عبر المهام. حتى لو نمت المكتبة الخارجية، فإن الوكيل لا "يتعلم" تنفيذ المهارات بكفاءة أكبر؛ بل يقوم بمجرد استدعائها.
فقدان التوحيد (Consolidation): تتعامل الأنظمة الحالية مع اكتساب الخبرة (عبر مكتبات المهارات) ولكنها تفتقر إلى آلية لـ التوحيد — وهي عملية تحويل المسارات العرضية المختارة إلى كفاءة بارامترية راسخة ومستقرة.

تفترض الورقة أن الذاكرة المستدامة في الأنظمة المعرفية تنشأ من نظامين متكاملين: مخزن عرضي سريع، ومخزن بارامتري موزع وبطيء، يربط بينهما التوحيد غير المتزامن (offline consolidation). يهدف PEAM إلى تشغيل هذا المفهوم للوكلاء المتجسدين من خلال إنشاء مسار لانتقال الخبرة من الاستدعاء الخارى إلى المعلمات القابلة للتدريب الخاصة بالوكيل.

2. المنهجية

PEAM (ذاكرة الوكيل المتجسد البارامترية) هو إطار عمل ثنائي الطبقات مصمم لترسيخ الخبرة في المهارات البارامترية.

البنية الهيكلية

الطبقة البطيئة (التداولية/Deliberative): يتعامل نموذج لغوي كبير (مثل GPT-4o) مع الاستدلال مفتوح النهايات، وتوليد الكود، والتحقق من النتائج. يقوم باستكشاف البيئة، واكتشاف حالات الفشل، وتوليد مسارات مصححة.
الطبقة السريعة (البارامترية): بنية MoE (خليط من الخبراء) متعددة الوسائط تعتمد على LoRA مبنية على نموذج Qwen3-VL-8B-Instruct. تقوم بتنفيذ المهارات الموحدة بشكل انعكاسي بزمن استجابة منخفض.
المخزن العرضي (Episodic Store): ذاكرة خارجية تقوم بتهيئة المسارات الناجحة وأزواج (الفشل-التصحيح) التي تم توليدها بواسطة الطبقة البطيئة.

الآليات الجوهرية

يعالج PEAM ثلاثة أسئلة حاسمة: ماذا نرسخ، ومتى نرسخ، وكيف نرسخ.

أ. كيف: توحيد النجاح والفشل-التصحيح

يعامل PEAM الفشل باعتباره إشارة تدريب أساسية. يحتوي المخزن العرضي على:

مسارات النجاح ( $D_{succ}$ ): عمليات تنفيذ ناجحة تم التحقق منها.
أزواج الفشل-التصحيح ( $D_{cpair}$ ): أزواج من مسار فاشل ( $\tau_f$ ) ونجاح مصحح لاحق ( $\tau_c$ ) تحت نفس السياق.

تقوم الوحدة السريعة بتحديث محولات معزولة لكل فئة ( $\theta_c$ ) باستخدام هدف مشترك:
$\mathcal{L}_{PEAM}(\theta_c) = \mathcal{L}_{BC}(\theta_c; D^{(c)}_{succ}) + \lambda \mathcal{L}_{PEAM-DPO}(\theta_c; D^{(c)}_{cpair})$

التعلم السلوكي (Behavioral Cloning - BC): يضمن أن المحول يتعلم الهيكل النحوي المطلق (مثل أغلفة الكود) اللازم لعمل محلل الإجراءات (action parser).
تحسين التفضيلات المباشر (PEAM-DPO): خسارة تباينية حيث يُفضل المسار المصحح على الفاشل. هذا يعلم الوكيل كيفية تصحيح الأفعال، وليس فقط ما ينجح.
العزل (Isolation): تقتصر التحديثات على محول الفئة المحدد (مثل الحرفة، أو القتال)، مما يمنع التداخل مع المهارات الأخرى.

ب. ماذا: درجة جدوى البارامترية (PV Score)

لا ينبغي ترسيخ جميع التجارب. يستخدم PEAM دالة تسجيل لتصنيف المرشحين بناءً على:

توفير التكلفة ( $U_{cost}$ ): تكلفة الاسترجاع الموفرة المقدرة (التكرار $\times$ طول الكود).
الاستقرار ( $U_{stab}$ ): اتساق النجاح عبر السياقات.
التكرار ( $P_{redun}$ ): يعاقب على التشابه مع المهارات المترسخة بالفعل.
خطر النسيان ( $R_{forget}$ ): وكيل بنيوي؛ إذا كانت المهارة تشترك في فئة مع المعلمات الموجودة، فإنها تخاطر بالتداخل (رغم أن العزل يخفف ذلك، إلا أن الدرجة تأخذ هوية الفئة في الاعتبار).

فقط المرشحون في أعلى ربع (top- $q$ quantile) من درجات PV يتم اعتبارهم للتوحيد.

ج. متى: التوحيد ذاتي التحفيز (STC)

بدلاً من جدول زمني ثابت، يستخدم PEAM آلية ذاتية التحفيز وخالية من القياس (scale-free). يتم تحفيز التوحيد عندما يتجاوز معدل الفشل الأخير للمهارة بشكل كبير خط الأساس التاريخي لها، ويتم تحديد ذلك عبر اختبار إحصائي (Z-score) بدلاً من عتبة محددة للمهمة. وهذا يسمح للمحفز بالانتقال عبر توزيعات المهام المختلفة دون الحاجة لإعادة الضبط.

3. المساهمات الرئيسية

إطار الذاكرة البارامترية: ينقل PEAM ذاكرة الوكيل المتجسد من استرجاع المعلومات وقت الاستنتاج إلى المهارات المستقرة في المعلمات، مما يقلل من زمن الاستجابة واستهلاك الرموز (tokens) مع تحسين الأداء طويل الأمد.
الفشل كإشارة تدريب: على عكس الأنظمة التي تحول الفشل إلى تأملات نصية للمطالبات، يقوم PEAM بالتدريب مباشرة على أزواج مسارات (الفشل-التصحيح) باستخدام هدف مشترك من BC و DPO. هذا يمكّن الوكيل من تعلم الاختلافات السلوكية المحددة بين الفشل والنجاح.
مقاومة النسيان الهيكلية: من خلال استخدام محولات LoRA معزولة فيزيائياً لكل فئة، يحقق PEAM تعلماً مستمراً على مستوى المعلمات. ترسيخ مهارة قتالية لا يمسح المعلمات المستخدمة في الحرفة، مما يلغي النسيان الكارثي بالتصميم لا بمجرد التنظيم.
محفزات توحيد خالية من القياس: تسمح آلية التوحيد ذاتي التحفيز التي تعتمد على إحصائيات الفشل النسبية للوكيل بالتطور الذاتي دون ضبط يدوي لعتبات المهام.

4. النتائج التجريبية

أُجريت التجارب في Minecraft (1.19) باستخدام إطار عمل VOYAGER، لمقارنة PEAM مقابل الوكلاء القائمين على الاسترجاع (VOYAGER, Optimus-1)، والمتغيرات غير البارامترية (Reflexion)، والأسس البارامترية (Full Fine-Tuning, Shared LoRA, EWC).

نجاح المهمة: حقق PEAM نسبة نجاح بلغت 69.7% في المهام طويلة الأمد، متفوقاً على أقوى أساس استرجاعي (VOYAGER بنسبة 54.5%) بفارق 15.2 نقطة مئوية (McNemar $p=0.018$ ).
الكفاءة: قلل PEAM متوسط زمن الاستجابة لكل استدعاء بنسبة 42% (5.5 ثانية $\leftarrow$ 3.2 ثانية) واستهلاك الرموز لكل مهمة بنسبة 85% (31.2 ألف $\leftarrow$ 4.6 ألف) من خلال إلغاء الحاجة لإعادة حقن مكتبات المهارات وقت الاستنتاج.
مقاومة النسيان: في تجارب التوحيد المتسلسل (حرفة $\leftarrow$ جمع $\leftarrow$ قتال)، أظهر PEAM 0% نسيان في المهارات التي تم تعلمها مسبقاً. في المقابل، فقدت نماذج Shared LoRA نسبة 32.4% من الأداء، وفقد التدريب الكامل (Full Fine-Tuning) نسبة 78.5%.
رؤى الدراسة الاستقصائية (Ablation):
- BC + DPO: فشل محول DPO النقي في توليد كود متوافق مع المحلل (0/12 حالة)، بينما نجح الهدف المشترك (12/12). مصطلح BC ضروري للحفاظ على القواعد النحوية القابلة للنشر.
- العزل: أدى إزالة العزل لكل فئة إلى نسيان كبير، مما يؤكد أن العزل الهيكلي هو المحرك الرئيسي للاحتفاظ بالمعلومات.
- متانة المحفز: حافظت آلية التحفيز الذاتي على أداء ثابت عبر توزيعات المهام المختلفة (المرتكزة على الحرفة مقابل المرتكزة على القتال) دون إعادة ضبط، على عكس النماذج ذات العتبة الثابتة.

5. الأهمية والادعاءات

تدعي الورقة أن PEAM يمثل مساراً قابلاً للتطبيق للوكلاء المتجسدين للانتقال من تراكم السجلات الخارجية إلى ترسيخ الخبرات المختارة كجزء من سياستهم الأساسية.

الكفاءة مقابل الاسترجاع: تشير النتائج إلى أنه بينما يساعد الاسترجاع الغني (مثل السياق متعدد الوسائط)، فإن الفوائد التشغيلية لترسيخ المهارات في المعلمات (زمن الاستجابة، تقليل الرموز، والتنفيذ المباشر) توفر مكاسب لا يمكن للاسترجاع وحده تحقيقها.
التعلم المستمر الهيكلي: تجادل الورقة بأن مقاومة النسيان في الوكلاء المتجسدين يجب أن تُدعم من خلال البنية (عزل المعلمات) وليس فقط من خلال تقنيات التنظيم.
النتائج المنهجية: تسلط الورقة الضوء على أن هوامش التفضيل في التمرير الأمامي (DPO scores) لا تتنبأ دائماً بقابلية نشر الكود المولد، مما يؤكد الحاجة إلى أهداف مشتركة تحافظ على القيود النحوية. كما تشير إلى أن إعادة تقسيم المسارات (trajectory re-slicing) يمكن أن تعمل كبديل قابل للتطبيق للتقييم عبر التوزيعات عند ندرة البيانات المزدوجة في العالم الحقيقي.

يخلص المؤلفون إلى أن الوكلاء المتجسدين لا ينبغي أن يكونوا مجرد سياسات ثابتة مع ذاكرة خارجية؛ بل يحتاجون إلى مسار توحيد حيث تصبح الخبرة المختارة جزءاً من السياسة نفسها، مما يتيح التطور الذاتي والتنفيذ الفعال.