MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

تخيل أنك تحاول تعليم روبوت القيام بمهمة منزلية معقدة، مثل بناء برج من المكعبات أو صنع شطيرة. لا يقتصر الأمر هنا على مجرد الضغط على زر واحد؛ بل هو سلسلة طويلة من الخطوات حيث تعتمد كل حركة على ما قبلها. إذا أمسك الروبوت بالمكعب الخطأ أو فتح الباب الخطأ، فإن الخطة بأكملها تنهار. هذا هو عالم "الذكاء الاصطناعي المتجسد" (Embodied AI)، حيث يلتقي البرمجيات بالعالم المادي الفوضوي. التحدي الكبير هنا هو "مشكلة تخصيص الائتمان" (credit assignment problem): عندما يفشل الروبوت في نهاية مهمة طويلة، كيف تعرف أي خطوة محددة هي التي سارت بشكل خاطئ؟ هل كانت الحركة الأولى، أم العاشرة؟

لحل هذه المشكلة، يحاول الباحثون استخدام حيلة ذكية تسمى "الكود كسياسة" (code-as-policy). بدلاً من تدريب الروبوت باستخدام تعليمات غامضة أو مكافآت قائمة على التجربة والخطأ، يقومون بكتابة عقل الروبوت ككود برمجي فعلي. هذا يشبه إعطاء الروبوت كتاب وصفات بدلاً من مجرد شعور. إذا فشلت الوصفة، يمكنك قراءتها، ومعرفة أي تعليمات كانت مربكة بالضبط، وإعادة كتابتها. لكن كتابة هذه الوصفات يدوياً أمر صعب، وتخمين الكود الصحيح أصعب. وهنا يأتي دور النماذج اللغوية الكبيرة (LLMs) — وهي نفس عقول الذكاء الاصطناعي التي تكتب المقالات وتدردش معنا — حيث يمكنها توليد الكود، لكنها غالباً ما تحتاج إلى مساعدة في فهم لماذا فشل جزء معين من الكود حتى تتمكن من إصلاحه بشكل صحيح.

هذه هي قصة طريقة جديدة تسمى MEMENTO، والتي تعمل كـ "محرر فائق الذكاء حافظ للذاكرة" لكود الروبوت. أراد الباحثون معرفة ما إذا كان بإمكانهم تطوير وصفات أفضل للروبوت من خلال السماح للذكاء الاصطناعي بكتابة الوصفات، واختبارها، ثم استخدام "ذاكرة" خاصة لتذكر ما لم ينجح، حتى لا يكرر نفس الأخطاء مرة أخرى. اختبروا ذلك في لعبتين صعبة: واحدة حيث يتعين على ذراع روبوت حل لغز "برج هانوي" (نقل المكعبات دون كسر القواعد)، وأخرى حيث يتعين على روبوت التنقل في منزل افتراضي لصنع وجبة خفيفة.

إليك كيف يعمل MEMENTO، وما اكتشفه الفريق.

مشكلة "التخمين والتحقق"

تخيل أنك تحاول كتابة برنامج لحل لغز ما. تطلب من الذكاء الاصطناعي كتابة الكود. يكتب شيئاً ما، تقوم بتشغيله، فيفشل. إذا طلبت من الذكاء الاصطناعي فقط أن "يحاول مرة أخرى" بفكرة عشوائية جديدة، فقد تحصل على فشل مختلف قليلاً، لكنك لا تتعلم حقاً. الأمر يشبه محاولة العثور على مفتاح مخفي في حقل شاسع عن طريق رمي السهام وأنت معصوب العينين.

حاولت الطرق السابقة معالجة هذا الأمر عبر توليد العديد من النسخ المختلفة من الكود في وقت واحد واختيار الأفضل منها. لكن الباحثين وجدوا أن هذا النهج غالداً ما يخطئ الهدف. كان الأمر يشبه وجود مائة شخص يقترحون طرقاً مختلفة لإصلاح أنبوب مسرب، لكن لا أحد منهم ينظر فعلياً إلى النقطة المحددة التي يتسرب منها الماء. لقد افتقروا إلى وسيلة لأخذ فكرة جيدة واحدة، وتعديلها بعناية، وتذكر التعديلات التي فشلت، ثم دمج أفضل أجزاء الأفكار المختلفة.

دخول MEMENTO: المحرر الحافظ للذاكرة

قدم المؤلفون MEMENTO، وهو اختصار لـ Memory-Guided Memetic Code-as-Policy Evolution (تطور الكود كسياسة عبر الذاكرة الموجهة والنمطية). يبدو الاسم معقداً، لكن الفكرة بشرية بشكل مدهش. فكر في MEMENTO كمحرر بارع يعمل مع "مسودة نجمة" واحدة لعقل الروبوت.

تحدث العملية في فصلين رئيسيين:

الفصل الأول: بناء القاضي
قبل أن يبدأ الروبوت في التعلم، يقوم MEMENTO بإنشاء "قاضٍ" خاص (مُقيّم). هذا القاضي هو عبارة عن كود يراقب الروبوت أثناء محاولته للمهمة ويعطيه درجة. لكنه لا يكتفي بالقول "نجح" أو "فشل"، بل يقدم تقريراً مفصلاً: "لقت الدرجة المطلوبة، لكنك أسقطت المكعب هنا"، أو "فتحت الباب بسرعة كبيرة جداً". قام الباحثون بتطوير هذا القاضي أولاً، للتأكد من قدرته على رصد ما حدث خطأً في أداء الروبوت بدقة.

الفصل الثاني: البحث ذو الفروع الثلاثة
بمجرد أن يصبح القاضي جاهزاً، يبدأ التطور الحقيقي. لا يقوم MEMENTO برمي السهام عشوائياً، بل يستخدم ثلاث استراتيجيات محددة لتحسين كود الروبوت، كل ذلك مع الاحتفاظ بـ "ذاكرة" للإخفاقات السابقة:

1. متسلق التل (المُصلح الدقيق): يأخذ هذا الفرع أفضل كود حالي ويجري عليه تغييرات صغيرة ودقيقة. إذا جعل التغيير الروبوت أفضل، فإنه يحتفظ به. وإذا جعله أسوأ، فإنه يتذكر لماذا فشل هذا التغيير المحدد. هذه "الذاكرة للأفكار المرفوضة" تمنع الذكاء الاصطناعي من ارتكاب نفس الخطأ مرتين. إنه مثل متنزّه يجرب مساراً، فيجد طريقاً مسدوداً، فيضع علامة على الخريطة، ثم يجرب مساراً آخر، مما يضمن عدم دخوله في نفس الشجيرة مرة أخرى.
2. المُحوّر الكلي (مولد الأفكار الكبرى): أحياناً، لا تكفي التعديلات الصغيرة. يأخذ هذا الفرع أفضل كود ويجري عليه تغييرات كبيرة وجريئة — مثل إعادة كتابة فقرة كاملة من الوصفة. إنها لحظة "ماذا لو جربنا نهجاً مختلفاً تماماً؟".
3. التهجين (الخلاط): هذا هو المكون السحري. يأخذ أفضل نتيجة من "متسلق التل" وأفضل نتيجة من "المُحوّر الكلي" ويمزجهما معاً. إنه يشبه أخذ أفضل المكونات من وصفتين مختلفتين لإنشاء طبق جديد فائق الجودة.

بعد تجربة هذه المسارات الثلاثة، يختار MEMENTO النتيجة الأفضل لتكون هي "النخبة" للجولة التالية. تتكرر هذه الدورة، مما يؤدي إلى صقل الكود ببطء حتى يتمكن الروبوت من حل المهمة.

النتائج: هل ينجح الأمر حقاً؟

اختبر الباحثون MEMENTO في عالمين مختلفين تماماً:

• Robosuite Tower of Hanoi: ذراع روبوت يقوم بتكديس أربعة مكعبات.
• AI2-THOR: روبوت يتنقل في مطبخ افتراضي لوضع تفاحة في الميكروويف وخبز في الثلاجة.

قارنوا MEMENTO بطريقتين شائعتين أخريين (Eureka و REvolve). كانت النتائج واضحة: MEMENTO فاز.

في مهمة برج هانوي، حقق MEMENTO معدل نجاح بلغ 0.97 ± 0.06 (بمعنى أنه حل اللغز في كل مرة تقريباً)، بينما عانت الطرق الأخرى، حيث حققت إحداها 0.53 فقط والأخرى فشلت تماماً (0.00). وفي مهمة المطبخ، حقق MEMENTO نسبة نجاح مثالية بلغت 1.00 ± 0.00، بينما تمكنت الطرق الأخرى من تحقيق 0.40 و 0.00 فقط.

لكن السحر الحقيقي لم يكن في غرفة التدريب فحسب. اختبر الباحثون ما إذا كان الروبوت يستطيع التعامل مع مواقف جديدة لم يسبق له رؤيتها:

• أشكال جديدة: عندما غيروا المكعبات من مكعبات إلى أسطوانات غريبة أو أجسام غير متماثلة، ظل MEMENTO يحل اللغز بنسبة 0.87 من الوقت، بينما انهارت الطرق الأخرى إلى 0.23 أو 0.00.
• غرف جديدة: عندما نقلوا روبوت المطبخ إلى تصميم منزل جديد تماماً لم يره من قبل، نجح MEMENTO بنسبة 0.78 من الوقت، بينما انخفضت الطرق الأخرى إلى 0.08.

يشير هذا إلى أن MEMENTO لم يحفظ فقط المكعبات المحددة أو المطبخ المحدد؛ بل تعلم بالفعل منطق المهمة.

لحظات "وجدتها!" (دراسات الاستئصال)

لإثبات أن تصميمه المحدد هو السر، حاول الباحثون إزالة أجزاء من MEMENTO لمعرفة ما سيحدث:

• بدون ذاكرة: عندما أزالوا "ذاكرة" الأفكار المرفوضة، ظل الروبوت عالقاً في تكرار نفس الأخطاء مراراً وتكراراً.
• بدون تغييرات كبرى: عندما سمحوا للروبوت فقط بإجراء تعديلات صغيرة (بدون "التحوير الكلي")، لم يستطع الخروج من الفخاخ المحلية.
• بدون تهجين: عندما توقفوا عن خلط الأفكار الجيدة (بدون "التهجين")، لم يستطع الروبوت دمج الاستراتيجيات الصحيحة.
• بدون تطوير القاضي: عندما استخدموا قاضياً بسيطاً وغير مدرب بدلاً من القاضي المطور، لم يستطع الروبوت معرفة كيفية الفوز.

في كل مرة كانوا يزيلون فيها جزءاً، انخفض الأداء بشكل كبير، مما يثبت أن النظام بأكمله كان ضرورياً.

من المحاكاة إلى الواقع

الجزء الأكثر إثارة؟ لقد أخذوا أفضل كود طوره MEMENTO في محاكاة الكمبيوتر ووضعوه على روبوت مادي حقيقي (ذراع روبوت Franka). لم يعيدوا تدريبه أو يغيروا الكود؛ بل تركوه يعمل فقط.

نجح الروبوت في حل لغز برج هانوي في العالم الحقيقي بنسبة 90% (9 من أصل 10 محاولات). الفشل الوحيد لم يكن بسبب خطأ في الكود، بل لأن كاميرا الروبوت أخطأت في قراءة موقع أحد المكعبات. أثبت هذا أن نهج "الكود كسياسة" ليس مجرد خدعة محاكاة — بل إنه يعمل في العالم المادي الحقيقي الفوضوي.

ماذا يعني هذا؟

تشير الورقة البحثية إلى أنه لكي تتعلم الروبوتات المهام الطويلة والمعقدة، نحتاج إلى أكثر من مجرد تخمينات عشوائية. نحن بحاجة إلى نظام يتذكر ما لم ينجح، ويقوم بإجراء تغييرات صغيرة وكبيرة، ويمزج أفضل الأفكار معاً. يظهر MEMENTO أنه من خلال معاملة كود الروبوت كوصفة يمكن تحريرها واختبارها وتكريرها مع ذاكرة للإخفاقات الماضية، يمكننا تعليم الروبوتات حل الألغاز التي كانت صعبة للغاية بالنسبة لها سابقاً.

يلاحظ المؤلفون بعناية أن هذا تم اختباره في مهام محددة وأن الطريقة تعتمد على النموذج اللغوي المحدد الذي استخدموه. لم يدّعوا أن هذا يحل كل مشاكل الروبوت، لكنهم أظهروا مساراً واعداً جداً لتعليم الروبوتات التفكير عبر الكود.