🤖 machine learning

Investigating Action Encodings in Recurrent Neural Networks in Reinforcement Learning

تتقصى هذه الورقة كيفية تأثير الطرق المختلفة لدمج معلومات الإجراء في دالة تحديث الحالة للشبكات العصبية المتكررة على أداء التعلم التعزيزي، مقدمةً تقييمات تجريبية ومناقشةً لتحديات التصميم المستقبلية.

المؤلفون الأصليون: Matthew Schlegel, Volodymyr Tkachuk, Adam White, Martha White

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Matthew Schlegel, Volodymyr Tkachuk, Adam White, Martha White

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية التنقل في متاهة مظلمة ومربكة. لا يستطيع الروبوت رؤية الخريطة بأكملة؛ فهو لا يحصل إلا على لمحات صغيرة وضبابية للجدران الموجودة أمامه مباشرة. ولاتخاذ قرارات جيدة، يحتاج الروبوت إلى "ذاكرة" تتذكر أين كان وماذا فعل للتو. في عالم الذكاء الاصطناعي، يُسمى نظام الذاكرة هذا الشبكة العصبية المتكررة (RNN).

هذه الورقة البحثية تشبه دليل الميكانيكي لنظام الذاكرة هذا. لقد طرح المؤلفون سؤالاً بسيطًا ولكنه حاسم: كيف يجب أن "تستمع" ذاكرة الروبوت إلى أفعاله الخاصة؟

عندما يتحرك الروبوت (على سبيل المثال، "انعطف يسارًا")، فإن هذا الفعل يغير العالم. ويجب على نظام الذاكرة أن يحدث نفسه بناءً على هذه الحركة. تختبر الورقة طرقًا مختلفة لتقديم معلومات "الانعطاف يسارًا" إلى الذاكرة.

إليك الطرق الثلاث الرئيسية التي اختبروها، مشروحة بالتشبيهات:

1. النهج "الإضافي" (كومة الأوراق)

تخيل أن ذاكرتك هي كومة من الأوراق. عندما تتخذ إجراءً، فإنك ببساطة تضيف ملاحظة لاصقة جديدة فوق الكومة مكتوب عليها "لقد انعطفت يسارًا".

كيف يعمل: يقوم الكمبيوتر ببساطة بلصق معلومات الإجراء بجانب معلومات الملاحظة ثم يدفعها داخل الذاكرة.
النتيجة: يعمل بشكل جيد، لكنه فوضوي بعض الشيء. تصبح الذاكرة مزدحمة، وأحيانًا يواجه الروبوت صعوبة في تذكر التسلسل الدقيق للأحداث، خاصة إذا كانت المتاهة طويلة.

2. النهج "الضربي" (الفلتر المتخصص)

الآن، تخيل أن ذاكرتك ليست مجرد كومة من الأوراق، بل هي فلتر ذكي. عندما تتخذ إجراءً، لا تكتفي الذاكرة بإضافة ملاحظة فحسب، بل تعيد تشكيل الذاكرة بأكملها بناءً على ذلك الإجراء.

كيف يعمل: إذا "انعطفت يسارًا"، فإن نظام الذاكرة يغير بنشاط كيفية معالجته للماضي. الأمر يشبه القول: "بما أنني انعطفت يسارًا، فإن الممر الذي كنت فيه قبل قليل لا بد أنه بدا مختلفًا عما لو كنت قد سلكت طريقًا مستقيمًا". إنه يضرب الإجراء في الذاكرة، مما يخلق فهمًا ديناميكيًا ومتغيرًا للماضي.
النتيجة: كان هذا هو الفائز في معظم الاختبارات. تعلم الروبوت بشكل أسرع، وارتكب أخطاء أقل، واستطاع التنقل في متاهات أطول وأكثر تعقيدًا من نسخة "الإضافي". كان الأمر كما لو أن الروبوت اكتسب فجأة حاسة سادسة لكيفية تغيير أفعاله للعالم.

3. نهج "لا يوجد إجراء" (فاقد الذاكرة)

هذه هي مجموعة الضبط (Control Group). يحاول الروبوت تذكر المتاهة لكنه يتجاهل ما فعله للتو.

النتيجة: كما يمكنك التخمين، كان هذا الأداء هو الأسوأ. فبدون معرفة الحركة التي قام بها للتو، كان الروبوت غالبًا ما يشعر بالارتباك ويضيع بسهولة.

"السر الخفي": لماذا يفوز الضرب؟

وجد المؤلفون أن الطريقة "الضربية" متفوقة لأنها تعامل أفعال الروبوت كـ مكونات نشطة وليس مجرد بيانات إضافية.

التشبيه: فكر في خبز كعكة.
- الإضافي: تضع الدقيق والسكر والبيض في وعاء وتقوم فقط بتحريكهم معًا. إنهم يجلسون بجانب بعضهم البعض.
- الضربي: تخلط المكونات بحيث تتفاعل كيميائيًا. الدقيق يتغير بسبب البيض؛ والسكر يتغير بسبب الحرارة. النتيجة هي مادة جديدة (الكعكة) تختلف جوهريًا عن مجموع أجزائها.
في دماغ الروبوت، تسمح الطريقة "الضربية" للذاكرة بأن تفهم أن الإجراء (أ) يغير معنى الملاحظة (ب) بطريقة لا يمكن لـ الإجراء (ج) أن يفعلها.

التجارب (اختبارات القيادة)

اختبر المؤلفون هذه الطرق في عدة "متاهات":

عالم الحلقة (Ring World): مسار دائري بسيط. تعلم الروبوت "الضربي" المسار تمامًا ولم يحتاج إلى الكثير من "وقت التدريب" (التقليم/Truncation) لإتقانه. بينما عانى الروبوت "الإضافي" في تتبع مكانه.
متاهة T (TMaze): ممر طويل ينتهي بتقاطع على شكل حرف T. كان على الروبوت تذكر دليل من بداية الممر ليعرف أي اتجاه يسلك عند النهاية. حل الروبوت "الضربي" هذه المشكلة بسهولة، بينما غالبًا ما نسي الروبوت "الإضافي" الدليل.
متاهة T الاتجاهية (Directional TMaze): نسخة أصعب حيث يهم اتجاه الروبوت. هنا، فشل الروبوت "الإضافي" تمامًا، بينما نجح الروبوت "الضربي".
هبوط القمر (Lunar Lander): بيئة تشبه ألعاب الفيديو المعقدة حيث يجب على الروبوت الهبوط على القمر. تعلم الروبوت "الضربي" الهبوط بشكل أسرع وأكثر موثوقية من الآخرين.

الخلاصة الكبرى

تخلص الورقة البحثية إلى أن طريقة تصميم ذاكرة الروبوت تهم أكثر مما كنا نعتقد.

لقد كان العديد من باحثي الذكاء الاصطناعي يستخدمون النهج "الإضافي" (مجرد لصق البيانات معًا) لأنه الطريقة القياسية للتعامل مع البيانات في الحواسيب. تُظهر هذه الورقة أننا بالنسبة للروبوتات التي تتعلم كيف تعمل في العالم الحقيقي، فإن النهج "الضربي" (إعادة تشكيل الذاكرة بناءً على الفعل) هو الأنسب بكثير. إنه يشبه الترقية من مفكرة بسيطة إلى دفتر ملاحظات ديناميكي ومفكر يفهم السبب والنتيجة.

باختًا: إذا كنت تريد لروبوت أن يتعلم من أخطائه وأفعاله، فلا تخبره فقط بما فعله؛ بل علّم ذاكرته أن تتفاعل مع ما فعله. النهج "الضربي" يفعل ذلك بالضبط.

ملخص تقني: استقصاء ترميزات الأفعال في الشبكات العصبية المتكررة في التعلم التعزيزي

بيان المشكلة

يتطلب نشر وكلاء التعلم التعزيزي (RL) في بيئات حقيقية، جزئية الملاحظة، القدرة على بناء وصيانة تمثيل للحالة يعمل كإحصاء كافٍ للماضي. وبينما تعد الشبكات العصبية المتكررة (RNNs) أداة قياسية لنمذجة التبعيات الزمنية، فإن تطبيقها في التعلم التعزيزي ينطوي على خيارات تصميم حرجة غالبًا ما يتم تجاهلها في الأدبيات. وتحديدًا، يتناول البحث الاستراتيجية المستخدمة لدمج معلومات الفعل في دالة تحديث الحالة الخاصة بالشبكة العصبية المتكررة. ويشير المؤلفون إلى أنه بينما يلعب الفعل دورًا جوهريًا في الإدراك وبناء الحالة (بالاستناد إلى Noë, 2004; Prinz, 1990; Clark, 2013)، فإن العديد من تطبيقات التعلم التعزيزي الحالية إما تغفل مدخلات الفعل أو تدمجها عبر عملية دمج بسيطة دون تحليل دقيق للتداعيات. وتتمثل المشكلة الجوهرية في تحديد كيفية تأثير آلية ترميز الفعل (الجمعية مقابل الضربيه) على قدرة الوكيل على التنبؤ بدوال القيمة وتعلم سياسات التحكم في عمليات ماركوف لاتخاذ القرار جزئية الملاحظة (POMDPs).

المنهجية

يقوم المؤلفون بصياغة التفاعل بين الوكيل والبيئة كعملية POMDP، ويقيمون هياكل مختلفة من الشبكات العصبية المتكررة المصممة لتحديث الحالة المخفية $s_t$ بناءً على الملاحظة $o_t$ ، والفعل السابق $a_{t-1}$ ، والحالة السابقة $s_{t-1}$ . وتركز الدراسة على فئتين رئيسيتين لدمج الفعل:

الترميزات الجمعية (Additive Encodings):
- الجمعية القياسية: يتم دمج تضمين الفعل مع متجه الملاحظة قبل معالجته بواسطة الخلية المتكررة (على سبيل المثال، $s_t = \sigma(W_x x_t + W_a a_{t-1} + b)$ ).
- الجمعية العميقة: يتم تمرير الفعل عبر شبكة عصبية أمامية ( $f_a$ ) لإنشاء تضمين قبل دمجه مع الملاحظة.
الترميزات الضربيه (Multiplicative Encodings):
- الضربية (من الدرجة الثانية): مستوحى من الشبكات العصبية المتكررة من الدرجة الثانية، يستخدم هذا النهج حاصل الضرب التنسوري لدمج الملاحظة، والحالة، والفعل. تتضمن قاعدة التحديث تنسور أوزان $W$ وحواصل ضرب متعددة الأنماط: $s_t = \sigma(W \times_2 x_t \times_3 a_{t-1})$ .
- الضربية المُحللة (Factored Multiplicative): للتخفيف من عدد المعلمات المرتفع للتحديثات المضربية كاملة الرتبة، يستخدم المؤلفون تقريبًا منخفض الرتبة باستخدام تفكيك "كانونيكال بوليديك" (CP decomposition). يقوم هذا بتفكيك التنسور إلى مجموع مكونات من الرتبة 1، مما يقلل المعلمات مع محاولة الاحتفاظ بفوائد التفاعل المضربي.

تستخدم التجارب كلاً من الشبكات العصبية المتكررة القياسية ووحدات GRU. ويستخدم المؤلفون خوارزمية TD(0) شبه التدرج خارج السياسة (off-policy semi-gradient) للتنبؤ (باستخدام الدوال القيمية العامة) وخوارزمية Q-learning مع استكشاف $\epsilon$ -greedy للتحكم. ولتحسين كفاءة العينات، قاموا بدمج إعادة تشغيل الخبرة (Experience Replay - ER)، حيث يتم تخزين الحالات المخفية داخل ذاكرة إعادة التشغيل لتهيئة المتواليات أثناء أخذ العينات.

الإعداد التجريبي

يقيم المؤلفون هذه الهياكل عبر مجالات توضيحية ذات أنواع ملاحظات وديناميكيات متنوعة:

عالم الحلقة (Ring World): بيئة حلقية حيث يجب على الوكيل تتبع المسافة من بت نشط. تُستخدم لاختبار قدرات التنبؤ والحساسية لأطوال القطع (truncation lengths).
متاهة تي (TMaze): بيئة ممر كلاسيكية ذات تقاطع على شكل حرف T. تُستخدم لاختبار قدرات التحكم حيث تكون أهمية الفعل منخفضة (الأفعال شرق/غرب هي الوحيدة التي تؤثر بشكل كبير على الموقع).
متاهة تي الاتجاهية (Directional TMaze): نسخة معدلة من TMaze حيث يصبح اتجاه الوكيل جزءًا من الحالة، مما يجعل الفعل حاسمًا لتفسير الملاحظات.
متاهة تي الاتجاهية الصورية (Image Directional TMaze): امتداد لـ TMaze باستخدام ملاحظات قائمة على البكسل (أرقام MNIST) لاختبار الأداء مع مستخرجات الميزات العميقة.
هبوط القمر (Lunar Lander): نسخة جزئية الملاحظة من بيئة OpenAI Gym لاختبار الأداء في سياق التحكم المستمر مع ضوضاء المستشعرات.

النتائج الرئيسية

تنتج التقييمات التجريبية عدة نتائج متميزة فيما يتعلق بفعالية ترميزات الأفعال:

تفوق التحديثات المضربية: في المجالات التي تؤثر فيها الأفعال بشكل حاسم على ديناميكيات الحالة الأساسية (مثل Ring World، وDirectional TMaze، وLunar Lander)، تفوقت التحديثات المضربية باستمرار على النسخ الجمعية والنسخ التي لا تحتوي على فعل. حققت البنية المضربية خطأ جذر متوسط مربع القيمة (RMSVE) أقل في مهام التنبؤ ومعدلات نجاح أعلى في مهام التحكم، وغالبًا ما تطلبت أطوال قطع ( $\tau$ ) أقصر للتعلم بفعالية.
الأداء المعتمد على السياق: في متاهة TMaze القياسية، حيث تقتصر صلة الفعل على انتقالات محددة، لم تتفوق النسخة المضربية بشكل صارم على الطرق الأخرى؛ وفي بعض الحالات، كان أداء وحدات GRU القياسية بدون مدخلات فعل مشابهًا أو أفضل. يشير هذا إلى أن فائدة ترميز الفعل المعقد مرتبطة بالتبعية المحددة بين الأفعال وانتقالات الحالة.
كفاءة المعلمات: بينما تمتلك التحديثات المضربية كاملة الرتبة عددًا أكبر بكثير من المعلمات مقارنة بالجمعية، فإن النسخ المضربية المُحللة (منخفضة الرتبة) غالبًا ما تحقق أداءً مشابهًا بمعلمات أقل، رغم أنها تتراجع عمومًا عن النسخة المضربية كاملة الرتبة.
تحليل تمثيل الحالة: تكشف تصورات T-SNE للحالات المخفية المتعلمة أن الخلايا المضربية تجمع الحالات المخفية وفقًا لحالة البيئة الأساسية بشكل أكثر فعالية من الخلايا الجمعية. تميل الخلايا الجمعية إلى فصل الحالات بشكل مفرط بناءً على الفعل السابق، بينما تحافظ الخلايا المضربية على تمثيل أكثر تماسكًا لحالة البيئة رغم تغيرات الفعل.
محدودية الجمعية العميقة: النسخة "الجمعية العميقة"، التي تتعلم تضمين الفعل، أدت بشكل عام إلى أداء مماثل أو أسوأ من النهج الجمعي القياسي، مما يشير إلى أن تعلم التضمين من الصفر لم يتغلب على القيود الهيكلية للتحديث الجمعي.

الأهمية والادعاءات

يزعم البحث أن اختيار كيفية دمج الفعل في دالة تحديث الحالة هو قرار تصميمي حاسم وغالبًا ما يتم تجاهله، مما يؤثر بشكل كبير على أداء وكيل التعلم التعزيزي. ويجادل المؤلفون بأن:

افتراضات التعلم الخاضع للإشراف قد لا تنتقل: الهياكل وخيارات التصميم الناجحة في التعلم الخاضع للإشراف (مثل الدمج البسيط) قد لا تكون مثالية لإعداد التعلم التعزيزي، حيث يجب على الوكيل نمذجة فاعليته الخاصة على تدفق البيانات.
التفاعلات المضربية مفيدة: للمهام التي تتطلب من الوكيل تتبع كيفية تغيير الأفعال للحالة (وهو أمر شائع في التحكم جزئي الملاحظة)، توفر التحديثات المضربية انحيازًا هيكليًا استقرائيًا يسهل بناء حالة أفضل وبناء أسرع.
الحاجة إلى بنيات متخصصة للتعلم التعزيزي: تسلط النتائج الضوء على فجوة في أبحاث التعلم التعزيزي الحالية، مما يشير إلى أن الشبكات العصبية المتكررة "الجاهزة" من مجالات التعلم الخاضع للإشراف غير كافية. وتدعو الورقة إلى مزيد من العمل لتطوير خلايا متكررة مصممة خصيصًا للتحديات الفريدة لجمع البيانات النشط عبر الإنترنت في التعلم التعزيزي، مثل التعامل مع التبعيات الزمنية الطويلة دون الاعتماد فقط على الانتشار العكسي عبر الزمن المقطوع (BPTT).

يخلص المؤلفون إلى أنه بينما تبدو التحديثات المضربية هي "الفائز الواضح" في المجالات المختبرة، فإن البنية المثلى تعتمد على المجال، وقد تستفيد الأنظمة المستقبلية من آليات يمكنها تعلم أو اختيار الانحياز الهيكلي المناسب ديناميكيًا.