🤖 machine learning

Intrinsic Vicarious Conditioning for Deep Reinforcement Learning

تقدم هذه الورقة "التكييف البديل الجوهري"، وهو آلية مكافأة جوهرية قائمة على الذاكرة مستوحاة من الأدبيات النفسية، تُمكّن وكلاء التعلم التعزيزي العميق من التعلم من العروض التوضيحية دون الوصول إلى سياساتهم أو وظائف المكافأة الخاصة بهم، مما يسهل التعلم منخفض العينات والتعلم المستمر في البيئات ذات الظروف النهائية الشحيحة أو غير الوصفية.

المؤلفون الأصليون: Rodney A Sanchez, Ferat Sahin, Alex Ororbia, Jamison Heard

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rodney A Sanchez, Ferat Sahin, Alex Ororbia, Jamison Heard

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يمشي في رصيف مزدحم. في التعلم التقليدي للروبوتات، يتعين على الروبوت أن يحاول المشي، ثم يسقط، ويتلقى "عقابًا" عبر درجة حاسوبية، ثم ينهض، ويحاول مجددًا. عليه أن يتعلم من خلال التجربة والخطأ. ولكن ماذا لو كان السقوط يعني تحطم الروبوت للأبد (سيناريو "الحياة الواحدة")؟ لا يمكنه تحمل تكلفة التعلم عن طريق الاصطدام.

تقدم هذه الورقة البحثية طريقة جديدة لتعلم الروبوتات تسمى "الاشتراط الوجداني غير المباشر" (Intrinsic Vicarious Conditioning). بدلًا من التعلم عن طريق الاصطدام، يتعلم الروبوت من خلال المراقبة لشخص آخر والشعور بـ "رد فعل داخلي" بناءً على ما حدث له.

إليك كيف يعمل ذلك، مقسمًا إلى مفاهيم وأمثلة بسيطة:

الفكرة الجوهرية: التعلم من خطأ صديق

فكر في طفل يراقب والده وهو يلمس موقدًا ساخنًا. الطفل لا يلمس الموقد بنفسه، بل يرى والده وهو يسحب يده بسرعة ويسمع صرخة ألم. يتعلم الطفل فورًا: "الموقد الساخن = سيء"، دون أن يحترق أبدًا.

في عالم "التعلم المعزز" (حيث يتعلم الذكاء الاصطناعي من خلال الحصول على نقاط مقابل الأفعال الجيدة)، يكون هذا الأمر صعبًا عادةً. معظم طرق الذكاء الاصطناعي تتطلب من الروبوت رؤية التحركات الدقيقة التي قام بها الخبير أو معرفة الرياضيات الدقيقة وراء درجته. تقول هذه الطريقة الجديدة: "لسنا بحاجة إلى دليل الخبير أو بطاقة تسجيل درجاته. نحن فقط بحاجة لرؤية ما فعله ومعرفة ما إذا كانت النتيجة جيدة أم سيئة."

الخطوات الأربع لـ "الاشتراط الوجداني"

استعار المؤلفون إطارًا نفسيًا (كيف يتعلم البشر بالمراقبة) وحولوه إلى برنامج حاسوبي يتكون من أربع خطوات:

الانتباه (العينان): يراقب الروبوت مقطع فيديو قصيرًا لـ "مُظهر" (وكيل آخر). لا يحتاج لمعرفة لماذا تحرك المُظهر؛ يحتاج فقط لرؤية ماذا فعل.
الاحتفاظ (الذاكرة): يقوم الروبوت بحفظ "لقطة" لهذا السلوك في بنك ذاكرته. كما يتذكر "الحكم" على النتيجة. هل كانت النتيجة جيدة (إيجابية) أم سيئة (سلبية)؟
- تشبيه: تخيل أن الروبوت يكتب ملاحظة في مذكراته: "رأيت سيارة تصطدم بحائط. الحكم: سيء."
إعادة الإنتاج (المرآة): بينما يحاول الروبوت المشي أو القيادة بمفرده، فإنه يتحقق باستمرار من أفعاله الحالية مقارنة ببنك ذاكرته.
- تشبيه: ينظر الروبوت إلى مساره الخاص ويسأل نفسه: "هل يشبه هذا 'السيارة السيئة' التي رأيتها سابقًا؟" إذا كانت الإجابة "نعم"، فإنه يطلق إنذارًا داخليًا.
التعزيز (الشعور الداخلي/الحدس): هذا هو الجزء السحري. إذا رأى الروبوت أنه يفعل شيئًا مشابهًا لـ "السيارة السيئة"، فإنه يعطي نفسه مكافأة داخلية سلبية (شعور بالخوف). وإذا رأى أنه يفعل شيئًا مثل "السيارة الجيدة"، فإنه يعطي نفسه مكافأة داخلية إيجابية (شعور بالإثارة).
- يعمل هذا الشعور الداخلي كدليل، يوجه الروبوت بعيدًا عن الخطر أو نحو الأمان، حتى لو لم تمنحه اللعبة الأساسية أي نقاط لتجنب الاصطدام.

بوابة "التثبيط" (المكابح)

تقدم الورقة البحثية مفتاح أمان ذكي يسمى "عتبة التثبيط" (Inhibition Threshold).

تخيل أن ذاكرة الروبوت هي غرفة صاخبة. إذا كان الروبوت حساسًا للغاية، فقد يعتقد أن كل خطوة تشبه "السيارة السيئة" ويتوقف عن الحركة تمامًا.
"العتبة" هي مثل مفتاح التحكم في مستوى الصوت. لا يحصل الروبوت على "إشارة الخوف" إلا إذا كان متأكدًا جدًا (ثقة عالية) من أن فعله الحالي يطابق الذاكرة السيئة. هذا يمنع الروبوت من الشلل بسبب الإنذارات الكاذبة.

كيف اختبروا ذلك؟

اختبر الباحثون هذه الطريقة في بيئتين تشبهان ألعاب الفيديو:

الرصيف (التجنب):
- الإعداد: يمشي روبوت على رصيف. إذا خطا خارج الحافة، يموت فورًا مع صفر من النقاط (لا يوجد تحذير، ولا توجد درجة).
- المشكلة: بدون مساعدة، يتجول الروبوت عشوائيًا ويسقط لأنه لا يتلقى أبدًا إشارة "عقاب" حتى يفوت الأوان.
- النتيجة: من خلال مشاهدة بعض الأمثلة لأشخاص يسقطون، تعلم الروبوت الشعور بـ "الخوف" عندما يقترب من الحافة. لقد بقي على الرصيف لفترة أطول بكثير، رغم أن اللعبة لم تخبره أبدًا "لا تسقط".
سباق السيارات (الاقتراب والتجنب):
- الإعداد: تقود سيارة على مسار. تمنح اللعبة نقاطًا للقيادة بسرعة وضرب كل بلاطة على الطريق.
- التحول: تشجع اللعبة القيادة المتهورة (ضرب البلاطات بسرعة)، لكن المسار يحتوي على عشب على الجوانب. إذا اصطدمت بالعشب، ستتحطم.
- النتيجة:
  - عندما عُرِض على الروبوت "سائق جيد" يبقى في منتصف المسار، تعلم الروبوت القيادة بتحفظ. قاد ببطء وضرب بلاطات أقل (حصل على نقاط لعبة أقل)، لكنه عاش ثلاث مرات أطول من الروبوتات التي حاولت الفوز عبر التهور.
  - عندما عُرِض على الروبوت "سائق سيء" يصطدم بالعشب، تعلم الروبوت تجنب العشب.

لماذا يهم هذا؟

معظم تعلم الذكاء الاصطناعي يشبه طالبًا يتعين عليه الفشل في الاختبار 1000 مرة لتعلم المادة. هذه الطريقة تشبه طالبًا يشاهد صديقًا يفشل في الاختبار مرة واحدة ويتعلم فورًا.

تدعي الورقة البحثية أن هذا يمثل خطوة كبيرة نحو "تعلم الحياة الواحدة" (Single-Life Learning). في العالم الحقيقي، غالبًا لا تستطيع الروبوتات (أو السيارات ذاتية القيادة) تحمل تكلفة الاصطدام والتعلم منه. إنها بحاجة للتعلم من ملاحظات قليلة للآخرين، باستخدام "حدس داخلي" للبقاء آمنة، دون الحاجة لمعرفة الرياضيات المعقدة لكيفية تفكير السائق الخبير.

باختًا: تعلم الورقة البحثية الروبوتات كيفية تطوير "حاسة سادسة" للخطر والأمان من خلال مراقبة الآخرين، مما يسمح لها بالبقاء في البيئات الخطرة دون الحاجة للاصطدام أولًا.

ملخص تقني: التكييف بالنيابة الجوهري للتعلم المعزز العميق

بيان المشكلة

لقد تقدم التعلم المعزز (RL) بشكل كبير من خلال أساليب تشكيل المكافأة والتعلم من التوضيح (LfD). ومع ذلك، تشترك هذه الأساليب في قيد حرج: فهي تتطلب عادةً الوصول إلى التمثيلات الداخلية للموضح، أو مسارات مستوى الفعل، أو المعرفة بدالة المكافأة الخاصة به. وتصبح هذه التبعية إشكالية في البيئات التي تتميز بمكافآت خارجية نادرة وظروف نهائية كارثية (مثل موت الوكيل) التي لا توفر أي إشارة تغذية راجعة. في مثل هذه السيناريوهات ذات "الحياة الواحدة"، يتعلم الوكلاء البيولوجيون تجنب الخطر والسعي وراء الحالات المرغوبة من خلال مراقبة الآخرين دون خبرة مباشرة، وهي عملية تُعرف باسم التكييف بالنيابة (vicarious conditioning). وتكافح طرق التعلم المعزز الحالية لمحاكاة هذه القدرة دون اشتراط الحصول على سياسة الموضح أو دالة مكافأته، مما يجبر الوكلاء على الاعتماد على الاستكشاف الذاتي المكلف أو مجموعات البيانات الضخمة.

المنهجية

يقترح المؤلفون التكييف بالنيابة (VC) كآلية مكافأة جوهرية تسمح للوكيل بالتعلم من عدد قليل من العروض الموضحة دون الوصول إلى سياسة الموضح ( $\pi_d$ ) أو دالة مكافأته ( $r_d$ ). وتستند هذه الطريقة إلى نموذج باندورا المكون من أربع خطوات للتعلم بالملاحظة: الانتباه، والاحتفاظ، وإعادة الإنتاج، والتعزيز.

1. صياغة المشكلة

يتم نمذجة البيئة كعملية قرار ماركوف جزئية الملاحظة (POMDP). يتلقى الوكيل مكافأة مركبة $\bar{r}(o_t) = r_{ext}(o_t) + \alpha \cdot r_{vic}(o_t)$ ، حيث $r_{ext}$ هي المكافأة البيئية النادرة و $r_{vic}$ هي مكافأة التكييف بالنيابة الجوهرية.
يراقب الوكيل مسار الموضح $\tau = (o^d_1, \dots, o^d_T, v_\tau)$ ، حيث $v_\tau \in \mathbb{R}$ هي قيمة متواصلة تشير إلى تكافؤ النتيجة (إيجابي للاقتراب، وسلبي للتجنب) وكثافتها. ومن الأهمية بمكان أن الوكيل لا يرى أفعال الموضح أو حالاته الداخلية.

2. الخطوات الأربع للتنفيذ

ينفذ المؤلفون هذه الخطوات باستخدام بنية شبكة عصبية معززة بالذاكرة سيامية (MANN).

الانتباه: يقوم مشفر المتحكم (CE) المشترك، والمتمثل في شبكة ذاكرة طويلة قصيرة المدى (LSTM) سيامية، برسم خرائط لتسلسلات الملاحظات (من كل من الموضح والوكيل) إلى تمثيلات (embeddings) ثابتة الأبعاد ( $e_\tau$ و $e_t$ ). يضمن هذا أن التسلسلات المتشابهة سلوكيًا تنتج تمثيلات متقاربة، بغض النظر عما إذا كانت ناتجة عن الموضح أو الوكيل.
الاحتفاظ: يخزن الوكيل تمثيلات الموضح جنباً إلى جنب مع قيمة متواصلة. يتم حساب القيمة بالنيابة $V^{vic}$ عبر الخصم العكسي من منفعة النتيجة، مع تعديلها بواسطة معامل ثقة $k$ . تُكتب هذه التمثيلات والقيم في مصفوفة ذاكرة خارجية $M_t$ باستخدام عنونة قائمة على المحتوى (الوصول بنظام الأقل استخداماً مؤخراً - LRU). يتم تدريب الـ MANN عبر خسارة الإنتروبيا المتقاطعة لتصنيف تكافؤ (valence) المسارات المخزنة (إيجابي/سلبي).
إعادة الإنتاج: يولد الوكيل مكافأة جوهرية من خلال مقارنة تمثيل سلوكه الحالي ( $e_t$ $e_{t}$ ) مع الذاكرة المخزنة. يقوم نواة التعميم (Generalization Kernel) بحساب التشابه (تشابه جيب التمام) بين الحالة الحالية والذكريات المخزنة. تقوم طبقة التصنيف بإخراج درجات الثقة ( $p_t$ $p_{t}$ ) لكل فئة سلوكية. يتم تجميع المكافأة الجوهرية $r_{vic}$ $r_{v i c}$ من هذه الدرجات، مع ضبطها بواسطة عتبة تثبيط ( $\theta_{thr}$ $θ_{t h r}$ ) لمنع المطابقات منخفضة الثقة من إطلاق المكافآات.
- التكييف السلبي: إذا كانت حالة الوكيل تشبه مسار "تجنب" مخزناً، فإنه يتلقى مكافأة جوهرية سلبية.
- التكييف الإيجابي: إذا كانت حالة الوكيل تشبه مسار "اقتراب" مخزناً، فإنه يتلقى مكافأة جوهرية إيجابية.
التعزيز: يتم دمج المكافأة الجوهرية مع المكافأة الخارجية. يعمل الوكيل على تحسين السياسة لتعظيم العائد المتوقع لهذه الإشارة المركبة. ستسود المكافأة الخارجية في النهاية إذا حدثت تناقضات، مما يضمن بقاء السياسة مثالية للبيئة المحددة.

المساهمات الرئيسية

صياغة عامة: تقدم الورقة إطار عمل رسمي للتعلم بالنيابة، حيث تربط بوضوح الخطوات البيولوجية للانتباه، والاحتفاظ، وإعادة الإنتاج، والتعزيز بمكونات الشبكة العصبية.
بنية الذاكرة المعززة السيامية: صمم المؤلفون بنية Siamese MANN تتيح التعلم من عينات قليلة (low-shot learning). من خلال مشاركة المشفر بين الموضح والوكيل، يضمن النظام أن السلوكيات المتشابهة تعطي تمثيلات متشابهة، مما يسمح للوكيل بالتعرف على تجاربه والتفاعل معها بناءً على عدد قليل من العروض الموضحة المخزنة.
آليات خاصة بالتكافؤ: تقدم الطريقة آليات متميزة لكل من التكييف السلبي (التجنب) والإيجابي (الاقتراب)، مما يسمح للوكيل بتعلم ما يجب تجنبه وما يجب السعي وراءه بناءً فقط على قيم النتائج المتواصلة.

النتائج التجريبية

تم تقييم النهج في بيئتين: MiniWorld Sidewalk (لاختبار التكييف السلبي/التجنب) و Box2D CarRacing (لاختبار التكييف الإيجابي/الاقتراب والتكييف المركب).

MiniWorld Sidewalk: في بيئة ذات شرط نهائي غير وصفي (الموت يؤدي إلى عدم وجود مكافأة)، حقق خوارزم PPO القياسي حوالي 117 خطوة. تفوقت طريقة VC مع العتبة المثلى ( $\theta_{thr} = 0.60$ ) بشكل كبير على النموذج الأساسي، حيث حققت 142.16 خطوة (المكافأة المركبة) و 139.96 خطوة (المكافأة الجوهرية فقط). أظهرت النتائج أن VC نجحت في منع الوكيل من الوصول إلى الحالات الخطرة (حدود الرصيف) دون الحاجة إلى إشارات مكافأة صريحة للموت.
CarRacing:
- الـ VC الإيجابي: تعلم الوكيل البقاء في المسار الأوسط (السلوك الموضح)، محققاً ما يقرب من ثلاثة أضعاف طول الحلقة مقارنة بـ PPO الأساسي (88.45 خطوة مقابل 33.27 خطوة). وبينما أدى ذلك إلى مكافأة خارجية أقل (بسبب القيادة المتحفظة مقابل القيادة الهجومية لزيارة المربعات)، كانت المكافأة المركبة أعلى بكثير.
- الـ VC السلبي: عند تطبيقه على مهمة اقتراب (تجنب حدود المسار)، كان أداء التكييف السلبي أسوأ من النموذج الأساسي، مما يؤكد حساسية الطريقة تجاه التكافؤ؛ حيث إن إشارات التجنب تكون ضارة عندما تتطلب المهمة الاقتراب.
- الـ VC المركب: أظهر الجمع بين الإشارات الإيجابية والسلبية نتائج مختلطة، مع تباين عالٍ عند العتبات الصارمة، مما يشير إلى الحاجة إلى معايرة دقيقة لإشارات التكافؤ.

الأهمية والادعاءات

يدعي المؤلفون أن هذا العمل يسد الفجوة بين قدرات التعلم البيولوجي وقيود التعلم المعزز الحالية. من خلال تمكين الوكلاء من التعلم من عدد قليل من العروض الموضحة دون الوصول إلى السياسات، أو مجموعات البيانات الضخمة، أو دالات المكافأة، يوفر التكييف بالنيابة بديلاً منطقياً معرفياً لـ التعلم في ظل "الحياة الواحدة" و التعلم المستمر.

تؤكد الورقة أن هذا النموذج مناسب بشكل خاص للبيئات الواقعية التي تتسم بالاتساع، وعدم وضوح الرؤية الجزئي، والخطورة، حيث لا يمكن تعلم الفشل الكارثي من خلال التجربة والخطأ المباشر. تنجح الطريقة في محاكاة العملية البيولوجية حيث يتعلم الوكيل من النتائج المتواصلة للآخرين، مما يسمح له بتجنب الظروف النهائية الكارثية والسعي وراء الحالات المرغوبة بأقل قدر من البيانات. ويقر المؤلفون بوجود قيود، مثل عدم القدرة على التمييز بين السلوكيات غير المتمايزة في فضاء الميزات، وغياب انطفاء الذاكرة (بمجرد تخزين القيمة بالنيابة، فإنها تستمر)، لكنهم يجادلون بأن خطوة التعزيز تسمح في النهاية للمكافآت الخارجية بالتغلب على التكييف الجوهري إذا لزم الأمر.