Reward changes the use and structure of predictive spatial maps
تُظهر هذه الورقة أن المكافأة تؤثر على الخرائط المكانية التنبؤية في الحصين من خلال آليتين متميزتين: حيث تعمل إشارات الهدف بشكل أساسي على تغيير كيفية استخدام خريطة موجودة بالفعل لتوجيه السلوك، بينما تقود إشارات التعليم المتعلقة بالمكافأة تحديداً اللدونة التي تعيد تشكيل بنية الخريطة.
المؤلفون الأصليون:Oza, S., Cohen, A., Wager, G., Derdikman, D., Recanatesi, S.
يحتوي الدماغ على نظام متخصص لرسم الخرائط يسمح للحيوانات بالتنقل في عالمها. ففي الحصين، وهي منطقة تقع في عمق الدماغ، توجد عصبونات تُسمى "خلايا المكان". تعمل كل خلية من هذه الخلايا عندما يكون الحيوان في بقعة محددة، مما يؤدي فعلياً إلى إضاءة إحداثية على خريطة داخلية. ولعقود من الزمن، عرف العلماء أن هذه الخريطة ليست ثابتة؛ فهي تتغير بناءً على الخبرة. فعندما يتعلم الحيوان مكان اختباء المكافأة، غالباً ما يتغير نشاط خلايا المكان هذه، حيث تتجمع بكثافة أكبر حول موقع الجائزة. لكن سؤالاً جوهرياً ظل دون إجابة: هل يكتفي الدماغ ببساطة بتغيير كيفية استخدام خريطته الموجودة للتركيز على المكافأة، أم أنه يعيد كتابة الخريطة نفسها مادياً، عبر تغيير الروابط بين العصبونات لإنشاء تمثيل جديد للمكان؟
وللإجابة على ذلك، صمم الباحثون نموذجاً حاسوبياً يحاكي كيفية تعلم الدماغ. فقد أنشأوا وكيلًا رقميًا يستكشف ساحة مربعة افتراضية، ولا يتلقى سوى معلومات بصرية عما هو موجود أمامه، مثل المسافة إلى الجدران ووجود أشياء. تم تدريب الشبكة الداخلية للوكيل للتنبؤ بالمشهد البصري التالي بناءً على رؤيته الحالية وحركته. ومن خلال عملية التنبؤ هذه، طورت الشبكة تلقائياً خريطة مكانية، مع وجود مجموعات متميزة من العصبونات التي تعمل في مواقع محددة، تماماً مثل خلايا المكان الموجودة في الحيوانات الحقيقية. كانت هذه الخريطة موجودة قبل أن يعرف الوكيل أي شيء عن المكافأة.
ثم أدخل الباحثون مكافأة في البيئة ودربوا نظام تحكم منفصلاً لتوجيه الوكيل نحوها. وبينما كان الوكيل يتعلم كيفية التنقل للوصول إلى المكافأة، لاحظ الباحثون تغيراً دراماتيكياً: بدأت خلايا المكان في الخريطة تتجمع بإحكام حول موقع المكافأة. ومع ذلك، عندما أعادوا تشغيل المسار نفسه الذي اتخذه الوكيل قبل تعلم المكافأة، باستخدام الشبكة المدربة حديثاً، كان التجمع ضعيفاً للغاية. كشف هذا أن التركيز القوي للنشاط الذي شوهد أثناء السلوك الموجه نحو الهدف كان ناتجاً إلى حد كبير عن اتخاذ الوكيل لمسارات مختلفة واقترابه من المكافأة من زوايا مختلفة، وليس بسبب تغيير شامل في البنية الأساسية للخريطة. لقد تغيرت الخريطة، ولكن بشكل طفيف فقط.
استكشفت الدراسة أيضاً ما الذي يدفع هذه التغييرات من خلال إضافة إشارة تعليمية محددة تخبر الشبكة بمدى قربها من المكافأة. وعندما كانت هذه الإشارة موجودة، أصبحت التغييرات في الخريطة أكبر وأكثر اتساقاً، مما أدى إلى إزاحة مجالات المكان بشكل أكثر موثوقية نحو المكافأة. كما اختبر الباحثون ما يحدث عند نقل المكافأة إلى موقع جديد؛ ووجدوا أن الاتجاه الذي يسلكه الوكيل يتكيف بسرعة مع الهدف الجديد، لكن الموقع المادي لمجالات المكان انتقل ببطء أكبر واحتفظ ببعض الذاكرة لموقع المكافأة القديم. وأخيراً، عندما تمت إزالة المكافأة وإشارة التعليم تماماً، تلاشى تركيز الخلايا بالقرب من موقع المكافأة السابق، وعادت الخريطة نحو حالتها الأصلية.
تشير هذه النتائج إلى أن الدماغ يستخدم آليتين منفصلتين للتعامل مع المكافأة. إحدى الآليتين تغير كيفية استخدام الخريطة الموجودة، مما يسمح للحيوان بتركيز انتباهه وسلوكه على الهدف. والآلية الثانية، المدفوعة بإشارات تعلم محددة، تعيد تشكيل الخريطة نفسها مادياً، لكن إعادة التشكيل هذه هي عملية أكثر دقة وتدريجية مما قد توحي به التحولات السلوكية الفورية. يوفر هذا البحث إطاراً واضحاً لفهم أن الخريطة المكانية للدماغ هي تمثيل مستقر للعالم وأداة مرنة يمكن ضبطها بما يقدره الحيوان.
ملخص تقني: المكافأة تغير استخدام وهيكل الخرائط المكانية التنبؤية
المشكلة والدوافع تطرح التغيرات المرتبطة بالمكافأة في نشاط الخلايا المكانية في الحصين غموضاً جوهرياً: هل تعكس هذه التغيرات اختلافاً في استخدام خريطة مكانية موجودة (تغير في أخذ العينات بسبب تغيرات السياسة السلوكية) أم أنها تعكس إعادة تشكيل للخريطة نفسها (لدونة تعتمد على المكافأة)؟ تُظهر النتائج السابقة أن الحقول المكانية تتراكم بالقرب من المكافآت أو تنزاح نحو الأهداف، لكن الملاحظات السلوكية القياسية تخلط بين هاتين الآليتين لأن تغير السياسة يغير المسارات والتاريخ الحسي المستخدم لأخذ عينات من الخريطة. يجادل المؤلفون بأن التمييز بين "كيفية استخدام الخريطة" و"كيفية إعادة كتابتها" أمر ضروري لفهم الترميز في الحصين، لا سيما ضمن الأطر التنبؤية مثل "تمثيل التوالي" (successor representation)، حيث يؤدي تغير السياسة بطبيعته إلى تغيير توقعات إشغال الحالة حتى بدون تغيير المعلمات.
المنهجية بنى المؤلفون نموذجاً حوسبياً ذا مسارين للفصل بين هذه المساهمات:
الشبكة العصبية المتكررة التنبؤية (المرحلة أ): تتعلم شبكة عصبية متكررة (RNN) مكونة من 512 وحدة مخفية التنبؤ بالملاحظة الحسية التالية (متجهات الأشياء في مجال الرؤية ومسافات الجدران) من الملاحظة الحالية والفعل. تطور هذه الشبكة تمثيلاً مكانياً (تشبه الخلايا المكانية في الضبط) من خلال التنبؤ الحسي وحده، دون إشارات صريحة للمكافأة أو الهدف.
المتحكم المشروط بالهدف (المرحلة ب): يتم إضافة متحكم "الممثل-الناقد" (actor-critic) لتعلم التعزيز بعد عملية التنبؤ. يجمع هذا المتحكم بين الحالة المخفية للشبكة المتكررة ومتجه إزاحة هدف (allocentric goal-displacement vector) مُزود صراحةً لاختيار الأفعال. يتم تدريب المتحكم للوصول إلى موقع مكافئ باستخدام خوارزمية "التحسين المتتالي القريب" (PPO).
الضوابط التجريبية:
التباين السلوكي: مقارنة خرائط المعدل (rate maps) من مرحلة الاستكشاف قبل التعلم (السير العشوائي) مع السلوك الموجه نحو الهدف بعد التعلم. هنا، تختلف كل من معلمات الشبكة والمسارات التي تم أخذ العينات منها.
إعادة التشغيل بمسار ثابت: لعزل التغيرات المعتمدة على المعلمات، قام المؤلفون بإعادة تشغيل نفس مسار الملاحظة-الفعل الاستكشافي المخزن عبر الشبكة قبل وبعد التعلم. هذا الإجراء يحافظ على الموقع، والاتجاه، والتاريخ الحسي ثابتاً، مما يعزل التغيرات الناتجة فقط عن المعلمات المتعلمة.
إشارات التعليم: اختبر النموذج دور "إشارة تعليم القرب من المكافأة" (مُفكك شفرة مساعد تم تدريبه للتنبؤ بدالة سلسة للمسافة إلى المكافأة) ودور اللدونة المتكررة (مقارنة الأوزان المتكررة المرنة مقابل شبه الجامدة).
المقارنات: تمت مقارنة النموذج مع بيانات تجريبية مُعاد تحليلها من تجارب حذف المكافأة ونقل موقع المكافأة لدى الفئران.
النتائج الرئيسية
الفصل بين أخذ العينات واللدونة: أنتج السلوك الموجه نحو الهدف تركيزاً قوستاً للحقول المكانية بالقرب من المكافأة. ومع ذلك، كشف إعادة التشغيل بمسار ثابت أن الانزياح المرتبط بالمعلمات كان أصغر بكثير (محتفظاً بنحو 16-19% فقط من الانزياح السلوكي) وأكثر تبايناً. يشير هذا إلى أن معظم تركيز الحقول الملاحظ أثناء السلوك ينبع من التغير في كيفية استخدام الخريطة الموجودة (تغير السياسة)، وليس من إعادة توصيل واسعة للخريطة.
دور إشارات التعليم: عندما أضيفت إشارة تعليم "القرب من المكافأة" إلى هدف التعلم، أصبح الانزياح المرتبط بالمعلمات أكبر وموجهاً بشكل أكثر اتساقاً نحو المكافأة. يشير هذا إلى أنه بينما تسمح اللدونة للخريطة بالتغير، فإن إشارات تعليم محددة مطلوبة لتوجيه هذا التغيير بشكل موثوق نحو المكافأة.
دور اللدونة: أدى تقييد اللدونة المتكررة (الأوزان شبه الجامدة) إلى تقليل الانزياح المرتبط بالمعلمات بمقدار عشرة أضعاف، مما يؤكد أن اللدونة ضرورية لإعادة تنظيم الخريطة، حتى لو كانت إشارة التعليم توجهها.
ديناميكيات إعادة التحديد: عند نقل موقع المكافأة، تكيف الضبط الاتجاهي المرتبط بالهدف بشكل كامل أكثر من مواقع ذروة الحقول المكانية. احتفظت ذرى الحقول بتأثير من موقع المكافأة الذي تم تعلمه سابقاً، بينما أعادت الكتلة الإجمالية للحقول تمركزها حول الهدف الجديد. يشير هذا إلى وجود انفصال حيث يمكن للضبط الاتجاهي أن يتحدث بسرعة بينما تحتفظ ذرى المواقع بالتأثير التاريخي.
سحب المكافأة: أدى سحب كل من مكافأة البيئة وإشارة تعليم القرب إلى عكس تركيز الحقول المتعلم بالقرب من المكافأة، مما أعادها نحو خط الأساس. يوضح هذا أن التنظيم المرتبط بالمكافأة ليس "متجمداً" بشكل دائم، بل يتم الحفاظ عليه بنشاط بواسطة هذه الإشارات.
المقارنة مع البيانات: استعاد النموذج نوعياً ميزات ترميز المكافأة في الحصين، بما في ذلك تراكم الحقول، وفقدان التنظيم عند حذف المكافأة، وتواجد الاستجابات المرتبطة بالمكان والمرتبطة بالمكافأة عند إعادة التحديد. ومع ذلك، أظهر النموذج انخفاضاً أصغر في موثوقية الخريطة عند سحب المكافأة مقارنة بالبيانات التجريبية، مما يشير إلى أن النموذج يلتقط آليات محددة ولكنه قد يفتقر إلى آليات أخرى (مثل الاستدلال بالحالة الكامنة).
الأهمية والادعاءات يقدم البحث إطاراً ملموساً للتمييز بين التعبير السلوكي لخريطة مكانية تنبؤية وبين تعديلها بواسطة التعلم المعتمد على المكافأة.
التمييز الآلي: تدعم النتائج وجهة النظر القائلة بأن المكافأة تؤثر على الخرائط المكانية التنبؤية من خلال آليات منفصلة: معلومات الهدف تغير كيفية استخدام الخريطة الموجودة (أخذ العينات)، بينما تعيد إشارات التعليم المرتبطة بالمكافأة تشكيل الخريطة نفسها (اللدونة).
الترميز التنبؤي: يوضح البحث أن التنبؤ الحسي يمكن أن يؤسس تمثيلاً مكانياً قبل المكافأة، والذي يمكن بعد ذلك توظيفه للملاحة الموجهة نحو الهدف. تحتفظ الخريطة بتنظيمها العام بينما يتم تشكيلها بواسطة المتطلبات السلوكية.
القيود: يذكر المؤلفون صراحة أن النموذج هو تجريد حوسبي وليس نموذجاً للدائرة العصبية. فهو يفترض وجود إشارة صريحة لإزاحة الهدف وإشارة تعليم خارجية محددة، بدلاً من تعلمهما من التجربة. لا يعيد النموذج إنتاج التطور التراجعي (للخلف) لنشاط المكافأة في كل محاولة، أو المدى الكامل لزعزعة استقرار الخريطة كما في تجارب حذف المكافأة.
الاتجاهات المستقبلية: يقترح البحث أن التجارب المستقبلية يجب أن تركز على الفصل بين معلومات المكافأة، واللدونة، والسلوك، ربما عن طريق التلاعب بالمدخلات الكاتيكولامينية (VTA/LC) لاختبار ما إذا كان قمع إشارات التعليم المرتبطة بالمكافأة يقلل من تركيز الحقول أكثر مما يعيق الملاحة. كما يدعو إلى اختبار ما إذا كان النظام قادراً على اكتشاف الأهداف وبناء إشارات التعليم من التاريخ الحسي وحده.