Rapid value learning reveals generalized and context-dependent codes in frontal cortex
تُظهر هذه الدراسة أنه بينما تظهر تمثيلات القيمة في القشرة الحزامية الأمامية والقشرة الجبهية الحجاجية بسرعة خلال عملية التعلم، إلا أنهما تستخدمان استراتيجيات ترميز متميزة، حيث توظف القشرة الحزامية الأمامية تنسيقاً عاماً عبر سجلات التدريب، بينما توظف القشرة الجبهية الحجاجية رموزاً تعتمد على السياق.
المؤلفون الأصليون:Elena Gutierrez, Timothy Muller, James Butler, WM Nishantha Malalasekera, Laurence Hunt, Sebastijan Veselic, Steven Kennerley
تخيل دماغك كنظام ملاحة فائق التطور، يحاول باستمرار اكتشاف أي مسار سيؤدي إلى أفضل مكافأة. وللقيام بذلك، يعتمد على نوع خاص من "خريطة القيمة" التي تخبره بمدى جودة شيء ما. لقد درس العلماء هذه الخريطة لعقود، لكنهم نظروا إليها بطريقتين مختلفتين تماماً. فمن ناحية، يقوم الباحثون بمسح أدمغة البشر الذين يتعلمون لعبة جديدة لأول مرة. ومن ناحية أخرى، يضعون ميكروفونات دقيقة داخل أدمغة القرود التي لعبت نفس اللعبة آلاف المرات. لفترة طويلة، افترض الجميع أن هذين المنظورين يظهران الشيء نفسه: أن "خريطة القيمة" في الدماغ تبدو كما هي سواء كنت مبتدئاً تماماً أو محترفاً متمرساً. ولكن ماذا لو كان ذلك خطأ؟ ماذا لو كان الدماغ يستخدم مخططات مختلفة تماماً للأشياء الجديدة مقابل الأشياء المألوفة؟ إن فهم هذا الأمر أمر بالغ الأهمى لأن ذلك يساعدنا في معرفة كيف نتخذ القرارات عندما نواجه شيئاً جديداً تماماً، مثل وظيفة جديدة أو طعام غريب، مقابل عندما نفعل ما اعتدنا فعله دائماً.
يغوص هذا البحث في هذا الغموض عبر الاستماع إلى الخلايا العصبية الفردية (العمال الكهربائيون الصغار) في مركزين قياديين محددين في دماغ القرد: القشرة الحزامية الأمامية (ACC) والقشرة الجبهية الحجاجية (OFC). فكر في هذين المركزين كـ "مديري القيمة" في الدماغ. لقد علم الباحثون قردين ربط صور جديدة وغريبة الشكل بكميات مختلفة من العصير. فعلوا ذلك بسرعة فائقة، حيث عرضوا على القردين صورة ثم "إشارة ثانوية" (شريط ملون) تخبرهما بالضبط كمية العصير القادمة. تعلمت القرود قيمة هذه الصور الجديدة في غضون 4 إلى 7 محاولات فقط، وهي سرعة تماثل سرعة تعلم إنسان لتطبيق جديد.
الاكتشاف الكبير هو أنه بينما تعلم كلا منطقتي الدماغ بسرعة، إلا أنهما فعلا ذلك بطرق مختلفة تماماً. عملت القشرة الحزامية الأمامية (ACC) كمترجم عالمي؛ فبمجرد أن تعلمت قيمة الصورة الجديدة، عاملت تلك الصورة الجديدة تماماً كما تعامل الصورة القديمة المألوفة. لقد استخدمت رمزاً واحداً عاماً لـ "القيمة" لا يهتم بما إذا كان الشيء جديداً أم قديماً. إنه يشبه نظام تحديد المواقع (GPS) الذي يعطيك نفس التعليمات "انعطف يساراً للحصول على الوقود" سواء كنت تقود سيارة تملكها منذ سنوات أو سيارة مستأجرة استلمتها للتو.
أما القشرة الجبهية الحجاجية (OFC)، فقد كانت أشبه بأمين مكتبة انتقائي يحتاج لمعرفة السياق. فهي لم ترَ "القيمة" فحسب، بل رأت "قيمة الشيء الجديد" مقابل "قيمة الشيء القديم". بل إن الـ OFC استدعت مجموعات مختلفة من الخلايا العصبية بناءً على ما إذا كان القرد يختار شيئاً جديداً أو شيئاً رآه آلاف المرات. علاوة على ذلك، كانت الـ OFC هي الأولى التي تصرخ: "مهلاً، هذا جديد!"، حيث أشارت إلى حداثة الخيار قبل حتى أن تحسب مدى جودة المكافأة. وهذا يشير إلى أن الـ OFC تعمل كمدير للسياق، حيث تضع علامات على المواقف الجديدة لمساعدة الدماغ على إبداء اهتمام إضافي، بينما تذهب الـ ACC مباشرة إلى صلب الموضوع وهو اتخاذ القرار بشأن الأفضل.
كما أكدت الدراسة نظرية كلاسيكية حول كيفية عمل التعلم، وتحديداً في الـ ACC. فقد أظهرت أنه بينما تعلمت القرود الصور الجديدة، فإن "إشارة القيمة" في الدماغ تحركت فيزيائياً. في البداية، كانت الخلايا العصبية تضيء فقط عند وصول العصير (أو الإشارة التي تدل على العصير). ولكن بمجرد أن تعلمت القرود أن الصورة تتنبأ بالعصير، قفزت الإشارة إلى الوراء في الزمن نحو الصورة نفسها، وتلاشت الاستجابة لإشارة العصير. إنه يشبه النادل الذي كان يتحمس فقط عند وصول الطعام، ولكن بمجرد أن تعلم قائمة الطعام، أصبح يتحمس بمجرد طلب الزبون. حدث هذا في غضات ثوانٍ معدودة، مما يثبت أن الدماغ يمكنه إعادة صياغة خريطة قيمته بشكل فوري تقريباً.
لذا، تشير الورقة البحثية إلى أنه بينما يمكن للدماغ تعلم القيم الجديدة بسرعة هائلة، فإنه لا يستخدم طريقة واحدة تناسب الجميع. فالـ ACC هي العامة، التي تحافظ على البساطة والاتساق، بينما الـ OFC هي المتخصصة، التي تتحقق باستمرار من السياق وتضع علامات على كل ما هو جديد. وهذا يساعد في تفسير سبب مرونة أدمغتنا: لدينا فريق من المديرين يعملون معاً، بعضهم يبقينا ثابتين والبعض الآخر يبقينا يقظين تجاه العالم الجديد من حولنا.
ملخص تقني: التعلم السريع للقيمة يكشف عن شفرات عامة ومعتمدة على السياق في القشرة الجبهية
المشكلة والدوافع يواجه مجال علم أعصاب اتخاذ القرار فجوة منهجية: عادة ما ترصد دراسات التصوير العصبي البشري تمثيلات القيمة لدى مشاركين غير متبحرين في المهام، بينما تعتمد تسجيلات العصبون المنفرد لدى الرئيسيات غير البشرية (NHP) على مواضيع خضعت لتدريب مكثف. هناك افتراض سائد ولكنه غير مختبر، وهو أن تمثيلات القيمة الناشئة بسرعة في البشر تعادل التمثيلات المفرطة في التدريب الملحوظة لدى الرئيسيات غير البشرية. ومع ذلك، من المعروف أن استجابات القشرة الجبهية (FC) تتأثر بالحداثة، والخبرة، وحالة المهمة. ولا يزال من غير الواضح ما إذا كانت الحسابات الموجهة بالقيمة تعتمد على شفرات عصبية متميزة للمثيرات الجديدة مقابل المثيرات المفرطة في التدريب، وكيف يتم اكتساب ارتباطات القيمة بسرعة في العصبونات الجبهية لدعم الاختيار المرن. علاوة على ذلك، بينما يتنبأ تعلم التعزيز بفارق الفرق الزمني (TDRL) بانزياح خلفي لإشارات القيمة من المكافأة إلى الإشارات التنبؤية، فمن غير المعروف ما إذا كانت هذه الديناميكية تحدث بسرعة كافية لدعم التعلم داخل الجلسة الواحدة في المناطق الجبهية مثل القشرة الحزامية الأمامية (ACC) والقشرة الجبهية الحجاجية (OFC).
المنهجية سجلت الدراسة نشاط العصبون المنفرد من الـ ACC والـ OFC في نوعين من المكاك (Macaca mulatta) أثناء أداء مهمة صُممت للفصل بين آثار تاريخ التدريب من قيمة المكافأة.
هيكل المهمة: تتكون كل جلسة من مرحلة تكييف تليها مرحلة اختيار.
مرحلة التكييف: تعلمت المواضيع عشرة ارتباطات بين الإشارات والقيمة عبر التكييف الثانوي. تنبأت الإشارات الجديدة بواحد من خمس قيم لمقدار المكافأة أو احتمالية حدوثها. ومن الأهمية بمكان أن كل إشارة جديدة اقترنت بمعزز ثانوي مفرط في التدريب (شريط ملون) يشير بوضوح إلى القيمة، مما سمح بالاكتساب السريع لكل من معلومات المقدار والاحتمالية.
مرحلة الاختيار: قام المواضيع باختيارات حرة بين: (1) إشارتين جديدتين تم تعلمهما في ذلك اليوم (تجارب جديدة)، (2) إشارتين تم تجربتهما آلاف المرات سابقاً (تجارب مفرطة في التدريب/OT)، أو (3) واحدة من كل منهما (تجارب مختلطة).
التسجيل العصبي: تم تسجيل 156 عصبوناً من الـ ACC (المنطقة 24c) و160 من الـ OFC (المناطق 11/13).
التحليل: استخدم المؤلفون نماذج الخطوط العامة (GLMs) لقياس انتقائية العصبونات للقيمة المختارة، وحداثة الاختيار، وسمات المكافأة. كما استخدموا الارتباط المتبادل لـ t-statistics لتقييم تشابه شفرات القيمة عبر الظروف (الجديدة مقابل OT، المقدار مقابل الاحتمالية) وحللوا الديناميكيات الزمنية للكشف عن بصمات تعلم تشبه خطأ التنبؤ بالمكافأة (RPE) (مثل انزياح ترميز القيمة من المعزز الثانوي إلى الإشارة الجديدة).
النتائج الرئيسية
الاكتساب السريع: ظهرت إشارات القيمة المرتبطة بالإشارات الجديدة بسرعة، حيث ظهرت خلال 4-7 تقديمات للإشارة في الـ ACC و7-10 تقديمات في الـ OFC. وطابقت هذه المدة الزمنية التكيف السلوكي، حيث أدى المواضيع أداءً أعلى من الصدفة خلال 3-5 تقديمات.
الشفرات العامة مقابل المعتمدة على السياق:
الـ ACC: استخدمت العصبونات شفرة قيمة عامة. كان تمثيل القيمة المختارة مرتبطاً بشدة بين التجارب الجديدة وتجارب OT، وعمم عبر سمات المكافأة (المقدار والاحتمالية). كانت عصبونات الـ ACC أكثر عرضة لترميز القيمة في كلا النوعين من التجارب في آن واحد.
الـ OFC: أظهرت العصبونات ترميزاً معتمداً على السياق. وبينما قامت الـ OFC بترميز القيمة في كلا النوعين من التجارب، إلا أن بنية الجمهرة اختلفت؛ حيث تم تجنيد مجموعات فرعية متميزة لتجارب "الجديدة" مقابل "OT". كما كان ترميز القيمة في الـ OFC أكثر انقساماً حسب بُعد المهمة (المعتمد على السمة)، لا سيما في تجارب OT.
ترميز الحداثة المستقل: رمز كلا المنطقتين حداثة الاختيار (جديد مقابل OT) بشكل مستقل عن القيمة. ومع ذلك، كانت عصبونات الـ OFC أكثر عرضة لترميز الحداثة مقارنة بعصبونات الـ ACC. والأهم من ذلك، سبقت إشارات الحداثة إشارات القيمة المختارة بنحو 130 مللي ثانية، مما يشير إلى أن الحداثة توفر هيكلاً سياقياً للحساب اللاحق للقيمة.
ديناميكيات التعلم المدفوعة بـ RPE في الـ ACC:
الانزياح الزمني: في الـ ACC، مع ظهور ترميز القيمة عند الإشارة الجديدة (التجارب المتأخرة)، فقد عكس النمط الذي لوحظ سابقاً عند المعزز الثانوي (التجارب المبكرة).
الانخفاض عند المعزز: أظهرت عصبونات الـ ACC التي اكتسبت ترميز القيمة عند الإشارة الجديدة انخفاضاً ملحوظاً في ترميز القيمة عند المعزز الثانوي بمرور الوقت، وهو ما يتوافق مع نظرية RPE حيث تصبح المكافأة متوقعة بالكامل بواسطة الإشارة.
الترميز المتضاد: أظهر متعلمو قيمة الإشارة في الـ ACC ترميزاً متضاداً (إشارات متضادة للقيمة عند الاختيار مقابل النتيجة) خلال مرحلة الاختيار، وهو ما يعد سمة مميزة لترميز RPE. ولم تظهر عصبونات الـ OFC هذه الديناميكية المحددة.
المساهمات الرئيسية
الربط بين المنهجيات: تثبت هذه الدراسة أن تمثيلات القيمة في القشرة الجبهية يمكن أن تظهر في غضون بضع تجارب (4-7)، مما يدعم صحة مقارنة بيانات العصبون المنفرد من الرئيسيات المدرّبة مع بيانات التصوير العصبي البشري من المشاركين غير المتبحرين، بشرط مراعاة المقياس الزمني للتعلم.
الفصل الوظيفي الإقليمي: تؤسس الدراسة لفصل وظيفي بين الـ ACC والـ OFC أثناء التعلم السريع: تحافظ الـ ACC على شفرة قيمة عامة ذات عملة مشتركة عبر مستويات الخبرة، بينما تعتمد الـ OFC على مجموعات فرعية تعتمد على الخبرة وترمز بقوة لحداثة الاختيار.
آلية الاكتساب: تقدم الورقة أدلة إلكتروفسيولوجية في القشرة الجبهية لديناميكيات التعلم المدفوعة بـ RPE (الانتقال الزمني لإشارات القيمة وتقليل الاستجابة للمكافآت المتوقعة) والتي تحدث في مقاييس زمنية من ثوانٍ إلى دقائق، وليس فقط أيام.
الأهمية والادعاءات يزعم المؤلفون أن هذه النتائج تثبت الشروط الضرورية (الاكتساب السريع) والكافية (التنسيق العام) لمقارنة تمثيلات القيمة عبر المنهجيات والأنواع وتاريخ التدريب. وبشكل محدد، يجادلون بأنه بينما يتوافق آلية التعلم السريع في الـ ACC مع التمثيلات المفرطة في التدريب (مما يدعم التوازي عبر الأنواع)، فإن الشفرة العصبية في الـ OFC حساسة للغاية للحداثة وتاريخ التدريب. يشير هذا إلى أن بروتوكولات التدريب المفرط القياسية في الرئيسيات غير البشرية قد تحجب آليات الترميز المعتمدة على السياق (مثل تلك الموجودة في الـ OFC) والتي تعد بالغة الأهمية لاتخاذ القرارات المرنة والجديدة لدى البشر. وتبرز النتائج أن ترميز القيمة الجبهي ليس كتلة واحدة؛ بل يتضمن شفرة عامة موجهة نحو الفعل في الـ ACC، وشفرة حساسة للسياق ومعدلة بالحداثة في الـ OFO، وكلاهما ضروري لاتخاذ القرارات التكيفية.