Transition from model-free to structure-informed decision making in dynamic environments

في المشهد الشاسع لكيفية اتخاذ الكائنات الحية للقرارات، ميز العلماء منذ زمن طويل بين طريقتين جوهريتين للتنقل في العالم. إحدى الطريقتين فورية وتفاعلية: يتعلم الحيوان أن فعلاً معيناً يؤدي إلى مكافأة ويكرر ذلك الفعل دون أن يفهم بالضرورة سبب نجاحه. هذه استراتيجية تعتمد على العادة، مبنية على ارتباطات بسيطة بين القيام بشيء ما والحصول على شيء جيد. أما الطريقة الأخرى فهي أكثر تفكيراً وتأنياً: يبني الحيوان خريطة داخلية لكيفية هيكلة العالم، مدركاً كيف يؤدي حدث ما إلى آخر، وكيف تغير الخيارات المختلفة احتمالات الحصول على مكافأة. هذه استراتيجية تخطيط، حيث يستخدم صانع القرار المعرفة بالقواعد لتوجيه السلوك. لسنوات، اعتقد الباحثون أنه كلما مارس الحيوان مهمة ما لفترة طويلة، فإنه سينتقل ببطء من هذا التخطيط المتأني إلى العادات البسيطة التلقائية. أشارت هذه الفكرة إلى أنه مع تكرار كافٍ، سيتوقف الدماغ عن الحساب ويبدأ في الاعتماد على الذاكرة العضلية.

قرر فريق من الباحثين اختبار هذا الافتراض من خلال مراقبة كيفية تعلم الفئران لمهمة معقدة لاتخاذ القرار، ولكن مع تحول جوهري: لقد نظروا إلى البداية الفعلية لعملية التعلم بدلاً من الانتظار حتى تصبح الحيوانات خبيرة. وُضعت الفئران في موقف توجب عليها فيه اتخاذ سلسلة من الخيارات للعثور على مكافأة. كانت البيئة مخادعة؛ فالمسار المؤدي إلى المكافأة لم يكن دائماً مباشراً. أحياناً، يؤدي الخيار مباشرة إلى الخطوة التالية كما هو متوقع، ولكن في أحيان أخرى، يتخذ المسار منعطفاً غير متوقع. علاوة على ذلك، لم تكن احتمالية العثور على مكافأة في نهاية المسار ثابتة؛ بل كانت تتغير بمرور الوقت، مما أجبر الفئران على تحديث توقعاتها باستمرار. راقب الباحثون سلوك الفئراء عن كثب بينما كانوا يخوضون جلسات التدريب الخاصة بهم، متتبعين ما إذا كانت الحيوانات تتفاعل ببساطة مع المكافآت الماضية أم أنها بدأت تفهم الهيكل الخفي للمهمة.

كشفت النتائج عن نمط مفاجئ يتحدى الرؤية القديمة لكيفية تطور التعلم. فمع ممارسة الفئران للمهمة، تغير سلوكها بطريقة محددة تشير إلى أنها لم تكن تشكل عادات فحسب. فعندما واجهت الفئران موقفاً اتخذ فيه المسار منعطفاً غير متوقع، عدلت خياراتها المستقبلية بشكل مختلف عما فعلته عندما سار المسار كما هو متوقع. هذا التباين في السلوك هو علامة واضحة على أن الحيوانات بدأت في استخدام معرفتها بهيكل المهمة لتوجيه قراراتها. ومن خلال مطابقة النماذج الرياضية لأنماط تعلم مختلفة على أفعال الفئران، وجد الباحثون أن الفئران كانت تعتمد بشكل متزايد على استراتيجية تستخدم هذه المعرفة الهيكلية. حدث هذا التحول في وقت مبكر من عملية التدريب، قبل وقت طويل من قضاء الفئران وقتاً طويلاً في المهمة.

يشير هذا الاكتشاف إلى أن الانتقال من التعلم التفاعلي البسيط إلى اتخاذ القرار القائم على الهيكل المعقد يحدث في وقت أقرب بكثير مما كان يُعتقد سابقاً. وبينما ركزت الدراسات السابقة على ما يحدث بعد أن يمارس الحيوان المهمة لفترة طويلة، وغالباً ما خلصت إلى أن الدماغ يتوقف في النهاية عن التفكير ويبدأ في العمل بنظام الطيار الآلي، يظهر هذا العمل الجديد أن الدماغ يبدأ في بناء نموذج ذهني للقواعد بشكل فوري تقريباً. لم تنتظر الفئران حتى تصبح معتادة على الأمر قبل أن تبدأ في فهم اللعبة؛ بل انتقلت بسرعة بعيداً عن الاعتماد فقط على المكافآت الماضية وبدأت في استخدام فهمها لكيفية تركيب المهمة لاتخاذ خيارات أفضل. وهذا يثبت أنه في البيئات الديناميكية حيث يمكن أن تتغير القواعد والمكافآت، فإن القدرة على فهم الهيكل الأساسي هي أداة رئيسية للبقاء، وهي أداة يلجأ إليها الدماغ مبكراً وبشكل متكرر.