Beyond model-based and model-free learning: irrational learning of successor features in addictive behaviour
تتحدى هذه الدراسة الثنائية التقليدية بين النماذج القائمة على النموذج والتحرر من النموذج في أبحاث الإدمان، وذلك من خلال إثبات أن الأفراد المصابين باضطرابات تعاطي المواد يظهرون تعلماً غير عقلاني يتميز بتحول عقلاني للموارد نحو سمات تالية مبسطة وقابلة لإعادة الاستخدام لتقليل التكاليف المعرفية، حتى على حساب تعظيم المكافأة.
تخيل دماغك كأنه جهاز ألعاب فيديو فائق الذكاء، يتعين عليه تشغيل آلاف الألعاب المختلفة في وقت واحد. بعض هذه الألعاب بسيطة، مثل لعبة "حجر، ورقة، مقص" حيث تحفظ فقط أن "الحجر يهزم المقص". وألعاب أخرى معقدة كألعاب المغامرات والاستراتيجية حيث يتعين عليك رسم خريطة للعالم بأكم، والتنبؤ بحركة كل عدو، والتخطيط لعشر خطوات للأمام. لفترة طويلة، اعتقد العلماء أن أدمغتنا عالقة في صراع بين هذين الأسلوبين: الأسلوب "الكسول" الذي يعتمد فقط على حفظ ما نجح سابقاً (النموذج الخالي من النموذج - Model-Free)، والأسلوب "المجتهد" الذي يبني خريطة ذهنية للعالم للتخطيط مسبقاً (النموذج القائم على النموذج - Model-Based). وكانوا يعتقدون أنه في حالات الإدمان، يصبح الدماغ كسولاً ويتوقف عن التخطيط، معتمداً فقط على العادات القديمة. ولكن ماذا لو لم يكن الدماغ مجرد كسول أو مجتهد؟ ماذا لو كان يحاول في الواقع أن يكون محاسباً عبقرياً، يحسب باستمرار كم تبلغ تكلفة "طاقة الدماغ" (أو الجهد المعرفي) مقابل مقدار "المتعة" (المكافأة) التي ستعود عليه؟ هذا هو عالم "العقلانية المواردية" (resource-rationality)، وهي طريقة منمقة للقول بأن أدمغتنا تحاول دائماً الحصول على أفضل صفقة مقابل أقل قدر من الطاقة الذهنية.
دعنا الآن ننتقل إلى دراسة جديدة أجراها الباحث "رو-يوان تشانغ" وفريقه، الذين قرروا اختبار هذه الفكرة على مجموعة من الأشخاص الذين يعانون من اضطرابات تعاطي المواد (SUD) ومجموعة من المتطوعين الأصحاء. لم يكتفوا بسؤالهم عن لعب لعبة واحدة؛ بل ألقوا بهم في لعبة مغامرات في دهليز ضخم متعدد المستويات. تخيل قلعة ذات خريطة تشبه الشجرة. في كل جولة، تتغير "أسعار السوق" لثلاثة موارد: الخشب، والحجر، والحديد. هدفك هو اختيار مسار عبر القلعة للحصول على أكثر الموارد قيمة بناءً على تلك الأسعار. والتحول هنا؟ الأسطعار تتغير في كل مرة، مما يخلق أربعة "مهام" أو ألعاب مختلفة داخل نفس القلعة. للفوز بشكل كبير، عليك تعلم مخطط القلعة والتكيف بسرعة مع مسارك كلما تغيرت الأسعار.
وجد الباحثون شيئاً مفاجئاً يكسر القاعدة القديمة "الكسل مقابل الاجتهاد". فعندما راقبوا كيف يلعب الناس، رأوا أن لا الأسلوب "الكسول" القائم على العادة ولا الأسليب "المجتهد" القائم على بناء الخريطة يمكنهما تفسير ما يحدث بالكامل. بدلاً من ذلك، بدا أن الجميع يستخدمون استراتيجية وسطى ذكية تسمى "الميزات اللاحقة" (Successor Features). فكر في الأمر كتعلم "جو" الغرفة بدلاً من حفظ كل خطوة بمفردها. أنت تتعلم أن "الغرفة (أ) تؤدي عادةً إلى كومة من الخشب" وأن "الغرفة (ب) تؤدي إلى حجر"، ويمكنك دمج وتوفيق هذه "الأجواء" لحل ألغاز الأسعار الجديدة دون الحاجة إلى إعادة بناء خريطتك الذهنية بالكامل من الصفر.
ومع ذلك، تأخذ القصة منعطفاً عند النظر إلى المجموعة التي تعاني من الإدمان. فبينما استخدم اللاعبون الأصحاء هذه "الأجواء" للتبديل بمرونة بين الاستراتيجيات وإيجاد المسار الأفضل لكل قائمة أسعار، بدأ اللاعبون المصابون بالإدمان في التعثر. لقد وجدوا أن الجهد الذهني المطلوب لتغيير الاستراتيجيات مكلف للغاية. لذا، اعتمدوا نهج "مقاس واحد يناسب الجميع". بغض النظر عن الأسعار، استمروا في الركض نحو نفس الغرفة (الغرفة 4) لأنها أسهل مسار يمكن تذكره، حتى لو كان ذلك يعني خسارة الكثير من المال. تشير الدراسة إلى أن هذا لم يكن بسبب عدم قدرتهم على تعلم الخريطة، بل لأن أدمغتهم كانت شديدة الحساسية تجاه "تكلفة" التفكير. كانوا مستعدين للتضحية بالمكافآت فقط لتوفير الطاقة الذهنية.
بنى الباحثون نموذجاً حاسوبياً يعمل مثل "محاسب الدماغ"، يزن المكافأة مقابل الجهد الذهني. هذا النموذج، الذي أطلقوا عليه اسم "نموذج الميزات اللاحقة العقلانية الموردية" (RRSF)، كان الوحيد القادر على التنبؤ بسلوك المجموعتين بدقة. وقد أظهر أن مجموعة الإدمان لديها "حساسية تكلفة" أعلى بكثير؛ فقد شعروا أن الجهد الذهني لتغيير الاستراتيجيات يمثل عبئاً هائلاً، لذا تمسكوا بخطة بسيطة وافتراضية. كما وجدت الدراسة أنه كلما زادت شدة أعراض الإدمان لدى الشخص، زاد ميله لتجنب الجهد الذهني والالتزام بمساراتهم الجامدة وغير المثالية.
باخت مستخلص، تشير هذه الورقة إلى أن الإدمان ليس مجرد نظام "تخطيط" معطل أو نظام "عادة" معطل. بل هو يتعلق بدماغ أصبح مقتصداً للغاية في طاقته الذهنية. إنه يشبه لاعباً، بدلاً من تعلم المستويات الجديدة، يستمر في الضغط على نفس الزر مراراً وتكراراً لأن المستويات الجديدة تبدو مرهقة جداً لفهمها. لقد قامت الدراسة بقياس هذه السلوكيات في 83 شخصاً يعانون من اضطرابات تعاطي المواد و45 شخصاً من المجموعات الضابطة الأصحاء، ووجدت أن السلوك "الكسول" كان في الواقع محاولة محسوبة، وإن كانت غير تكيفية، لتوفير الجهد المعرفي. يوفر هذا المنظور الجديد فهماً أعمق لكيفية أن السلوكيات الجامدة والمتكررة المشاهدة في الإدمان قد تكون وسيلة الدماغ لحماية نفسه من الشعور بالارتباك، حتى لو كان ذلك يعني تفويت أفضل المكافآت.
ملخص تقني: ما وراء التعلم القائم على النموذج والتعلم الخالي من النموذج: التعلم غير العقلاني للميزات اللاحقة في سلوك الإدمان
بيان المشكلة غالبًا ما يتم تصور الإدمان ضمن أطر التعلم التعزيزي (RL) كتحول من التحكم "القائم على النموذج" (MB) المرن والموجه نحو الهدف إلى استراتيجيات "الخالية من النموذج" (MF) الجامدة والاعتيادية. ومع ذلك، فإن هذه الثنائية بين (MB) و(MF) مستمدة إلى حد كبير من بيئات المهام الفردية، وقد تفشل في التقاط ديناميكيات التعلم في البيئات المعقدة متعددة المهام حيث يتطلب الأمر التعميم. كما أن نماذج الإدمان الحالية تستنتج الجهد المعرفي بشكل غير مباشر من الأداء بدلاً من قياس التكاليف الحسابية للتعلم نفسه. تعالج هذه الدراسة الفجوة في فهم كيفية تعلم الأفراد المصابين باضطرابات استخدام المواد (SUD) وكيفية تعميمهم عبر مهام متعددة، وتحديدًا ما إذا كان سلوكهم يُفسَّر بشكل أفضل بالتحول إلى التحكم الخالي من النموذج (MF) أو كتكيف عقلاني للموارد (resource-rational adaptation) يتضمن "الميزات اللاحقة" (successor features - SF) وقيود الجهد المعرفي.
المنهجية استعان الباحثون بـ 83 ذكرًا مصابًا باضطراب استخدام المواد (SUD) و45 من الضوابط الأصحاء (HC) المتطابقين ديموغرافيًا. قام المشاركون بأداء نموذج تعلم تعزيزي متعدد المهام يتضمن شجرة قرار مكونة من خطوتين.
هيكل المهمة: في كل تجربة، لاحظ المشاركون "مجموعة أسعار" (تحدد المهمة g) لثلاثة موارد (خشب، حجر، حديد). ثم قاموا باتخاذ قرارين متتاليين للتنقل عبر شجرة من الغرف، وصولًا في النهاية إلى غرفة تحتوي على كميات ثابتة من الموارد. تم حساب المكافأة باستخدام حاصل الضرب النقطي لكميات الموارد ومجموعة الأسعار الحالية.
تصميم المهام المتعددة: استخدمت التجربة أربع مجموعات مختلفة من الأسعار (مهام)، صُنفت إلى نوعين (A وB) ومستويين من الصعوبة (سهل وصعب). كانت المهام متماثلة في المكافأة المحتملة ولكنها اختلفت في تعقيد السياسة المطلوبة (على سبيل المثال، كانت مهام النوع B تفضل تسلسل "يسار-يسار" بسيط، بينما تطلبت مهام النوع A تسلسل "يمين-يسار").
النمذجة الحسابية: طور المؤلفون وقارنوا بين ثمانية نماذج حسابية عبر إطارين:
التعلم التعزيزي الكلاسيكي: نماذج خالية من النموذج (MF)، وقائمة على النموذج (MB)، ونماذج الميزات اللاحقة (SF). كما تم اختبار متغيرات تتضمن "المثابرة" (تكرار الفعل).
التعلم التعزيزي العقلاني للموارد (Resource-Rational RL): دمجت هذه النماذج (RRMF, RRMB, RRSF) تكلفة معلوماتية للجهد المعرفي. وازنت دالة الهدف بين تعظيم المكافأة المتوقعة وبين تباعد كولباك-ليبلر (KL divergence) بين سياسة خاصة بالمهمة وسياسة افتراضية، والتي تمت صياغتها كـ Iπ(G;A∣S). وتحكم معامل حساسية التكلفة (λ) في المقايضة بين تعظيم المكافأة والحفاظ على الجهد.
التحليل: تم ضبط النماذج باستخدام بيانات التجربة لكل محاولة عبر تقدير الاحتمال الأقصى البعدي (MAP). أُجريت مقارنة النماذج باستخدام معيار المعلومات البايزي (BIC) واحتمال التجاوز المحمي (PXP). كما أُجريت تحليلات استعادة المعلمات واستعادة النماذج للتحقق من قابلية تحديد النماذج.
النتائج الرئيسية
العجز السلوكي في اضطراب استخدام المواد (SUD): حققت مجموعة (SUD) مكافآت أقل بكثير من مجموعة الضوابط الأصحاء (HC)، وأظهرت منحنيات تعلم أبطأ. والأهم من ذلك، أظهر المشاركون في مجموعة (SUD) انخفاضًا في مرونة السياسة: فقد اختاروا بشكل غير متناسب الغرفة 4 (الغرفة المثلى لمهام النوع B) عبر جميع أنواع المهام، بما في ذلك مهام النوع A حيث كانت تلك الغرفة غير مثالية. في المقابل، تكيف المشاركون في مجموعة (HC) مع متطلبات المهمة المحددة.
فشل نماذج التعلم التعزيزي الكلاسيكية: فشلت نماذج (MB) و(MF) و(SF) القياسية في التقاط السمات السلوكية الرئيسية، لا سيما ميل مجموعة (SUD) إلى إعادة استخدام سياسة ثابتة عبر المهام، والتباين في الأداء بين المهام من النوع A والنوع B.
تفوق نموذج الميزات اللاحقة العقلاني للموارد (RRSF): قدم نموذج الميزات اللاحقة العقلاني للموارد (RRSF) أفضل ملاءمة للبيانات. نجح النموذج في إعادة إنتاج الأنماط السلوكية الملحوظة، بما في ذلك اعتماد مجموعة (SUD) على سياسة افتراضية (الغرفة 4) حتى عندما كانت غير مثالية.
آلية عدم العقلانية: كشف نموذج (RRSF) أن كلا المجموعتين استخدمتا تعلم الميزات اللاحقة (SF)، لكنهما اختلفتا في حساسيتهما للجهد المعرفي (λ). أظهرت مجموعة (SUD) حساسية أعلى بكثير لتكلفة الجهد، مما أدى إلى تقليل الجهد المعرفي من خلال إعادة استخدام سياسة افتراضية مبسطة بدلاً من حساب استراتيجيات خاصة بالمهمة. أدى ذلك إلى تحيز منهجي نحو مهام النوع B "الأسهل" وفشل في تحسين الأداء لمهام النوع A.
الارتباطات الإكلينيكية: ارتبط انخفاض الجهد المعرفي المبذول بارتفاع مستويات القلق المبلغ عنها ذاتيًا، وارتفاع درجات استخدام المواد، وارتفاع الاندفاع المعرفي. وارتبط انخفاض معدلات تعلم الميزات اللاحقة (SF) بارتفاع مستويات الاكتئاب المُبلغ عنها ذاتيًا.
الأهمية والادعاءات يزعم البحث تقديم تفسير معياري للتعلم غير النمطي في الإدمان، يتجاوز ثنائية (MB–MF) التقليدية. يجادل المؤلفون بأن الإدمان لا يمثل مجرد فشل في التخطيط القائم على النموذج أو هيمنة العادات الخالية من النموذج، بل هو تحول منهجي في كيفية تخصيص الموارد المعرفية.
تحديدًا، تفترض الدراسة ما يلي:
الميزات اللاحقة كآلية موحدة: في البيئات متعددة المهام، يعتمد التعلم البشري (السليم والمرضي على حد سواء) على الميزات اللاحقة للتعميم عبر المهام، مما يعمل كاستراتيجية وسيطة بين (MB) و(MF).
عدم العقلانية العقلانية للموارد: السلوك "غير العقلاني" الملاحظ في (SUD) (إعادة استخدام سياسة غير مثالية) هو تكيف عقلاني لزيادة الحساسية للتكلفة المعرفية. يبدو أن الأفراد المصابين بـ (SUD) يعطون الأولوية للحفاظ على الجهد المعرفي على تعظيم المكافأة، مما يؤدي إلى التمسك بإعادة استخدام السياسات الافتراضية.
آثار الطب النفسي الحسابي: من خلال قياس الجهد المعرفي عبر نظرية المعلومات، توفر هذه الدراسة إطارًا جديدًا لفهم عيوب التحكم المعرفي في الإدمان. وهي تشير إلى أن هذه العيوب قد لا تنبع من نقص في القدرة المعرفية، بل من انخفاض الرغبة أو القدرة على بذل الجهد (نفور الجهد) لتحديث السياسات بعيدًا عن الحالة الافتراضية.
يخلص المؤلفون إلى أن المنظور العقلاني للموارد لتعلم الميزات اللاحقة يقدم تفسيرًا أكثر شمولاً لعدم المرونة المشاهد في الإدمان، ويربط الآليات الحسابية مباشرة بشدة الأعراض الإكلينيكية.