Beyond model-free Pavlovian responding: a two-stage Pavlovian-instrumental transfer paradigm

ملخص تقني لورقة بحثية: ما وراء الاستجابة البافلوفية الخالية من النموذج: نموذج انتقال بافلوفي-أدواتي ذو مرحلتين.

1. بيان المشكلة

يصف الانتقال البافلوفي-الأدواتي (PIT) كيفية قيام المثيرات البافلوفية (المثيرات التي تتنبأ بالمكافآت) بتوجيه الأفعال الأدواتية. تقليديًا، تُفسر نماذج PIT ذات الرافعة الواحدة (حيث يختار المشاركون بين الفعل أو عدم الفعل) على أنها تعتمد بشكل أساس من الدرجة على التعلم التعزيزي الخالي من النموذج (Model-free RL)—أي ربط المثيرات مباشرة بالنتائج بناءً على تاريخ التعزيز دون وجود نموذج داخلي للبيئة.

ومع ذلك، يواجه هذا التفسير قيودين حاسمين:

1. نقص الفصل (Dissociation): لا تستطيع مهام PIT التقليدية ذات الرافعة الواحدة التمييز حسابيًا بين استراتيجيات التعلم الخالية من النموذج والاستراتيجيات القائمة على النموذج (Model-based) (التي تستخدم نموذجًا داخليًا لانتقالات الحالة لاستنتاج القيمة). وبينما يُفترض أن النوع المحدد من PIT (الناتج عن مثير معين) هو قائم على النموذج، غالبًا ما يُفترض أن PIT ذو الرافعة الواحدة هو عملية خالية من النموذج تمامًا.
2. تأثير الحالة المعرفية: من المتوقع نظريًا أن التعلم القائم على النموذج، كونه يتطلب جهدًا معرفيًا (يتطلب الذاكرة العاملة والوظائف التنفيذية)، يجب أن يتأثر بـ شرود الذهن، بينما يجب أن يظل التعلم الخالي من النموذج قويًا. هذا الفصل لم يتم التحقق منه تجريبيًا في المجال البافلوفي.

تهدف الدراسة إلى تطوير نموذج يمكنه الفصل حسابيًا بين هذه الآليات في إطار PIT ذي الرافعة الواحدة، واختبار ما إذا كان الاستجابة البافلوفية القائمة على النموذج موجودة وحساسة للحالات الانتباهية.

2. المنهجية

التصميم التجريبي: نموذج PIT ذو المرحلتين

طور المؤلفون مهمة PIT مبتكرة ذات مرحلتين لكل محاولة، شملت 71 طالبًا جامعيًا أصحاء. تكونت المهمة من:

• التدريب الأدواتي: تعلم المشاركون جمع بطاقات "جيدة" (اقتراب) أو تجنب بطاقات "سيئة" (عدم اقتراب) عبر تغذية راجعة مالية احتمالية.
• التدريب البافلوفي والانتقال (متداخل):
  • المرحلة 1 (CS): تم تقديم مثير شرطي (CS) (مثل عامل كازينو).
  • المرحلة 2 (الانتقال): ينتقل الـ CS احتماليًا إلى واحد من آلتين للقمار (حالات المرحلة الثانية). كانت الانتقالات إما شائعة (80%) أو نادرة (20%).
  • النتيجة (US): حققت آلة القمار فوزًا أو خسارة قدرها 1 يورو. كانت احتمالات المكافأة تنحرف بمرور الوقت عبر مسارات عشوائية غاوسية.
  • محاولة PIT: فور انتهاء المحاولة البافلوفية، قام المشاركون بالمهمة الأدواتية (جمع/تجنب البطاقات) تحت ظروف انطفاء اسمية (بدون تغذية راجعة) بينما كان الـ CS معروضًا في الخلفية.
  • استعلام القيمة: حكم المشاركون صراحةً ما إذا كان الـ CS مرتبطًا حاليًا بفوز أو خسارة.
  • مقاييس شرود الذهن: كل 60 محاولة، قام المشاركون بتقييم التركيز الانتباهي (داخل المهمة مقابل خارج المهمة).

النمذجة الحسابية

تم تطبيق ثلاثة نماذج للتعلم التعزيزي (RL) على بيانات استجابة PIT لكل محاولة باستخدام خوارزمية التوقع الأقصى (EM):

1. الخالي من النموذج (MF): يحدث القيم بناءً فقط على تاريخ التعزيز المباشر للـ CS المقدم، متجاهلاً هيكل الانتقال.
2. القائم على النموذج (MB): يحدث القيم من خلال دمج احتمالات الانتقال (النموذج الداخلي)، مما يسمح بالاستدلال عن قيمة الحالات غير المعروضة.
3. الهجين (Hybrid): مزيج مرجح من استراتيجيات MF و MB.

تم إجراء اختيار النماذج باستخدام معيار المعلومات البايزي (BIC).

التحليل الإحصائي

• المؤشرات السلوكية:
  • مؤشر الخالي من النموذج: التأثير الرئيسي لـ CS-match (تغير الاستجابة فقط عند تقديم نفس الـ CS).
  • مؤشر القائم على النموذج: التفاعل بين CS-match ونوع الانتقال (تغير الاستجابة بناءً على القيمة المستنتجة للـ CS الآخر بعد انتقال نادر).
• الاختبار التسلسلي البايزي: تم تحديد حجم العينة ديناميكيًا. توقفت عملية جمع البيانات عند $N=71$ بمجرد ثبوت دليل قوي ($BF_{10} > 6$) على وجود PIT قائم على النموذج.
• تحليل شرود الذهن: الارتباطات بين حالة (المقاييس) وسمة (الاستبيان) شرود الذهن والمؤشرات السلوكية/النموذجية المستمدة.

3. المساهمات الرئيسية

• نموذج مبتكر: تقديم مهمة PIT ذات رافعة واحدة نجحت في الفصل حسابيًا بين التعلم الخالي من النموذج والقائم على النموذج باستخدام هيكل احتمالي ذي مرحلتين، وهي قدرة كانت محدودة سابقًا بمهام الأدوات متعددة الخطوات أو متعددة الروافع.
• تحدي نظري: يثبت أن PIT ذو الرافعة الواحدة ليس حصريًا خاليًا من النموذج؛ ففي ظل ظروف التعليمات المفصلة واليقين العالي للنموذج، يمكن أن يكون مدفوعًا باستدلال مرن قائم على النموذج.
• التعديل المعرفي: يقدم أول دليل على أن حالات الانتباه الداخلية (شرود الذهن) تضعف بشكل انتقائي التحكم البافلوفي القائم على النموذج مع ترك مؤشرات الخالي من النموذج دون تغيير، مما يؤكد متطلبات الموارد المعرفية للتعلم البافلوفي القائم على النموذج.

4. النتائج

الأدلة السلوكية

• محاولات الاستعلام: أظهر المشاركون نمطًا قويًا قائمًا على النموذج في أحكام القيمة الصريحة لديهم. تأثرت استجاباتهم بشكل كبير بالتفاعل بين CS-match ونوع الانتقال ($BF_{10} = 4.89 \times 10^{10}$)، مما يشير إلى أنهم استنتجوا القيم بناءً على هيكل المهمة بدلاً من مجرد التعزيز المباشر. لم يكن هناك دليل على التحديث الخالي من النموذج في الاستعلامات.
• محاولات PIT: أظهر تأثير الانتقال الأدواتي أيضًا بصمة قائمة على النموذج (التفاعل بين CS-match $\times$ نوع الانتقال، $BF_{10} = 6.42$). وبينما كان الدليل على التأثير الرئيسي الخالي من النموذج غير حاسم، دعمت البيانات بقوة وجود تحكم قائم على النموذج.

النمذجة الحسابية

• ملاءمة النموذج: وفر نموذج RL القائم على النموذج أفضل ملاءمة لغالبية المشاركين (52 من أصل 71)، وتفوق بشكل كبير على النموذجين الهجين والخالي من النموذج بناءً على درجات BIC.
• المعلمات: كانت معلمة الوزن القائم على النموذج ($\beta_{MB}$) أكبر بكثير من الصفر، مما يؤكد الاعتماد المنهجي على الاستراتيجيات المدركة للانتقالات.

تأثيرات شرود الذهن

• شرود الذهن في الحالة (State): تنبأ ارتفاع تقرير المشاركين عن شرود الذهن أثناء كتل المهام بـ انخفاض التقديرات السلوكية القائمة على النموذج ($p = .024$).
• شرود الذهن كسمة (Trait): ارتبطت سمات شرود الذهن المتعمدة سلبًا بالتحكم القائم على النموذج ($\rho = -0.27, p = .011$).
• الخصوصية: لم يرتبط أي مقياس لشرود الذهن بمؤشرات الخالي من النموذج، مما يؤكد الضعف الانتقائي للعمليات القائمة على النموذج تجاه الفجوات الانتباهية.

5. الأهمية

• تنقيح النظرية البافلوفية: تتحدى الدراسة الافتراض القائم منذ فترة طويلة بأن PIT ذو الرافعة الواحدة هو عملية آلية خالية من النموذج تمامًا. وتقترح أن الاستجابة البافلوفية يمكن أن تكون نظامًا مرنًا وموجهًا نحو الهدف وقادرًا على الاستدلال المعقد عندما يكون الهيكل واضحًا والتعليمات دقيقة.
• الآثار السريرية: نظرًا للارتباط بين PIT والحالات النفسية (الإدمان، الوسواس القهري، القلق)، فإن حقيقة أن التحكم البافلوفي القائم على النموذج حساس للحالات الانتباهية تفتح آفاقًا جديدة لفهم السلوكيات غير التكيفية. وهذا يشير إلى أن التدخلات التي تستهدف الانتباه أو الحمل المعرفي يمكن أن تعدل التوازن بين الاستجابات البافلوفية العادية (الخالية من النموذج) والمرنة (القائمة على النموذج).
• التقدم المنهجي: يوفر هذا النموذج أداة قابلة للتوسع ذات رافعة واحدة للأبحاث المستقبلية التي تهدف إلى استقصاء الأسس العصبية والحسابية للتعلم البافلوفي دون تعقيد المهام الأدواتية متعددة الخيارات.

في الختام، يوضح المؤلفون أن الاستجابة البافلوفية ليست نظامًا انعكاسيًا متجانسًا، بل هي تفاعل معقد بين استراتيجيات التعلم التي يمكن أن تكون قائمة على النموذج، وقابلة للفصل حسابيًا، وتعتمد بشكل حاسم على الحالة الانتباهية الداخلية للوكيل.