🧠 neuroscience

Asymmetric Reinforcement Learning Explains Human Choice Patterns in Decision-making Under Risk

تُظهر هذه الدراسة أن نموذج التعلم المعزز الحساس للمخاطر غير المتماثل، والذي يزن المكافآت والخسائر بشكل متفاوت، يقدم تفسيراً متفوقاً لأنماط الاختيار البشري وأوقات الاستجابة في اتخاذ القرار تحت ظروف المخاطرة مقارنة بنهج التعلم المتماثل.

المؤلفون الأصليون: Shahdoust, N., Cowan, R. L., Price, T. A., Davis, T. S., Liu, A., Rabinovich, R., Zarr, V., Libowitz, M. R., Shofty, B., Rahimpour, S., Borisyuk, A., Smith, E. H.

نُشر 2026-03-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shahdoust, N., Cowan, R. L., Price, T. A., Davis, T. S., Liu, A., Rabinovich, R., Zarr, V., Libowitz, M. R., Shofty, B., Rahimpour, S., Borisyuk, A., Smith, E. H.

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: كيف نتعلم من المكاسب والخسائر

تخيل أنك تلعب لعبة حيث يتعين عليك تخمين ما إذا كانت البطاقة المخفية أعلى أم أقل من البطاقة التي تحملها. أحياناً تربح دولاراً، وأحياناً أخرى تخسر دولاراً.

لطالما تناقش العلماء حول سؤال بسيط: عندما نتعلم من هذه الألعاب، هل نعامل الربح والخسارة بنفس الطريقة تماماً؟

النظرية القديمة (التعلم المتماثل): تقول هذه النظرية إن أدمغتنا تشبه ميزانًا متوازنًا تمامًا. إذا ربحت دولارًا واحدًا، يقول دماغك: "رائع، افعل ذلك مجددًا!" وإذا خسرت دولارًا واحدًا، يقول: "سيء، لا تفعل ذلك!" وزن الربح والخسارة متطابق.
النظرية الجديدة (التعلم غير المتماثل): تقترح هذه الورقة البحثية أن أدمغتنا تشبه ميزانًا منحازًا. قد نتعلم بسرعة أكبر بكثير من الربح مقارنة بالخسارة، أو العكس. قد نتجاهل الخسائر الصغيرة لكننا نتحمس بشدة للمكاسب الكبيرة.

لقد هدفت هذه الدراسة لمعرفة أي نظرية هي الصحيحة في الواقع.

التجربة: لعبة بطاقات "ستارلينج" (Starling)

ابتكر الباحثون لعبة جديدة تسمى مهمة ستارلينج (Starling Task). وإليك كيف كانت تعمل:

الإعداد: ترى بطاقة (مثلاً الرقم 4). عليك أن تخمن ما إذا كانت بطاقة الخصم المخفية أعلى أم أقل.
التحول المفاجئ: مجموعة البطاقات ليست عادلة دائمًا.
- مجموعة منتظمة: جميع الأرقام (1-9) متساوية الاحتمال.
- مجموعة منخفضة: معظمها أرقام منخفضة (1، 2، 3).
- مجموعة عالية: معظمها أرقام عالية (7، 8، 9).
التحدي: أحيانًا تظل مجموعة البطاقات كما هي لفترة طويلة (حتى تتعلم النمط). وفي أحيان أخرى، تتغير المجموعة في كل جولة، وعليك الانتباه إلى دليل لوني لتعرف في أي مجموعة أنت.

لعب 47 شخصًا هذه اللعبة (بعضهم كانوا متطوعين أصحاء، والبعض الآخر مرضى صرع يتواجدون بالفعل في المستشفى للمراقبة العصبية). لعبوا مئات الجولات، حيث ربحوا أو خسروا أموالًا وهمية.

العمل الاستقصائي: اختبار النماذج

لم يكتفِ الباحثون بمراقبة الناس فحسب؛ بل بنوا خمسة "أدمغة" حاسوبية مختلفة (نماذج رياضية) لمعرفة أي منها يمكنه التنبؤ بما سيفعله البشر تاليًا بشكل أفضل.

روبوت "ابقَ مع الربح، غيّر عند الخسارة": روبوت بسيط يكرر الحركة ببساطة إذا فاز، ويغيرها إذا خسر. (مثل طفل صغير يتعلم المشي).
الروبوت "الجشع": يختار دائمًا الخيار الذي يعتقد أنه الأفضل، لكنه يجرب أحيانًا شيئًا عشوائيًا لمجرد الأمان.
الروبوت "الناعم": يختار الخيار الأفضل ولكنه يمزج القليل من العشوائية، مثل منحنى ناعم.
الروبوت "المتتبع المزدوج": يحتفظ بسجلين منفصلين: واحد لـ "كم من المال ربحت؟" والآخر لـ "ما مدى خطورة هذا؟".
الروبوت "الحساس للمخاطر" (RS): وهو نجم العرض. إنه يتعلم بشكل غير متماثل. لديه "سرعتان للتعلم" مختلفتان: سرعة للربح، وسرعة مختلفة للخسارة.

النتائج: الروبوت "الحساس للمخاطر" هو الفائز

بعد تحليل الأرقام، كان الروبوت الحساس للمخاطر (RS) هو الفائز بوضوح. لقد تنبأ بالسلوك البشري بشكل أفضل من أي نموذج آخر.

ماذا يعني هذا؟
يعني أنه عندما يتخذ البشر قرارات تحت وطأة المخاطرة، فإننا لا نعامل الربح والخسارة بالتساوي. نحن نحدث توقعاتنا بشكل مختلف اعتمادًا على ما إذا كانت النتيجة جيدة أم سيئة.

التشبيه: تخيل أنك تتعلم الطبخ.
- إذا أحرقت قطعة لحم (خسارة)، قد تفكر: "حسنًا، سأخفض الحرارة في المرة القادمة"، لكنك قد لا تتذكر درجة الحرارة بدقة تامة.
- إذا طبخت قطعة لحم مثالية (ربح)، قد تفكر: "أنا عبقري! سأفعل هذا بالتأكيد مرة أخرى!" وتتذكر درجة الحرارة بدقة شديدة.
- تشير الدراسة إلى أن أدمغتنا تعمل بهذا الشكل: نحن متعلمون غير متماثلين. نحن لا نكتفي بإضافة وطرح النقاط من لوحة النتائج؛ بل نزن التأثير العاطفي للربح بشكل مختلف عن الخسارة.

لماذا يهم هذا الأمر؟

1. يفسر سبب اتخاذنا لخيارات "غريبة".
أحيانًا يتخذ الناس مخاطر كبيرة لأنهم يتذكرون المكاسب الكبيرة بوضوح بينما ينسون الخسائر الصغيرة. هذا النموذج يشرح هذا السلوك تمامًا.

2. يساعدنا في فهم الصحة العقلية.
تشير الورقة البحثية إلى أن الأشخاص الذين يعانون من اضطرابات القمار أو الإدمان غالبًا ما يمتلكون أنظمة تعلم "معطلة". ربما تكون "سرعة تعلم الخسارة" لديهم بطيئة جدًا، لذا يستمرون في اللعب حتى بعد خسارة المال لأنهم لا يحدثون أدمغتهم بالسرعة الكافية لإدراك أن الأمر فكرة سيئة. هذا النموذج الجديد يمنح الأطباء أداة أفضل لفهم ومعالجة هذه الحالات.

3. يعمل للجميع.
من المثير للاهتمام أن الدراسة وجدت أن المصابين بالصرع لعبوا اللعبة بنفس كفاءة الأصحاء. الفرق الوحيد هو أن مرضى الصرع كانوا أبطأ قليلاً في الضغط على الأزرار. وهذا يخبرنا أن منطق كيفية تعلمنا (أي "البرمجيات") هو نفسه للجميع، حتى لو اختلف سرعة استجابتنا (أي "الأجهزة").

الخلاصة

إن اتخاذ القرار البشري ليس عملية حسابية باردة حيث يلغي (+1) و (-1) بعضهما البعض. بدلاً من ذلك، هو عملية ديناميكية حيث تضربنا المكاسب والخسائر بأوزان مختلفة.

نحن لسنا آلات حاسبة مثالية؛ بل نحن متعلمون حساسون للمخاطر. نحن نتعلم بسرعة أكبر من نتائج معينة أكثر من غيرها، وهذا عدم التماثل هو في الواقع المفتاح لفهم كيف نتنقل في عالم مليء بالمخاطر.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "التعلم التعزيزي غير المتماثل يفسر أنماط الاختيار البشري في اتخاذ القرار تحت المخاطرة."

1. بيان المشكلة

يعد اتخاذ القرار البشري في ظل عدم اليقين موضوعاً جوهرياً في العلوم المعرفية والعصبية، ومع ذلك لا تزال الآليات الحسابية التي تترجم الخبرة إلى اختيار محل نقاش. وبينما يعد التعلم التعزيزي (RL) إطاراً قياسياً، فمن غير الواضح ما إذا كان السلوك البشري في البيئات المحفوفة بالمخاطر يُفسر بشكل أفضل من خلال:

التحديث المتماثل: حيث يتم تحديث تقديرات القيمة للمكاسب والخسائر بنفس المعدل.
التعلم غير المتماثل: حيث يتم وزن المكافآت والخسائر بشكل مختلف (على سبيل المثال، التعلم من الخسائر بشكل أسرع من المكاسب، أو العكس).

تشير الأدبيات الحالية إلى أن الأحداث النادرة غالباً ما يتم تقليل وزنها، وأن الأفراد يتفاوتون في اعتمادهم على استراتيجيات مختلفة. ومع ذلك، كان هناك نقص في وجود نموذج موحد يمكنه رصد أنماط الاختيار من تجربة إلى أخرى، وزمن الاستجابة (RT)، والتأثير المحدد لمعدلات التعلم غير المتماثلة في بيئة مخاطرة محكومة. تهدف هذه الدراسة إلى تحديد قاعدة التعلم التي تفسر السلوك البشري بشكل أفضل في مهمة جديدة لاتخاذ القرار تحت المخاطرة.

2. المنهجية

المشاركون

الإجمالي: 47 مشاركاً (37 من الضوابط غير المصابين بالصرع، و10 مرضى يعانون من صرع مقاوم للأدوما).
الإعداد: أكمل المشاركون غير المصابين بالصرع المهمة عبر الإنترنت؛ بينما أكمل المرضى المهمة في وحدة الرعاية العصبية الحادة بالمستشفى.

المهمة: مهمة "ستارلينج" (Starling)

نموذج جديد للمخاطرة الساكنة حيث يتنبأ المشاركون بما إذا كانت بطاقتهم أعلى أو أقل من بطاقة الخصم غير المرئية.

المحفزات: بطاقات مرقمة من 1 إلى 9.
التغذية الراجعة: الاختيارات الصحيحة تمنح +0.50 دولار؛ والاختيارات الخاطئة تمنح –0.50 دولار.
التصميم التجريبي:
- كتل التثبيت (3 كتل): تعلم المشاركون توزيع مجموعة واحدة لكل كتلة:
  - الموحدة (Uniform): احتمالية متساوية للبطاقات من 1 إلى 9.
  - المنحازة منخفضاً (Low Skewed): احتمالية أعلى للأرقام المنخفضة (1–3).
  - المنحازة عالياً (High Skewed): احتمالية أعلى للأرقام العالية (7–9).
- كتلة المزج (كتلة واحدة): تتغير التوزيعات من تجربة إلى أخرى. استخدم المشاركون إشارة لونية لتحديد توزيع المجموعة الحالي.
المقاييس: الدقة، إجمالي المكافأة، زمن استجابة القلب (Flip RT)، وزمن استجابة الاختيار (Choice RT).

النماذج الحسابية

تمت ملاءمة خمسة نماذج مرشحة للتعلم التعزيزي (RL) لسجلات التجار تجربةً بتجربة للتنبؤ بالاختيارات وأزمنة الاستجابة (RT):

البقاء عند الربح/التحول عند الخسارة (WSLS): استدلال بسيط يعتمد على النتيجة السابقة.
ريس eventually-واجنر (RW) مع سياسة $\epsilon$ -Greedy: تعلم متماثل مع سياسة استكشاف-استغلال.
ريس eventually-واجنر (RW) مع دالة Softmax: تعلم متماثل مع سياسة احتمالية تعتمد على درجة الحرارة ( $\tau$ ).
نموذج Dual-Q: يحتفظ بقيم Q منفصلة لكل من المكافأة الصريحة والمخاطرة (عدم اليقين)، ويقوم بتحديثهما بشكل مستقل.
النموذج الحساس للمخاطرة (RS): يوسع نموذج RW باستخدام معدلات تعلم غير متماثلة ( $\alpha_+$ لخطأ التنبؤ بالمكافأة الإيجابي، و $\alpha_-$ لخطأ التنبؤ بالمكافأة السلبي) وسياسة Softmax. يختبر هذا النموذج ما إذا كانت المكاسب والخسائر تُعالج بشكل مختلف.

مسار التحليل

ملاءمة النموذج: تم تقدير المعلمات عبر البحث الشبكي (Grid Search) لتعظيم الاحتمالية اللوغاريتية.
مقاييس التقييم: الدقة (Accuracy)، الدقة (Precision)، الاستدعاء (Recall)، النوعية (Specificity)، معيار بايز للمعلومات (BIC)، ومعيار أكايكي (AIC).
الارتباط السلوكي: اختبرت تحليلات الانحدار مدى قدرة المتغيرات الكامنة المستمدة من النموذج (تحديداً فرق قيم Q، أو $\Delta Q$ ) على التنبؤ بزمن استجابة الاختيار (Choice RT) والاختيارات الثنائية.
استعادة المعلمات: تحققت عمليات المحاكاة من أن المعلمات الملائمة قابلة للتحديد.

3. النتائج الرئيسية

النتائج السلوكية

التعلم: أظهر المشاركون زيادات رتيبة في إجمالي المكافآت عبر التجار.
تأثيرات السياق: في "كتل التثبيت"، اعتمد المشاركون بشدة على الأولويات الأساسية للمجموعات (Base rates)، مما أدى إلى إزاحة حدود قرارهم نحو الخارج. في "كتلة المزج" (حيث يوجد عدم يقين سياقي عالٍ)، انهارت حدود القرار نحو المركز (البطاقة 5)، مما يشير إلى التحول نحو الأدلة الخاصة بكل تجربة وتجاهل المعدل الأساسي (Base-rate neglect).
الاختلافات بين المجموعات: أظهر المشاركون المصابون بالصرع أزمنة استجابة (Choice RT) أبطأ بشكل ملحوظ، ولكن مع دقة ومسارات مكافأة مماثلة للمجموعات الضابطة غير المصابة بالصرع، مما يشير إلى الحفاظ على سياسات القرار رغم الاختلافات في سرعة المعالجة أو الحركة.

مقارنة النماذج

تفوق نموذج RS: تفوق النموذج الحساس للمخاطرة (RS) بشكل كبير على جميع النماذج الأخرى (WSLS، $\epsilon$ $ϵ$ -Greedy، Softmax، Dual-Q) عبر جميع المقاييس:
- سجل أعلى مستويات في الدقة، والضبط، والاستدعاء، والنوعية.
- سجل أدنى قيم لـ $\Delta$ BIC و $\Delta$ AIC.
- قدم أفضل ملاءمة لمسارات إجمالي المكافأة ومنحنيات احتمالية الاختيار (Sigmoid fits).
فشل النماذج المتماثلة: فشلت النماذج المتماثلة (متغيرات RW) في التقاط التحولات الحادة في احتمالية الاختيار الملاحظة في المجموعات المنحازة. كما كان أداء نموذج Dual-Q، الذي يفصل بين المخاطرة والمكافأة صراحةً، أسوأ من أداء نموذج RS، مما يشير إلى أن الدماغ لا يتتبع بالضرورة المخاطرة كإشارة قيمة منفصلة، بل يزن النتائج بشكل غير متماثل.

تحليل المتغيرات الكامنة

$\Delta Q$ وزمن الاستجابة: أظهر فرق القيمة المستمد من نموذج RS ( $\Delta Q = Q_{up} - Q_{down}$ ) أقوى ارتباط سلبي مع زمن استجابة الاختيار (Choice RT). حيث تنبأت الفوارق الكبيرة في القيمة بقرارات أسرع، وقد نجح نموذج RS في التقاط هذه العلاقة بشكل أفضل من النماذج الأخرى.
عدم التماثل: قدر نموذج RS معدل تعلم الخسارة ( $\alpha_-$ ) بأنه كان غالباً قريباً من الصفر أو أقل بكثير من معدل تعلم المكسب ( $\alpha_+$ ). وهذا يعني أن المشاركين في هذه المهمة قللوا من وزن الخسائر بالنسبة للمكافآت، أو أن الخسائر ولدت تحديثات قيمة ضعيفة، مما أدى إلى "الالتصاق" بالخيارات ذات المكافآت العالية.

4. المساهمات الرئيسية

تحديد التعلم غير المتماثل: تقدم الدراسة دليلاً قوياً على أن اتخاذ القرار البشري تحت المخاطرة يُفسر بشكل أفضل من خلال معدلات تعلم غير متماثلة (أوزان مختلفة للمكاسب مقابل الخسائر) بدلاً من التحديث المتماثل أو تتبع المخاطرة المنفصل صراحةً.
تصميم مهمة مبتكر: يسمح تصميم مهمة "ستارلينج" بالتحكم الدقيق في عدم اليقين التوزيعي (الموحدة مقابل المنحازة) والانتقال من الأولويات المستقرة إلى السياقات المتقلبة (كتلة المزج).
الربط الميكانيكي بزمن الاستجابة (RT): يوضح البحث أن المتغيرات الكامنة لنموذج RS (تحديداً $\Delta Q$ ) لا تتنبأ فقط بما يختاره الناس، بل أيضاً بمدى سرعة اتخاذهم للقرار، مما يوفر حساباً موحداً للاختيار والتوقيت.
القدرة على التعميم السريري: تشير النتائج إلى أن الآلية الحسابية لتحديث القيمة غير المتماثل تظل محفوظة حتى في المجموعات السريرية (الصرع) حيث تكون سرعة المعالجة مختلة، مما يفصل بين "السياسة" و"التنفيذ".

5. الأهمية

الطب النفسي الحسابي: تدعم النتائج استخدام نماذج التعلم التعزيزي غير المتماثلة في فهم اضطرابات مثل القمار واستخدام المواد المخدرة، حيث يعد تغير الحساسية للمكافآت والخسائر سمة مميزة. إن اكتشاف أن الخسائر قد يتم تقليل وزنها ( $\alpha_- \approx 0$ ) يقدم تفسيراً ميكانيكياً لسبب استمرار الأفراد في السلوكيات الخطرة رغم التغذية الراجعة السلبية.
التقدم النظري: تتحدى الدراسة كفاية نماذج التعلم التعزيزي المتماثلة وضرورة بنى Dual-Q المعقدة. فهي تقترح أن تعديلاً بسيطاً لقاعدة التعلم (عدم التماثل) كافٍ لالتقاط السلوكيات البشرية المعقدة مثل تجاهل المعدل الأساسي والحساسية للمخاطر.
التوجهات المستقبلية: يقترح المؤلفون أن هذه المتغيرات الكامنة (RPEs غير المتماثلة) يمكن أن تكون أهدافاً لنماذج الترميز العصبي (مثل iEEG أو fMRI) لتحديد الركائز العصبية للتعلم غير المتماثل، والتي قد تقع في الجسم المخطط (striatum) أو القشرة الجبهية.

في الختام، تثبت الورقة البحثية أن التعلم التعزيزي غير المتماثل هو الإطار الأكثر اقتصاداً ودقة لتفسير خيارات الإنسان تجربةً بتجربة في البيئات المحفوفة بالمخاطر، مؤكدة أن البشر لا يعاملون المكاسب والخسائر كمدخلات متساوية لعملية التعلم.