🧠 neuroscience

Deep Recurrent Q-Learning Captures the Behavioral DynamicsObserved in Deterministic and Stochastic Task Switching

تقترح هذه الورقة نموذج تعلم "كيو" المتكرر العميق الذي يحاكي بنجاح الديناميكيات السلوكية للمرونة المعرفية في سيناريوهات تبديل المهام من خلال التعلم على تحديث حالات الاعتقاد الداخلية وتفضيلات الأفعال دون الحاجة إلى إشارات صريحة أو تغيرات مشبكية أثناء التنفيذ، مما يتحدى الرؤية القائلة بأن التعلم المعزز غير مناسب لنمذجة مثل هذه العمليات.

المؤلفون الأصليون: Fagg, A. H., Diges, M., Rajala, A. Z., Habibi, G., Suminski, A. J., Populin, L.

نُشر 2026-03-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Fagg, A. H., Diges, M., Rajala, A. Z., Habibi, G., Suminski, A. J., Populin, L.

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: كيف نعرف متى نغير آراءنا؟

تخيل أنك تلعب لعبة فيديو حيث يتعين عليك الاختيار بين زرين: الأحمر والأزرق.

في الساعة الأولى، الضغط على الزر الأحمر يمنحك عملة ذهبية بنسبة 80% من المرات، بينما يمنحك الزر الأزرق عملة واحدة فقط بنسبة 20%. ستتعلم بسرعة أن تضغط على الأحمر.
فجأة، ودون أي علامة تحذيرية، تتغير اللعبة. الآن، أصبح الأزرق هو الفائز (بنسبة 80%)، والأحمر هو الخاسر.

الجزء الصعب هو أن اللعبة لا تخبرك متى حدث هذا التغيير. أنت تعرف فقط لأنك توقفت عن الحصول على العملات. ولكن إليك الخدعة: أحياناً تضغط على الزر الصحيح ومع ذلك لا تحصل على عملة (لأن اللعبة عشوائية). وأحياناً تضغط على الزر الخاطئ ومع ذلك تحصل على عملة (بسبب الحظ).

السؤال: كيف يكتشف دماغك: "حسناً، لقد تغيرت القواعد، أحتاج إلى التحول إلى الأزرق"، دون أن يرتبك بسبب الحظ العشوائي؟

يستكشف هذا البحث هذا السؤال من خلال مقارنة قرود حقيقية بدماغ كمبيوتر (نموذج ذكاء اصطناği) لمعرفة كيف يحلون هذا اللغز.

النظريتان المتنافستان

كان العلماء يتجادلون حول كيفية تعامل الدماغ مع هذا التحول. هناك فكرتان رئيسيتان:

نظرية "الطلاء البطيء" (التعلم التعزيزي القديم): تخيل أن دماغك عبارة عن جدار، والتعلم هو عملية طلاء هذا الجدار. لتغيير رأيك، عليك أن تدهن ببطء فوق اللون القديم بلون جديد. هذا يستغرق وقتاً ويعتمد على سرعة جفاف الطلاء (التغيرات المشبكية). إذا كان الطلاء بطيئاً، فستتحول ببطء.
نظرية "تحديث نظام تحديد المواقع GPS" (حالة الاعتقاد البايزي): تخيل أن دماغك هو نظام GPS. هو لا يحتاج إلى إعادة طلاء الخريطة؛ بل يحتاج فقط إلى تحديث موقعك الحالي بناءً على تقارير المرور الجديدة. إذا رأى الـ GPS ازدحاماً مرورياً مربكاً، فإنه يقول: "انتظر، أعتقد أنني في المدينة الخطأ"، ويعيد حساب المسار فوراً.

الصراع: قالت دراسة سابقة إن القرود تتصرف مثل الـ "GPS" (تحدث معتقداتها بسرعة بناءً على عدم اليقين) وليس مثل "الطلاء البطيء" (الذي يعتمد على التغيرات البيولوجية البطيئة). وظنوا أن نماذج الذكاء الاصطناعي لا يمكنها فعل ذلك لأنها كانت "ثقيلة في الطلاء" للغاية.

التحول المفاجئ: يقول هذا البحث: "مهلاً لحظة! لقد بنينا نوعاً جديداً من الذكاء الاصطناعي يعمل مثل الـ GPS أيضاً!"

الحل: "الدماغ العميق المتكرر"

بنى المؤلفون نموذج ذكاء اصطناعي خاص يسمى التعلم بـ Q المتكرر العميق (DRQL).

الجزء "المتكرر" (حلقة الذاكرة): فكر في هذا كأن لديه محقق يحتفظ بدفتر ملاحظات مستمر. في كل مرة يتخذ فيها القرد (أو الذكاء الاصطناعي) قراراً ويحصل على نتيجة (عملة أو لا عملة)، يقوم المحقق بتحديث دفتر الملاحظات. الدفتر لا يتذكر آخر عملة فقط؛ بل يتذكر النمط الخاص بالعملات خلال الدقائق القليلة الماضية. هذا هو حالة الاعتقاد (Belief State).
جزء "التعلم بـ Q" (الاستراتيجية): هذا هو المحقق الذي يقرر: "بناءً على دفتر ملاحظاتي، أي زر يجب أن أضغط عليه في المرة القادمة للحصول على أكبر عدد من العملات؟"

السحر: يتعلم الذكاء الاصطناعي تحديث دفتر ملاحظاته واتخاذ القرارات في نفس الوقت. هو لا يحتاج إلى "إعادة طلاء" دماغه للتحول بين المهام. هو فقط يحدث "اعتقاده الداخلي" عما يحدث الآن.

ماذا حدث في التجربة؟

اختبر الباحثون هذا الذكاء الاصطناعي وثلاثة قرود "ريسوس" حقيقية في لعبة الأزرار (الأحمر ضد الأزرق). جعلوا اللعبة صعبة عبر تغيير احتمالات المكافأة (مثلاً: 100% مقابل 0%، أو 80% مقابل 20%).

النتائج:

تعلم الذكاء الاصطناعي: تعلم نموذج الكمبيوتر اللعب بشكل مثالي، حتى عندما تغيرت القواعد سراً.
سلوك الـ "GPS": تماماً مثل القرود، استغرق الذكاء الاصطناعي وقتاً أطول للتحول عندما كانت اللعبة عشوائية جداً (80/20) وتحول بسرعة عندما كانت واضحة المعالم (100/0).
- تشبيه: إذا كنت تقود في ضباب (عدم يقين عالٍ)، فستستغرق وقتاً أطول لإدراك أنك أخطأت الطريق. أما إذا كنت تقود في طقس صافٍ (عدم يقين منخفض)، فستدرك ذلك فوراً.
لا حاجة لـ "الطلاء": قام الذكاء الاصطناعي بالتحول بين المهام دون الحاجة إلى تغيير اتصالاته الداخلية (المشابك العصبية) فعلياً أثناء اللعبة. لقد قام فقط بتحديث "اعتقاده الداخلي" عن العالم.

خدعة "إعادة تشغيل الخبرة"

لمعرفة ما كان يحدث داخل "دماغ" الذكاء الاصطناعي، قام الباحثون بشيء ذكي. أخذوا نفس تسلسل الخيارات والمكافآت التي قام بها قرد حقيقي وغذوا بها الذكاء الاصطناعي.

النتيجة: بدأ "دفتر ملاحظات" الذكاء الاصطناعي الداخلي (حالة الاعتقاد) يبدو تماماً مثل ما نعتقد أن دماغ القرد يفعله.
الاستبصار: بدأت الخلايا العصبية الداخلية للذكاء الاصطناعي في تتبع شيئين رئيسيين:
1. ما مدى عدم اليقين في اللعبة الآن؟ (هل الجو ضبابي أم صافٍ؟)
2. أي زر هو الفائز؟ (الأحمر أم الأزرق؟)

عندما تغيرت اللعبة، ارتفعت خلايا "عدم اليقين" في الذكاء الاصطناعي، وانقلبت خلايا "الفائز"، تماماً مثل نظام GPS يعيد حساب المسار.

لماذا يهم هذا؟

هذا البحث يعد أمراً كبيراً لأنه يسد الفجوة بين البيولوجيا وعلوم الكمبيوتر.

بالنسبة للبيولوجيا: يشير البحث إلى أن دماغ القرد قد لا يكون "يطلي ببطء" طريقه عبر تحولات المهام. بدلاً من ذلك، قد يستخدم نظام "حالة اعتقاد" سريع وديناميكي (مثل الذكاء الاصطناعي) للتعامل مع عدم اليقين. وهذا يساعد في تفسير سبب قدرة القرود (والبشر) على المرونة العالية.
بالنسب بالنسبة للذكاء الاصطناعي: يظهر لنا أننا لسنا بحاجة إلى برمجة قواعد معقدة للروبوتات للتعامل مع المواقف المتغيرة. إذا منحناهم حلقة ذاكرة، فيمكنهم اكتشاف كيفية التحول بين المهام بأنفسهم، تماماً مثل الدماغ الحي.

الخلاصة

كنا نعتقد سابقاً أن تغيير رأيك يتطلب عملية إصلاح بيولوجية بطيئة. يشير هذا البحث إلى أننا ربما، مثل نظام GPS ذكي أو محقق يمتلك دفتراً جيداً، نكون في الواقع سريعين جداً في تحديث "اعتقاداتنا" عندما يصبح العالم مربكاً. لقد أثبت الذكاء الاصطناعي أنك لست بحاجة لأن تكون قرداً بيولوجياً لتمتلك هذا النوع من المرونة؛ كل ما تحتاه هو النوع الصحيح من الذاكرة وحلقة التعلم.

1. بيان المشكلة

تتناول الورقة الآليات الحسابية الكامنة وراء المرونة المعرفية (Cognitive Flexibility)، وتحديداً القدرة على تبديل المهام عندما لا تكون الحاجة إلى التبديل مُشار إليها بشكل صريح.

السؤال الجوهري: هل يعتمد تبديل المهام على التغيرات المشبكية (معدلات التعلم في التعلم التعزيزي التقليدي) أم على تغيرات الحالة العصبية (تقدير حالة الاعتقاد حول المهمة الحالية)؟
الصراع: جادلت أعمال سابقة (Bartolo & Averbeck, 2020) بأن نماذج التعلم التعزيزي (RL) القياسية غير كافية لمهام المرونة المعرفية لأنها تعتمد على الديناميكيات المشبكية (معدلات تعلم بطيئة) للتبديل، بينما يقوم النوع غير البشري من الرئيسيات (NHPs) بالتبديل بناءً على غموض النتيجة (تقدير حالة الاعتقاد).
الفجوة: بينما نجحت النماذج البايزية (Bayesian models) في تفسير سلوك التبديل لدى الرئيسيات، إلا أنها تتطلب قواعد مصممة يدوياً لتحديث حالة الاعتقاد. يهدف المؤلفون إلى إثبات أن نموذج التعلم العميق لـ Q المتكرر (DRQL) يمكنه تعلم هذه الديناميكيات بشكل مستقل دون قواعد مصممة يدوياً، معتمداً فقط على تغيرات الحالة العصبية بدلاً من تحديثات الأوزان المشبكية أثناء عملية التبديل.

2. المنهجية

أ. النموذج التجريبي: مهمة تبديل الاحتمالات (PST)

تستخدم الدراسة عملية ماركوف لاتخاذ القرار تحت الملاحظة الجزئية (POMDT) تسمى مهمة تبديل الاحتمالات (PST).

العينات: ثلاثة قرود ريسوس (Rhesus monkeys) ذكرية بالغة (NHPs) ووكيل اصطناعي (نموذج DRQL).
هيكل المهمة:
- يختار الخاضعون للاختبار بين هدفين (على سبيل المثال: دائرة مقابل مربع) عبر حركات العين الرمشية (Saccadic eye movements).
- المكافآت احتمالية (مثلاً: 80% مقابل 20%).
- الكتل (Blocks): تعمل المهمة في كتل مكونة من 100 محاولة. عند نقطة عشوائية داخل الكتلة، تنعكس احتمالات المكافأة (على سبيل المثال: الهدف الذي كان بنسبة 80% يصبح 20%).
- لا توجد إشارات (No Cues): لا يتلقى الوكيل أو القرد أي إشارة صريحة بخصوص نوع المهمة، أو احتمالية المكافأة، أو اللحظة الدقيقة للتبديل. يجب عليهم استنتاج التبديل فقط من تاريخ الأفعال والنتائج.
الحالات: نُفذت المهام تحت مخططات مكافأة حتمية (100/0) وعشوائية (90/10، 80/20).

ب. بنية نموذج DRQL

يقترح المؤلفون نموذج تعلم Q العميق المتكرر الذي يربط بين شبكة عصبية متكررة (RNN) ومقدر دالة Q.

تقدير حالة الاعتقاد (RNN): تقوم شبكة متكررة ( $f(\cdot)$ ) بتحديث حالة الاعتقاد الداخلية ( $X_t$ ) بناءً على الحالة السابقة، والفعل الأخير ( $a_{t-1}$ )، والمكافأة الأخيرة ( $r_{t-1}$ )، وخطأ الفرق الزمني (TD error). هذا يستبدل قواعد تحديث الحالة البايزية المصممة يدوياً.
تقدير قيمة الفعل (Q-Network): تقوم شبكة تغذية أمامية ( $g_a(\cdot)$ ) بتقدير قيمة Q ( $Q(X_t, a)$ ) لكل فعل ممكن بناءً على حالة الاعتقاد الحالية.
هدف التدريب: يقلل النموذج من مربع خطأ الفرق الزمني (TD error) عبر سلسلة من المحاولات. ويستخدم استراتيجية $\epsilon$ -greedy (استكشاف بنسبة 10%) أثناء التدريب.
الابتكار الرئيسي: يتعلم النموذج تحديث حالة اعتقاده واختيار الأفعال في آن واحد. والأهم من ذلك، بمجرد تدريبه، يقوم النموذج بتبديل المهام دون الحاجة إلى مزيد من تحديثات الأوزان المشبكية؛ حيث يكون التبديل مدفوعاً بالكامل بتطور الحالة العصبية المتكررة.

ج. تقنيات التحليل

إعادة التشغيل التجريبي (Experience Replay - ER): تمت "إعادة تشغيل" النموذج المدرب باستخدام تسلسلات الأفعال ونتائج المكافآت الفعلية للرئيسيات. سمح ذلك للباحثين بمراقبة المتغيرات الكامنة الداخلية للنموذج (حالات الاعتقاد، قيم Q، أخطاء TD) كما لو كان النموذج هو القرد، مما وفر فرضية لما يجب أن يشفره دماغ الرئيسيات.
تقليل الأبعاد (Dimensionality Reduction): تم تطبيق تحليل المكونات الرئيسية (PCA) على حالة الاعتقاد المكونة من 10 أبعاد لتصور كيفية ترميز النموذج لاحتمالية المهمة وتفضيل الفعل.

3. المساهمات الرئيسية

التحقق من صلاحية التعلم التعزيزي (RL) للمرونة المعرفية: تفند الورقة الادعاء بأن التعلم التعزيزي غير قادر بطبيعته على نمذجة المرونة المعرفية. وتثبت أن DRQL يمكنه محاكاة سلوك الرئيسيات في التبديل دون الاعتماد على معدلات تعلم مشبكية بطيئة أثناء التبديل.
التعلم المستقل لحالة الاعتقاد: على عكس النماذج البايزية السابقة التي تتطلب قواعد تحديث مبرمجة يدوياً، فإن نموذج DRQL هذا يتعلم التمثيل الأمثل لحالة الاعتقاد وقاعدة التحديث مباشرة من البيانات.
الحالة العصبية مقابل التغيير المشبكي: تقدم الدراسة إثبات مفهوم حسابي بأن تبديل المهام يمكن تحقيقه من خلال التغيرات السريعة في الحالة العصبية (الديناميكيات المتكررة) بدلاً من التغيرات المشبكية البطيئة، مما يتماشى بشكل أفضل مع الملاحظات البيولوجية لتوقيت التبديل.
القابلية للتفسير البيولوجي: يقدم النموذج إطاراً قابلاً للتطبيق بيولوجياً حيث تعمل الشبكة العصبية المتكررة (RNN) كمراكم لـ "حالة الاعتقاد"، وتعمل شبكة Q كـ "محدد للفعل"، مما يعكس التفاعلات المحتملة بين القشرة أمام الجبهية (PFC) والمناطق تحت القشرية.

4. النتائج

الأداء السلوكي

ديناميكيات التبديل: أظهر كل من الرئيسيات ونموذج DRQL سلوكيات تبديل متشابهة. في المهام الحتمية (100/0)، قام كلاهما بالتبديل بسرعة (خلال 1-3 محاولات). وفي المهام العشوائية (80/20)، احتاج كلاهما إلى عدد أكبر بكثير من المحاولات للالتزام بالتبديل (ما يصل إلى 9-19 محاولة) مع زيادة عدم اليقين.
وقت التعافي: كان الوقت اللازم لاستعادة الأداء الأساسي بعد التبديل يتناسب عكسياً مع يقين المكافأة. طابقت منحنيات التعافي الخاصة بالنموذج بيانات الرئيسيات بشكل وثيق.

المتغيرات الكامنة الداخلية

قيم Q: تقاطعت قيمة الفرق بين قيم Q للفعلين ( $Q_0 - Q_1$ ) مع الصفر عند النقطة التي قرر فيها النموذج التبديل. تأخرت نقطة التقاطع هذه في الظروف العشوائية، مما يعكس تراكم الأدلة المطلوب للتغلب على عدم اليقين.
حالة الاعتقاد (RNN):
- العصبون 0: رمز لمخطط الاحتمالية (حتمي مقابل عشوائي). كانت مستويات التنشيط أعلى في المهام الحتمية.
- العصبون 9: رمز للفعل المفضل. تغير قطبه عندما حدد النموذج الفعل الأمثل الجديد.
- تحليل PCA: التقط أول مكونين رئيسيين (PC1 و PC0) احتمالية المهمة وتفضيل الفعل الحالي. أظهر مسار حالة الاعتقاد في هذا الفضاء انتقالاً واضحاً من حالة المهمة "القديمة" إلى حالة المهمة "الجديدة"، وكان سرعة الانتقال تعتمد على عدم يقين المكافأة.
خطأ الفرق الزمني (TD Error): ارتفع خطأ TD مباشرة بعد التبديل (مما يشير إلى "المفاجأة" من عدم توقع المكافأة) ثم انخفض مع تحديث النموذج لحالة اعتقاده. كانت شدة الارتفاع أكبر في المهام الحتمية لأن انتهاك التوقع كان أكثر قطعاً.

اتساق النموذج

تقاربت عشرون نسخة من النماذجة المدربة بشكل مستقل نحو حلول متشابهة، مما أظهر أداءً وتقديرات قيم Q متسقة، مما يشير إلى أن نهج DRQL يجد حلاً عالمياً قوياً لهذا الهيكل من المهام.

5. الأهمية

الأثر النظري: تجسر هذه الدراسة الفجوة بين التعلم التعزيزي (RL) والعلوم العصبية الإدراكية. وتثبت أن المرونة المعرفية المعقدة لا تتطلب استدلالاً بايزياً مصمماً يدوياً؛ بل يمكن أن تنبثق من بنيات التعلم العميق القياسية المدربة على مهام اتخاذ القرار المتسلسل.
رؤية الآلية العصبية: تدعم النتائج فرضية أن القشرة أمام الجبهية (PFC) تستخدم حالة اعتقاد ديناميكية لتوجيه السلوك. ويقترح النموذج أن "التبديل" في الدماغ هو تحول سريع في نشاط الجمهرة العصبية (تغير الحالة) مدفوعاً بالأدلة المتراكمة، وليس تغيراً هيكلياً بطيئاً في الأوزان المشبكية.
التطبيقات المستقبلية: إطار عمل DRQL قابل للتكيف للغاية. يمكن إعادة تدريبه لمهام ذات عدد مختلف من الأفعال أو قواعد المكافأة دون إعادة تصميم البنية، مما يجعله أداة قوية لتوليد توقعات قابلة للاختبار للتجارب الفيزيولوجية العصبية المستقبلية على الرئيسيات والبشر.

باختصار، تجادل الورقة بنجاح في أن التعلم العميق لـ Q المتكرر يوفر تفسيراً قابلاً للتطبيق بيولوجياً ومتيناً حسابياً للمرونة المعرفية، حيث يلتقط الديناميكيات السلوكية الدقيقة للرئيسيات في البيئات غير المستقرة من خلال تمثيلات حالة عصبية متعلمة.