Adaptive integration of model-based and model-free strategies in human reinforcement learning of reachable space
تُظهر هذه الدراسة، باستخدام مهمة متاهة روبوتية مبتكرة، أن البشر يدمجون بشكل تكيفي استراتيجيات التعلم المعزز القائمة على النموذج والتعلم المعزز الخالي من النموذج للتنقل في الفضاء القابل للوصول، حيث يتحولون نحو التحكم الخالي من النموذج الأكثر كفاءة مع زيادة الألفة، ويكشفون أن بنيات التعلم المكاني مشتركة عبر المقاييس ولكنها مُعايرة وفقًا للقيود المحددة لنظام الأداة المنفذة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
الفكرة الكبرى: كيف نتعلم تحريك أيدينا
تخيل أنك تحاول التقاط كوب قهوة من فوق طاولة مزدحمة. عليك أن تمد يدك، وتتفادى كومة من الأطباء، وتتجنب صدم مزهرية. يحدث هذا كل يوم، لكن العلماء لم يدرسوا حقاً كيف تتعلم أدمغتنا القيام بذلك حتى الآن.
يطرح هذا البحث سؤالاً بسيطاً: عندما نتعلم التنقل في مساحة معقدة بأيدينا، هل يستخدم دماغنا "خريطة GPS" (التخطيط المسبق) أم أنه يعتمد فقط على "ذاكرة العضلات" (التجربة والخطأ)؟
الإجابة هي: نحن نستخدم كلاهما، وننتقل بينهما مثل السيارات الهجينة.
التجربة: متاهة الروبوت
لمعرفة ذلك، قام الباحثون ببناء لعبة فيديو خاصة.
- الإعداد: جلس المشاركون أمام ذراع روبوتية. أمسكوا بمقبض يتحكم في كرة افتراضية على الشاشة.
- الهدف: تحريك الكرة من نقطة البداية إلى مربع هدف أحمر.
- العائق: كانت المتاهة مليئة بالكتل الرمادية. إذا اصطدمت بكتلة، سيقوم الروبوت بالضغط ضد يدك (مثل الاصطدام بجدار).
- التحول: اختبروا مجموعتين:
- مجموعة "المُبصرين": كان بإمكانهم رؤية المتاهة والكتل بالكامل.
- مجموعة "المكفوفين": لم يكن بإمكانهم رؤية المتاهة أو أيديهم. كان عليهم استكشاف الطريق باستخدام رد فعل الضغط الناتج عن الروبوت فقط.
وضعا الدماغ: المهندس المعماري مقابل صانع العادات
استخدم الباحثون نماذج حاسوبية لتخمين ما يحدث في أدمغة المشاركين. ووجدوا استراتيجيتين متمايزتين:
النموذج القائم على النموذج (المهندس المعماري):
- ما هو: هذا هو بناء دماغك لخريطة ذهنية. إنه يشبه نظام الـ GPS. تنظر إلى المتاهة، وتخطط لمسار، وتفكر: "إذا ذهبت يساراً، ثم للأعلى، سأصطدم بالجدار، لذا سأذهب يميناً بدلاً من ذلك".
- المزايا: مرن. إذا تغيرت المتاهة، يمكنك إعادة الحساب فوراً.
- العيوب: بطيء ومرهق. يتطلب الكثير من الطاقة الذهنية للتخطيط لكل خطوة.
النموذج الخالي من النموذج (صانع العادات):
- ما هو: هذا هو قيام دماغك بتخزين الحركات الناجحة. إنه يشبه السنجاب الذي يتذكر أين دفن الجوز. "لقد ذهبت يساراً هنا من قبل، وحصلت على المكافأة، لذا سأذهب يساراً مرة أخرى". هو لا يعرف لماذا ينجح الأمر، هو يعرف فقط أنه ينجح.
- المزايا: سريع جداً وتلقائي.
- العيوب: جامد. إذا تغيرت المتاهة، سيستمر السنجاب في الحفر في المكان الخطأ.
النتائج المفاجئة
1. نبدأ كمهندسين معماريين، ثم نصبح صناع عادات
في بداية اللعبة، استخدم الجميع استراتيجية المهندس المعماري. كانوا يخططون بعناية. ولكن مع لعب المزيد والمزيد من الجولات، انتقلوا ببطء إلى صانع العادات.
- التشبيه: فكر في تعلم قيادة طريق جديد. في البداية، تحدق في الـ GPS (التخطيط). بعد أسبوع، تقود بنظام "الطيار الآلي" دون تفكير (عادة). تُظهر الدراسة أن أدمغتنا تفعل ذلك تلقائياً لتوفير الطاقة.
2. مجموعة "المكفوفين" اعتمدت أكثر على العادات
المجموعة التي لم تستطع رؤية المتاهة اعتمدت على استراتيجية صانع العادات أكثر بكثير من المجموعة التي استطاعت الرؤية.
- لماذا؟ عندما لا تستطيع الرؤية، يكون بناء خريطة ذهنية مثالية أمراً صعباً وغير مؤكد. لذا يقول دماغك: "سأثق فقط بذاكرة عضلاتي في هذه المرة".
- التحول: حتى المجموعة التي استطاعت رؤية المتاهة تحولت في النهاية إلى العادات! وهذا يثبت أن أدمغتنا تتحول إلى العادات ليس فقط لأننا مشوشون، بل لأن التخطيط مكلف. بمجرد معرفة الطريق، نتوقف عن التخطيط لتوفير الطاقة الذهنية.
3. السرعة مقابل السلامة
إليك الجزء الأروع: الأشخاص الذين اعتمدوا أكثر على العادات كانوا يتحركون بسرعة أكبر.
- التشبيه: "المهندس المعماري" يشبه لاعب الشطرنج الذي يفكر لمدة 10 دقائق قبل تحريك قطعة. أما "صانع العادات" فهو يشبه رد الفعل المنعكس.
- وجدت الدراسة أنه عندما يتحرك الناس بشكل أسرع، فإنهم يستخدمون "دماغ العادات" أكثر. ومن المثير للاهتمام أن هؤلاء المتحركين السريعين اصطدموا بكتل أقل أيضاً. لماذا؟ لأن العادات تكرر ما نجح سابقاً، وتتجنب المسارات المحفوفة بالمخاطر أو غير المستكشفة التي قد يحاول "المهندس المعماري" حسابها.
المقارنة الكبرى: اليد مقابل القدم
قارن الباحثون لعبة متاهة اليد مع لعبة مماثلة حيث "يمشي" الأشخاص عبر متاهة افتراضية باستخدام كرسي.
- النتيجة: اعتمد الناس أكثر بكثير على العادات عند استخدام أيديهم مقارنة باستخدام أقدامهم.
- السبب: المشي بطيء ومرهق. إذا اتخذت منعطفاً خاطئاً أثناء المشي، فسيكلفك ذلك الكثير من الوقت. لذا، يجبرك دماغك على التخطيط بعناية (وضع المهندس المعماري).
- الفرق في اليد: تحريك اليد سريع وغير مكلف. إذا اتخذت منعطفاً خاطئاً قليًلاً بيدك، فسيستغرق الأمر جزءاً من الثانية فقط. ولأن "عقوبة" الخطأ منخفضة جداً، يشعر دماغك بالأمان الكافي لاستخدام عادات سريعة وتلقائية فقط.
الخلاصة
أدمغتنا مهندسون أذكياء للغاية. نحن لا نلتزم بطريقة واحدة فقط للتعلم.
- عندما نتعلم شيئاً جديداً، نحن نخطط (المهندس المعماري).
- بمجرد أن نتقن الأمر، ننتقل إلى العادات (صانع العادات) لتوفير الطاقة والتحرك بشكل أسرع.
- نحن ننتقل إلى العادات بشكل أسرع عندما تكون المهمة سريعة وسهلة (مثل تحريك اليد) مقارنة بما هي عليه عندما تكون بطيئة ومكلفة (مثل المشي).
باخت-القول: نحن جميعاً متعلمون هجينون. نبني خرائط عندما نحتاج إليها، ولكن بمجرد أن نستطيع، نترك عاداتنا تتولى القيادة حتى نتحرك بشكل أسرع ونحرر أدمغتنا لأشياء أخرى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.