Crosswalk Task: A naturalistic reinforcement learning paradigm for characterizing real-world risky behavior
يقدم المؤلفون "مهمة عبور الطريق" (Crosswalk Task)، وهي نموذج تعلم تعزيزي طبيعي يستخدم التعلم التعزيزي العكسي لالتقاط الفروق الفردية في تفضيلات المخاطر في العالم الحقيقي بشكل أكثر فعالية مقارنة بالمقاييس السلوكية التجميعية التقليدية.
في كل يوم، يتخذ الناس خيارات في أجزاء من الثانية توازن بين السلامة والسرعة. فالمشاة الذين يلقون نظرة خاطفة على سيارة قادمة قبل النزول من على الرصيف يوازنون بين مكافأة محتملة —وهي الوصول إلى الجانب الآخر بسرعة— وبين خطر جسيم. لقد حاول علماء النفس لفترة طويلة فهم سبب اتخاذ بعض الأشخاص لهذه المخاطر بينما ينتظر آخرون، لكن أدواتهم التقليدية غالباً ما تخفق في ذلك. ففي المختبر، قد يطلب الباحثون من الناس ملء استبيان حول استعدادهم للمخاطرة أو جعلهم يلعبون لعبة حاسوبية مبسطة ذات قواعد ثابتة. ومع ذلك، فإن هذه الأساليب غالباً ما تفشل في رصد الواقع المتغير والمعقد للعالم الحقيقي، حيث تعتمد القرارات على بيئة متغيرة وعواقب فورية. ولتجسير هذه الفجوة بين المختبر والحياة، احتاج الباحثون إلى وسيلة لمراقبة كيف يتصرف الناس فعلياً عندما تبدو الرهانات حقيقية، دون القيود الاصطناعية للتجربة المعيارية.
قام فريق من الباحثين في جامعة سيول الوطنية ومعهد جورجيا للتكنولوجيا بتطوير طريقة جديدة لدراسة هذا السلوك تسمى "مهمة ممر المشاة" (Crosswalk Task). فبدلاً من سؤال الناس عما سيفعلونه، أنشأوا محاكاة رقمية حيث يقود المشاركون شخصية عبر سلسلة من الطرق المزدحمة. الهدف بسيط: الوصول إلى أعلى الخريطة بأسرع ما يمكن. لكن المسار مليء بالسيارات المتحركة، والاصطدام ينهي اللعبة فوراً. تجبر هذه المهمة اللاعبين على اتخاذ خيارات ديناميكية مستمرة؛ إذ يمكنهم الاندفاع عبر الشارع، آملين أن تكون الفجوة في حركة المرور واسعة بما يكفي، أو يمكنهم الانتظار عند ممر مشاة مخصص حيث تتوقف السيارات من أجلهم. استخدام ممر المشاة أكثر أماناً ولكنه يستغرق وقتاً أطول، مما قد يعني نفاد الوقت قبل الوصول إلى خط النهاية. أما الاندفاع فهو أسرع ولكنه يحمل خطر التصادم. ومن خلال مراقبة كيفية تنقل الناس عبر هذه الخيارات مراراً وتكراراً، استطاع الباحثون رؤية أسلوبهم الحقيقي في المخاطرة أثناء العمل.
ولتحليل آلاف الحركات والقرارات التي اتخذها 309 بالغاً لعبوا اللعبة، استخدم الباحثون طريقة متطورة تسمى "التعلم المعكوس للتعزيز" (inverse reinforcement learning). في البرنامج الحاسوبي القياسي، أنت تخبر الآلة ما هي المكافأة، وهي تتعلم كيفية الحصول عليها. في هذا النهج، فعل الباحثون العكس تماماً: فقد راقبوا البشر وهم يلعبون وعملوا بشكل عكسي لمعرفة ما كان هؤلاء البشر يقدرونه. لقد بنوا نموذجاً يستنتج "المكافأة" غير المرئية التي يطاردها كل شخص. هل كان هذا الشخص يقدر السرعة لدرجة أنه كان مستعداً لتجاهل الخطر؟ هل كان شخص آخر يقدر السلامة لدرجة أنه أضاع الوقت في انتظار ممر مشاة لم يكن ضرورياً تماماً؟ سمحت هذه الطريقة للفريق بالكشف عن التفضيلات الخفية التي تقود السلوك، بدلاً من مجرد عد النقاط النهائية.
وجدت الدراسة أن هذه التفضيلات الخفية قدمت قصة أكثر وضوحاً بكثير مما فعلت درجات اللعبة البسيطة. فعندما نظر الباحثون في الأرقام الخام —مثل عدد المرات التي اصطدم فيها اللاعب أو مدى ارتفاع إجمالي درجاته— كانت العلاقة بـشخصية المخاطرة العامة للشخص ضعيفة. ومع ذلك، عندما استخدموا النموذج لاستنتاج المكافآت المحددة التي يسعى إليها كل شخص، أصبحت الصورة حادة وواضحة. كشف النموذج أن الأشخاص الذين سجلوا درجات عالية في مقاييس المخاطرة المبلغ عنها ذاتياً هم بالفعل أولئك الذين اختاروا عبور الشارع بشكل غير قانوني باستمرار، حتى في وجود ممر مشاة آمن قريب. والأهم من ذلك، أظهر النموذج أن الاختلافات الفردية في نزعة المخاطرة تنعكس بشكل أقوى في سلوك عبور الطريق تحت ظروف عقوبات التصادم الأعلى. هذا التفصيل، حيث تصبح الصلة بين الشخصية والسلوك أكثر وضوحاً مع زيادة الرهانات، كان تفصيلاً أغفلته درجات اللعبة البسيطة تماماً.
اكتشف الباحثون أيضاً أن الجمع بين أنواع مختلفة من البيانات يعطي أفضل النتائج. فقد اختبروا ما إذا كان النظر في درجات اللعبة فقط، أو المكافآت المستنتجة فقط، أو مزيج من كليهما، سيعطي توقعاً أفضل لشخصية المخاطرة لدى الفرد. وكان المزيج من كل من البيانات السلوكية والمكافآت المستنتجة هو الأفضل، حيث قدم صورة أكثر اكتمالاً للاختلافات الفردية مما يمكن لأي مقياس منفرد توفيره. يشير هذا إلى أنه لفهم كيفية مخاطرة الناس حقاً، نحتاج إلى النظر في ما يفعلونه وفي القيم غير المرئية التي تقود تلك الأفعال. لقد أتاح الفريق برمجيات هذه المهمة مجاناً للعلماء الآخرين، مما يسمح لهم بدراسة اتخاذ القرار في بيئة ديناميكية وطبيعية. ومن خلال الانتقال لما وراء الاختبارات الثابتة وإلى عالم يتغير ويتفاعل، يقدم هذا العمل عدسة جديدة لرؤية كيف نتنقل عبر مخاطر الحياة اليومية.
ملخص تقني: مهمة ممر المشاة (Crosswalk Task) – نموذج تعلم تعزيزي طبيعي لتوصيف السلوك الخطر في العالم الحقيقي
بيان المشكلة تعتمد المهام المختبرية التقليدية لدراسة اتخاذ القرار البشري غالبًا على بيئات مبسطة ومتحكم بها للغاية، والتي تفشل في محاكاة الطبيعة الديناميكية المعتمدة على السياق للسلوك الخطر في العالم الحقيقي. تثير هذه المحدودية تساؤلات حول الصلاحية البيئية للنتائج وقابليتها للتعميم في الإعدادات المعقدة. وتحديداً، أظهرت المقاييس السلوكية للمخاطرة تاريخياً توافقاً محدوداً عبر المهام المختلفة ومع مقاييس التقرير الذاتي، مما يشير إلى أنها قد لا تلتقط بنية أساسية موحدة. علاوة على على ذلك، فإن مناهج التعلم التعزيزي (RL) القياسية، التي تتعلم السياسات بناءً على وظائف مكافأة معروفة، غير كافية لتحليل المسارات الكثيفة (state-action trajectories) الناتجة في البيئات الطبيعية حيث تكون بنية المكافأة الداخلية كامنة (latent).
المنهجية لمعالجة هذه التحديات، طور المؤلفون مهمة ممر المشاة (Crosswalk Task)، وهي نموذج تعلم تعزيزي طبيعي تم تنفيذه في نسختين مفتوحتي المصدر: CrosswalkEnv (المعتمدة على Python/Gymnasium للاستخدام في المختبر أو المكتب) و CrosswalkWebEnv (المعتمدة على React لجمع البيانات على نطاق الويب).
هيكل المهمة: يقوم المشاركون بتوجيه لاعب عبر سيناريوهات مرورية يتم توليدها إجرائياً، بهدف الوصول إلى أعلى الخريطة بأسرع ما يمكن مع تجنب الاصطدام بالمركبات. تخلق المهمة مقايضة بين السلامة والسرعة: يمكن للمشاركين اختيار استراتيجيات متحفظة تجاه المخاطر (استخدام ممرات المشاة لإزالة خطر الاصطدام ولكن مع تحمل تكاليف زمنية) أو استراتيجيات مغامرة (عبور الشارع بشكل غير قانوني لتوفير الوقت ولكن مع مخاطرة عقوبات الاصطدام). تتغير الظروف المرورية ديناميكياً، بما في ذلك عدد المسارات، وسرعات المركبات، وألوان إشارات المرور (أخضر، أصفر، أحمر) والتي تقابل عقوبات اصطدام منخفضة، متوسطة، وعالية.
جمع البيانات: تم جمع البيانات السلوكية من 309 بالغين (تم الاحتفاظ بـ 282 بعد الفحص) من عينتين: عينة مختبر مكتبية (كوريا) وعينة قائمة على الويب (الولايات المتحدة). كما أكمل المشاركون مقاييس التقرير الذاتي بما في ذلك مقياس "دوزبيرت" (DOSPERT) للمخاطرة النوعية، ومقياس "بارات" للاندفاع (BIS-11)، ومقيثل "ستاي" (STAI) للقلق الصفتي والسمتي.
إطار التحليل:
المقاييس السلوكية: استخلص المؤلفون مقاييس تجميعية معيرة (مثل نسبة عبور الشارع غير القانوني، نسبة الدهس، ونسبة إنهاء المرحلة) لتلخيص الأداء.
التعلم التعزيزي العكسي (IRL): لالتقاط عمليات اتخاذ القرار الكامنة، طبق المؤلفون التعلم التعزيزي العكسي الخصمي (AIRL) باستخدام إطار عمل (Maximum Entropy Deep IRL). نجح هذا النهج في استنتاج وظائف المكافأة الخاصة بكل مشارك من مسارات الحالة-الفعل الملحوظة دون الحاجة إلى تسميات مكافأة صريحة. سمحت وظائف المكافأة المستنتجة بقياس التقييمات الذاتية لأفعال معينة (مثل عبور الشارع مقابل استخدام ممر المشاة) تحت سياقات بيئية متغيرة.
تعلم الآلة: أُجريت تحليلات الانحدار (Elastic Net و Multilayer Perceptron) والتحليل غير الخاضع للإشراف (k-means) لتقييم القدرة التنبؤية للمقاييس المستمدة من المهمة فيما يتعلق بتفضيلات المخاطرة المبلغ عنها ذاتياً.
المساهمات الرئيسية
نموذج مهمة ممر المشاة: بيئة تعلم تعزيزي طبيعية ومرنة تحاكي اتخاذ قرار المشاة في العالم الحقيقي تحت ظروف عدم اليقين، وهي متاحة كبرمجيات مفتوحة المصدر لكل من التجارب المحكومة وجمع البيانات عبر الإنترنت على نطاق واس-ع.
المقاييس المستمدة من IRL: إثبات أن التعلم التعزيزي العكسي يمكنه استخراج مكافآت ذاتية خاصة بالسياق من المسارات السلوكية، مما يوفر رؤية أكثر دقة لتفضيل المخاطر مقارنة بالمقاييس السلوكية الإجمالية.
البنية التحتية مفتوحة المصدر: إصدار CrosswalkEnv و CrosswalkWebEnv لتسهيل إعادة الإنتاج والتوسع في الأبحاث السلوكية وعلم الأعصاب.
النتائج
الصلاحية السلوكية: تم تحليل ستة مقاييس سلوكية. تباينت الارتباطات بين هذه المقاييس والمخاطرة المبلغ عنها ذاتياً (DOSPERT) حسب شدة عقوبة الاصطدام، مع ملاحظة ارتباطات أقوى في حالات العقوبة العالية.
أداء نموذج IRL: حققت نماذج AIRL دقة تمييز بلغت 0.67 (وهي أقرب إلى التوازن النظري البالغ 0.50 من التخمين العشوائي) وتنبأت بالأفعال الملحوظة بدقة 75%. أظهرت وظائف المكافأة المستنتجة أنماطاً منطقية: حيث تم تخصيص مكافآت أعلى لاستخدام ممر المشاة (السلامة) وللحالات التي تحتوي على عدد أقل من السيارات (مخاطر أقل)، وانخفضت المكافآت مع نفاد الوقت دون إكمال الهدف.
مؤشرات تفضيل المخاطر: تم تحديد خمسة مقاييس سلوكية وستة مقاييس مكافأة مستمدة من IRL كمؤشرات هامة لتفضيل المخاطر. أظهرت مقاييس IRL ارتباطات أقوى وأكثر اتساقاً مع درجات DOSPERT عبر المجالات مقارنة بالمقاييس السلوكية.
التحليل متعدد المتغيرات:
الانحدار: حقق نموذج Elastic Net الذي يجمع بين جميع المقايلة الـ 11 ارتباطاً قدره r=.36 مع درجات DOSPERT، متفوقاً على النماذج التي تستخدم المقاييس السلوكية فقط (r=.23) أو مقاييس IRL فقط (r=.31). يشير هذا إلى أن النظر المشترك في مقاييس متعددة مستمدة من المهمة يلتقط الفروق الفردية في تفضيل المخاطر بشكل أكثر فعالية من المقاييس الفردية.
التجميع: نجح التجميع غير الخاضع للإشراف باستخدام k-means باستخدام الـ 11 مقياساً في فصل المشاركين إلى مجموعات "المتحفظين تجاه المخاطر" و"المغامرين"، والتي تم التحقق من صحتها خارجياً من خلال الاختلافات الجوهرية في درجات DOSPERT الخاصة بهم.
الصلاحية التمييزية: أظهرت المؤشرات المختارة للمهمة ارتباطات محددة مع الميل للمخاطرة، ولكنها لم تظهر ارتباطاً منهجياً مع الاندفاع (BIS-11) أو القلق (STAI)، مما يدعم خصوصيتها كمقاييس للمخاطرة.
الأهمية تفترض الورقة أن مهمة ممر المشاة توفر أساساً لتطوير نماذج تعلم تعزيزي طبيعية ومرنة لدراسة اتخاذ القرار. ومن خلال دمج التعلم التعزيزي العكسي، تنتقل المهمة لما هو أبعد من مجرد الملخصات السلوكية البسيطة لتنمذج التقييمات الذاتية الكامنة التي تقود السلوك الخطر في العالم الحقيقي. ويزعم المؤلفون أن النظر المشترك في مقاييس متعددة مستمدة من هذا النموذج يكشف عن معلومات حول الفروق الفردية في تفضيل المخاطر لا تلتقطها المقاييس الفردية أو التقارير الذاتية التقليدية وحدها. ويهدف توفر الأدوات مفتوحة المصدر إلى دعم المجتمع العلمي الأوسع في إجراء دراسات قابلة للتوسع وذات صلاحية بيئية لدراسة اتخاذ القرار في البيئات الديناميكية.