Adaptive Noise in Human Game Play: An Information-Theoretic Signature that Separates Learning Models on Matching-Pennies Data

في دراسة حول كيفية تعلم البشر اتخاذ القرارات، غالباً ما ينظر العلماء إلى الألعاب التي يتنافس فيها لاعبان، محاولين كل منهما التفوق على الآخر. ومن الأمثلة الكلاسيكية على ذلك لعبة بسيطة وهي "مطابقة العملات المعدنية" (matching pennies)، حيث يفوز أحد اللاعبين إذا تطابقت العملتان، بينما يفوز الآخر إذا لم تتطابقا. وللنجاح في هذه اللعبة، يجب على اللاعب أن يكون غير قابل للتنبؤ؛ فإذا وقع في نمط معين، سيكتشفه خصمه ويستغله. وفي الوقت نفسه، يجب على اللاعب الانتباه لما يفعله خصمه لتعديل استراتيجيته الخاصة. وهذا يخلق توازناً دقيقاً: يحتاج اللاعب إلى أن يكون عشوائياً بما يكفي لتجنب كونه قابلاً للتنبؤ، وذكياً بما يكفي للتفاعل مع الشخص الآخر. لعقود من الزمن، عانت النماذج الحاسوبية القياسية المستخدمة لمحاكاة التعلم البشري من هذا التوازن. فعادة ما تبدأ هذه النماذج بالكثير من التخمين العشوائي، لكنها تصبح تدريجياً أكثر ثقة وحتمية مع تعلمها، لتستقر في النهاية في روتين جامد وقابل للتنبؤ. ومع ذلك، فإن هذا السلوك لا يطابق ما يفعله البشر فعلياً في المختبر.

يستقصي بحث جديد أجراه براتيوش ماهاديفيا (Pratyush Mahadevaiah) هذا التباين من خلال تحليل بيانات مئات الأشخاص الذين لعبوا هذه الألعاب عبر جلسات طويلة. وبدلاً من محاولة ملاءمة صيغة رياضية معقدة للنتائج، استخدم الباحث طريقة من نظرية المعلومات لقياس صفتين محددتين لسلوك اللاعبين بمرور الوقت. الصفة الأولى هي مقدار العشوائية، أو "الضجيج"، في خيارات اللاعب. أما الثانية فهي مقياس لمدى تأثر حركة اللاعب التالية بالحركة الأخيرة لخصمه. ومن خلال تتبع هذين العاملين عبر 108 مجموعات مختلفة من اللاعبين، يكشف البحث عن نمط متميز في السلوك البشري تفشل النماذج الحاسوبية القياسية في محاكاته. ويظهر البحث أن البشر يحافظون على مستوى ثابت من عدم القدرة على التنبؤ طوال اللعبة، بينما يظلون في الوقت نفسه شديدي الاستجابة لأفعال خصومهم. في المقابل، تصبح نماذج التعلم الأكثر شيوعاً التي يستخدمها العلماء شديدة القدرة على التنبؤ وتتوقف عن التفاعل مع خصومهم مع تقدم اللعبة.

تأتي البيانات من مجموعة كبيرة من التجارب حيث لعبت مجموعات مكونة من ثمانية أشخاص سلسلة من ألعاب مطابقة العملات لمدة 200 جولة لكل منها. وقد سجل الباحثون كل حركة قام بها كل لاعب، مما خلق جدولاً زمنياً مفصلاً للقرارات. ثم طبقوا قياساً محدداً لمعرفة مقدار المعلومات التي تحملها حركة اللاعب الحالية عن حركة خصمه السابقة. هذا القياس، المعروف باسم "إنتروبيا الانتقال" (transfer entropy)، يعمل بمثابة كاشف للاستجابة. فإذا كان اللاعب منتبهاً حقاً ويعدل استراتيجيته بناءً على ما فعله الشخص الآخر للتو، فسيكون هذا الرقم مرتفعاً. أما إذا كان اللاعب يتصرف فقط بناءً على منطقه الداخلي دون اعتبار للخصم، فسيكون الرقم منخفضاً. وعندما نظر الباحثون في البيانات البشرية، وجدوا أن اللاعبين حافظوا على مستوى عالٍ من العشوائية، حيث ظل متوسط مقياس عدم القدرة على التنبؤ حوالي 0.64 بت طوال اللعبة. والأهم من ذلك، أظهروا إشارة قوية للاستجابة، حيث كانت خياراتهم متأثرة بوضوح بالحركة الأخيرة لخصمهم.

وعند تطبيق نفس التحليل على نموذج حاسوبي قياسي يسمى "تعلم كيو" (Q-learning)، كانت النتائج مختلفة تماماً. هذا النموذج، الذي يُستخدم على نطاق واسع لمحاكة كيفية تعلم الوكلاء من المكافآت، بدأ ببعض العشوائية لكنه فقدها بسرعة. ففي غضون ثلاثين جولة تقريباً، أصبح سلوك النموذج قابلاً للتنبؤ بالكامل تقريباً، حيث انخفض مقياس عشوائيته إلى ما يقرب من الصفر. ولأنه أصبح قابلاً للتنبؤ للغاية، توقف أيضاً عن التفاعل مع خصمه؛ إذ انخفض مقياس الاستجابة إلى لا شيء تقريباً. واختبر الباحثون ما إذا كان مجرد تغيير إعدادات هذا النموذج الحاسوبي يمكن أن يحل المشكلة. حاولوا جعل النموذج أكثر عشوائية من خلال ضبط إعدادات "درجة الحرارة" الداخلية، لكن هذا أدى فقط إلى خلق مقايضة؛ فعندما جعلوا النموذج أكثر عشوائية، أصبح أقل استجابة للخصم. وعندما جعلوه أكثر استجابة، أصبح أقل عشوائية. لم تسمح أي إعدادات منفردة للنموذج بأن يكون غير قابل للتنبؤ ومنتبهاً في آن واحد، وهو المزيج الذي حققه البشر بشكل طبيعي.

ثم اختبرت الدراسة أربعة نماذج تعلم أخرى شائعة لمعرفة ما إذا كان بإمكان أي منها إعادة إنتاج النمط البشري. فشلت معظم هذه النماذج بطرق مماثلة: فبعضها أصبح جامداً وقابلاً للتنبؤ للغاية، بينما ظل البعض الآخر عشوائياً لكنه فشل في الانتباه للخصم. ومع ذلك، نجح نموذج محدد، يُعرف باسم "الجذب الموزون بالخبرة ذات الضبط الذاتي" (self-tuning experience-weighted attraction)، حيث فشلت النماذج الأخرى. هذا النموذج، الذي يحدث استراتيجيته بناءً على المكافآت الماضية وآلية تكتشف التغييرات في اللعبة، تمكن من البقاء عشوائياً ومستجيباً في آن واحد. وقد طابق سلوكه البيانات البشرية عن كثب، حيث شغل نفس المساحة على الرسم البياني التي وُجد فيها اللاعبون البشر. ورغم أن هذا النموذج لم يطابق الأرقام البشرية تماماً، إلا أنه كان الوحيد الذي اقترب من التقاط الطبيعة المزدوجة للعب البشري.

تشير النتائج إلى أن الطريقة التي يتعلم بها البشر في المواقف التنافسية تختلف هيكلياً عن كيفية عمل نماذج التعلم المعزز القياسية. فالبشر لا يصبحون ببساطة أكثر ثقة وأقل عشوائية مع اكتساب الخبرة؛ بل بدلاً من ذلك، يحافظون على مستوى ثابت من الضجيج التكيفي الذي يسمح لهم بالبقاء غير قابلين للتنبؤ مع الاستمرار في تتبع الخصم. لا تدعي الدراسة أنها تثبت أن هذا النموذج الحاسوبي المحدد هو بالضبط كيفية عمل الدماغ البشري، لكنها تحدد سمة حاسمة يجب أن يمتلكها أي نموذج ناجح للتعلم البشري. لكي يصف الناس بدقة كيف يلعبون هذه الألعاب، يجب أن يكون النموذج قادراً على أن يكون "ضوضائياً" ومنتبهاً في آن واحد. وتساعد هذه الرؤية في تضييق نطاق البحث عن نظريات أفضل للسلوك البشري، والانتقال من مجرد التنبؤات بما سيفعله الناس لاحقاً إلى فهم الخصائص الديناميكية لكيفية تعلمهم والتكيف مع مرور الوقت.