Comparing Exploration-Exploitation Strategies of LLMs and Humans: Insights from Standard Multi-armed Bandit Experiments

فيما يلي ملخص تقني مفصل للورقة البحثية بعنوان "مقارنة استراتيجيات الاستكشاف والاستغلال للنماذج اللغوية الكبيرة والبشر: رؤى من تجارب المخطط متعدد الأذرع القياسية".

1. بيان المشكلة

تعالج الورقة فجوة حرجة في فهم ما إذا كانت النماذج اللغوية الكبيرة (LLMs) يمكنها محاكاة سلوك اتخاذ القرار البشري بشكل موثوق في البيئات المعقدة والمتسلسلة تحت ظروف عدم اليقين. وتحديداً، تفحص الورقة مقايضة الاستكشاف والاستغلال (E&E)، وهي تحدٍ معرفي أساسي حيث يجب على الوكلاء الموازنة بين الاستفادة من الخيارات المربحة المعروفة (الاستغلال) وبين البحث عن احتمالات جديدة قد تؤدي إلى نتائج أفضل (الاستكشاف).

على الرغم من الاستخدام المتزايد للنماذج اللغوية الكبيرة كـ "توائم رقمية" لمحاكاة السلوك البشري، إلا أنه لا يزال من غير الواضح ما إذا كانت تُظهر نفس الاستراتيجيات التكيفية، والموجهة نحو الأهداف، والمتجذرة معرفياً كما يفعل البشر، لا سيما في البيئات غير المستقرة. وتتساءل الورقة: هل يمكن للنماذج اللغوية الكبيرة محاكاة سلوك الاستكشاف والاستغلال البشري بشكل موثوق، وكيف تؤثر قدرات "التفكير" (مثل سلسلة الأفكام - Chain-of-Thought، أو آثار الاستدلال الداخلي) على هذه الاستراتيجيات؟

2. المنهجية

التصميم التجريبي

استخدم المؤلفون تجربتين نموذجيتين للمخطط متعدد الأذرع (Multi-Armed Bandit - MAB) تُستخدمان على نطاق واسع في العلوم المعرفية والطب النفسي لضمان القابلية للمقارنة مع البيانات البشرية:

1. المخطط ذو الذراعين المستقر (Stationary 2-Armed Bandit): إعداد بسيط يتكون من 20 جولة، كل جولة تضم 10 أدوار. المكافآت عشوائية ولكنها مستقرة (متوسط ثابت).
2. المخطط ذو الأربعة أذرع غير المستقر (Non-Stationary 4-Armed Bandit): إعداد معقد يتكون من 300 دور، حيث تتبع متوسطات المكافآت عملية "السير العشوائي الغاوسي المتلاشي" (Gaussian Random Walk). يختبر هذا الإعداد القدرة على التكيف مع البيئات المتغيرة.

الوكلاء والحالات

قارنت الدراسة ثلاث فئات من الوكلاء:

• المشاركون البشر: بيانات من تجارب مخبرية مضبوطة (Gershman 2018; Chakroun et al. 2020a) بـ 45 و31 مشاركاً على التوالي.
• وكلاء النماذج اللغوية الكبيرة (LLM Agents): ثلاث عائلات من النماذج التجارية (ChatGPT, Gemini, DeepSeek)، تم اختبارها في تكوينين:
  • النماذج الأساسية (Base Models): الاستدلال القياسي (مثل GPT-4o-mini، Gemini-2.0-flash، DeepSeek-V3).
  • نماذج التفكير (Thinking Models): نماذج ذات قدرات استدلال صريحة (مثل GPT-o3-mini، Gemini-2.5-flash، DeepSeek-R1).
  • تنوعات التلقين (Prompting Variations): بالنسبة للنماذج الأساسية، اختبر المؤلفون سلسلة الأفكار (CoT) ("التفكير بصوت عالٍ") مقارنة بالإجابة المباشرة. أما بالنسبة لنماذج التفكير، فقد قاموا بتنشيط أوضاع الاستدلال الدالي أو تعديل ميزانيات الاستدلال.
• المخططات الخوارزمية المرجعية (Algorithable Baselines): خوارزميات المخطط متعدد الأذرع القياسية، بما في ذلك "الحد الأعلى للثقة" (UCB)، و"أخذ عينات تومسون" (Thompson Sampling - TS)، و"إبسيلون-جشع" ($\epsilon$-greedy).

النمذجة السلوكية والتقدير

لتوصيف استراتيجيات الاختيار، استخدم المؤلفون نماذج اختيار قابلة للتفسير من العلوم المعرفية:

• قاعدة التعلم: متعلم بايزي (مرشح كالمان - Kalman Filter) لتقدير المكافآت المتوقعة ($Q$) وعدم اليقين ($S$) لكل ذراع.
• قواعد الاختيار:
  • نماذج قائمة على Softmax (SM-1, SM-2, SM-3): تحتوي على معاملات للاستكشاف العشوائي ($\beta$)، والاستكشاف الموجه/مكافأة عدم اليقين ($\phi$)، والمثابرة في الاختيار ($\rho$).
  • انحدار بروبيت (Probit Regression): استُخدم في مهمة الذراعين لنمذجة فروق القيمة وعدم اليقين.
• التقدير: استُخدم نهج بايزي هرمي لتقدير المعاملات على مستوى المجتمع مع مراعاة التباين الفردي. تم إجراء اختيار النماذج باستخدام التحقق المتبادل "ترك واحد خارج الاختبار" (LOO-CV).

3. المساهمات الرئيسية

1. المقارنة المباشرة بين البشر والنماذج اللغوية الكبيرة في الإعدادات المعقدة: بخلاف الدراسات السابقة المقتصرة على إعدادات بسيطة بذراعين أو معايير خوارزمية، توفر هذه الدراسة أول مقارنة مباشرة بين النماذج اللغوية الكبيرة والبشر في مهام المخطط متعدد الأذرع (4 أذرع) المستقرة وغير المستقرة تحت ظروف تجريبية متطابقة.
2. فك الارتباط بين قدرات "التفكير": تعزل الدراسة بشكل منهجي تأثير الاستدلال من خلال مقارنة النماذج الأساسية مع تنويعات تلقين "سلسلة الأفكار" (CoT) مقابل نماذج التفكير الأصلية ذات وظائف الاستدلال القابلة للتبديل. وهذا يتجاوز مجرد مقاييس الأداء البسيطة ليصل إلى تحليل آلية اتخاذ القرار.
3. البارامترية السلوكية: بدلاً من مجرد قياس الندم (Regret)، رسم المؤلفون سلوك النماذج اللغوية الكبيرة على معاملات معرفية راسخة ($\beta, \phi, \rho$)، مما سمح بتحليل مميز لـ كيفية استكشاف النماذج (عشوائياً أم موجهاً) وليس فقط مدى جودة أدائها.
4. تحليل مواصفات النموذج: يوضح المؤلفون أن هذه النماذج المعرفية، حتى عند تطبيقها على وكلاء غير بشريين (خوارزميات/نماذج لغوية)، تعمل كـ "إطار إسقاط" صالح لاستخراج البصمات السلوكية القابلة للتفسير.

4. النتائج الرئيسية

استراتيجيات الاستكشاف

• النماذج اللغوية الأساسية: أظهرت استكشافاً عشوائياً أعلى بكثير واستكشافاً موجهاً أقل مقارنة بالبشر. كما أنها تفتقر إلى "المثابرة في الاختيار" (تكرار الاختيار) المتسقة التي لوحظت لدى البشر.
• تأثير التفكير: يؤدي تنشيط عمليات الاستدلال (عبر CoT أو الاستدلال الداخلي) إلى تحويل سلوك النماذج اللغوية نحو الأنماط الشبيهة بالبشر:
  • في الإعداد المستقر: تزيد النماذج القادرة على التفكير بشكل كبير من الاستكشاف الموجه ($\phi$) وتقلل من الاستكشاف العشوائي ($\beta$)، وغالباً ما تصل إلى مستويات البشر أو تتفوق عليهم.
  • في الإعداد غير المستقر: رغم أن التفكير يحسن الأداء، إلا أن النماذج اللغوية الكبيرة لا تزال تعاني في تحقيق التكيف. فهي تفشل في الحفاظ على الاستكشاف الموجه الفعال في البيئات المعقدة والمتغيرة، حيث تُظهر قيم $\phi$ سالبة أو قريبة من الصفر، بينما يحافظ البشر على استكشاف موجه إيجابي.

مقاييس الأداء (الندم والاستغلال)

• المستقر (ذراعين): حققت النماذج اللغوية الأساسية مستويات ندم مقاربة للبشر والخوارزميات. وأدت نماذج التفكير إلى أداء مماثل أو أفضل قليلاً.
• غير المستقر (أربعة أذرعة):
  • البشر: حققوا أدنى مستويات الندم التراكمي وأظهروا قدرة فائقة على التكيف مع هياكل المكافآت المتغيرة.
  • النماذج اللغوية الأساسية: تراكمت لديها مستويات الندم بشكل أسرع بكثير من البشر وأظهرت معدلات استغلال متذبذبة (التمسك المفرط بالأذرع المبكرة).
  • نماذج التفكير: قللت الندم بشكل كبير مقارنة بالنماذج الأساسية وقربت الأداء من المستويات البشرية (مثل Gemini-2.5-flash وDeepSeek-R1)، لكنها لا تزال تتخلف عن التكيف البشري في السيناريوهات الأكثر تعقيداً.

الديناميكيات طويلة المدى

• في المهام المستقرة الممتدة (300 دورة)، تثبت نماذج التفكير معاملاتها السلوكية بمرور الوقت، بينما تُظهر النماذج الأساسية تبايناً عالياً.
• يُظهر تحليل باستخدام إطار عمل QCARE أن النماذج الأساسية غالباً ما تعاني من "الاستكشاف المفرط" (عدم تلاشي الضوضاء الهيكلية)، بينما تحقق نماذج التفكير توازناً أفضل يقترب من الحد الأمثل النظري ($\alpha \approx 0.5$).

5. الأهمية والآثار المترتبة

• حدود المحاكاة البشرية: على الرغم من أن النماذج اللغوية الكبيرة يمكنها محاكاة استراتيجيات الاستكشاف والاستغلال البشرية في البيئات البسيطة والثابتة عند حثها على "التفكير"، إلا أنها تفتقر حالياً إلى التكيف القوي المطلوب في السيناريوهات الواقعية المعقدة وغير المستقرة. فهي تواجه صعوبة في الحفاظ على استكشاف موجه نحو الهدف عندما تتغير البيئة.
• دور التفكير: تقدم الدراسة دليلاً تجريبياً على أن قدرات الاستدلال (وليس مجرد عشوائية التوليد) هي المحرك الأساسي لتحسين استراتيجيات الاستكشاف والاستغلال في النماذج اللغوية الكبيرة. إن تنشيط آثار الاستدلال هو وسيلة فعالة ومنخفضة التكلفة لمواءمة سلوك النماذج اللغوية مع اتخاذ القرار الشبيه بالبشر دون الحاجة لتغييرات هيكلية.
• التطبيقات العملية: بالنسبة لأنظمة اتخاذ القرار الآلية (مثل الاكتشاف العلمي، أو تخصيص الموارد الديناميكي)، فإن الاعتماد على النماذج اللغوية الأساسية في البيئات غير المستقرة قد يؤدي إلى نتائج غير مثالية. ومع ذلك، فإن دمج وحدات الاستدلال الصريحة أو هندسة التلقين يمكن أن يقلل من هذه المخاطر بشكل كبير.
• الاتجاهات المستقبلية: تقترح الورقة أن العمل المستقبلي يجب أن يركز على مواءمة النماذج اللغوية الكبيرة بشكل أفضل مع عدم الاستقرار من خلال الضبط الدقيق (Fine-tuning) ودمج التباين الديموغرافي/الفردي في تلقينات المحاكاة لتحسين دقة "التوائم الرقمية".

باختصار، تخلص الورقة إلى أنه بينما تعد النماذج اللغوية الكبيرة محاكيات قوية للسلوك البشري، فإن قدرات "التفكير" الحالية تمثل سلاحاً ذا حدين: فهي تسد الفجوة في المهام البسيطة ولكنها تكشف عن قصور جوهري في التكيف مع عدم اليقين المعقد والديناميكي مقارنة بالحدس البشري.