💬 NLP

Using Reinforcement Learning to Train Large Language Models to Explain Human Decisions

تُثبت هذه الورقة أن توظيف التعلم التعزيزي مع المكافآت القائمة على النتائج لضبط النماذج اللغوية الكبيرة مسبقة التدريب يُمكّنها من العمل كنماذج معرفية مزدوجة الغرض، تحقق في آن واحد دقة تنبؤية قوية وتولّد تفسيرات لغوية طبيعية قابلة للتفسير للخيارات البشرية المحفوفة بالمخاطر.

المؤلفون الأصليون: Jian-Qiao Zhu, Hanbo Xie, Dilip Arumugam, Robert C. Wilson, Thomas L. Griffiths

نُشر 2026-02-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jian-Qiao Zhu, Hanbo Xie, Dilip Arumugam, Robert C. Wilson, Thomas L. Griffiths

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيية وتشبيهات إبداعية.

الفكرة الكبرى: تعليم الذكاء الاصطناعي "التفكير بصوت عالٍ"

تخيل أن لديك طالباً فائق الذكاء (نموذج لغوي كبير، أو LLM) بارع للغاية في تخمين ما ستفعله تالياً. إذا عرضت عليه مسألة رياضية صعبة، فبإمكانه عادةً إعطاؤك الإجابة الصحيحة. ولكن، إذا سألته كيف توصل إلى تلك الإجابة، فقد يقول لك فقط: "كنت أعرفها فحسب"، أو يعطيك تفسيراً غامضاً لا يبدو منطقياً تماماً.

في عالم علم النفس، يسعى العلماء إلى نماذج لا تكتفي بمجرد تخمين الإجابة (التنبؤ بالسلوك البشري)، بل تشرح أيضاً لماذا يتخذ الناس تلك الخيارات (كشف الآلية المعرفية).

تسأل هذه الورقة البحثية: هل يمكننا تعليم الذكاء الاصطناعي ألا يكتفي بالتنبؤ بالقرارات البشرية فحسب، بل أن "يفكر بصوت عالٍ" بطريقة تشرح بالفعل علم النفس البشري؟

التجربة: لعبة "الخيار المحفوف بالمخاطر"

لاختبار ذلك، استخدم الباحثون لعبة نفسية كلاسيكية تسمى "الخيار المحفوف بالمخاطر". تخيل أنه عُرض عليك خياران:

الخيار (أ): ستحصل على 27 دولاراً بكل تأكيد.
الخيار (ب): لديك فرصة بنسبة 90% للحصول على 25 دولاراً، ولكن فرصة 10% للحصول على 92 دولاراً.

يضطر معظم الناس للاختيار بين رهان آمن ومقامرة محفوفة بالمخاطر. استخدم الباحثون مجموعة بيانات ضخمة تضم آلاف البشر الحقيقيين الذين اتخذوا هذه الخيارات. أرادوا تدريب ذكاء اصطناعي ليفحص الخيارات ويقول: "70% من الناس سيختارون الخيار (أ)، و30% سيختارون الخيار (ب)".

طرق التدريب الثلاث

جرب الباحثون ثلاث طرق مختلفة لتعليم الذكاء الاصطناعي هذه المهمة، مثل ثلاثة أساليب مختلفة في التدريب:

"الحافظ" (التدريب القياسي): عرضوا على الذكاء الاصطناٍ آلاف الأمثلة من الأسئلة والإجابات الصحيحة. تعلم الذكاء الاصطناعي تقليد النمط. لقد برع في تخمين النسب المئوية، لكنه لم يتعلم حقاً لماذا. كان الأمر يشبه طالباً حفظ نموذج الإجابات لكنه لا يستطيع شرح المسألة الرياضية.
"الحافظ المقنع" (أسلوب السنتور/Centaur): هذه نسخة متطورة من الطريقة الأولى حيث يُجبر الذكاء الاصطناعي على التركيز فقط على الأرقام الموجودة في الإجابة، متجاهلاً بقية النص. لقد برع أيضاً في التخمين، لكنه لم يولد تفسيراً جيداً.
"المدرب مع لوحة النتائج" (التعلم التعزيزي - RL): هذا هو بطل العرض. هنا، سُمح للذكاء الاصطناعي بكتابة "سلسلة من الأفكار" (عملية استدلال خطوة بخطوة) قبل إعطاء إجابته النهائية.
- اللمسة المبتكرة: لم يحصل الذكاء الاصطناعي على نقاط لمجرد كونه مصيباً فحسب، بل حصل على نقاط بناءً على مدى قرب تنبؤه النهائي مما فعله البشر الحقيقيون بالفعل.
- النتيجة: لكي يفوز بالنقاط، أدرك الذكاء الاصطناعي أنه بحاجة إلى "التفكير" كعالم نفس. بدأ يكتب أشياء مثل: "الناس يتجنبون المخاطر"، أو "إنهم يحسبون القيمة المتوقعة". ومن خلال محاولته الفوز باللعبة (مطابقة البيانات البشرية)، تعلم بالصدفة كيف يصيغ القواعد النفسية التي يتبعها البشر لفظياً.

النتائج: الذكاء الاصطناعي يصبح عالم نفس

وجد الباحثون أن طريقة "المدرب مع لوحة النتائج" (RL) كانت نقطة تحول لسببين:

التنبؤ الجيد: كان بارعاً تماماً في تخمين ما سيختاره البشر مثل الطرق الأخرى.
التفسير الجيد: كانت أجزاء "التفكير بصوت عالٍ" (سلسلة الأفكار) في الواقع تفسيرات نفسية عالية الجودة.
- التشبيه: تخيل أن الطرق الأخرى تشبه تطبيق الطقس الذي يقول: "ستمطر". أما طريقة (RL) فهي تشبه خبير الأرصاد الجوية الذي يقول: "ستمطر بسبب اصطدام جبهة باردة بهواء دافئ، مما يخلق ضغطاً منخفضاً".
- بدأ الذكاء الاصطناعي في استخدام مفاهيم نفسية حقيقية مثل تجنب المخاطر (الناس يكرهون الخسارة)، القيمة المتوقعة (إجراء الحسابات على الاحتمالات)، وتأثير اليقين (الناس يحبون الربح المضمون).

شرط "الذكاء"

كان هناك عقبة، رغم ذلك. جرب الباحثون طريقة "المدرب" نفسها على نموذج ذكاء اصطناعي أصغر وأضعف.

التشبيه: تخيل محاولة تعليم استراتيجية معقدة لطفل صغير مقابل طالب جامعي. الطفل (النموذج الصغير) لم يستطع فهم الرياضيات أو الاستراتيجية، حتى مع وجود المدرب. لقد ارتبك فقط وقدم إجابات سيئة.
الاستنتاج: نجحت طريقة "المدرب" فقط لأن النموذج الأساسي كان ذكياً بما يكفي لفهم المفاهيم. إذا لم يكن الذكاء الاصطناعي ذكياً بما يكفي لفهم "القيمة المتوقعة" منذ البداية، فلا يمكنك تدريبه على شرحها.

اختبار "تغيير الشكل"

لإثبات أن الذكاء الاصطناعي لم يكن مجرد يردد عبارات محفوظة، قام الباحثون بتغيير قواعد اللعبة. بدلاً من استخدام بيانات بشرية حقيقية، غدوا الذكاء الاصطناعي ببيانات تم إنشاؤها بواسطة روبوت يهتم فقط بالرياضيات (القيمة المتوقعة).

النتيجة: غير الذكاء الاصطناعي "تفكيره" فوراً. توقف عن التحدث عن المخاوف البشرية وتجنب المخاطر، وبدأ يتحدث بحت عن الرياضيات والمنطق.
الخلاصة: أثبت هذا أن الذكاء الاصطناዊ لم يكن ينسخ نصاً فحسب؛ بل كان يكيّف استدلاله بالفعل ليتناسب مع البيانات التي يتم تدريبه عليها. لقد كان حقاً "يتعلم" قواعد اللعبة المحددة التي يلعبها.

الملخص

تظهر هذه الورقة البحثية أنه إذا قمت بتدريب ذكاء اصطناعي ذكي على التنبؤ بالسلوك البشري باستخدام نظام مكافأة (مثل درجة في لعبة فيديو)، فإنه سيبدأ بشكل طبيعي في "التفكير بصوت عالٍ" مستخدماً نفس القواعد النفسية التي يستخدمها البشر. هذا يحول الذكاء الاصطناعي من مجرد مخمن بسيط إلى نموذج يمكنه شرح لماذا نتخذ تلك الخيارات التي نتخذها. ومع ذلك، فإن هذا لا ينجح إلا إذا كان الذكاء الاصطناعي ذكياً بما يكفي لفهم تلك المفاهيم في المقام الأول.

ملخص تقني: استخدام التعلم التعزيزي لتدريب النماذج اللغوية الكبيرة على تفسير القرارات البشرية

بيان المشكلة

يتمثل التحدي المركزي في النمذجة المعرفية في تطوير أنظمة لا تكتفي فقط بالتنبؤ بالسلوك البشري بدقة عالية، بل توفر أيضاً رؤى قابلة للتفسير حول الآليات المعرفية الكامنة وراءه. وبينما تحقق نماذج الشبكات العصبية المدربة على بيانات سلوكية واسعة النطاق أداءً تنبؤياً قوياً، إلا أنها غالباً ما تعمل كـ "صناديق سوداء"، حيث تقدم فهماً نظرياً محدوداً للعمليات المعرفية التي تلتقطها. ورغم أن العمل الأخير (مثل نموذج Centaur) قد أظهر أن النماذج اللغوية الكبيرة (LLMs) يمكن ضبطها بدقة للتنبؤ بالسلوك البشري بفعالية، إلا أن هذه النماذج تفتقر غالباً إلى القدرة على توليد تفسيرات صريحة بلغة طبيعية لسبب اتخاذ تلك التنبؤات. تعالج هذه الورقة المعضلة المتمثلة في الموازنة بين دقة التنبؤ وقابلية التفسير من خلال استكشاف ما إذا كان يمكن للنماذج اللغبية الكبيرة أن تعمل كنماذج معرفية مزدوجة الغرض، قادرة على التنبؤ والتفسير معاً.

المنهجية

يقترح المؤلفون إطار عمل لتدريب النماذج اللغوية الكبيرة على توليد مسارات استدلال صريحة (سلسلة الأفكد - Chain-of-Thought، أو CoT) تشرح الخيارات البشرية المحفوفة بالمخاطر. تركز الدراسة على مجال الخيار البشري المحفوف بالمخاطر (القرارات بين الخيارات الآمنة والمخاطرة) باستخدام مجموعة بيانات choices13k (Peterson et al., 2021).

الإعداد التجريبي

النموذج الأساسي المستخدم هو Qwen-2.5-7B-Instruct. يقارن المؤلفون بين ثلاث استراتيجيات تمييزية للضبط اللاحق تُطبق على وحدات التكيف منخفض الرتبة (LoRA):

الضبط الدقيق الخاضع للإشراف (SFT): تدريب تلقائي قياسي على بيانات الاختيار البشري منسقة بتنسيق JSON.
الضبط الدقيق بأسلوب Centaur: نسخة متغيرة حيث تساهم فقط الرموز (tokens) المقابلة لنسب الاختيار البشري (المحاطة بأقواس خاصة) في حساب الخسارة، مع حجب رموز الاستدلال أثناء التدريب.
التعلم التعزيزي (RL): يستخدم المؤلفون تحسين السياسة النسبي للمجموعات (GRPO) مع مكافآت قائمة على النتائج.

نهج التعلم التعزيزي (RL)

في إعداد التعلم التعزيزي، يولد النموذج عدة إكمالات مرشحة (بما في ذلك استدلال CoT وتنبؤ JSON النهائي) لمشكلة معينة. دالة المكافأة تعتمد حصرياً على النتيجة ومرتبطة بالحقيقة الأرضية للسلوك البشري:

مكافأة الصحة: تُعرف بـ $1 - |o_B - p_B|$ ، حيث $o_B$ هو الاحتمال المتوقع من النموذج للخيار B، و $p_B$ هو النسبة التجريبية للبشر الذين اختاروا الخيار B.
مكافأة التنسيق: مكافأة (تصل إلى 0.5) لتوليد مخرج JSON صحيح هيكلياً حيث يتبع التنبؤ عملية الاستدلال.
قيود التماسك: يتم معاقبة النموذج إذا لم تكن احتمالاته المتوقعة مجموعها 1 أو إذا خرجت عن النطاق [0, 1].

يستخدم تدريب التعلم التعزيزي حجم مجموعة قدره 12 مرشحاً لكل مطالبة، ويستخدم خوارزمية "GRPO Done Right"، التي تستبعد تطبيع المكافأة باستخدام الانحراف المعياري لمنع التحيز تجاه صعوبة السؤال.

تجارب الضبط (Control Experiments)

للتحقق من قدرة مسارات الاستدلال على التكيف، أجرى المؤلفون:

ضبط البيانات: استبدال البيانات البشرية ببيانات اصطناعية ناتجة عن نموذج تعظيم القيمة المتوقعة لمعرفة ما إذا كان الـ CoT سيتكيف مع هيكل البيانات الجديد.
ضبط النموذج: تكرار التجربة باستخدام نموذج أساسي أصغر وأضعف (Gemma-2-2B-Instruct) لاختبار الاعتماد على قدرة النموذج.

النتائج الرئيسية

الأداء التنبئي

دقة مقارنة: في نقاط الفحص النهائية، حقق النموذج المدرب بالتعلم التعزيزي دقة تنبؤية (متوسط مربع الخطأ على مجموعة الاختبار) مماثلة لكل من SFT القياسي وSFT بأسلوب Centaur ( $M \approx 0.0148$ للتعلم التعزيزي مقابل $0.0144$ لـ SFT). أظهرت الاختبارات الإحصائية عدم وجود فروق ذات دلالة إحصائية بين الطرق.
كفاءة التعلم: حقق التعلم التعزيزي انخفاضاً أسرع في خطأ التنبؤ بالنسبة لعدد الأمثلة المعالجة مقارنة بـ SFT، رغم أنه تكبد تكاليف حوسبة أعلى بسبب توليد عدة مرشحين لكل خطوة.
الاعتماد على قدرة النموذج: عند تطبيقه على نموذج Gemma-2-2B الأضعف، كان أداء التعلم التعزيزي أسوأ بكثير من طرق SFT. فشل النموذج الأضعف في توليد الآلية المعرفية الحرجة المتمثلة في "حساب القيمة المتوقعة"، مما أدى إلى ضعف الأداء التنبئي.

جودة الاستدلال (CoT)

ظهور الاستدلال: على عكس نماذج SFT وCentaur (التي لم تُدرب صراحة على توليد الاستدلال)، أنتج نموذج التعلم التعزيزي باستمرار استدلال CoT مفصلاً قبل تنبؤه النهائي.
الآليات المعرفية: كشف تحليل الـ CoT الناتج عن التعلم التعزيزي عن ظهور آليات معرفية محددة، وأبرزها حساب القيمة المتوقعة (Expected Value computation) والنفور من المخاطرة (Risk Aversion)، والتي شكلت حوالي 29-36% من رموز الاستدلال. وشملت الآليات الأخرى المحددة: نفور الخسارة، وتأثير اليقين، ووزن الاحتمالات.
القدرة على التكيف: في تجربة ضبط البيانات، عند التدريب على بيانات القيمة المتوقعة الاصطناعية، حوّل نموذج التعلم التعزيزي استدلاله للتركيز بشدة على حسابات القيمة المتوقعة، مما أثبت أن الـ CoT يتكيف مع هيكل بيانات التدريب بدلاً من كونه ثابتاً.
التأثير السببي: أظهرت تجربة "تبديل الـ CoT" أن استخدام الـ CoT الخاص بنموذج التعلم التعزيزي لتوجيه النموذج الأساسي قلل بشكل كبير من خطأ التنبؤ، بينما أدى استخدام الـ CoT الأصلي للنموذج الأساسي مع نموذج التعلم التعزيزي إلى زيادة الخطأ. يشير هذا إلى أن الاستدلال المولد عبر التعلم التعزيزي مرتبط سببياً بتحسين التنبؤات.
التقييم البشري: في تقييم بشري صغير النطاق، صنف الخبراء استدادات نموذج التعلم التعزيزي بأنها أكثر منطقية من استدادات النموذج الأساسي في 61.5% من التجارب.

الأهمية والادعاءات

تدعي الورقة أن التعلم التعزيزي باستخدام المكافآت القائمة على النتائج (RLVR) يمكنه استخراج مسارات استدلال عالية الجودة وقابلة للتفسير من النماذج اللغوية الكبيرة، والتي تعمل كنظريات لفظية لصنع القرار البشري.

النمذجة مزدوجة الغرض: يثبت هذا العمل أن النماذج اللغوية الكبيرة يمكن أن تعمل كنماذج معرفية تتنبأ بالسلوك البشري وتوفر تفسيرات باللغة الطبيعية للآليات المعرفية التي تحرك هذه السلوكيات في آن واحد.
العقلانية مقابل الاستدلالات (Heuristics): تشير النتائج إلى أنه، خلافاً لبعض الأدبيات التي تؤكد على الاستدلالات والتحيزات، فإن التوصيفات العقلانية (تحديداً حساب القيمة المتوقعة والنفور من المخاطرة) قد تكون القوى المهيمنة في تفسير الخيارات البشرية المحفوفة بالمخاطر عند النظر إليها من خلال عدسة هذه النماذج.
فرضية الاستخراج (Elicitation Hypothesis): تدعم النتائج "فرضية الاستخراج"، مما يشير إلى أن التعلم التعزيزي لا يعلم بالضرورة قدرات جديدة، بل يبرز ويعزز المعرفة النظرية الكامنة الموجودة بالفعل في النموذج اللغوي قبل التدريب. وبناءً على ذلك، فإن نجاح هذا النهج يعتمد بشدة على قدرة النموذج الأساسي؛ فالنماذج الأضعف تفشل في استخراج آليات الاستدلال اللازمة.
القابلية للتوسع: يوفر هذا المنهج بديلاً قابلاً للتوسع للنمذجة المعرفية اليدوية أو اكتشاف النماذج المدفوع من قبل الخبراء، حيث يقوم تلقائياً بتوليد نظريات قابلة للتفسير من بيانات سلوكية واسعة النطاق دون الحاجة إلى برمجة رمزية صريحة أو تدخل بشري في كل قرار.

يخلص المؤلفون إلى أنه بينما يعد التدريب اللاحق بالتعلم التعزيزي أكثر تكلفة حوسبية من SFT، فإنه يوفر مساراً فريداً لتطوير نماذج معرفية دقيقة كمياً وقابلة للتفسير نوعياً.