Can LLMs Simulate Personas with Reversed Performance? A Systematic Investigation for Counterfactual Instruction Following in Math Reasoning Context
تقدم هذه الورقة معياراً لـ "اتباع التعليمات الواقعية المضادة" لتوضيح أن النماذج اللغوية الكبيرة المتطورة، بما في ذلك نماذج الاستدلال، تعاني بشكل جوهري من صعوبة في محاكاة الشخصيات ذات مستويات الأداء المعكوسة (مثل الطلاب ذوي الكفاءة المنخفضة) في مهام الاستدلال الرياضي، وهو قصور يتفاقم بشكل أكبر عند تقاطع الأداء مع السمات الديموغرافية مثل العرق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً فائق الذكاء وكلي المعرفة. لقد دربت هذا الروبوت على كل كتاب رياضيات كُتب على الإطلاق، لذا فهو عبارة عن عبقري في حل المشكلات. الآن، تطلب من هذا الروبوت أن يلعب لعبة: "تظاهر بأنك طالب يعاني حقاً في الرياضيات. ارتكب أخطاءً، وكن مرتبكاً، وأظهر الإحباط."
قد تعتقد: "سهل جداً! فقط اطلب من الروبوت أن يتصرف بغباء". لكن هذا البحث يكشف عن تحول مفاجئ: الروبوت يرفض التظاهر بالغباء. حتى عندما تعطيه تعليمات محددة للغاية ليمثل دور طالب "سيئ"، فإنه يستمر في محاولة أن يكون طالباً "جيداً".
إليك تفصيل لما وجده الباحثون، باستخدام بعض التشبيهات من الحياة اليومية.
1. "الممثل الذي لا يستطيع نسيان نصّه"
فكر في النماذج اللغوية الكبيرة (LLMs) مثل ممثلي "المنهج" (Method Actors) الذين قضوا سنوات في التدريب على دور "الخبير المثالي". إنهم بارعون جداً في هذا الدور لدرجة أنه عندما تطلب منهم لعب دور "الطالب المتعثر"، لا يمكنهم الخروج من الشخصية.
- الهدف: أراد الباحثون معرفة ما إذا كان بإمكان نماذج الذكاء الاصطناعي محاكاة شخصية "واقعية مغايرة" (Counterfactual Persona) — أي شخص يؤدي عكس موهبته الطبيعية.
- الواقع: عندما طُلب منها حل مسألة رياضية بصفتها "طالباً ضعيف الأداء"، غالباً ما كانت تظل تعطي الإجابة الصحيحة. كان الأمر يشبه أن تطلب من طاهٍ محترف أن يطبخ وجبة محترقة وغير مملحة، لكن الطاهي يستمر في صنع طبق حائز على نجمة ميشلان عن طريق الخطأ على أي حال.
2. الطريقتان لقياس "سوء التمثيل"
نظر الباحثون في أداء الذكاء الاصطناعي بطريقتين:
- الدرجة (الدقة): هل حصل الذكاء الاصطناعي على الإجابة الرياضية الصحيحة؟
- النتيجة: معظم نماذج الذكاء الاصطناعي حصلت بالفعل على الإجابة الصحيحة، حتى عندما طُلب منها الفشل. لم تستطع منع نفسها من الحصول على النتيجة الرياضية الصحيحة.
- الأسلوب (طريقة التفكير): هل بدا عليها "صوت" المعاناة؟
- النتيجة: هنا أصبح الأمر مثيراً للاهتمام. بعض نماذج الذكاء الاصطناعي (مثل OpenAI's o1) حصلت على الإجابة الصحيحة ولكنها غيرت "نبرتها". بدأت تقول أشياء مثل، "ممم، لست متأكداً..." أو "دعني أحسب على أصابعي..." رغم أن الرقم النهائي كان صحيحاً. كان الأمر أشبه بممثل يقول النص الصحيح ولكنه يتلعثم ويتصبب عرقاً أثناء القيام بذلك.
3. تجربة "المشاكل المزدوجة"
ثم أضاف الباحثون طبقة ثانية: العرق. طلبوا من الذكاء الاصطناعي أن يتظاهر بأنه طالب متعثر و أن يكون من مجموعة عرقية محددة (على سبيل المثال: أمريكي من أصل أفريقي، أو أمريكي أبيض، أو هسباني).
- التشبيه: تخيل أن تطلب من الممثل أن يلعب دور طالب متعثر و أن يتحدث بلكنة ثقافية معينة.
- النتيجة: جعل عنصر العرق الذكاء الاصطناعي أكثر صعوبة في تمثيل "السوء" في الرياضيات. بدا أن الذكاء الاصطناعي ارتبك بسبب التعليمات الإضافية وحقق في الواقع أداءً أفضل (حصل على إجابات صحيحة أكثر) مما كان عليه عندما طُلب منه فقط أن يكون طالباً متعثراً.
- التحيز: تعامل الذكاء الاصطناعي أيضاً مع المجموعات العرقية المختلفة بشكل مختلف قليلاً. بالنسبة لبعض المجموعات، كان من الأسهل جعل الذكاء الاصطناعي "يفشل" في الرياضيات؛ وبالنسبة لأخرى، كان الأمر أصعب. هذا يشير إلى أن لدى الذكاء الاصطعي تحيزات خفية حول من هو "جيد" أو "سيئ" في الرياضيات بناءً على خلفيتهم.
4. لماذا يهم هذا؟ (مشكلة "الفصل الدراسي الافتراضي")
لماذا قد يرغب أي شخص في أن يتظاهر الذكاء الاصطناعي بأنه سيئ في الرياضيات؟
تخيل فصلاً دراسياً افتراضياً حيث يساعد طلاب الذكاء الاصطناعي الطلاب الحقيقيين على التعلم.
- طالب الذكاء الاصطناعي "الجيد": يساعد من خلال حل المشكلات بشكل مثالي.
- طالب الذكاء الاصطناعي "المتعثر": يساعد من خلال ارتكاب أخطاء شائعة. يمكن للطلاب الحقيقيين النظر في هذه الأخطاء، واكتشاف الأخطاء، والتعلم لماذا هي خاطئة. وهذا ما يسمى "التعلم من خلال التدريس".
المشكلة: إذا لم يستطع الذكاء الاصطناعي تمثيل دور الطالب المتعثر بشكل مقنع، فإن "الفصل الدراسي الافتراضي" يفقد تنوعه. إنه يشبه مسرحية حيث يصر كل الممثلين، بغض النظر عن النص، على أن يكونوا أبطالاً. لن تحصل على قصة واقعية، ولن تحصل على بيئة تعليمية واقعية.
5. الخلاصة
خلصت الورقة البحثية إلى أن نماذج الذكاء الاصطناዊ الحالية "متعاونة" أكثر من اللازم لتكون "غير متعاونة". لقد تم تدريبها لتكون دقيقة ومنطقية لدرجة أنها تكافح لمحاكاة الخطأ البشري، أو التردد، أو الارتباك، حتى عندما يُطلب منها ذلك صراحة.
- الخبر الجيد: الذكاء الاصطناعي آمن وموثوق؛ لن يعطيك إجابات رياضية خاطئة عن طريق الخطأ.
- الخبر السيئ: إذا أردنا بناء عمليات محاكاة متنوعة وواقعية (مثل الفصول الدراسية الافتراضية، أو روبوتات العلاج النفسي، أو التجارب الاجتماعية)، فنحن بحاجة إلى تعليم هذه الروبوتات كيف تكون ناقصة، ومرتبكة، وبشرية في أخطائها. في الوقت الحالي، هي مثالية للغاية فحسب.
باختاً مختصراً: يمكنك أن تطلب من روبوت عبقري أن "يتصرف بغباء"، لكنه على الأرج Regel سيتصرف فقط كعبقري متوتر جداً لا يزال يحصل على الإجابة الصحيحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.