Impact of Task Phrasing on Presumptions in Large Language Models
تُظهر هذه الدراسة أن صياغة المهام تؤثر بشكل كبير على تكوين الافتراضات في النماذج اللغوية الكبيرة، مما يؤثر على قدرتها على التكيف والاستنتاج المنطقي في مهام اتخاذ القرار مثل معضلة السجين المتكررة، وهو ما يسلط الض الضوء على الحاجة الماسة إلى الصياغة المحايدة لضمان السلامة والموثوقية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً ذكياً جداً ومطلعاً على القراءة كيف يلعب لعبة ما. هذا الروبوت قد قرأ ملايين الكتب والمقالات والقصص، لذا فهو يعرف "قواعد العالم" جيداً. لكن هناك عقبة: أحياناً، يكون الروبوت بارعاً جداً في تذكر ما يراه "عادةً"، لدرجة أنه يتوقف عن النظر إلى ما هو موجود أمامه بالفعل.
هذه الورقة البحثية تشبه قصة بوليسية تحقق في هذه المشكلة تحديداً. أراد المؤلف، كينيث أونج، أن يرى ما إذا كانت النماذج اللغوية الكبيرة (LLMs) — وهي العقول التي تقف وراء روبوتات الدردشة بالذكاء الاصطعي — تقع في فخ افتراضاتها الخاصة عندما تتغير قواعد اللعبة.
اللعبة: تحوير على "معضلة السجين"
لاختبار ذلك، استخدم المؤلف سيناريو كلاسيكياً من نظرية الألعاب يسمى "معضلة السجين المتكررة". فكر في الأمر كأنه لعبة بين مشتبه بهما في مركز شرطة.
- القواعد العادية: إذا بقي كلاهما صامتاً (تعاون)، يحصلان على حكم قصير. إذا خان أحدهما الآخر (خيانة/انشقاق)، يخرج الخائن حراً، بينما يحصل الصامت على حكم طويل.
- الفخ: قام المؤلف بإنشاء نسخة "مقلوبة" من اللعبة. في هذه النسخة، تم تبديل المكافآت. الآن، تؤدي خيانة الشخص الآخر إلى نتيجة أسوأ لك، بينما يكون البقاء صامتاً هو الحركة الأفضل.
كان الهدف بسيطاً: إذا كان الذكاء الاصطناعي منطقياً حقاً، فيجب عليه النظر إلى القواعد الجديدة وتغيير استراتيجيته. أما إذا كان يعتمد فقط على "الافتراضات المسبقة" (ما يعتقد أن اللعبة يجب أن تكون عليه)، فسيستمر في اللعب بالطريقة القديمة، رغم أن القواعد قد تغيرت.
التجارب الثلاث: كيف طُلبت من الروبوت اللعب
أجرى المؤلف ثلاثة اختبارات مختلفة، حيث قام بتغيير طريقة كتابة التعليمات في كل مرة.
1. اختبار "ذكر الاسم" (التسمية الصريحة)
- الإعداد: ذكرت التعليمات صراحةً: "أنت تلعب معضلة السجين المتكررة". استخدم كلمات مثل "سجين"، "تعاون"، و"خيانة".
- النتيجة: فشل الذكاء الاصطناعي تماماً. حتى عندما قُلبت القواعد، استمر الذكاء الاصطناعي في اختيار "التعاون" (أو "الخيانة"، اعتماداً على النموذج) تماماً كما يفعل في اللعبة الأصلية.
- التشبيه: الأمر يشبه إخبار طباخ: "اصنع لي طبق 'بيف ويلينجتون' الكلاسيكي"، ثم تقدم له وصفة لـ "حساء نباتي". الطباخ، بمجرد سماعه لاسم "بيف ويلينجتون"، يتجاهل الوصفة الجديدة ويبدأ بطهي اللحم على أي حال لأن هذا ما يوحي به الاسم. لقد كان الذكاء الاصطناعي مركزاً جداً على الاسم الشهير للعبة لدرجة أنه تجاهل الأرقام الموجودة على الصفحة.
2. اختبار "الوصف الغامض" (إخفاء الاسم)
- الإعداد: تمت إزالة عبارة "معضلة السجين" من النص، ولكن ظل استخدام كلمات مثل "سجين"، "تعاون"، و"خيانة".
- النتيجة: لا يزال الذكاء الاصطنا_عي يعاني. بدا وكأنه أدرك أنها "معضلة السجين" بمجرد النظر إلى القرائن السياقية (أحكام السجن والمصطلحات المحددة). ومع ذلك، ظل يعتمد على بيانات تدريبه بدلاً من القواعد الجديدة المقلوبة.
- التشبيه: هذا يشبه وصف طبق "بيف ويلينجتون" دون ذكر اسمه، ولكن مع قول: "إنه طبق بريطاني شهير يحتوي على عجينة الباف باستري ولحم البقر". لا يزال الطباخ يعرف ما تريده ويتجاهل التعليمات الجديدة.
3. اختبار "الكود المحايد" (المتغيرات المجردة)
- الإعداد: تمت إزالة كل شيء مألوف. لا "سجناء"، لا "تعاون"، ولا "خيانة". بدلاً من ذلك، استُخدمت تسميات مجردة: "الخيار X" و"الخيار Y"، و"خسارة دولارات" بدلاً من "مدة السجن".
- النتيجة: نجاح! عندما لم يستطع الذكاء الاصطناعي الاعتماد على ذاكرته عن اللعبة الشهيرة، نظر فعلياً إلى القواعد الجديدة. عندما قُلبت القواعد، قام الذكاء الاصطناعي بتغيير استراتيجيته لتتطابق مع الرياضيات الجديدة.
- التشبيه: هذا يشبه إعطاء الطباخ قائمة بالمكونات والتعليمات دون تسمية الطبق. "اخلط الدقيق، الزبدة، واللحم". إذا غيرت التعليمات إلى "اخلط الدقيق، الزبدة، والتوفو"، فسيتبع الطباخ القائمة الجديدة فعلياً لأنه ليس مشتتاً باسم الطبق.
التحول المفاجئ: التفكير قد يجعل الأمر أسوأ
كانت واحدة من أكثر النتائج إثارة للاهتمام تتعلق بـ "الاستنتاج". طلب المؤلف من الذكاء الاصطناعي أن "يفكر خطوة بخطوة" قبل الإجابة.
- النتيجة: في الاختبارين الأول والثاني، جعل طلب "التفكير" من الذكاء الاصطناعي أن يصبح أكثر عناداً. حيث كتب الذكاء الاصطناعي فقرة طويلة ومنطقية تشرح لماذا يجب عليه اتباع استراتيجية "العين بالعين" (وهي استراتيجية شهيرة للعبة الأصلية)، متجاهلاً تماماً حقيقة أن القواعد قد تغيرت.
- التشبيه: يشبه الأمر طالباً حفظ نموذج الإجابات لامتحان ما. إذا قمت بتغيير الأرقام في المسألة وطلبت منه "توضيح خطوات الحل"، فقد يكتب شرحاً منطقياً ومثالياً لسبب صحة الإجابة القديمة، متجاهلاً تماماً أن السؤال نفسه قد تغير.
الخلاصة
تخلص الورقة البحثية إلى أن نماذج الذكاء الاصطناعي تشبه الطلاب الذين درسوا بجد شديد لامتحان محدد. إنهم يعرفون الإجابات "النموذجية" جيداً لدرجة أنه إذا غيرت السؤال قليلاً، فقد لا يلاحظون ذلك.
- المشكلة: عندما نعطي مهاماً للذكاء الاصطناعي باستخدام أسماء أو سيناريوهات مألوفة (مثل "معضلة السجين")، يعتمد الذكاء الاصطناعي على "افتراضاته المسبقة" حول تلك السيناريوهات بدلاً من التعليمات المحددة التي قدمتها له للتو.
- الحل: لجعل الذكاء الاصطناعي يتبع القواعد التي تعطيها له فعلياً، يجب عليك وصف المهمة بطريقة محايدة ومجردة. لا تخبره ما هي اللعبة؛ فقط أخبره ما هي القواعد.
باختصار: إذا كنت تريد من الذكاء الاصطناعي أن يتكيف مع موقف جديد، فلا تذكره بالوضع القديم. تحدث بلغة "المتغيرات" (X و Y) بدلاً من "الأسماء الشهيرة".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.