Evaluating LLM-Simulated Conversations in Modeling Inconsistent and Uncollaborative Behaviors in Human Social Interaction
تقدم هذه الورقة CoCoEval، وهو إطار عمل للكشف عن السلوكيات غير المتسقة وغير التعاونية في المحادثات التي تحاكيها النماذج اللغوية الكبيرة، وتجد أن النماذج الحالية تكافح لمحاكاة تعقيد التفاعل الاجتماعي البشري بشكل أصيل بسبب الفروق الجوية الكبيرة في تكرار السلوك، وعدم موثوقية هندسة الأوامر، وميل الضبط الدقيق إلى إنتاج أنماط سلوكية ضيقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء موقع تصوير سينمائي افتراضي حيث يقوم ممثلون من الذكاء الاصطناعي (نماذج اللغات الكبيرة - LLMs) بتمثيل محادثات بشرية. تريد لهؤلاء الممثلين من الذكاء الاصطناعي أن يبدوا حقيقيين، لذا تطلب منهم محاكاة اجتماع عمل، أو جدال عائلي، أو مناظرة.
لقد طرح الباحثون في هذه الورقة البحثية سؤالاً بسيطاً ولكنه عميق: "هل يمثل هؤلاء الممثلون من الذكاء الاصطناعي حقاً مثل البشر الحقيقيين، أم أنهم مجرد مهذبين ومثاليين للغاية؟"
إليك تفصيل لنتائجهم، مشروحة ببعض التشبيهات من الحياة اليومية.
المشكلة الجوهرية: الذكاء الاصطناعي "المثالي أكثر من اللازم"
المحادثات البشرية الحقيقية فوضوية. نحن نقاطع بعضنا البعض، ونسيء فهم ما قاله شخص ما، ونكرر كلامنا، ونتشتت، وأحياناً نصر على رأينا حتى عندما يكون الطرف الآخر على حق. نحن نسمي هذه "السلوكيات غير المتسقة وغير التعاونية".
ومع ذلك، عندما طلب الباحثون من نماذج الذكاء الاصطناعي محاكاة هذه المحادثات، كان الممثلون من الذكاء الاصطناً مهذبين للغاية.
- التشبيه: تخيل مجموعة من الأصدقاء يلعبون لعبة لوحية. في لعبة حقيقية، قد يسقط أحدهم قطعة عن طريق الخطأ، أو ينسى القواعد، أو يجادل حول حركة معينة. في نسخة الذكاء الاصطناعي، يتبع الجميع القواعد بدقة، ولا يقاطع أحد أحداً، ويوافق الجميع فوراً. الأمر يشبه مشاهدة رقصة روبوت حيث يتحرك الجميع بتناغم مثالي ومنتظم. يبدو الأمر سلساً، لكنه ممل وزائف.
الأداة الجديدة: "COCOEVAL" (المحقق السلوكي)
لإثبات ذلك، بنى الفريق أداة جديدة تسمى COCOEVAL. فكر في هذه الأداة كأنها محقق سلوكي يراقب محادثات الذكاء الاصطناعي ويحصي لحظات "الفوضى" البشرية المحددة.
لقد حددوا 10 أنواع من السلوكيات "الفوضوية" للبحث عنها، مثل:
- لحظة "انتظر، ماذا؟": سوء فهم ما قيل للتو.
- لحظة "توقف عن الكلام!": مقاطعة شخص ما في منتصف جملته.
- لحظة "الأسطوانة المشروخة": تكرار الشيء نفسه مراراً وتكراراً.
- لحظة "الاختفاء المفاجئ": الإجابة على سؤال بإجابة غامضة مثل "ربما" أو تغيير الموضوع تماماً.
ما وجدوه (المفاجآت الثلاث الكبرى)
اختبر الباحثون الذكاء الاصطناعي باستخدام ثلاث طرق مختلفة، وكانت النتائج مفاجئة:
1. الإعداد "الافتراضي" (التوجيه التقليدي/Vanilla Prompting)
عندما سألوا الذكاء الاصطناعي ببساطة: "حاكي اجتماعاً"، أنتج الذكاء الاصطناعي محادثات نظيفة بشكل مخيف.
- النتيجة: نادراً ما قاطع الذكاء الاصطناعي أحداً، أو أساء الفهم، أو اختلف في الرأي. كان الأمر كأنه اجتماع حيث الجميع يقرأون الأفكار ولا يرتكبون أي خطأ.
- الخلاصة: بطبيعته، يحاول الذكاء الاصطناعي أن يكون مفيداً ومهذباً، مما يجعله سيئاً جداً في محاكاة الواقع الفوضوي للتفاعل البشري.
2. إعداد "التعليمات" (هندسة الأوامر/Prompt Engineering)
حاول الباحثون إصلاح ذلك عبر إعطاء تعليمات محددة للذكاء الاصطناعي: "هيا، يرجى التصرف بفوضوية! قاطع الناس، وأسئ فهمهم، وخالفهم الرأي!"
- النتيجة: ذهب الذكاء الاصطناعي إلى أبعد الحدود. بدلاً من التصرف كإنسان حقيقي، بدأ يتصرف كشخصية كرتونية فوضوية. كان يقاطع باستمرار ويخالف الرأي في كل شيء، حتى عندما لا يكون ذلك منطقياً.
- التشبيه: الأمر يشبه إخبار ممثل خجول: "كن صاخباً!". لن يصبح واثقاً فحسب، بل سيبدأ بالصراخ وقلب الكراسي. لم يستطع الذكاء الاصطناعي إيجاد "النقطة المثالية" للفوضوية الطبيعية؛ بل انحرف فقط نحو التطرف.
3. إعداد "التدريب" (الضبط الدقيق تحت الإشراف/Supervised Fine-Tuning)
حاولوا تدريب الذكاء الاصطناعي على آلاف النصوص البشرية الحقيقية ليتعلم كيفية التصرف بفوضوية.
- النتيجة: تعلم الذكاء الاصطناعي أن يكون فوضوياً، ولكن بطريقة واحدة محددة. أصبح مهووساً بـ التكرار. كان يقول "نعم"، ثم "صحيح"، ثم "بالضبط"، مراراً وتكراراً، مثل الأسطوانة المشروخة.
- الخلاصة: تعلم الذكاء الاصطناٍء محاكاة السطح للخطأ البشري (تكرار الكلمات) لكنه افتقد العمق (سوء الفهم الحقيقي أو الخلافات الفعلية). كان الأمر كطالب حفظ كلمة "أوبس" (خطأ) لكنه لم يفهم ما هو الخطأ في الواقع.
عامل "الدور" (The Turn Factor)
لاحظوا أيضاً أن كيفية توليد الذكاء الاصطناعي للمحادثة أمر مهم.
- إذا كتب الذكاء الاصطناعي المحادثة بأكملها دفعة واحدة (مثل كتابة فصل كامل في وقت واحد)، فستظل نظيفة ومنطقية للغاية.
- إذا كتب الذكاء الاصطناعي جملة واحدة فقط في كل مرة (مثل الإنسان الحقيقي الذي يفكر قبل التحدث)، فسيصبح أكثر فوضوية. ولكن حتى في هذه الحالة، فإنه يكافح للوصول إلى النوع الصحيح من الفوضوية.
لماذا يهم هذا؟
يحذر المؤلفون من أننا إذا استخدمنا محاكاة الذكاء الاصطناعي هذه لدراسة السلوك البشري (مثل اختبار رد فعل الناس تجاه قانون جديد أو ميزة في وسائل التواصل الاجتماعي)، فقد نحصل على إجابات خاطئة.
- الاستعارة: تخيل أنك مخطط مدن تحاول تصميم نظام مروري. قمت ببناء محاكاة لروبوتات لا تقطع الإشارات الحمراء أبداً، ولا تتشتت، وتقود دائماً بشكل مثالي. قد تعتقد: "رائع، حركة المرور تسير بشكل مثالي!". لكن عندما تضع بشراً حقيقيين في السيارات، سينهار النظام لأن البشر الحقيقيين يتشتتون، ويرتكبون الأخطاء، ويقطعون الطريق على بعضهم البعض.
الخلاصة
محاكاة المحادثة البشرية أصعب بكثير مما تبدو عليه. الأمر لا يتعلق فقط بكونك ذكياً أو منطقياً؛ بل يتعلق بكونك مليئاً بالعيوب.
حالياً، الممثلون من الذكاء الاصطنا لدينا يشبهون طلاب المسرح الذين أتقنوا التدريب لدرجة أنهم لا يستطيعون الارتجال في جدال حقيقي وفوضوي. فهم إما مهذبون للغاية، أو فوضويون للغاية، أو مجرد مكررين. وحتى نتمكن من تعليمهم كيف يكونون فوضويين بشكل طبيعي وحقيقي، علينا أن نكون حذرين جداً بشأن الوثوق بهم لتمثيل كيفية تفاعل البشر الحقيقيين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.