NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews
تقدم هذه الورقة البحثية NewsInterview، وهي مجموعة بيانات تضم 40,000 مقابلة معلوماتية وبيئة محاكاة تكشف عن أوجه قصور كبيرة لدى النماذج اللغوية الكبيرة في الحوار الاستراتيجي، مثل التعرف على الأسئلة التي تمت الإجابة عليها والتحول بفعالية، مقارنة بالمحاورين البشر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك في حفلة عشاء. لديك صديق بارع في سرد القصص، لكنه أيضاً خجول، أو متوتر، أو ربما غاضب قليلاً. هدفك هو دفعه ليخبرك بأكثر قصصه روعةً وسرية.
للقيام بذلك بشكل جيد، فأنت بحاجة إلى ما هو أكثر من مجرد قائمة من الأسئلة. عليك أن:
- تستمع وتومئ برأسك ("أوه واو، هذا يبدو مخيفاً!") لتجعله يشعر بالأمان.
- تقرأ الموقف لتعرف متى تضغط للحصول على مزيد من التفاصيل ومتى تغير الموضوع.
- تبني الثقة حتى ينفتح عليك تماماً في النهاية.
هذه الورقة البحثية، بعنوان "NewsInterview"، تدور حول اختبار ما إذا كان بإمكان الذكاء الاصطائي (وتحديداً النماذج اللغوية الكبيرة أو LLMs) لعب دور مضيف حفلة العشاء الماهر هذا. وجد الباحثون أنه بينما يتفوق الذكاء الاصطناعي في كتابة المقالات، فإنه سيء بشكل مفاجئ في إجراء محادثة استراتيجية.
إليك تفصيل اكتشافهم، باستخدام بعض التشبيهات الممتعة:
1. المشكلة: "المحاور الآلي"
نظر الباحثون في 40,000 مقابلة حقيقية من NPR وCNN. ووجدوا أن الصحفيين البشر يشبهون البستانيين المهرة. فهم يعرفون تماماً متى يسقون نبتة (يطرحون سؤالاً استقصائياً)، ومتى يقلمون غصناً (يغيرون الموضوع)، ومتى يجلسون بهدوء ويبتسمون فقط (يظهرون التقدير لمشاعر الضيف).
وعندما طلبوا من ذكاء اصطناعي أن يلعب دور المحاور، تصرف الذكاء الاصطناعي مثل آلة بيع آلية (Vending Machine).
- لا توجد "إيماءات": يستخدم البشر "جمل التقدير" (مثل "أفهم ذلك" أو "هذا مثير للاهتمام") بنسبة 9% تقريباً لبناء الثقة. أما الذكاء الاصطناعي فلم يفعل ذلك تقريباً. كان الأمر أشبه بالتحدث مع شخص لا يقول أبداً "أها" أو "واو".
- الحفرة العميقة: بدلاً من دفع المحادثة نحو مواضيع جديدة (مثل البستاني الذي ينتقل إلى حوض زهور آخر)، ظل الذكاء الاصطناعي يطرح أسئلة متابعة حول نفس الموضوع، عالقاً في حلقة مفرغة.
- الافتقار إلى الاستراتيجية: البشر لديهم خطة. هم يعرفون أنهم بحاجة لاستخراج ثلاث حقائق محددة من الضيف. أما الذكاء الاصطناعي فكان يطرح الأسئلة عشوائياً، آملاً أن يحدث شيء جيد.
2. الحل: "لعبة فيديو المقابلات الإخبارية"
لإصلاح ذلك، صمم الباحثون لعبة فيديو محاكية تسمى NewsInterview.
- الإعداد: يلعب ذكاء اصطناعي واحد دور المحاور، ويلعب ذكاء اصطناعي آخر دور المصدر (الضيف).
- الشخصيات: ذكاء اصطناعي "المصدر" ليس مجرد شخص واحد؛ بل يرتدي أقنعة مختلفة (شخصيات). أحياناً يكون قلقاً (خائفاً من الكلام)، أو دفاعياً (غاضباً)، أو جاهلاً (لا يعرف الإجابة)، أو مسيطراً (لا يتوقف عن الكلام).
- القواعد: يحصل المحاور الآلي على نقاط فقط إذا نجح في "إقناع" المصدر بالكشف عن معلومات مخفية.
- تشبيه: تخيل أن المصدر عبارة عن خزنة مغلقة. على المحاور أن يفتح القفل. إذا كانت الخزنة "قلقة"، فعليك أن تهمس وتكون لطيفاً. إذا كانت "عدائية"، فعليك أن تكون حازماً وتظهر هويتك. إذا قمت فقط بضرب الخزنة بمطرقة (طرح أسئلة فظة)، فلن تفتح.
3. النتائج: من فاز في اللعبة؟
أجرى الباحثون اللعبة آلاف المرات. وهذا ما حدث:
- ذكاء اصطناعي "المصدر" كان رائعاً: عندما لعب الذكاء الاصطناعي دور الضيف، كان جيداً جداً في تمثيل الدور البشري. إذا قيل له أن يكون "قلقاً"، فقد تصرف بتوتر. إذا قيل له أن يكون "دفاعياً"، فقد أصبح غاضباً. حتى أنه عرف متى يتم إقناعه.
- ذكاء اصطناعي "المحاور" عانى: فشل حتى أكثر نماذج الذكاء الاصطناعي ذكاءً (مثل GPT-4) في استخراج أقصى قدر من المعلومات.
- لم يستطيعوا معرفة متى تمت الإجابة على سؤال ومتى يجب الانتقال لما بعده.
- لم يستطيعوا تكييف أسلوبهم. إذا كان الضيف خائفاً، لم يعرف الذكاء الاصطناعي كيف يكون لطيفاً. بل استمر في طرح نفس الأسئلة الصعبة، مما جعل "الضيف" ينغلق على نفسه.
- النتيجة: في النسخة الأصعب من اللعبة (حيث يكون الضيف مراوغاً)، تمكن الذكاء الاصطناعي من الحصول على حوالي 50% فقط من المعلومات المتاحة. وعندما جعلوا اللعبة أسهل (بإزالة جزء "الإقناع")، قفزت النتيجة إلى أكثر من 80%. وهذا يثبت أن نقطة ضعف الذكاء الاصطناعي الأساسية ليست معرفة الحقائق، بل معرفة كيفية التحدث إلى الناس.
4. لماذا يهم هذا؟
قد تعتقد: "وما شأني؟ إنها مجرد مقابلة إخبارية". لكن المؤلفين يجادلون بأن المحادثة الاستراتيجية هي المفتاح للعديد من الوظائف في العالم الحقيقي:
- المعالجون النفسيون: يحتاجون لبناء الثقة لمساعدة المرضى على الانفتاح.
- المعلمون: يحتاجون لتشجيع الطلاب على الاستمرار في المحاولة.
- مفاوضو الأزمات: يحتاجون للتحدث لتهدئة شخص يحتجز رهائن.
حالياً، الذكاء الاصطناعي يشبه طالباً قرأ كل الكتب الدراسية لكنه لم يتحدث أبداً مع بشر. هو يعرف الكلمات، لكنه لا يفهم رقصة المحادثة.
الخلاصة
تقدم لنا هذه الورقة ملعباً جديداً لتعليم الذكاء الاصطناعي كيف يكون محاوراً أفضل. إنها تظهر أنه لجعل الذكاء الاصطناعي مفيداً حقاً في المواقف الحساسة، لا يمكننا فقط تعليمه المزيد من الحقائق. بل يجب علينا تعليمه التعاطف، والتوقيت، وفن الإقناع—نفس المهارات التي يستخدمها الصحفي البشري للحصول على القصة.
باختصار: الذكاء الاصطناعي أمين مكتبة بارع، لكنه حالياً محقق سيء للغاية. وهذه الورقة هي دليل التدريب لتعليمه كيفية حل القضية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.