Harm or Humor: A Multimodal, Multilingual Benchmark for Overt and Covert Harmful Humor
تقدم هذه الورقة معياراً مرجعياً جديداً متعدد الوسائط ومتعدد اللغات يضم 3,000 نص، و6,000 صورة، و1,200 مقطع فيديو باللغتين الإنجليزية والعربية لتقييم قدرة النماذج المتطورة على التمييز بين الفكاهة الآمنة، والضارة علانية، والضارة ضمنياً، مما يكشف عن فجوات أداء كبيرة بين النماذج مغلقة المصدر ومفتوحة المصدر ويسلط الضوء على الحاجة الملحة للمواءمة الأمنية القائمة على الأسس الثقافية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يفهم النكات البشرية. تظهر له صورة قطة ترتدي قبعة، فيضحك. سهل! ولكن بعد ذلك، تظهر له نكتة تبدو مضحكة في ظاهرها، لكنها في الواقع خبيثة أو جارحة. أو تعرض عليه "ميم" (meme) يعتمد على نكتة داخلية ثقافية محددة. فجأة، يصاب الروبوت بالارتباك؛ قد يظن أن نكتة بريئة هي أمر خطير، أو والأسوأ من ذلك، قد يضحك على نكتة هي في الأصل مؤذية.
هذه الورقة البحثية، "الضرر أم الفكاهة" (Harm or Humor)، تشبه "امتحاناً نهائياً" ضخماً ومعقداً، صُمم لاختبار مدى قدرة الذكاء الاصطناعي تحديداً على التمييز بين النكتة المضحكة والنكتة الضارة.
إليك تفصيل الورقة البحثية باستخدام بعض التشبيهات من الحياة اليومية:
١. المشكلة: "العمى الثقافي" لدى الروبوت
فكر في نماذج الذكاء الاصطناعي كأنهم متدربون جدد قرأوا كل الكتب في المكتبة، لكنهم لم يعيشوا أبداً في العالم الحقيقي. هم يعرفون التعريفات القاموسية للكلمات، لكنهم لا يفهمون "الفروق الدقيقة".
- "الضرر الصريح": هذا يشبه مهرجاً يرتدي لافتة تقول "أنا أكون لئيماً". يمكن للذكاء الاصطناعي رصد هذا بسهولة لأن الجزء "اللئيم" مكتوب بخط عريض وواضح.
- "الضرر الضمني" (المستتر): هذا يشبه مهرجاً يهمس بنكتة لا يفهمها إلا سكان قرية معينة. بالنسبة لشخص من الخارج، يبدو الكلام بريئاً، أما بالنسبة لسكان القرية، فهي إهانة قاسية. نماذج الذكاء الاصطناعي الحالية غالباً ما تفقد هذه الهمسات لأنها تفتقر إلى السياق الثقافي والقدرة على "قراءة ما بين السطور".
٢. الحل: امتحان "الضرر أم الفكاهة"
قام الباحثون بإنشاء اختبار ضخم مكون من ثلاثة أجزاء لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي اجتياز دورة "الذكاء الثقافي". لم يستخدموا النصوص فحسب؛ بل استخدموا مزيجاً من الوسائط، تماماً كما نستهلك الفكاهة في حياتنا الواقعية.
- قسم النصوص: ٣,٠٠٠ نكتة (باللغتين الإنجليزية والعربية).
- قسم الصور: ٦,٠٠٠ "ميم" (صور مع نصوص).
- قسم الفيديو: ١,٢٠٠ مقطع قصير (حيث يهم التوقيت، ونبرة الصوت، والمرئيات).
التحول المفاجئ: لم يسألوا فقط، "هل هذا مضحك؟" بل سألوا، "هل هذا آمن؟" وإذا لم يكن آمناً، فهل الخطر واضح (مثل السقوط في الكوميديا الحركية) أم مخفي (مثل الصور النمطية الخفية)؟
٣. الخاضعون للاختبار: "الطلاب"
اختبروا نوعين من "طلاب" الذكاء الاصطناعي:
- المدارس الخاصة (النماذج مغلقة المصدر): هذه هي نماذج الذكاء الاصطناعي الضخمة والمكلفة من شركات مثل OpenAI (GPT) وGoogle (Gemini). لقد شاهدت الكثير من البيانات ولديها قواعد صارمة.
- المدارس العامة (النماذج مفتوحة المصدر): هذه نماذج يمكن لأي شخص تحميلها ودراستها. غالباً ما تكون أكثر مرونة ولكنها أحياناً أقل انضباطاً.
٤. النتائج: من الذي نجح؟
كانت النتائج صادمة، كطالب يتفوق في اختبار الرياضيات لكنه يفشل في اختبار العادات المحلية.
- "التحيز للإنجليزية": كانت نماذج الذكاء الاصطناعي أفضل بكثير في فهم النكات باللغة الإنجليزية مقارنة باللغة العربية. الأمر يشبه طالباً يتقن الفرنسية ولكنه يتعثر في الأمثال الإسبانية البسيطة. حتى النماذج الأكثر ذكاءً واجهت صعوبة في فهم الفروق الثقافية الدقيقة للفكاهة العربية.
- "فخ الضرر الضمني": كانت النماذج بارعة في رصد "المهرجين الذين يحملون لافتات" (الضرر الصريح). ولكن عندما تعلق الأمر بـ "النكات الهامسة" (الضرر الضمني)، فقد فشلت غالباً. لقد غفلوا عن الإهانات الخفية لأنهم كانوا يبحثون عن كلمات مفتاحية سطحية بدلاً من المعنى العميق.
- "المبالغة في رد الفعل تجاه السلامة": بعض النماذج مفتوحة المصدر كانت خائفة جداً من ارتكاب خطأ، لدرجة أنها رفضت الإجابة أو صنفت كل شيء على أنه "آمن". إنه يشبه حارس أمن، خوفاً من دخول شخص سيء، يقوم بقفل الباب ويمنع الجميع من الدخول. وهذا أمر سيء لأنه يعني أنهم يفتقدون النكات الضارة الفعلية.
٥. الخلاصة الكبرى
تخلص الورقة البحثية إلى أن جعل الذكاء الاصطناعي أكبر ليس كافياً. لا يمكنك مجرد تغذية الذكاء الاصطناعي بمزيد من البيانات وتوقع أن يفهم الثقافة البشرية.
لجعل الذكاء الاصطناعي آمناً، نحتاج إلى تعليمه التعاطف الثقافي. نحتاج منه أن يفهم لماذا تؤذي النكتة، وليس فقط ما هي الكلمات المستخدمة. حالياً، الذكاء الاصطناعي يشبه سائحاً يعرف الخريطة ولكنه لا يعرف العادات المحلية؛ يحتاج أن يتعلم كيف يكون "ابن البلد" ليفهم الفكاهة والسلامة حقاً.
باختصار: قامت الورقة البحثية ببناء اختبار صعب لتوضيح أنه بينما يزداد الذكاء الاصطناعي ذكاءً، فإنه لا يزال يعاني لفهم "القواعد غير المكتوبة" للفكاهة، خاصة في اللغات والثقافات الأخرى غير الإنجليزية. وإلى أن نصلح هذا، قد يستمر الذكاء الاصطناعي في الضحك عرضاً على أشياء لا ينبغي له الضحك عليها، أو الشعور بالإهانة من أشياء لا ينبغي له التأثر بها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.