← أحدث الأبحاث
💻 computer science

Harm is not Universal: Community-Specific Toxicity Detection is Urgently Needed

تجادل ورقة الموقف هذه بأن كواشف السمية الشاملة تفشل في حماية المجتمعات المهمشة، مثل ذوي القزامة أو الإعاقات البصرية، وتوضح أن الكشف عن السمية الخاص بالمجتمعات، رغم تحسينه الكبير للتعرف على الضرر من خلال التكيف القائم على المطالبات والضبط الدقيق، لا يزال يتطلب بحثاً مكثفاً للوصول إلى مستويات الأداء التي تحققها الأنظمة العامة.

المؤلفون الأصليون: Xinnuo Xu, Anja Thieme, Daniela Massiceti, Ioana Tanase, Rita Marques, Melanie Fernandez Pradier, Martin Grayson, Camilla Longden, Cecily Morrison

نُشر 2026-07-29
📖 5 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Xinnuo Xu, Anja Thieme, Daniela Massiceti, Ioana Tanase, Rita Marques, Melanie Fernandez Pradier, Martin Grayson, Camilla Longden, Cecily Morrison

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسير في معرض فني سحري ضخم، حيث الجدران مصنوعة من طلاء حي. هذا ليس مجرد معرض عادي؛ بل هو مدعوم بفنان آلي فائق الذكاء يمكنه تحويل كلماتك الأكثر جموحاً إلى صور فوراً. إذا قلت: "قط يرتدي قبعة"، فإنه يرسم قطاً بقبعة. هذه التكنولوجيا، التي تسمى "توليد الصور من النصوص"، تشبه ماردًا رقميًا يحقق الأماني البصرية. ولكن، تماماً مثل أي أداة قوية، يمكنها أحياناً ارتكاب الأخطاء. قد ترسم أحياناً شيئاً مخيفاً، أو عنيفاً، أو حتى وقحاً بكل بساطة. ولإيقاف ذلك، بنى العلماء "حراس سلامة" — وهم حراس رقميون يفحصون كل صورة قبل أن تُعلق على الجدار. إذا رأى الحارس شيئاً سيئاً، فإنه يمنع ظهور الصورة.

لفترة طويلة، تم تدريب هؤلاء الحراس باستخدام كتاب قواعد "واحد يناسب الجميع". لقد تعلموا رصد الأشياء السيئة الواضحة مثل العنف أو خطاب الكراهية، وهو يشبه تعليم حارس أمن أن يبحث فقط عن الأشخاص الذين يحملون أسلحة. ولكن ماذا لو لم يكن الخطر هو السلاح؟ ماذا لو كان الخطر عبارة عن صورة نمطية مؤذية ومبطنة لا يدركها إلا مجموعة معينة من الناس؟ هذا البحث يتعمق في هذه المشكلة تحديداً. فهو يتساءل: ماذا لو كان حارس السلامة مشغولاً جداً بالبحث عن السيوف لدرجة أنه يغفل عن رسم مستخدم لكرسي متحرك بأرجل على شكل عجلات، أو شخص كفيف يضع عصابة على عينيه بينما يقرأ كتاباً؟ يجادل الباحثون بأننا بحاجة إلى نوع جديد من حراس السلامة — نوع يفهم القواعد المحددة والفريدة لكل مجتمع، بدلاً من تطبيق نفس القواعد العامة على الجميع.

المشكلة: الحارس "العالمي" غائب عن الوعي

بدأ الباحثون باختبار أفضل حراس السلامة الحاليين ("أحدث ما توصل إليه العلم" أو State-of-the-Art) على صور تم إنشاؤها لمجتمعين محددين: الأشخاص المكفوفين أو ضعاف البصر (BLV)، والأشخاص المصابين بالقزامة (DWF). لقد أنشأوا مجموعة تضم 2,400 صورة بناءً على مطالبات (prompts) حقيقية من هذه المجتمعات، تطلب من الذكاء الاصطناٍعي إظهارهم وهم يقومون بأشياء يومية مثل الطبخ، أو العمل، أو اللعب.

بعد ذلك، طلبوا من خمسة خبراء في مجال الإعاقة النظر إلى هذه الصور وتحديد أي شيء يبدو خاطئاً أو ضاراً. وجد الخبراء فجوة صادمة. فعلى الرغم من أن حراس السلامة الحاليين منحوا هذه الصور ختم الموافقة بكلمة "آمن"، وجد الخبؤ أن 35% منها كانت في الواقع ضارة.

ولإعطائك مثالاً ملموساً لما يعنيه "الضرر" هنا:

  • بالنسبة لمجتمع المكفوفين وضعاف البصر: قد يرسم الذكاء الاصطناعي شخصاً بعيون معدنية روبوتية، أو يظهر كلب إرشاد يرتدي عصابة على عينيه (وهو أمر سخيف ومربك)، أو يصور عصا المشي وهي تُستخدم كملعقة للطبخ.
  • بالنسبة لمجتمع القزامة: قد يرسم الذكاء الاصطناعي شخصاً بالغاً يعاني من القزامة على هيئة طفل رضيع، أو يحوله إلى شخصية خيالية مثل الأقزام من القصص الخيالية، أو يظهر نساءً يعانين من القزامة بلحى.

هذه ليست مجرد "هفوات" عابرة؛ بل هي أخطاء نمطية عميقة تعزز الأفكال الضارة. يوضح البحث أن أدوات الكشف "العالمية" الحالية عمياء تماماً عن هذه الأنواع المحددة من الضرر. وعندما طلب الباحثون من هذه الأدوات فحص الصور باستخدام القواعد الجديدة والمحددة، فشلت هذه الأدوات فشلاً ذريعاً. في الواقع، كان أداؤها غالباً أسوأ من التخمين العشوائي. الأمر يشبه سؤال حارس أمن يعرف فقط كيفية رصد المسدسات ليجد شارباً مزيفاً؛ فهو ببسا_ط لا يملك الأدوات المناسبة للمهمة.

الحل: تعليم الحارس القواعد المحددة

بما أن الحارس "العالمي" لم يكن يعمل، حاول الفريق تعليم الذكاء الاصطناٍعي حِيلاً جديدة دون إعادة بناء الروبوت بالكامل. لقد اختبروا ثلاث طرق مختلفة لتكييف حراس السلامة مع هذه المجتمعات المحددة:

  1. طريقة "التعلم من خلال العرض والشرح" (In-Context Learning): تخيل أنك تري الذكاء الاصطناٍعي بعض الأمثلة لصور سيئة وتقول له: "أرأيت هذا؟ هذا سيء بسبب (س). الآن انظر إلى هذه الصورة الجديدة". ساعدت هذه الطريقة قليلاً، حيث حسنت درجات الكشف، لكنها كانت غير متسقة. أحياناً يصيب الذكاء الاصطناٍعي وأحياناً أخرى يظل مرتبكاً.
  2. طريقة "الاستجواب" (Visual Question Answering): بدلاً من مجرد السؤال "هل هذا آمن؟"، طرح الباحثون على الذكاء الاصطناٍعي سلسلة من الأسئلة المحددة مثل: "هل لهذا الشخص لحية؟" أو "هل العيون واقعية؟". إذا أجاب الذكاء الاصطناٍعي بـ "نعم" على شيء سيء، يتم وسم الصورة. نجحت هذه الطريقة بشكل أفضل بكثير! فقد أجبرت الذكاء الاصطناٍعي على التدقيق في التفاصيل. وبالنسبة لمجتمع القزامة، رفعت هذه الطريقة درجة الكشف إلى مستوى واعد للغاية.
  3. طريقة "جلسة الدراسة" (Fine-Tuning): هنا يحصل الذكاء الاصطناٍعي على دورة تدريبية مكثفة قصيرة باستخدام مجموعة بيانات صغيرة تضم حوالي 100 مثال. لقد علموا الذكاء الاصطناٍعي القواعد الخاصة لهذه المجتمعات. كانت هذه هي الطريقة الأكثر فعالية لنماذج الذكاء الاصطناٍعي الصغيرة، حيث رفعت أداءها بشكل كبير.

العقبة: الأمر أصعب مما يبدو

على الرغم من أن هذه الطرق حسنت الأمور، إلا أن الورقة البحثية توضح تماماً أننا لم نحل المشكلة بعد. فحتى مع أفضل الطرق، لا تزال قدرة الذكاء الاصطناٍعي على رصد هذه الأضرار المحددة أقل بكثير من قدرته على رصد الأشياء السيئة العامة. وجد الباحثون أن الذكاء الاصطناٍعي حساس جداً للتغييرات. فإذا قال المجتمع: "في الواقع، نحن لا نعتبر ذلك الشيء المحدد ضاراً بعد الآن"، فإن الذكاء الاصطناٍعي المدرب على القواعد القديمة يصاب بالارتباك ويفشل في التكيف بسرعة.

تخلص الورقة البحثية إلى أنه بينما حققنا تقدماً، فإن بناء نظام سلامة يحترم ويحمي المجتمعات المهمشة حقاً هو تحدٍ هائل. الأمر لا يتعلق فقط بكتابة قواعد أفضل؛ بل يتطلب شراكة مستمرة ومتطورة بين مطوري الذكاء الاصطناٍعي والمجتمعات نفسها. إن نهج "الواحد الذي يناسب الجميع" قد انتهى زمنه رسمياً؛ فمستقبل سلامة الذكاء الاصطناٍعي يحتاج إلى نسيج من الفهم المحدد الذي تقوده المجتمعات. يقترح الباحثون ضرما الاستمرار في العمل على هذا، لأنه ما لم نتمكن من رصد هذه الأضرار الدقيقة بشكل موثوق، فإن الصور "الآمنة" التي نراها قد تستمر في تعزيز الصور النمطية التي تؤذي البشر الحقيقيين.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →