Detection and Safeguarding of Chinese Toxic Content from Users and LLMs: A Survey
تقدم هذه الورقة مسحاً شاملاً يراجع بشكل منهجي الأبحاث المتعلقة بالكشف عن المحتوى السام الذي ينشئه المستخدمون على وسائل التواصل الاجتماعي الصينية وحماية النماذج اللغوية الكبيرة الصينية من السمية الناتجة عن النماذج اللغوية الكبيرة، بهدف توحيد التقدم المجزأ وتحديد التحديات الرئيسية للتطوير المستقبلي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إن الإنترنت عبارة عن ساحة عامة صاخبة وواسعة حيث يشارك المليارات من الناس أفكارهم ونكاتهم وقصصهم كل يوم. ولكن مثل أي مكان مزدحم، له جانب مظلم: المحتوى السام. ويشمل ذلك الإهانات، وخطاب الكراهية، والتنمر، والسخرية الضمنية التي يمكن أن تؤذي الأفراد وتسمم أجواء المجتمعات عبر الإنترنت. لسنوات طويلة، بنى الباحثون أدوات لرصد هذه اللغة الضارة، مع التركيز في الغالب على اللغة الإنجليزية، حيث القواعد المتعلقة بالإهانة والإساءة محددة جيداً. ومع ذلك، يمثل العالم الناطق باللغة الصينية تحدياً فريداً. ففي ثقافة الإنترنت الصينية، غالباً ما يخفي الناس نواياهم الحقيقية خلف حجاب من المصطلحات العامية، والكلمات المتجانسة (الكلمات التي تتشابه في النطق ولكن تختلف في الكتابة)، والإشارات الثقافية التي لا يفهمها إلا أبناء المجتمع نفسه. فقد تبدو عبارة ما بريئة بالنسبة للحاسوب، لكنها تحمل طعنة شرسة للقارئ البشري. علاوة على ذلك، ظهرت طبقة جديدة من التعقيد مع صعود النماذج اللغوية الكبيرة. فهذه الأنظمة الذكية الاصطناعية القوية يمكنها الآن توليد نصوص تحاكي المحادثة البشرية، ولكن يمكن أيضاً خداعها لإنتاج محتوى ضار أو استخدامها من قبل جهات سيئة النوايا لإنتاجه على نطاق واسع.
لقد أجرى فريق من الباحثين من عدة جامعات صينية نظرة شاملة على كيفية تعامل هذا المجال مع هذه التحديات المحددة. فقد أجروا مراجعة منهجية، وهي في الأساس غوص عميق في جميع الدراسات والبيانات والأساليب الموجودة والمتعلقة بالكشف عن المحتوى السام في اللغة الصينية وإيقافه. ويغطي عملهم جبهتين رئيسيتين: أولاً، كيفية تحديد المحتوى الضار الذي ينشئه المستخدمون البشريون على وسائل التواصل الاجتماعي، وثانياً، كيفية حماية النماذج اللغوية الكبيرة من توليد مثل هذا المحتوى أو التلاعب بها لإنتاجه. ووجد الباحثون أنه بينما تم إحراز تقدم، لا يزال هذا المجال مجزأً. فلا يوجد طريقة واحدة موحدة لتعريف ما يعتبر ساماً في اللغة الصينية، كما أن الأدوات المتاحة حالياً غالباً ما تعاني أمام الطبيعة الديناميكية والمتطورة للمصطلحات العامية عبر الإنترنت والطرق الضمنية والمبطنة التي يعبر بها الناس عن العدائية.
بدأ الباحثون برسم خارطة لمشهد البيانات. لتعليم الحواسيب التعرف على السمية، يحتاج العلماء إلى مجموعات ضخمة من الأمثلة. وقد وجدوا أن الباحثين قد جمعوا بيانات من منصات صينية كبرى مثل "ويبو" (Weibo) و"زيهو" (Zhihu)، مما خلق مجموعات بيانات تغطي كل شيء من الإهانات المباشرة إلى الأشكال الأكثر تعقيداً من خطاب الكراهية والسخرية. ومع ذلك، أشاروا إلى مشكلة كبيرة: وهي أن معايير تصنيف الشيء على أنه سام غالباً ما تكون غير متسقة. فقد تعتبر دراسة ما تعليقاً ما مزاحاً بريئاً، بينما تصنفه دراسة أخرى ككلام يحض على الكراهية، اعتماداً على السياق الثقافي أو المجموعة المستهدفة تحديداً. وهذا النقص في الاتفاق يجعل من الصعب مقارنة الأدوات المختلفة أو بناء نظام يعمل بموثوقية عبر مواقف مختلفة. كما سلطت المراجعة الضوء على أنه بينما توجد العديد من مجموعات البيانات للنصوص، فإن هناك حاجة متزايدة لموارد تتضمن الصور ومقاطع الفيديو و"الميمز" (memes)، حيث تختبئ السمية غالباً في الجمع بين النص والمرئيات.
من الناحية التقنية، فحص الفريق كيف يحاول الباحثون حل مشكلات الكشف هذه. اعتمدت الأساليب المبكرة على مطابقة الكلمات البسيطة، لكنها تفشل عندما يستبدل المستخدمون الحروف بكلمات متجانسة أو يستخدمون مصطلحات الإنترنت لتجاوز الفلاتر. ولمواجهة ذلك، تحاول الأساليب الأحدث فهم المعنى العميق والسياق الثقافي للرسالة. تستخدم بعض الأساليب "تعزيز المعرفة"، عبر تغذية الحاسوب بمعلومات إضافية حول الإشارات الثقافية أو العامية الإقليمية لمساعدته على فهم النوايا الخفية. وتستخدم أساليب أخرى تقنيات "متعددة الوسائط"، والتي تسمح للنظام بالنظر إلى النص والصورة أو الفيديو المصاحب معاً للإمساك بالصورة الكاملة للإهانة. كما راجع الباحثون كيفية تدريب هذه الأنظمة، مشيرين إلى أن دمج المهام المختلفة — مثل تعلم اكتشاف السخرية في نفس وقت اكتشاف خطاب الكراهية — يمكن أن يساعد النماذج لتصبح أكثر قوة. ومع ذلك، وجدوا أن العديد من هذه الأساليب المتقدمة لا تزال تعاني عند مواجهة أنواع جديدة تماماً من الهجمات أو المصطلحات العامية سريعة التغير.
ركز النصف الثاني من المراجعة على الحدود الجديدة: حماية النماذج اللغوية الكبيرة. هذه الأنظمة الذكية مصممة لتكون مفيدة، ولكن يمكن "كسر حمايتها" (jailbroken) — أي خداعها عبر مطالبات مصاغة بذكاء لتجاهل قواعد السلامة الخاصة بها وتوليد محتوى سام. استعرض الباحثون الطرق المختلفة التي يختبر بها الناس هذه النماذج، من الأسئلة البسيطة إلى المحادثات المعقدة متعددة الخطوات المصممة لاستنزاف دفاعات الذكاء الاصطناعي. ووجدوا أنه بينما أصبحت بعض النماذج أفضل في رفض الطلبات الضارة، إلا أنها ليست مثالية. وتتمثل إحدى المشكلات الرئيسية في "الحساسية المفرطة"، حيث يرفض الذكاء الاصطناعي الإجابة على أسئلة غير ضارة لأنه يخطئ في اعتبارها شيئاً خطيراً، مثل رفض مناقشة شخصيات تاريخية معينة أو مواضيع ثقافية. كما أشارت المراجعة إلى أن الأساليب المستخدمة لتدريب هذه النماذج لتكون آمنة غالباً ما تكون "صندوقاً أسود"؛ فنحن نعرف أنها تعمل إلى حد ما، لكننا لا نفهم تماماً لماذا تفشل في حالات معينة أو كيف يمكن إصلاحها دون كسر قدرات أخرى.
يخلص المؤلفون إلى أنه بينما تقدم المجال خطوات للأمام، لا تزال هناك عقبات كبيرة. ويتمثل التحدي الأكثر إلحاحاً في الطبيعة الديناميكية لثقافة الإنترنت الصينية؛ فبمجرد أن تتعلم أداة الكشف رصد نوع معين من الإهانة، يبتكر المستخدمون طريقة جديدة لقولها. ويقترح الباحثون أن العمل المستقبلي يجب أن يركز على إنشاء معايير أكثر اتساقاً لما يعتبر ساماً، وتطوير أنظمة يمكنها التعلم والتكيف بسرعة مع المصطلحات الجديدة، وتحسين عدالة هذه الأدوات حتى لا تفرض رقابة غير عادلة على مجموعات أو لهجات معينة. كما يؤكدون على الحاجة إلى أدوات أفضل لفهم التفاعل المعقد بين النص والصور والفيديو. وفي نهاية المطاف، فإن الهدف هو بناء أنظمة يمكنها حماية المساحات عبر الإنترنت دون خنق حرية التعبير، وهو توازن يتطلب فهماً عميقاً لكل من التكنولوجيا والثقافة البشرية التي تخدمها. وتعد هذه المراجعة بمثابة خارطة طريق، توضح مواطن القصور في الأدوات الحالية وتشير إلى الطريق نحو حلول أكثر مرونة ووعياً بالثقافة في المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.