Context-Aware LLM Evaluators for Content Moderation Judgments in a Low-Resource Setting

في الساحات الرقمية الصاخبة لإنترنت، حيث تُنشر ملايين التعليقات كل يوم، برزت أزمة صامتة تتعلق بالقدرة الاستيعابية. فالمراقبون البشريون، وهم المهنيون المدربون الذين كانوا يوماً ما يقرأون كل منشور ليقرروا ما يبقى وما يُحذف، باتوا مثقلين بالأعباء. لقد جعل حجم المحتوى الهائل من المستحيل على البشر مواكبته، ومع ذلك، فإن القواعد التي تحدد ما يشكل منشوراً ضاراً أو خارجاً عن الموضوع غالباً ما تكون دقيقة، وتعتمد بشكل كبير على المحادثة المحددة ومعايير المجتمع. ولحل هذه المشكلة، لجأ الباحثون إلى النماذج اللغوية الكبيرة، وهي نوع من الذكاء الاصطناعي القادر على فهم وتوليد نصوص تشبه النصوص البشرية. ويُطلب من هذه النماذج بشكل متزايد أن تعمل كقضاة، حيث تضع تسميات للمنشورات وتتخذ قرارات الإشراف التي كانت في السابق حكراً على البشر. ومع ذلك، يظل هناك سؤال جوهري: هل يمكن للآلة حقاً أن تفهم الفروق الدقيقة في جدال حاد عبر الإنترنت، أم أنها بحاجة لرؤية الصورة الكاملة لاتخاذ قرار عادل؟

دفع هذا السؤال فريقاً من الباحثين من جامعات نمساوية للتحقيق في مدى جودة أداء هؤلاء القضاة الاصطناعيين عندما يتم تزويدهم بكميات مختلفة من المعلومات. وقد ركزوا على بيئة محددة وشاقة: أقسام التعليقات في صحيفة ناطقة باللغة الألمانية. وفي هذا السياق، يتطلب تحديد ما إذا كان التعليق خارجاً عن الموضوع، أو تمييزياً، أو مجرد قصة شخصية، أكثر من مجرد قراءة الكلمات الموجودة على الشاشة؛ إذ يتطلب الأمر فهم سياق المقال الذي يرد عليه، وتاريخ المحادثة التي هو جزء منها. أراد الباحثون معرفة ما إذا كان إعطاء الذكاء الاصطناعي المزيد من السياق — مثل المقال الإخباري الكامل أو سلسلة الردود بأكملها — سيساعده على محاكة قرارات الخبراء البشريين. كما اختبروا نهجاً مختلفاً: بدلاً من تغذية النموذج بمزيد من النصوص لقراءتها، هل يمكنهم إطلاعه على أمثلة لكيفية حكم البشر على تعليقات مماثلة في الماضي؟

لإيجاد الإجابات، استخدم الفريق مجموعة ضخمة تضم أكثر من مليون منشور من الصحيفة النمساوية "دير ستاندارد" (Der Standard)، والتي تضمنت مجموعة أصغر وموسومة بعناية تضم ما يقرب من 12,000 تعليق قام بتقييمها مراقبون بشريون محترفون. واختبروا ثلاثة نماذج مختلفة من الذكاء الاصطناعي ذات أحجام متفاوتة، تتراوح من نموذج أصغر وأسرع إلى نموذج أكبر وأكثر تعقيداً. وبالنسبة لكل نموذج، أجروا سلسلة من التجارب حيث قاموا بتغيير المعلومات المقدمة في "الأمر" (prompt). في بعض الحالات، رأى النموذج التعليق الوحيد المعني فقط. وفي حالات أخرى، رأى التعليق بالإضافة إلى عنوان المقال، أو النص الكامل للمقال، أو سلسلة الردود السابقة بأكملها. كما اختبروا طريقة حيث عُرض على النموذج مثالان قصيران مستخرجان لكيفية حكم البشر على تعليقات مماثلة في الماضي، أحدهما تم الإبقاء عليه والآخر تمت إزالته.

كشفت النتائج عن صورة دقيقة لكيفية تفكير هؤلاء القضاة الرقميين. ووجد الباحثون أن السياق يساعد بالفعل، ولكن ليس بالطريقة التي قد يتوقعها المرء. فمجرد إلقاء المزيد من النصوص في النظام لا يضمن نتائج أفضل. في الواقع، بالنسبة لأنواع معينة من الأحكام، مثل رصد اللغة التمييزية أو الإهانات غير اللائقة، أدى إضافة النص الكامل للخبر الإخباري إلى إرباك النموذج وجعل أداءه أسوأ. كان النموذج يعمل بشكل أفضل عندما يرى تاريخ المحادثة — الردود وتدفق النقاش — لأن المعنى الحقيقي للتعليق يكمن هناك غالباً. ومع ذلك، بالنسبة لفئات أخرى، مثل تحديد ما إذا كان التعليق خارجاً عن الموضوع، كان رؤية المقال الأصلي أمراً ضرورياً. لم يكن هناك "مقدار أفضل" واحد من المعلومات يصلح لكل حالة؛ إذ اعتمد مقدار السياق المناسب تماماً على ما يُطلب من النموذج الحكم عليه.

ولعل الاكتشاف الأكثر إثارة للدهشة هو أن عرض القرارات البشرية الماضية على النموذج كان فعالاً بقدر إطلاعه على المقال الكامل وسياق المحادثة، ولكن مع ميزة كبرى: وهي أنه كان أقصر وأسرع بكثير. فعندما أعطى الباحثون للنموذج مثالين قصيرين لكيفية حكم البشر على تعليقات مماثلة في الماضي، أدى النموذج أداءً يقارب أداءه عندما يُعطى المقال الإخباري الكامل وسلسلة المحادثة بأكملها. وكانت طريقة الاسترجاع هذه أيضاً أكثر موثوقية؛ فقد حسنت أداء النموذج عبر جميع الفئات، في حين أن إضافة المزيد من النصوص أدت أحياناً إلى تدهور الأداء. لقد تبين أن رؤية كيف حلّ إنسان مشكلة مماثلة في الماضي كانت بمثابة اختصار قوي سمح للنموذج بتعلم معايير المجتمع دون الحاجة لقراءة صفحات من الخلفية النصية.

أثبت حجم نموذج الذكاء الاصطناعي أنه العامل الأكثر حسمًا على الإطلاق. فالنموذج الأكبر، الذي يحتوي على 31 مليار معلمة (parameter)، كان الوحيد الذي استطاع باستمرار مطابقة عتبة الحكم لدى الخبراء البشريين، مما جعله يتخذ قرارات متوازنة ليست شديدة الصرامة ولا متساهلة للغاية. أما النماذج الأصغر فقد عانت بشكل كبير؛ فالنموذج الأصغر، الذي يضم مليار معلمة فقط، غالباً ما فشل في التحسن عند تزويده بمزيد من السياق أو الأمثلة، بل وأحياناً كان أداؤه يسوء معها. أما النموذج متوسط الحجم، فيمكن جعله يصنف كل تعليق تقريباً على أنه إشكالي، حيث يلتقط كل شيء تقريباً ولكنه يطلق أيضاً الكثير من الإنذارات الكاذبة. يشير هذا إلى أنه بينما قد تكون النماذج الأصغر مفيدة كفلتر أول لالتقاط المشكلات الواضحة، إلا أنها ليست جاهزة بعد لاستبدال الحكم البشري بمفردها. فقط النماذج الأكبر أظهرت القدرة اللازمة لفهم الحدود الدقيقة لمعايير المجتمع.

وعند مقارنتها بأنظمة الكمبيوتر السابقة التي تم تدريبها خصيصاً على هذه البيانات، أظهر النهج الجديد قوة متميزة في المجالات الأكثر أهمية للسلامة. فقد كان القضاة الاصطناعيون أفضل بكثير في تحديد المنشورات النادرة والضارة التي تؤدي إلى الإزالة، مثل المحتوى التمييزي أو الخارج عن الموضوع، متفوقين بذلك على الأنظمة القديمة التي تم تدريبها على آلاف الأمثلة. ومع ذلك، كانت الأنظمة القديمة المدربة لا تزال أفضل في تحديد المحتوى البناء، مثل القصص الشخصية أو النقاط الجيدة والمبنية على حجة. يسلط هذا الاختلاف الضوء على واقع رئيسي: النهج الجديد يعمل بشكل أفضل حيث تكون بيانات التدريب البشرية نادرة ومكلفة للإنتاج. فبالنسبب للحالات النادرة والصعبة التي تحدد سلامة المجتمع، يمكن للقاضي الاصطناعي، مسترشداً ببضعة أمثلة ذكية، أن يؤدي دوراً أفضل من نظام تم تدريبه على بيانات محدودة. لكن بالنسبة للتفاعلات الشائعة والإيجابية، لا تزال الطرق القديمة تحتفظ بالأفضلية.

في النهاية، تشير الدراسة إلى أن مستقبل الإشراف على المحتوى لا يتعلق باستبدال البشر بآلة واحدة مثالية، بل بإيجاد الأدوات المناسبة للمهمة المناسبة. وتشير الأبحاث إلى أن أفضل استراتيجية لغرف الأخبار والمجتمعات عبر الإنترنت تتضمن استخدام أكبر النماذج المتاحة والاعتماد على طريقة تُظهر لها كيف حكم البشر مواقف مماثلة في الماضي، بدلاً من إغراقها بنصوص لا تنتهي. يسمح هذا النهج بإشراف قابل للتوسع وموثوق حتى في اللغات والمجتمعات التي لا تتوفر فيها قاعدة بيانات ضخمة من الأمثلة الموسومة للتدريب عليها. إنه يقدم مساراً للمستقبل حيث يمكن للتكنولوجيا التعامل مع حجم الإنترنت مع احترام الطبيعة الدقيقة والمعتمدة على السياق للمحادثة البشرية، بشرط اختيار النموذج الصحيح وتقديم المعلومات الصحيحة.