Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection
بينما يمكن للنماذج اللغوية الكبيرة المضبوطة وفق التعليمات توليد تسميات توضيحية واسعة النطاق للكشف عن العدائية بتكلفة ضئيلة مقارنة بالوسم البشري مع أداء إجمالي مماثل، إلا أنها تُدخل أنماط خطأ منهجية في الحالات الغامضة تستوجب مراعاة دقيقة لملفات الخطأ الخاصة بكل تطبيق بدلاً من مجرد مقاييس كفاءة التكلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية رصد التعليقات "السامة" على منصة تواصل اجتماعي، وتحديداً التعليقات العدائية تجاه المهاجرين. لديك مكتبة ضخمة تضم 278,000 تعليق، لكن لا يمكنك قراءتها جميعاً بنفسك. تحتاج أولاً إلى تصنيفها (وضع علامات عليها) لكي يتمكن الروبوت من التعلم.
هذه الورقة البحثية تطرح سؤالاً عصرياً للغاية: هل ما زلنا بحاجة إلى البشر للقيام بعملية التصنيف هذه، أم يمكننا فقط استئجار ذكاء اصطناعي فائق السرعة ومنخفض التكلفة للقيام بذلك نيابة عنا؟
إليك تفاصيل تجربتهم، مشروحة بتشبيهات بسيطة.
الإعداد: "اختبار التذوق"
استخدم الباحثون طريقتين لتصنيف التعليقات:
- اللجنة البشرية: استأجروا 6 أشخاص حقيقيين لقراءة التعليقات والبت في كونها عدائية أم لا. هذا الأمر مكلف وبطيء (مثل استئجار فريق من نقاد الطعام).
- لجنة الذكاء الاصطنا artificial: استخدموا ذكاءً اصطناعياً قوياً (GPT-5.2) لقراءة نفس التعليقات. هذا الأمر سريع جداً ورخيص (مثل استخدام ماسح ضوئي عالي التقنية للنكهات).
كما اختبروا أيضاً "التعلم النشط" (Active Learning). فكر في هذا كاستراتيجية "أخذ عينات ذكية". بدلاً من قراءة 100% من التعليقات، يحاول الذكاء الاصطناي اختيار التعليقات الأكثر إرباكاً أو الأكثر إثارة للاهتمام ليقرأها البشر، على أمل تعلم القواعد بشكل أسرع باستخدام أمثلة أقل.
الاكتشاف الكبير: مقايضة "الحجم مقابل الجودة"
1. معجزة التكلفة
وجد الباحثون أنه إذا تركت الذكاء الاصطناعي يصنف 26,000 تعليق (كمية هائلة)، فإن نموذج الروبوت الناتج سيكون بجودة النموذج المدرب على 3,800 ملصق بشري.
- العائق: نسخة الذكاء الاصطناعي كلفت 43 دولاراً. النسخة البشرية كلفت 316 دولاراً.
- التشبيه: الأمر يشبه شراء حقيبة ضخمة من حبوب الإفطار ذات العلامة التجارية العادية مقابل 5 دولارات، والتي طعمها جيد تماماً مثل علبة صغيرة من الحبوب الفاخرة المصنوعة يدوياً مقابل 35 دولاراً. إذا كنت تريد فقط ملء وعاءك (الحصول على نتيجة جيدة)، فإن الحقيبة الضخمة الرخيصة هي الفائزة.
2. فخ "التعلم النشط"
اختبروا ما إذا كان "التعلم النشط" (أخذ العينات الذكية) يساعد البشر على العمل بشكل أسرع.
- النتيجة: لم يساعد ذلك حقاً. في هذه الحالة تحديداً، كانت مجموعة التعليقات "مفلترة مسبقاً" لتكون حول موضوع الهجرة. ولأن المجموعة كانت مليئة بالفعل بمحتوى ذي صلة، فإن اختيار التعليقات "الأكثر إرباكاً" لم يوفر الكثير من الوقت أو المال مقارمًا باختيار تعليقات عشوائية.
- التشبيه: تخيل أنك تبحث عن كرات رخامية حمراء في دلو يحتوي بالفعل على 90% من الكرات الحمراء. محاولة أن تكون "ذكياً" بشأن أي منها تختار لا تساعد؛ أنت فقط تضيع وقتك. يمكنك ببداً مجرد التقاط حفنة عشوائية.
المفاجأة: الذكاء الاصطناعي "المتحمس أكثر من اللازم"
هنا يصبح الأمر مثيراً للاهتمام. بينما حصل الروبوت المدرب بالذكاء الاصطناعي على نفس الدرجة الإجمالية تقريباً للروبوت المدرب بشرياً، إلا أنهما ارتكبا أنواعاً مختلفة من الأخطاء.
- الروبوت البشري: كان متوازناً. ارتكب أخطاءً حيث أغفل تعليقاً ساماً، وأخطاءً أخرى حيث اعتبر تعليقاً غير ضار ساماً.
- روبوت الذكاء الاصطناعي: كان متحمساً للغاية. فقد صنف عدداً أكبر بكثير من التعليقات على أنها "سامة" مما فعل البشر.
تشبيه "الرقابة الحدودية":
تخيل أن تعليقاً يقول: "من فتح الحدود؟ نحن بحاجة إلى ضوابط!"
- الإنسان يعتقد: "هذا نقد لسياسة حكومية. إنه أمر سياسي، لكنه ليس هجوماً على مجموعة محددة من الناس. آمن."
- الذكاء الاصطناعي يعتقد: "هذا يذكر الحدود والرقابة. يبدو سلبياً تجاه المهاجرين. سام!"
الذكاء الاصطناعي يميل إلى الخلط بين انتقاد السياسة وبين كراهية مجموعة من الناس. ولأن الذكاء الاصطناعي صنف الكثير من الأشياء على أنها "سامة"، أصبح الروبوت الذي دربه يعمل بعقلية "متهم حتى تثبت براءته". فهو يمسك بمعظم الأشياء السيئة، لكنه يمسك أيضاً بالكثير من الأشياء البريئة.
مشكلة "الثقة"
كان الروبوت المدرب بالذكاء الاصطناعي أيضاً مفرط الثقة في أخطائه.
- عندما يرتكب الروبوت المدرب بشرياً خطأً، فإنه عادة ما يكون غير متأكد (ثقة منخفضة).
- عندما يرتكب الروبوت المدرب بالذكاء الاصطناعي خطأً، فإنه يكون متأكداً بنسبة 100% من أنه على حق.
التشبيه:
- الروبوت البشري: "أعتقد أن هذا التعليق قد يكون سيئاً، لكنني لست متأكداً بنسبة 100%. دعونا نسأل بشرياً للتدقيق."
- روبوت الذكاء الاصطناعي: "هذا التعليق سيء بالتأكيد! أنا متأكد بنسبة 100%! لا داعي للتحقق!"
- الخطر: إذا اعتمدت على روبوت الذكاء الاصطناعي لتصفية المحتوى تلقائياً، فقد يحذف تعليقات بريئة دون أن يلاحظ أحد ذلك لأنه كان واثقاً جداً من أنه على حق.
الخلاصة: هل ما زلنا بحاجة إلى البشر؟
نعم، ولكن هذا يعتمد على هدفك.
- إذا كنت باحثاً بميزانية ضئيلة وتحتاج فقط إلى نموذج عام لمعرفة "ما يحدث" في البيانات: استخدم الذكاء الاصطناعي. فهو أرخص بـ 7 مرات وأكثر دقة تقريباً.
- إذا كنت مشرفاً على المحتوى (Content Moderator) حيث تعتبر الإنذارات الكاذبة (حذف المنشورات البريئة) كارثة: تمسك بالبشر (أو بنموذج هجين). ميل الذكاء الاصطناعي لتصنيف التعليقات الغامضة أو الدقيقة كتعليقات سامة هو أمر خطير.
الاستعارة النهائية:
فكر في مُصنف (Annotator) الذكاء الاصطناعي كـ حارس أمن مرعوب من تفويت أي تهديد. هو يوقف كل من يبدو مريباً ولو قليلاً. هو يمسك بكل الأشرار، ولكنه يوقف أيضاً الكثير من السياح الأبرياء.
أما المُصنف البشري فهو حارس أمن يجيد قراءة السياق. هو يعرف الفرق بين سائح يحمل خريطة وإرهابي يحمل سلاحاً. قد يفوت بعض الأشرار، لكنه لا يوقف السياح الأبرياء.
نصيحة الورقة البحثية: لا تنظر فقط إلى النتيجة النهائية (درجة F1). انظر إلى كيفية حدوث الأخطاء. إذا لم تكن تستطيع تحمل ارتكاب أخطاء "الإنذارات الكاذبة" (اتهام الأبرياء)، فلا تزال بحاجة إلى وجود البشر في العملية، حتى لو كان الذكاء الاصطناعي أرخص.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.