Wisdom of the LLM Crowd: A Large Scale Benchmark of Multi-Label U.S. Election-Related Harmful Social Media Content
تقدم هذه الورقة USE24-XD، وهي مجموعة بيانات ضخمة متعددة التصنيفات تضم ما يقرب من 100 ألف منشور من وسائل التواصل الاجتماعي المتعلقة بالانتخابات الأمريكية، تم تصنيفها بواسطة "حكمة الحشود" لستة نماذج لغوية كبيرة والتحقق منها مقابل مقيمين بشريين لتمكين الكشف القابل للتوسع عن المحتوى الضار مع الكشف عن الذاتية المنهجية في سلوكيات التصنيف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت خلال فترة الانتخابات كأنه ساحة مدينة ضخمة وفوضوية؛ الجميع يصرخ، وينشر اللافتات، وينشر القصص. بعض هذه القصص حقيقية، وبعضها نكات، وبعضها إشاعات مخيفة، وبعضها أكاذيب صريحة تهدف لجعل الناس غاضبين أو خائفين.
أراد الباحثون في هذه الورقة البحثية بناء "فلتر" فائق الذكاء لفرز هذا الضجيج والعثور على الأشياء الخطيرة (مثل الأكاذيب، أو خطاب الكراهية، أو الإشاعات المخيفة) قبل أن تنتشر بعيداً. ولكن فرز 100,000 منشور يدوياً قد يستغرق من فريق عمل سنوات. لذا، طرحوا سؤالاً جديداً: هل يمكننا استخدام الذكاء الاصطناعي للقيام بعملية الفرز بدلاً منا؟
إليك قصة كيف حاولوا الإجابة على ذلك، مشروحة ببساطة:
1. المشكلة: "إبرة في كومة قش"
جمع الفريق ما يقرب من 100,000 منشور من منصة إكس (تويتر سابقاً) خلال الانتخابات الأمريكية لعام 2024. أرادوا تصنيف هذه المنشورات إلى خمس "سلال" محددة من المحتوى السيئ:
- المؤامرة: "تم سرقة الانتخابات بواسطة الفضائيين!" (مخططات سرية).
- الإثارة: "عاجل: العالم سينتهي غداً!" (خوف مبالغ فيه ومخيف).
- التكهن: "أراهن أن المرشح سينسحب الأسبوع المقبل." (تخمينات جامحة بلا دليل).
- خطاب الكراهية: مهاجمة الناس بناءً على هويتهم.
- السخرية (الساتير): نكات مضحكة تبدو كأنها أخبار لكنها ليست كذلك (مثل موقع The Onion).
2. التجربة: "نادي الكتاب" للذكاء الاصطناعي
بدلاً من توظيف شخص واحد لقراءة كل منشور، استأجر الباحثون ستة نماذج مختلفة من الذكاء الاصطناعي (تخيلهم كستة أعضاء مختلفين في نادي كتاب، يتمتعون بشخصيات ذكية للغاية).
- أعطوا كل ذكاء اصطناعي نفس الـ 1,000 منشور وسألوه: "هل ينتمي هذا المنشور إلى أي من سلال المحتوى السيئ الخمس لدينا؟"
- كما استعانوا بـ 34 بشرياً حقيقياً (عبر موقع للعمل الحر) للقيام بنفس المهمة، فقط ليروا كيف سيقارن البشر بالذكاء الاصطناعي.
3. المفاجأة الكبرى: "جمهور الذكاء الاصطناعي" كان أكثر اتساقاً
عادةً، نعتقد أن البشر هم المعيار الذهبي للحكم على أشياء مثل "هل هذه نكتة؟" أو "هل هذا خطاب كراهية؟" لأن البشر يفهمون الفروق الدقيقة. لكن الباحثين وجدوا شيئاً مثيراً للاهتمام:
- البشر كانوا فوضويين: عندما نظر بشر مختلفون إلى نفس المنشور، غالباً ما اختلفوا. قد يرى شخص ما أن المنشور "نكتة" (سخرية)، بينما يراه آخر "خطاب كراهية". هذا لأن البشر لديهم تحيزاتهم السياسية وخلفياتهم الخاصة.
- الذكاء الاصطناعي كان ثابتاً: كانت نماذج الذكاء الاصطال الستة تتفق مع بعضها البعض بشكل أكبر بكثير مما فعل البشر. كانوا مثل آلة تعمل بسلاسة.
- "حكمة جمهور الذكاء الاصطناعي": أدرك الباحثون أنه إذا أخذوا تصويت الأغلبية لأفضل ثلاثة نماذج ذكاء اصطناعي، فسيحصلون على نتيجة أفضل حتى من أي نموذج ذكاء اصطناعي منفرد أو أي إنسان منفرد. كان الأمر يشبه سؤال ثلاثة خبراء عن رأيهم والذهاب مع الإجابة التي اتفق عليها اثنان منهم.
4. العامل البشري: السياسة تغير طريقة رؤيتنا للأمور
بحثت الدراسة أيضاً في لماذا اختلف البشر. وجدوا أن من تكون يغير ما تراه.
- إذا كان المصنف البشري محافظاً جداً، فمن المرجح أن يصنف المنشور كـ "خطاب كراهية".
- إذا كان المصنف "وسطياً" أو مستقلاً، فمن المرجح أن يصنفه كـ "تكهن" (مجرد تخمين جامح).
- الاستعارة: تخيل النظر إلى لوحة فنية من خلال نظارات ملونة مختلفة. الشخص الذي يرتدي نظارات حمراء يرى اللوحة بأكملها حمراء؛ والشخص الذي يرتدي نظارات زرقاء يراها زرقاء. الذكاء الاصطناعي لم يكن يرتدي نظارات ملونة، لذا رأى "شكل" المحتوى بشكل أكثر اتساقاً، حتى لو فاتته بعض السياقات البشرية الدقيقة.
5. النتيجة: أداة جديدة للمستقبل
أنشأ الفريق مجموعة بيانات ضخمة ونظيفة تسمى USE24-XD.
- ما وجدوه: حوالي 60% من منشورات الانتخابات التي فحصوها كانت تحمل تصنيفاً "سيئاً" واحداً على الأقل. وهذا يعني أن المحتوى الضار ليس خللاً نادراً، بل هو جزء كبير من الحوار.
- النجاح: أثبتوا أن استخدام "فريق" من الذكاء الاصطناعي هو وسيلة رخيصة وسريعة ودقيقة بشكل مدهش لتنظيف وسائل التواصل الاجتماعي. هو ليس مثالياً (فهو يخطئ أحياناً في فهم النكات الدقيقة)، لكنه أسرع وأرخص بكثير من توظيف جيوش من البشر.
الخلاية (الخلاصة)
اعتبر هذه الدراسة بمثابة بناء نوع جديد من الغرابيل (المصافي).
في الماضي، كنا نحاول غربلة ضجيج الإنترنت باستخدام غرابيل صغيرة مصنوعة يدوياً (البشر)، والتي كانت بطيئة وغير متسقة. تُظهر هذه الورقة أننا نستطيع بناء منخل ضخم وآلي مصنوع من الذكاء الاصطناعي. وبينما لا يكون منخل الذكاء الاصطناعي مثالياً، إلا أنك إذا استخدمت عدة مناخل معاً وأخذت تصويت الأغلبية، فستمسك بكل "الثمار الفاسدة" دون الحاجة لتوظيف آلاف الأشخاص للبحث في سلة الفاكهة.
هذا يمنح الباحثين والمنصات أداة قوية لفهم ومحاربة المعلومات المضللة قبل أن تسبب ضرراً حقيقياً في العالم الواقعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.