AI Fact-Checking in the Wild: A Field Evaluation of LLM-Written Community Notes on X
تقدم هذه الورقة أول تقييم ميداني لنظام للتحقق من الحقائق قائم على النماذج اللغوية الكبيرة (LLM) تم نشره في ميزة "ملاحظات المجتمع" (Community Notes) على منصة إكس، حيث أثبتت من خلال دراسة استمرت ثلاثة أشهر أن الملاحظات المكتوبة بواسطة الذكاء الاصط artificially تحقق درجات أعلى في درجة الفائدة وإجماعاً أوسع عابراً للحزبية مقارنة بالملاحظات المكتوبة بشرياً عند ضبط ديناميكيات المنصة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل وسائل التواصل الاجتماعي كساحة مدينة ضخمة وفوضوية حيث يصرخ الجميع. أحياناً، يصرخ الناس بأشياء ليست حقيقية. وللحفاظ على الساحة من التحول إلى أعمال شغب، خصصت المدينة مجموعة من المتطوعين (مثل "ملاحظات المجتمع" على منصة X) للتدخل وتقديم السياق، مثل أمين مكتبة يهمس: "في الواقع، تلك القصة عن هبوط القمر مزيفة؛ إليك صورة لعملية الإطلاق".
لفترة طويلة، تساءل العلماء: هل يمكن لأمين مكتبة آلي فائق الذكاء أن يقوم بهذه الوظيفة بقدر ما يقوم بها المتطوعون البشر، أو حتى بشكل أفضل؟
كانت معظم الاختبارات السابقة تشبه وضع الروبوت في فصل دراسي هادئ وطلب إجراء اختبار قصير منه. كان الروبوت يؤدي جيداً، لكننا لم نكن نعرف ما إذا كان بإمكانه التعامل مع الضجيج، والتوقيت، والفوضى في ساحة المدينة الحقيقية.
هذه الورقة البحثية هي المرة الأولى التي يضع فيها الباحثون أمين مكتبة آلي داخل ساحة المدينة الفعلية ليروا كيف سيكون أداؤه في الواقع.
التجربة: الروبوت مقابل البشر
قام الباحثون ببناء "كاتب" يعمل بالذكاء الاصطنيعي وأطلقوه في منصة X (تويتر سابقاً) لمدة ثلاثة أشهر.
- الوظيفة: عندما يبدو منشور ما مريباً، يقوم الذكاء الاصطناعي بالبحث في الويب، والتحقق من الفيديوهات، وإيجاد الحقيقة، وكتابة ملاحظة قصيرة تشرحها.
- المنافسة: كتب الذكاء الاصطناعي 1,614 ملاحظة. وفي الوقت نفسه، كتب البشر 1,332 ملاحظة على نفس المنشورات تماماً.
- الحكام: قام أكثر من 42,000 مستخدم حقيقي بالتصويت عما إذا كانت هذه الملاحظات "مفيدة".
المشكلة الكبيرة: عقوبة "الوصول المتأخر"
إليك الجزء الصعب. ساحة المدينة لها قاعدة غريبة: كلما وصلت مبكراً، رآك عدد أكبر من الناس.
- البشر استطاعوا التدخل في اللحظة التي رأوا فيها كذبة.
- الذكاء الاصطناعي كان عليه الانتظار. لم يكن بإمكانه البدء في العمل إلا بعد أن يقوم عدد كافٍ من البشر بالإبلاغ عن المنشور كونه "مريباً".
لأن الذكاء الاصطناعي كان يتأخر دائماً ببضع دقائق، حصل على أصوات أقل. الأمر يشبه كوميدياً يصعد على المسرح بعد 10 دقائق من بدء العرض؛ الجمهور يغادر بالفعل، لذا لن يسمعوا نكتته، حتى لو كانت النكتة مضحكة. أدرك الباحثون أنه إذا اكتفوا بمقارنة الدرجات النهائية فقط، فسيظهر الذكاء الاصطناعي بشكل أسوأ لمجرد أنه وصل متأخراً، وليس لأن ملاحظاته كانت سيئة.
الحل: اختبار "اللعب النظيف"
لإصلاح ذلك، قام الباحثون بشيئين:
- فحص "التصويت الفردي": نظروا في كل شخص صوت. هل أعجبت الناخب المنتمي لليسار ملاحظة الذكاء الاصطناعي؟ هل أعجبت الناخب المنتمي لليمين؟ هل أعجبتها؟
- فحص "نفس الجمهور": نظروا فقط في الحالات النادرة التي صوت فيها نفس المجموعة بالضبط على كل من الملاحظة البشرية وملاحظة الذكال الاصطناعي لنفس المنشور. هذا أزال ميزة "الوصول المتأخر".
النتائج المفاجئة
عندما جردوا عامل ميزة التوقيت، فاز أمين المكتبة الروبوت.
- تأثير "الجسر": الهدف من "ملاحظات المجتمع" هو كتابة شيء يتفق الناس في اليسار واليمين والوسط على أنه مفيد. كان الذكاء الاصطناعي بارعاً بشكل مفاجئ في هذا. لقد كتب ملاحظات تم تقييمها على أنها "مفيدة" من قبل أشخاص عبر الطيف السياسي بأكمله بشكل أكثر تكراراً من الملاحظات البشرية.
- منطقة "غولديلوكس" (المثالية): كان الذكاء الاصطناعي نجماً خارقاً عند التحقق من الحقائق المتعلقة بـ الصحة، والطب، ونظريات المؤامرة. استطاع بسرعة إيجاد مصادر موثوقة (مثل المجلات الطبية أو مواقع التحقق من الحقائق) وتلخيصها بشكل مثالي.
- نقطة الضعف: واجه الذكاء الاصطناعي صعوبة قليلاً في المنشورات المتعلقة بـ المحتوى المُنشأ بواسطة الذكاء الاصطناعي (مثل التزييف العميق). ومن السخرية أن الروبوت لم يكن جيداً في رصد عمل الروبوتات الأخرى لأنه لم يمتلك الأدوات المتخصصة للكشف عن التزييف العميق بعد.
كيف كانوا يكتبون
- البشر مالوا إلى ربط الملاحظات بتغريدات أخرى ومنشورات على وسائل التواصل الاجتماعي (أي "نميمة" الساحة).
- الذكاء الاصطناعي مال إلى الربط بمنافذ الأخبار الكبرى، وويكيبيديا، ومواقع التحقق الرسمية (أي "الموسوعات").
كما كتب الذكاء الاصطناعي ملاحظات أطول قليلاً وأكثر تفصيلاً.
الخلاصة
تثبت هذه الدراسة أن الذكاء الاصطناعي يمكن أن يكون شريكاً قوياً في محاربة المعلومات المضللة، ولكن يجب استخدامه بحكمة.
- الذكاء الاصطناعي بارع في: جمع الحقائق بسرعة، والتحقق منها مقابل قواعد بيانات موثوقة، وكتابة ملخصات محايدة لا تثير حفيظة أحد. إنه يشبه مساعد بحث دؤوب لا يتعب أبداً.
- البشر بارعون في: رصد الاتجاهات الجديدة والغريبة، وفهم السياق الثقافي، والتعامل مع المواقف التي لم تُكتب قواعدها بعد.
الخلاصة النهائية: لسنا بحاجة للاختيار بين الروبوتات والبشر. أفضل ساحة مدينة هي تلك التي يتولى فيها أمين المكتبة الآلي العبء الثقيل للتحقق من الحقائق، مما يسمح للمتطوعين البشر بالتركيز على القضايا المعقدة والدقيقة التي تتطلب لمسة بشرية. عندما يعملون معاً، تحصل المجتمعات بأكملها على معلومات أفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.