Artificial Intelligence and Misinformation Detection in Digital Media: An Explainable Machine Learning Framework
تقترح هذه الدراسة إطار عمل لتعلم الآلة القابل للتفسير للكشف عن المعلومات السياسية المضللة على وسائل التواصل الاجتماعي، والذي يحقق أداءً تنبؤياً فائقاً مقارنة بالنماذج المرجعية، مع التأكيد على أن موثوقية النظام في العالم الحقيقي تتقيد في نهاية المطوير بضعف الاتفاق على تسميات الحقيقة الأرضية وضعف القدرة على التعميم الزمني بدلاً من القيود الهيكلية.
في العصر الرقمي، تغير تدفق المعلومات بشكل لا رجعة فيه. فقد أصبحت منصات التواصل الاجتماعي هي الساحات العامة الأساسية التي تنتقل عبرها الأخبار السياسية، لكنها تعمل أيضاً كمراعي للقصص الزائفة المصممة للتأثير على الرأي العام. وعندما تقترب أمة من لحظة حاسمة، مثل انتخابات رئاسية، فإن السرعة التي تنتشر بها المعلومات المفبركة غالباً ما تفوق قدرة مدققي الحقائق البشريين على التحقق منها. وقد دفع هذا الباحثين إلى اللجوء إلى الذكاء الاصطناعي، وتحديداً تعلم الآلة، ليعمل كمرشح أو مصفاة. تتعلم هذه الأنظمة الحاسوبية التعرف على الأنماط في النصوص التي تشير إلى أن القصة كاذبة، تماماً كما قد يكتشف محرر متمرس خطأً مطبعياً أو مصدراً مشبوهاً. ومع ذلك، تبرز مشكلة كبيرة مع أقوى هذه الأنظمة: فهي غالباً ما تعمل كـ "صناديق سوداء". يمكنها تحديد الكذبة بشكل صحيح، لكنها لا تستطيع شرح لماذا اتخذت هذا القرار. وفي عالم يمكن فيه لعملية تضليل (راية زائفة) أن تدمر سمعة أو تغير مسار انتخابات، فإن عدم القدرة على فهم المنطق وراء حكم الحاسوب يجعل من الصعب على البشر الوثوق بالنتيجة أو التحقق منها.
ولمعالجة هذه الفجوة، طور الباحثان محمد عثمان أسلم وحافظ عقيب ستار نهجاً جديداً يجمع بين قوة تعلم الآلة والحاجة إلى الفهم البشري. لم يكتفيا ببناء حاسوب أكثر ذكاءً، بل بنيا نظاماً يمكنه "إظهار خطوات عمله". وباستخدام مجموعة ضخمة تضم أكثر من 8000 تغريدة من انتخابات الرئاسة الأمريكية لعام د2016، درّب الفريق عدة أنواع مختلفة من النماذج الحاسوبية للتمييز بين الأخبار الحقيقية والمعلومات المضللة. ثم دمجوا أفضل هذه النماذج في إطار عمل واحد متعدد الطبقات. والأهم من ذلك، أنهم أضافوا طبقة تفسيرية تسلط الضوء بدقة على الكلمات، أو تفاصيل المستخدم، أو القرائن الهيكلية التي أدت بالنظام إلى وسم المنشور بأنه كاذب. وهذا يسمح للمراجع البشري بأن يرى، على سبيل المثال، أن المنشور قد تم وسمه لأنه جاء من حساب غير موثق واستخدم لغة عاطفية محددة، بدلاً من مجرد تلقي حكم "كاذب" أعمى.
كانت نتائج هذه التجربة كاشفة. فقد حقق إطار العمل الجديد أداءً أفضل من أي نموذج منفرد تم اختباره بمفرده، حيث نجح في تحديد نسبة أعلى من القصص الكاذبة مع الحفاظ على معدل منخفض من الإنذارات الخاطئة. ووجد النظام أن العلامات الأكثر موثوقية للتضليل لم تكن دائماً في الكلمات نفسها، بل في السياق الذي ظهرت فيه. فعلى سبيل المثال، تعلم النظام أن المنشورات التي تذكر مرشحين محددين خلال الساعات المباشرة ليلة الانتخابات، أو تلك القادمة من حسابات بدون شارات توثيق، كانت مشبوهة للغاية. كما لاحظ أن القصص الكاذبة غالباً ما تستخدم لغة مباشرة بصيغة المخاطب، حيث تتحدث مباشرة إلى القارئ باستخدام كلمات مثل "أنت"، بينما تميل الأخبار الحقيقية إلى أن تكون أكثر حيادية. ومن خلال التركيز على هذه القرائن الهيكلية والسياقية جنباً إلى جنب مع النص، استطاع النظام تقديم أحكام أكثر دقة من النماذج التي تكتفي بالنظر في الكلمات فقط.
ومع ذلك، كشفت الدراسة أيضاً عن قيد مثير للقلق يتحدى فكرة وجود حل مثالي واحد يناسب الجميع. فعندما اختبر الباحثون النماذج على تغريدات من فترة زمنية مختلفة — وتحديداً المنشورات التي تمت بعد انتهاء الانتخابات — انخفض أداء كل نظام، بما في ذلك إطار عملهم الجديد، بشكل كبير. فالنماذج، التي تم تدريبها على اللغة المكثفة والمحددة لموسم الحملة الانتخابية، واجهت صعوبة في التعرف على التضليل بمجرد مرور الحدث وتغير السياق. وهذا يشير إلى أنه بينما تعد هذه الأدوات فعالة في رصد الأكاذيب ضمن اللحظة المحددة التي تم تدريبها عليها، إلا أنها ليست قوية بما يكفي للتعامل مع المشهد المتغير للأحداث المستقبلية دون إعادة تدريب كبيرة. علاوة على ذلك، وجد الباحثون أن "الحقيقة الأرضية" (الواقع) التي يحاولون تعليم الحواسيب إياها كانت بحد ذاتها غير منضبطة؛ حيث اختلف الخبراء البشريون غالباً حول ما إذا كانت تغريدة معينة كاذبة أم لا، مع وجود مستوى منخفض جداً من الاتفاق. وهذا يعني أن أفضل نموذج حاسوبي يظل محدوداً بجودة البيانات البشرية التي يتعلم منها.
في نهاية المطاف، تشير هذه الأبحاث إلى أن مستقبل مكافحة التضليل لا يكمن في بناء خوارزميات تزداد تعقيداً وعدم قابلية للتفسير، بل في إنشاء أنظمة تعمل جنباً إلى جنب مع البشر. إن إطار العمل المقترح لا يستبدل الحكم البشري، بل يعمل كمساعد متطور يحدد المحتوى المشبوه ويوفر الأدلة اللازمة ليتخذ الإنسان القرار النهائي. وتثبت الدراسة أنه من الممكن بناء نظام يتسم بالدقة والشفافية في آن واحد، لكنها تحذر أيضاً من أن مثل هذه الأدوات هشة؛ فهي حساسة للغاية للوقت والموضوع المحدد الذي تم تدريبها عليه، وهي موثوقة بقدر جودة البيانات البشرية المستخدمة لتعليمها. وبالنسبة للمنصات ومدققي الحقائق، فإن الطريق إلى الأمام يتضمن استخدام هذه الأدوات القابلة للتفسير لدعم الإشراف البشري، مع الإقرار بأنه لا يمكن لنموذج واحد حل مشكلة التضليل عبر جميع الأوقات وجميع السياقات. إن النصر الحقيقي، كما يرى المؤلفون، ليس في سرعة الحاسوب الخام، بل في قدرته على جعل منطقه واضحاً بما يكفي ليتمكن البشر من الوثوق به والتحقق منه.
ملخص تقني: الذكاء الاصطنا1 وتحديد المعلومات المضللة في الوسائط الرقمية
بيان المشكلة يشكل الانتشار السريع للمعلومات المضللة على وسائل التواصل الاجتماعي، لا سيما خلال الأحداث السياسية الحساسة مثل الانتخابات الرئاسية الأمريكية لعام 2016، تحديًا كبيرًا لنزاهة المعلومات الرقمية. وبينما أظهرت نماذج تعلم الآلة (ML) والتعلم العميق (Deep Learning) فعالية في اكتشاف المعلومات المضللة، إلا أن طبيعتها كـ "صندوق أسود" تعيق نشرها في العالم الحقيقي حيث تكون المساءلة والإشراف البشري أمورًا بالغة الأهمية. علاوة على ذلك، غالبًا ما تعطي الأدبيات الحالية الأولوية للدقة الخام على حساب القابلية للتفسير، وتفتقر إلى التحقق الإحصائي الصارم، وتفشل كثيرًا في معالجة موثوقية تسميات الحقائق الأرضية (ground-truth labels) أو القدرة على التعميم الزمني للنماذج عبر مراحل الانتخابات المختلفة.
المنهجية تقترح الدراسة إطار عمل لتعلم الآلة القابل للتفسير مصممًا لاكتشاف المعلومات المضللة في نصوص تويتر (X). تعتمد المنهجية على مجموعة بيانات مكونة من 8,495 تغريدة مصنفة من دورة الانتخابات الرئاسية الأمريكية لعام 2016، مستخرجة من مجموعة أصلية تضم 9,001 تغريدة بعد إزالة 53 تكرارًا، و374 سجلًا بتسميات غير محددة، و79 سجلًا تم تقليصها إلى أقل من ثلاث محارف من المعلومات.
هندسة الميزات: يستخدم النموذج مساحة ميزات موحدة تجمع بين الميزات اللغوية (المستخرجة عبر تمثيل TF-IDF للكلمات الأحادية والثنائية، والمقتصرة على أكثر 8,000 مصطلح إخبارية) والبيانات الوصفية الهيكلية على مستوى الحساب (عدد إعادة التغريد، حالة التحقق، عدد الأصدقاء/المتابعين، الإعجابات، عدد الوسوم/الإشارات/الروابط، وعدد الوسائط المضمنة).
بنية النموذج:
النماذج المرجعية (Baselines): تمت مقارنة خمسة مصنفات كمرجع: الانحدار اللوجستي (LR)، وآلة ناقلات الدعم (SVM)، والغابة العشوائية (RF)، ونوعين من الشبكات العصبية الأمامية (FFNN-A و FFNN-B). ومن الجدير بالذكر أنه تم تدريب الشبكات العصبية على الميزات المهندسة بدلاً من المحولات سابقة التدريب (مثل BERT/RoBERTa) بسبب القيود الحسابية، لتكون بمثابة مرجع للحد الأدنى.
إطار العمل المقترح: نهج التجميع المتراكم (Stacked Ensemble) الذي يجمع بين LR و RF و FFNN-A كنماذج أساسية. يتم تغذية احتمالاتها المتوقعة إلى نموذج تعلم ثانوي يعتمد على الانحدار اللوجستي (Logistic Regression meta-learner).
القابلية للتفسير: يدمج إطار العمل تقنية SHAP (تفسيرات شابلي المضافة) المطبقة تحديدًا على المكون الخطي (LR) للمجموعة. يضمن هذا الخيار التصميمي الحصول على عزوات ميزات دقيقة وذات صيغة مغلقة يمكن تتبعها مباشرة إلى الميزات اللغوية والوصفية القابلة للتفسير بشريًا.
التدريب والتحقق:
التعامل مع عدم توازن الفئات: تظهر مجموعة البيانات عدم توازن بنسبة تقارب 4:1 (أخبار حقيقية مقابل معلومات مضللة). تستخدم الدراسة دوال فقدان موزونة للفئات ومعايرة العتبة (التي تم تحسينها إلى 0.60 في مجموعة التحقق) بدلاً من الإفراط في أخذ العينات الاصطناعي للحفاظ على التوزيعات الطبيعية للبيانات والقابلية للتفسير.
التعميم الزمني: تم إجراء اختبار محدد حيث تم تدريب النماذج على تغريدات ما قبل الانتخابات واختبارها على تغريدات ما بعد يوم الانتخابات لتقي وتقييم الأداء تحت تأثير التحولات في التوزيع الزمني.
النتائج الرئيسية
الأداء: حقق إطار العمل التجميعي المتراكم المقترح أعلى مقياس F1 (0ً 0.497) وأعلى مساحة تحت المنحنى (ROC-AUC 0.761) بين جميع الستة مقاربات (الخمسة المرجعية + الإطار المقترح) على مجموعة الاختبار المحجوزة. وبينما حقق الإطار أدنى دقة خام (77.80%) مقارنة بنماذج مثل FFNN-A (82.43%)، إلا أنه تفوق بشكل ملحوظ على أقوى نموذج مرجعي فردي (الانحدار اللوجستي، F1=0.474) والنماذج العصبية (FFNN-A F1=0.333؛ FFNN-B F1=0.244) في المقاييس الأساسية لـ F1 و ROC-AUC.
الدلالة الإحصائية: كشف اختبار McNemar عن فرق ذي دلالة إحصائية في أنماط الخطأ بين الإطار المقترح ومرجع الانحدار اللوجستي (p<.001). ومع ذلك، أظهر تحليل Bootstrap لفرق F1 فترة ثقة 95% تتراوح بين (−0.004,0.050)، مما يشير إلى أنه بينما كان التحسن إيجابيًا من حيث الاتجاه، فإن الحجم الدقيق للمكسب مدعوم بشكل هامشي فقط من قبل البيانات.
أهمية الميزات (SHAP): حدد التحليل حالة التحقق من الحساب والعلامات الزمنية (مثل "electionnight") كأكثر المتنبئات تأثيرًا. كما كانت الميزات اللغوية مثل ضمائر المخاطب ("you", "your") وذكر أسماء المرشحين ذات أهمية كبيرة أيضًا.
فشل التعميم الزمني: عندما تم اختبار النماذج المدربة على بيانات ما قبل الانتخابات على بيانات ما بعد الانتخابات، تدهور الأداء إلى مستويات تقترب من الصدفة (ROC-AUC ≈ 0.56–0.57). يشير هذا إلى أن النماذج تعتمد بشدة على العلامات الزمنية الخاصة بالحدث وتفتقر إلى المتانة تجاه التحولات في التوزيع الزمني.
موثوقية التسميات: وجدت الدراسة معامل كوهين كابا (Cohen's κ) منخفض جدًا قدره 0.084 لاتفاق الملاحظين بين الملاحظين على تسميات الحقائق الأرضية، مما يشير إلى أن ضجيج التسميات هو عامل محدد رئيسي لدقة النموذج والمقارنة.
الأهمية والادعاءات تجادل الورقة بأن القابلية للتفسير والأداء التنبؤي ليسا هدفين متنافيين. فمن خلال دمج مكون قابل للتفسير (الانحدار اللوجستي) في إطار تجميعي أكبر، يحقق إطار العمل مكاسب طفيفة في الأداء في المقاييس الرئيسية مع الحفاظ على الشفافية. وتؤكد الدراسة أن:
فلسفة التصميم: يجب أن تكون القابلية للتفسير جزءًا أصيلًا من خط العمل (عبر SHAP على المكونات الأساسية القابلة للتفسير) بدلاً من كونها إضافة لاحقة، مما يسهل عملية التحقق التي يشارك فيها البشر.
قيود العالم الحقيقي: العوائق الرئيسية أمام نشر أنظمة موثوقة لاكتشاف المعلومات المضللة ليست بالضرورة تعقيد بنية النموذج، بل هي موثوقية التسميات (اتفاق الملاحظين) والقدرة على التعميم الزمني.
الادعاءات المتواض_عة: يحذر المؤلفون صراحة من أن نتائجهم، رغم كونها ذات دلالة إحصائية في أنماط الخطأ، مقيدة بسياق انتخابات 2016 المحدد، والجودة المنخفضة لتسميات الحقائق الأرضية، وعدم المتانة الزمنية. هم لا يدعون أن إطار عملهم يحل مشكلة اكتشاف المعلومات المضللة عالميًا، بل يوضح نهجًا مبدئيًا للموازنة بين الدقة، والقابلية للتفسير، والصرامة الإحصائية.
الاتجاهات المستقبلية تحدد الورقة عدة توسعات ضرورية:
المقارنة المرجعية مع نماذج المحولات سابقة التدريب (مثل BERT، RoBERTa) لتقييم المقايضة بين الأداء والقابلية للتفسير عند مستويات قدرة أعلى.
تحسين جودة الحقائق الأرضية من خلال تعدد مزودي البيانات لمعالجة انخفاض اتفاق الملاحظين.
توسيع مجموعات البيانات لتشمل منصات، ولغات، وفئات سياسية متعددة.
دمج الميزات متعددة الوسائط (الصور، وأنماط الانتشار).
إجراء دراسات مستخدمين مع مشرفي المحتوى للتحقق مما إذا كانت تفسيرات SHAP تحسن بشكل ملموس كفاءة التحقق والثقة في صحة قرار النموذج، مقارنة بالمخرجات غير القابلة للتحقق.
القيود والسياق تسلط الدراسة الضوء على قيدين حرجين يحدان من تفسير النتائج:
موثوقية التسميات: يشير معامل كوهين كابا المنخفض (0.084) إلى أن تسميات الحقائق الأرضية تحتوي على ضجيج كبير، مما يحد من الدقة القصوى التي يمكن تحقيقها ويقلل من اليقين في مقارنات النماذج.
التعميم الزمني: تظهر الدراسة أن النماذج المدربة على بيانات ما قبل الانتخابات تفشل في التعميم على بيانات ما بعد الانتخابات (حيث ينخفض الأداء إلى مستويات تقترب من الصدفة). يشير هذا إلى أن تحسينات الأداء داخل النطاق لا تترجم بالضرية إلى متانة ضد التحولات في التوزيع الزمني، وهو عامل حاسم للنشر في العالم الحقيقي.
تشير هذه النتائج إلى أن الأبحاث المستقبلية يجب أن تعطي الأولوية لـ موثوقية التسميات، والمتانة الزمنية، والتكامل متعدد الوسائط على حساب مجرد التعقيد الهيكلي لبناء أنظمة اكتشاف معلومات مضللة جديرة بالثقة حقًا.