Are LLMs More Skeptical of Entertainment News?

ملخص تقني: هل تظهر النماذج اللغوية الكبيرة تشككاً أكبر تجاه أخبار الترفيه؟

بيان المشكلة
مع تزايد نشر النماذج اللغوية الكبيرة (LLMs) لتقييم مصداقية الأخبار بشكل آلي، توجد فجوة حرجة في فهم ما إذا كانت هذه الأنظمة تطبق معايير متساوية عبر مختلف الأنواع الصحفية. وبينما ركزت الأبحاث السابقة على أداء المعايير المرجعية الإجمالية والتعميم عبر المجالات، لا يزال من غير الواضح ما إذا كانت النماذج اللغوية الكبيرة تصنف أخبار الترفيه المشروعة كأخبار "مزيفة" بمعدلات أعلى من الأخبار الصلبة المشروعة. ينبع هذا القلق من أن الأنماط الأسلوبية لصحافة الترفيه — مثل التركيز على الحياة الخاصة، والعرض القائم على السرد، والحيوية العاطفية — تتداخل مع السمات السطحية التي تعتمد عليها أدوات الكشف غالباً للإشارة إلى عدم الموثوقية. وإذا قامت النماذج اللغوية الكبيرة بمعاقبة هذه الأنماط النوعية بشكل غير متناسب، فإنها تخاطر بإدخال نتائج إيجابية كاذبة مهيكلة تؤدي إلى التحيز في الإشراف على المنصات وتعزيز الهياكل القائمة لشرعية الصحافة.

المنهجية
تستخدم الدراسة تصميماً داخل مجموعة البيانات باستخدام مجموعة GossipCop الفرعية من معيار FakeNewsNet، والتي تحتوي على كل من أخبار الترفيه (القيل والقال) والأخبار الصلبة المصنفة كأخبار حقيقية. تستخدم الدراسة أربعة نماذج لغوية كبيرة رائدة هي: DeepSeek-V3.2، و GPT-5.2، و Claude Opus 4.6، و Gemini 3 Flash. وتتكون المنهجية من أربعة مكونات متميزة:

1. مقارنة الإيجابية الكاذبة داخل مجموعة البيانات: يقارن المؤلفون معدلات الإيجابية الكاذبة (FPR) للنماذج اللغوية الكبيرة في وضع "الصفر استباقي" (zero-shot) بين مجموعتين فرعيتين من المقالات الحقيقية من GossipCop: أخبار الترفيه والأخبار الصلبة. تم ترشيح المقالات وتصنيفها إلى أربع فئات (أخبار الترفيه، أخبار صلبة، رأي، ترويجي) باستخدام مصنف DeepSeek-V3.2 الذي تم التحقق منه بواسطة مدونين بشريين. المقياس الأساسي هو الفرق في معدل الإيجابية الكاذبة ($\Delta$FPR) بين النوعين.
2. تجربة تبديل الأسلوب: لاختبار ما إذا كان التباين الملحوظ مدفوعاً فقط بالسجل الأسلوبي، تمت إعادة كتابة 50 مقال ترفيه حقيقي بأسلوب الأخبار الصلبة التقليدي مع الحفاظ على الادعاءات الحقائقية الجوهرية. وتم تقييم هذه المقالات المعاد كتابتها مقابل المقالات الأصلية لتحديد ما إذا كان التغيير الأسلوبي وحده يمكن أن يقلل من الإيجابيات الكاذبة.
3. التخفيف القائم على التوجيه (Prompting): تبحث الدراسة فيما إذا كانت استراتيجيات التوجيه المحددة يمكن أن تقلل من الإيجابيات الكاذبة. اختبرت مرحلة استكشافية خمسة متغيرات للتوجيه، مما أدى إلى مرحلة تأكيدية باستخدام "توجيه دور الخبير" (إطار عمل يضع النموذج كمدقق حقائق لأخبار الترفيه) على حالات الإيجابية الكاذبة في DeepSeek-V3.2. تضمنت هذه المرحلة تحليلاً للمقايضة لضمان أن التخفيف لا يؤدي إلى تدهور الاستدعاء (recall) للأخبار المزيفة الفعلية.
4. التحليل النوعي للأخطاء: تم إجراء ترميز يدوي لـ 85 حالة من عينات الإيجابية الكاذبة لتحديد أنماط الخطأ المتكررة، وبالتحديد البحث عن مبررات تتعلق بـ "عدم إمكانية التحقق من الحياة الخاصة" و"عدم الثقة على مستوى النوع الصحفي".

النتائج الرئيسية
تحدد الدراسة وجود تباين نوعي مرتبط بنموذج محدد في تصنيف الصدق في وضع "الصفر استباقي":

• التباين في نماذج محددة: أظهر DeepSeek-V3.2 و GPT-5.2 فجوات كبيرة في الإيجابية الكاذبة. صنف DeepSeek-V3.2 أخبار الترفيه المشروعة كأخبار مزيفة بمعدل أعلى بـ 10.1 نقطة مئوية من الأخبار الصلبة ($p < .001$). وأظهر GPT-5.2 فجوة مماثلة بلغت 8.8 نقطة مئوية ($p < .001$). في المقابل، لم يظهر Claude Opus 4.6 و Gemini 3 Flash أي فرق ذي دلالة إحصائية في معدل الإيجابية الكاذبة بين النوعين.
• تأثير محدود لإعادة كتابة الأسلوب: لم تؤدِ إعادة كتابة مقالات الترفيه إلى أسلوب الأخبار الصلبة إلا إلى تغييرات محدودة وغير متسقة في أحكام النماذج. بالنسبة لـ DeepSeek-V3.2، ظل معدل التزييف الإجمالي دون تغيير بعد إعادة الكتابة. أما بالنسبة لـ GPT-5.2، فقد ارتفع معدل التزييف في الواقع من 22.0% إلى 32.0% بعد إعادة الكتابة. يشير هذا إلى أن التباين ليس قابلاً للاختزال في السجل الأسلوبي وحده.
• التخفيف عبر التوجيه الخاص بالنموذج: كان التخفيف القائم على التوجيه فعالاً لـ DeepSeek-V3.2 ولكن ليس لـ GPT-5.2. أدى إطار عمل "خبير تدقيق حقائق أخبار الترفيه" لـ DeepSeek-V3.2 إلى تقليل الإيجابيات الكاذبة بنسبة 50% تقريباً (من 155 حالة أساسية إلى 77 حالة مصححة) دون خسارة ذات دلالة إحصائية في الاستدعاء للمقالات المزيفة. ومع ذلك، لم تقدم عائلة التوجيه نفسها أي تحسن لـ GPT-5.2.
• أنماط الخطأ: كشف التحليل النوعي أن الإيجابيات الكاذبة نبعت غالباً من نمطين متكررين: معاملة الادعاءات المتعلقة بالحياة الخاصة على أنها غير قابلة للتحقق بطبيعتها، والتقليل من شأن الصحافة الترفيهية كنوع صحفي ضعيف معرفياً.

الأهمية والمساهمات
تقدم الورقة ثلاث مساهمات رئيسية في الأدبيات المتعلقة بتقييم المصداقية بوساطة الذكاء الاصطناعي:

1. تحديد الإيجابيات الكاذبة المهيكلة: توضح الدراسة أن مقاييس الأداء الإجمالية يمكن أن تحجب الإيجابيات الكاذبة المنهجية ضمن الصحافة المشروعة. وتكشف الدراسة أن النماذج اللغوية الكبيرة في وضع "الصفر استباقي" لا تطبق معايير مصداقية محايدة عبر جميع الأنواع الصحفية، حيث تعاقب بعض النماذج أخبار الترفيه بشكل كبير.
2. الفصل بين الأسلوب وافتراضات النوع الصحفي: من خلال إظهار أن تجارب تبديل الأسلوب تعطي نتائج غير متسقة، تجادل الورقة بأن التشكك تجاه أخبار الترفيه ليس مجرد رد فعل لعلامات أسلوبية، بل يعكس افتراضات أعمق خاصة بالنموذج حول شرعية النوع الصحفي نفسه.
3. الآثار المنهجية والنظرية: تشير النتائج إلى أن تقييم المصداقية بوساطة النماذج اللغوية الكبيرة لا يقتّم فقط الادعاءات الحقيقية، بل يصنف أيضاً بشكل ضمني شرعية الأشكال الصحفية المختلفة. وهذا يعيد إنتاج الهياكل القائمة حيث تُعامل الأخبار الصلبة على أنها أكثر سلطة من الأخبار "الناعمة" أو الترفيهية. وبناءً على ذلك، يجادل المؤلفون بضرورة أن تتضمن بروتوكولات التقييم تحليلاً للإيجابية الكاذبة مصنفاً حسب النوع جنباً إلى جنب مع الدقة الإجمالية لضمان النشر المسؤول.

تخلص الدراسة إلى أنه بينما يمكن أن تكون استراتيجيات التخفيف مثل "توجيه دور الخبير" فعالة لنماذج معينة، إلا أنها ليست حلولاً عامة. إن التباينات الملحوظة تمثل نمط فشل خاص بالنموذج بدلاً من كونها خاصية متأصلة في التصنيف "صفر استباقي"، مما يسلط الضوء على الحاجة إلى أطر تقييم تأخذ في الاعتبار كيفية تشغيل الأنظمة المختلفة للافتراضات الضمنية حول الشرعية الصحفية.