WhatsApp Vaccine Discourse (WhaVax): An Expert-Annotated Dataset and Benchmark for Health Misinformation Detection
تقدم هذه الورقة WhaVax، وهي مجموعة بيانات عالية الجودة وموسومة من قبل خبراء لرسائل واتساب المتعلقة باللقاحات من البرازيل، إلى جانب تحليل مفصل لأنماط المعلومات المضللة ومعيار تقييمي لاختبار نماذج لغوية مختلفة للكشف عن المعلومات الصحية المضللة في بيئات الاتصال المشفرة.
المؤلفون الأصليون:Jônatas H. dos Santos, Julio C. S. Reis, Philipe Melo, João F. H. Olivetti, Thales H. Silva, Matheus Gontijo Guimaraes, Glaucio de Souza, Marcos A. Gonçalves, Fabricio Benevenuto, Filipe B. B. ZanovelJônatas H. dos Santos, Julio C. S. Reis, Philipe Melo, João F. H. Olivetti, Thales H. Silva, Matheus Gontijo Guimaraes, Glaucio de Souza, Marcos A. Gonçalves, Fabricio Benevenuto, Filipe B. B. Zanovello, Marco A. G. Rodrigues, Cristiano X. Lima
المؤلفون الأصليون: Jônatas H. dos Santos, Julio C. S. Reis, Philipe Melo, João F. H. Olivetti, Thales H. Silva, Matheus Gontijo Guimaraes, Glaucio de Souza, Marcos A. Gonçalves, Fabricio Benevenuto, Filipe B. B. Zanovello, Marco A. G. Rodrigues, Cristiano X. Lima
تخيل تطبيق واتساب كمكتبة ضخمة مشفرة حيث يهمس ملايين الأشخاص بأسرارهم لبعضهم البعض في غرف خاصة. ولأن الأبواب مغلقة (التشفير)، فمن الصعب جداً على أمناء المكتبات أو الباحثين رؤية ما يقال. تقدم هذه الورقة أداة جديدة تسمى WhaVax، وهي بمثابة مجموعة خاصة من "النظارات التجسسية" التي تسمح للباحثين بالتلصص داخل هذه الغرف لفهم كيفية انتشار القصص الصحية الزائفة، وتحديداً حول اللقاحات في البرازيل.
إليك تفصيل لما قام به الباحثون، باستخدام تشبيهات بسيطة:
1. بناء المجموعة (مجموعة البيانات)
لم يكتفِ الباحثون بالتخمين فيما يقوله الناس؛ بل بنوا مجموعة ضخمة ومنظمة من الرسائل الحقيقية.
المصدر: جمعوا أكثر من 80,000 رسالة من مجموعات واتساب عامة وكبيرة في البرازيل على مدار عدة سنوات (2020-2023). تخيل هذا كجمع آلاف الصفحات من الملاحظات المكتوبة بخط اليد من ساحة مدينة مزدحمة.
التنقية: قبل دراستها، كان عليهم تنظيف البيانات. استخدموا "مرشحاً دلالياً" (مثل مكنسة كهربائية ذكية) لإزالة الملاحظات المكررة والاحتفاظ فقط بالرسائل التي تتحدث فعلياً عن اللقاحات.
الخبراء: هذا هو الجزء الأهم. بدلاً من ترك الكمبيوتر يخمن، استعانوا بـ أربعة أطباء لقراءة وتصنيف الرسائل. لقد عملوا كـ "لجنة حكام" تقرر أي القصص كانت حقيقية وأيها كانت كاذبة.
النتيجة: أنشأوا قائمة "المعيار الذهبي" المكونة من 950 رسالة. تم تصنيف حوالي 30% منها كمعلومات مضللة (كاذبة)، و70% كمعلومات آمنة. وقد اتفق الأطباء مع بعضهم البعض في معظم الأحيان، مما جعل هذا المرجع كتاباً موثوقاً للغاية.
2. كيف تبدو الأكاذيب (التحليل)
نظر الباحثون بدقة في الرسائل "الكاذبة" ليروا كيف تختلف عن الرسائل "الحقيقية". وقد وجدوا بعض الأنماط المثيرة للاهتمام:
خدعة "القصة الطويلة": كانت رسائل المعلومات المضللة أطول بشكل ملحوظ. كانت تشبه الخطابات الطويلة والمطولة المصممة لإغراقك بالتفاصيل، مما يجعل الكذبة تبدو أكثر إقناعاً.
عامل "الصراخ": استخدمت الرسائل الكاذبة علامات تعجب (!) وعلامات استفهام (؟) بكثرة أكبر بكثير. لقد كُتبت بانفعال عالٍ، كأن شخصاً يصرخ لجذب انتباهك.
إنذار "الحروف الكبيرة": استخدموا الحروف الكبيرة (Capital Letters) بكثرة أكبر، كما لو كان الكاتب يصرخ بالنص لجعله يبدو عاجلاً.
قنبلة الإيموجي: احتوت الرسائل الكاذبة على إيموجي (رموز تعبيرية) أكثر بـأربعة أضعاف من الرسائل الحقيقية، مستخدمة صوراً ملونة لتحفيز ردود الفعل العاطفية بدلاً من التفكير المنطقي.
"غرف الصدى": وجدوا أن المعلومات المضللة لم تكن تنتشر بشكل متساوٍ. كانت بعض المجموعات المحددة مثل "غرف الصدى" حيث كانت كل رسالة تقريباً كاذبة، بينما كانت مجموعات أخرى آمنة في الغالب.
3. تعليم الحواسيب كشف الأكاذيب (التجارب)
حاول الباحثون تعليم أنواع مختلفة من "الأدمغة الحاسوبية" لكشف هذه الأكاذب تلقائياً. اختبروا ثلاثة أنواع من "الطلاب":
الطلاب القدامى (النماذج الكلاسيكية): وهي برامج تقليدية تعتمد على الرياضيات. عندما يتم تغذيتها بـ "أوصاف" عالية الجودة للنصوص (embeddings)، أدت عملاً جيداً، حيث وصلت دقتها إلى حوالي 79%.
الطلاب المتخصصون (نماذج اللغة الصغيرة): هذه نماذج ذكاء اصطنا-عي صغيرة مدربة على نصوص طبية. واجهت صعوبة قليلاً لأن رسائل واتساب كانت مليئة بالعامية، والأخطاء الإملائية، واللغة غير الرسمية التي لا تتطابق مع تدريبها.
الطلاب الخارقون (نماذج اللغة الكبيرة): هذه هي نماذج الذكاء الاصطنا العملاقة والحديثة (مثل تلك التي قد تدردش معها). لم يحتج الباحثون حتى لـ "تعليمهم" باستخدام مجموعة البيانات؛ بل اكتفوا بإعطائهم بضعة أمثلة (تقنية تسمى "التعلم من أمثلة قليلة" أو few-shot learning).
الفائز: قدمت نماذج الذكاء الاصطناعي الأكبر والأكثر تقدماً (مثل GPT-5) الأداء الأفضل، حيث طابقت دقة أفضل النماذج التقليدية دون الحاجة إلى تدريب إضافي. وكانت بارعة بشكل خاص في كشف الأكاذيب، رغم أنها كانت أحياناً تطلق "إنذارات كاذبة" (false positives) بشكل مفرط.
4. الأجزاء الصعبة (القيود)
تعترف الورقة بأن هذا ليس حلاً مثالياً بعد:
المنطقة الرمادية: حوالي 9% من الرسائل كانت مربكة لدرجة أن الأطباء الأربعة أنفسهم لم يستطيعوا الاتفاق على ما إذا كانت أكاذيب أم لا. وهذا يوضح أن كشف المعلومات الطبية المضللة أمر صعب لأن اللغة معقدة ومليئة بالفروق الدقيقة.
العينة: جاءت البيانات من مجموعات عامة في البرازيل. الأمر يشبه دراسة حي معين؛ يخبرنا الكثير عن ذلك الحي، لكن لا يمكننا التأكد بنسبة 100% أنها تمثل كل مجموعات واتساب في العالم.
ارتباك "الصراخ": ارتبكت الحواسيب أحياناً بسبب الهجمات السياسية الغاضبة التي لم تكن تقنياً أكاذيب طبية ولكنها بدت كذلك. لقد واجهت صعوبة في التمييز بين "خطاب الكراهية" و"المعلومات الطبية المضللة".
الملخص
باختصار، تقول هذه الورقة: "لقد بنينا مكتبة عالية الجودة وموثقة طبياً لأكاذيب اللقاحات من واتساب. وجدنا أن الأكاذب أطول، وأعلى صوتاً، وأكثر عاطفية من الحقيقة. وبينما يمكن للحواسيب القديمة كشفها، فإن نماذج الذكاء الاصطناي الحديثة والعملاقة بارعة بشكل مفاجئ في القيام بذلك دون الحاجة إلى تعليمها، ببساطة عبر قراءة بضعة أمثلة."
هذا يمنح الباحثين أداة جديدة وموثوقة لدراسة كيفية انتشار الشائعات الصحية في الدردشات الخاصة، وهو مكان كان من الصعب جداً دراسته حتى الآن.
ملخص تقني: WhaVax – مجموعة بيانات ومعيار مرجعي للتحقق من صحة المعلومات الصحية بتوسيم الخبراء
بيان المشكلة تشكل المعلومات المضللة المتعلقة بالصحة على منصات المراسلة المشفرة مثل واتساب تحديًا كبيرًا للصحة العامة، لا سيما في البرازيل، حيث تهدد معدلات التلقيح المتناقصة مناعة القطيع. وبخلاف وسائل التواصل الاجتماعي العامة، تعيق خاصية التشفير من طرف إلى طرف وهياكل المجموعات شبه الخاصة في واتساب عمليات الرصد والرقابة الخارجية، مما يخلق "صندوقًا أسود" أمام الباحثين. كما أن مجموعات البيانات الحالية المتعلقة بالتضليل بشأن اللقاحات تستمد معظمها من المنصات العامة مثل تويتر (X)، مما يجعلها عاجزة عن رصد الديناميكيات اللغوية والهيكلية والسياقية الفريدة للمحادثات في المجموعات الخاصة. علاوة على ذلك، هناك ندرة في مجموعات البيانات عالية الجودة والموثقة من قبل الخبراء باللغة البرتغالية والتي تعكس بيئات المحادثة الواقعية، مما يحد من تطوير وتقييم نماذج الكشف الحاسوبي تحت قيود ندرة البيانات الواقعية.
المنهجية يقدم المؤلفون WhaVax، وهي مجموعة بيانات جديدة تم إنشاؤها من خلال مسار عمل صارم ومتعدد المراحل:
جمع البيانات: تم حصد الرسائل من مجموعات واتساب برازيلية عامة وكبيرة (يمكن الوصول إليها عبر روابط الدعوة) بين عامي 2020 و2023. استخدمت عملية الجمع مسارًا آليًا لالتقاط النصوص والبيانات الوصفية (المرسل، المجموعة، الطابع الزمني) مع إخفاء هوية البيانات الشخصية للامتثال لقوانين حماية البيانات البرازيلية.
التصفية وإزالة التكرار:
تصفية الكلمات المفتاحية: استُخدمت مجموعة واسعة من المصطلحات البرتغالية المتعلقة بالتطعيم (بما في ذلك العامية والتهجئة المموّهة مثل "v4c1n4") لعزل المحتوى المتعلق بالصحة عن متن سياسي أكبر.
إزالة التكرار الدلالي: لإزالة المحتوى المتشابه تقريبًا، تم إنشاء تضمينات (embeddings) للرسائل باستخدام SentenceTransformers. تم تجميع الرسائل التي تقل مسافة جيب التمام (cosine distance) بينها عن 0.02، مع الاحتفاظ بالنسخة الأولى فقط. أدى ذلك إلى تقليص مجموعة البيانات بنسبة 5.18%.
توسيم الخبراء:
البروتوكول: قام أربعة متخصصين طبيين بإجراء عملية توسيم تدريجية وتكرارية. بدأت بمرحلة تجريبية لتوحيد المعايير، تلتها جولات من 50، ثم 300، وأخيرًا 950 رسالة مختارة عشوائيًا.
المعايير: صنف الموسمون الرسائل كـ "معلومات مضللة" أو "غير مضللة". وتم حل الخلافات عبر التصويت بالأغلبية (3 من أصل 4 على الأقل).
النتيجة: تتكون المجموعة النهائية المعتمدة (gold-standard) من 950 رسالة (حوالي 30% معلومات مضللة، و70% غير مضللة) مع معامل "فليس كابا" (Fleiss' Kappa) بلغ 0.621، مما يشير إلى اتفاق جوهري بين الموسمين.
التقييم المرجعي (Benchmarking): قيم المؤلفون ثلاث عائلات من النماذج تحت ظروف واقعية لندرة البيانات (تحقق تبادلي طبقي خماسي الطيات، مكرر 8 مرات):
تعلم الآلة الكلاسيكي: SVM، والانحدار اللوجستي، والغابة العشوائية (Random Forest)، والشبكة العصبية متعددة الطبقات (MLP)، وXGBoost، باستخدام تضمينات من BERTimbau وQwen (8B).
نماذج اللغة الصغيرة (SLMs) المضبوطة دقيقًا: BERTimbau، وRoBERTa، وBERTuguês، وBioBERTpt.
نماذج اللغة الكبيرة (LLMs): التعلم في السياق (ICL) بنمط الصفر (Zero-shot) والقليل من الأمثلة (Few-shot) باستخدام LLaMA 3.1/3.2، وDeepSeek، وQwen، والنماذج المملوكة مثل GPT-5.1/5.2.
المساهمات الرئيسية
مجموعة بيانات WhaVax: مجموعة بيانات جديدة موسومة من قبل الخبراء، تمثل واحدة من أولى الموارد الموثقة طبيًا لبيئات المراسلة المشفرة.
التوصيف التجريبي: تحليل مفصل يكشف أن رسائل المعلومات المضللة أطول بشكل ملحوظ، وتحتوي على علامات ترقيم عاطفية أكثر (علامات تعجب/استفهام)، وتستخدم الرموز التعبيرية (emojis) بشكل أكبر، وتعتمد على الأحرف الكبيرة (capitalization) أكثر من الرسائل غير المضللة. لغويًا، تعتمد المعلومات المضللة على سرديات المخاطر/الخوف (مثل "الموت"، "الآثار الجانبية")، بينما تتماشى المعلومات غير المضللة مع المصادر المؤسسية. كما تحدد الدراسة مجموعة فرعية من الحالات الغامضة (حوالي 8.8%) حيث كان الإجماع بين الخبراء صعبًا، مما يعكس تعقيد الخطاب الصحي.
التقييم المرجعي المنهجي: تقييم مقارن لاستراتيجيات التصنيف تحت قيود الموارد، مما يثبت أن التضمينات القوية ونهج نماذج اللغة الكبيرة يمكن أن تؤدي بشكل تنافسي حتى مع مجموعات البيانات الصغيرة.
النتائج
النماذج الكلاسيكية: عندما اقترنت بتضمينات عالية الجودة (خاصة Qwen 8B)، حققت النماذج الكلاسيكية أداءً قويًا. حقق الانحدار اللوجستي مع تضمينات Qwen أعلى درجة macro-F1 بلغت 0.791، متفوقًا على التضمينات القائمة على BERTimbau (0.747). يشير هذا إلى أن جودة التمثيل غالبًا ما تفوق تعقيد المصنف في هذا المجال.
نماذج اللغة الصغيرة (SLMs) المضبوطة دقيقًا: كان الأداء متباينًا وأقل عمومًا من النماذج الكلاسيكية مع التضمينات القوية (على سبيل المثال، BERTimbau: 0.712، RoBERTa: 0.580). ويعزو المؤلفون ذلك إلى عدم التوافق بين مجالات التدريب المسبق والطبيعة غير الرسمية والمليئة بالضجيج لنصوص واتساب، بالإضافة إلى عدم كفاية البيانات للتكيف الفعال.
نماذج اللغة الكبيرة (LLMs - ICL): أظهرت النماذج ذات الصفر أو القليل من الأمثلة أداءً تنافسيًا دون ضبط إشرافي.
المصادر المفتوحة: حققت LLaMA 3.1 (8B) وDeepSeek-V3.2 (685B) درجات macro-F1 قريبة من 0.74.
النماذج المملوكة: حققت GPT-5.1 وGPT-5.2 أعلى الدرجات بين نماذج LLM (0.786 و0.780 على التوالي)، وهو ما يطابق إحصائيًا أفضل نهج كلاسيكي.
تحليل الأخطاء: واجهت النماذج صعوبة في التعامل مع اللغة العاطفية أو السياسية للغاية التي تحاكي المعلومات المضللة ولكن صنفها الخبراء كمعلومات غير مضللة (إيجابيات كاذبة)، ومع الرسائل المبطنة والغامضة التي تعزز عدم الثقة دون تقديم ادعاءات صريحة (سلبيات كاذبة).
الأهمية والادعاءات يزعم البحث أن بناء مجموعة بيانات متخصصة وموسومة من قبل الخبراء لبيئات المراسلة المشفرة هو أمر ممكن ويؤدي إلى إنتاج مجموعة بيانات موثوقة (gold-standard). تسلط الدراسة الضوء على أن:
جودة البيانات فوق كميتها: يمكن للفلترة الدقيقة ومراجعة الخبراء إنتاج مجموعة بيانات صغيرة ولكنها غنية بالمعلومات تدعم الكشف الآلي الفعال.
التمثيل هو المفتاح: يمكن للتضمينات القوية (مثل تلك المستمدة من Qwen) تعويض بنى المصنفات الأبسط، مما يجعلها خط أساس قوي للكشف عن المعلومات المضللة في البيئات غير الرسمية.
إمكانات نماذج اللغة الكبيرة (LLMs): توفر نماذج LLM بنمط الصفر أو القليل من الأمثلة بديلًا قابلًا للتطبيق لمهام الكشف حيث يكون الضبط الإشرافي مقيدًا بتوفر البيانات، رغم تباين الأداء بناءً على بنية النموذج والمواءمة مع المجال.
الغموض: تلتقط مجموعة البيانات طبقة ذات معنى من الغموض في الخطاب الصحي، مما يتحدى الطبيعة الثنائية للتصنيف القياسي ويؤكد الحاجة إلى نماذج حساسة للبراغماتية (التداولية) والسياق.
يضع المؤلفون WhaVax كمورد نادر لدعم النمذجة الحاسوبية وأبحاث الصحة العامة في البيئات المشفرة، لسد الفجوة بين تحليل المنصات العامة والخاصة. هم لا يدعون حل مشكلة المعلومات المضللة، بل يوفرون البنية التحتية اللازمة (البيانات والمعايير المرجعية) للنهوض بهذا المجال.