An Evidence-Grounded Retrieval-Augmented Transformer Framework for Health Misinformation Verification

تخيل الإنترنت كمكتبة ضخمة وصاخبة حيث يمكن لأي شخص أن يصرخ بحقيقة، أو إشاعة، أو تخمين جامح حول الصحة. أحياناً تكون الكتب صحيحة؛ وأحياناً أخرى تكون مليئة بالهراء الذي قد يجعل الناس يمرضون أو يشعرون بالخوف. في السنوات الأخيرة، بنى العلماء "روبوتات ذكية" (تسمى الذكاء الاصطناعي) لتعمل كأمناء مكتبات، تقرأ هذه الصرخات وتقرر ما إذا كانت حقيقية أم كاذبة. تستخدم هذه الروبوتات نوعاً خاصاً من الأدمغة يسمى المحول (Transformer)، وهو بارع جداً في فهم اللغة البشرية. لكن هنا تكمن المشكلة: هذه الروبوتات تصنع الأشياء أحياناً لأنها تعتمد فقط على ما تتذكره من تدريبها، بدلاً من التحقق من موسوعة حقيقية وموثوقة. ولإصلاح ذلك، اخترع الباحثون خدعة تسمى التوليد المعزز بالاسترجاع (RAG). فكر في RAG كمنح الروبوت حقيبة ظهر مليئة بالكتب الموثوقة. قبل أن يجيب الروبوت على سؤال، يمد يده في حقيبة الظهر، ويخرج الصفحة الأكثر صلة ويقرؤها ليتأكد من أن إجابته مستندة إلى الواقع.

هذا هو بالضبط التحدي الذي عالجته دراسة جديدة أجراها باحثون من نيجيريا وروسيا. أرادوا معرفة ما إذا كان بإمكانهم بناء أمين مكتبة فائق الذكاء للإشاعات الصحية خصيصاً في نيجيريا، باستخدام مصادر موثوقة مثل منظمة الصحة العالمية (WHO) والمركز النيجيري لمكافحة الأمراض والوقاية منها (NCDC). سألوا: "إذا أعطينا روبوت الذكاء الاصطناعي هذا حقيبة ظهر مليئة بالتقارير الصحية الرسمية النيجيرية والعالمية، فهل سيصبح أفضل في كشف الأكاذيب حول أمراض مثل حمى لاسا، أو الكوليرا، أو جدري القرود؟" كانت الإجابة، ويا للدهشة، لم تكن ببساطة "نعم". فبينما كانت فكرة حقيبة الظهر عبقرية، وجد الباحثون أن حقيبة الظهر التي بنوها كانت صغيرة جداً وفارغة جداً لدرجة أنها لم تساعد الروبوت كثيراً. بدلاً من ذلك، اعتمد نجاح الروبوت بشكل أكبر على نموذج "الدماغ" المحدد الذي استخدموه وكيفية تعليمه، وليس على الكتب الإضافية التي حاولوا إعطاءه إياها.

قصة أمين المكتبة الرقمي

بدأ الباحثون بجمع مجموعة من 67 ادعاءً صحياً سبق وأن تحقق منها مدققو حقائق بشريون في نيجيريا. غطت هذه الادعاءات خمسة أمراض رئيسية: كوفيد-19، وحمى لاسا، والكوليرا، والحصبة، وجدري القرود. كانت بعض الادعاءات حقيقية، وبعضها كاذب، وبعضها مضلل (مثل القول بأن مشروباً ما تسبب في تفشٍ بينما كان في الواقع الماء المستخدم لصنعه). قاموا بتصنيف هذه الادعاءات كـ "حقيقية" أو "كاذبة" أو "مضللة" لإنشاء اختبار لذكائهم الاصطناعي.

بعد ذلك، بنوا "حقيبة الظهر" الخاصة بهم. أخذوا وثائق رسمية من منظمة الصحة العالمية ومركز (NCDC)، وقطعوها إلى قطع صغيرة سهلة القراءة، وحولوها إلى مكتبة رقمية. كانت الخطة هي أن ينظر الذكاء الاصطناعي إلى الإشاعة، ويبحث في هذه المكتبة عن الحقائق الأكثر مطابقة، ثم يستخدم تلك الحقائق ليقرر ما إذا كانت الإشاعة كذبة. اختبروا ثلاثة أنواع مختلفة من أدمغة الذكاء الاصطناعي: BERT، وRoBERTa، وDeBERTa. كما جربوا نسخة خاصة من DeBERTa مسموح لها بالبحث عن الحقائق في مكتبتهم (نسخة RAG).

المفاجأة الكبرى

هنا تأخذ القصة منعطفاً. قد تتوقع أن منح الذكاء الاصطناعي حقيبة ظهر من الحقائق الموثوقة سيجعله عبقرياً. لكن النتائج كانت مخيبة للآمال قليلاً.

وجد الباحثون أن نموذج BERT، بدون أي مساعدة من حقيبة الظهر، كان الأفضل في أداء المهمة. فقد أصاب الإجابة الصحيحة بنسبة 71% وحصل على درجة 0.66 (وهي مقي�s لمدى توازنه بين أن يكون محقاً وعدم تفويت أي شيء). كان هذا هو البطل.

أما النماذج الأخرى، بما في ذلك نموذج DeBERTa المتطور، فقد عانت. في الواقع، عندما حاولوا مساعدة DeBERTa من خلال إعطائه المزيد من أمثلة التدريب (تقنية تسمى "التعزيز") أو السماح له بالبحث عن الحقائق في المكتبة، لم يتحسن. بل أصبح أسوأ، وانتهى به الأمر بتخمين نفس الإجابة لكل شيء تقريباً. كان الأمر أشبه بطالب، عندما يُعطى كتاباً مدرسياً، توقف عن التفكير وبدأ يكتب "صحيح" لكل سؤال بسبب ارتباكه.

لماذا فشلت حقيبة الظهر؟ أدرك الباحثون أن مكتبتهم كانت صغيرة جداً. وتحديداً، عندما لم يتمكن النظام من العثية على تطابق مثالي في المكتبة الرئيسية، كان عليه الاعتماد على خيار احتياطي يتكون من خمس ملخصات عامة للأمراض فقط (ملخص واحد لكل مرض). كانت هذه المجموعة الضئيلة عامة جداً بحيث لا تقدم التفاصيل المحددة اللازمة للتمييز بين الادعاءات الحقيقية والكاذبة. عندما يسأل الذكاء الاصطناعي: "هل هذا التفشي في لاغوس حقيقي؟"، لم تكن حقيبة الظهر تملك الصفحة المحددة لتظهرها له؛ بل كان لديها فقط ملخص غامض. ولأن المكتبة كانت فعلياً خالية من الأدلة المحددة، لم يستطع الذكاء الاصطناعي استخدام المعلومات الإضافية لاتخاذ قرارات أفضل. كان الأمر أشبه بمحاولة العث finding إبرة محددة في كومة قش، ولكن كومة القش لم تكن تحتوي إلا على ثلاث قشات فقط.

ماذا يعني هذا

تشير الدراسة إلى أن مجرد إضافة ميزة "الاسترجاع" (حقيبة الظهر) ليس عصا سحرية. إذا لم تكن المكتبة التي وضعتها في حقيبة الظهر كبيرة ومفصلة بما يكفي، فلن يتعلم الذكاء الاصطناعي كيفية استخدامها. استنتج الباحثون أنه بالنسبة لهذا الإعداد المحدد، كان نوع "دماغ" الذكاء الاصطناعي (BERT) أكثر أهمية من الكتب الإضافية. كما أشاروا إلى أن مجموعة البيانات الخاصة بهم كانت صغيرة جداً (67 ادعاءً فقط)، مما جعل من الصعب على الذكاء الاصطناعي تعلم الفرق بين قصة حقيقية، أو كذبة، أو نصف حقيقة مضللة.

ومع ذلك، فإن الباحثين متفائلون. فهم يقترحون أنه إذا بنوا مكتبة أكبر بكثير وأكثر تنظيماً تضم آلاف التقارير المحددة من منظمة الصحة العالمية ومركز (NCDC)، فقد تعمل حقيبة الظهر أخيراً مفعولها السحري. في الوقت الحالي، لقد أظهروا لنا أنه في عالم تدقيق الحقائق بالذكاء الاصطناعي، امتلاك دماغ جيد أمر مهم، ولكن امتلاك مكتبة جيدة لا يقل أهمية عن ذلك – وإذا كانت المكتبة فارغة، فلن يستطيع الدماغ القيام بعمله.