Generative-AI Rewriting and the Robustness of Health Misinformation Detection: A Cross-Dataset Evaluation of Failure Mechanisms and Mitigation

في العصر الرقمي، تنتقل المعلومات الصحية بسرعة نقرة واحدة، ولكن تنتقل كذلك المعلومات المضللة. لسنوات طويلة، بنى العلماء برامج حاسوبية صُممت لتعمل كحراس بوابة، تقوم بمسح النصوص عبر الإنترنت للفصل بين النصائح الطبية الموثوقة والأكاذيب الخطيرة. لقد أصبحت هذه البرامج بارعة للغاية في عملها عندما يبدو النص بالشكل المعتاد، حيث تحقق غالباً درجات تقترب من المثالية في الاختبارات القياسية. ومع ذلك، ظهرت ثغرة جديدة ناتجة عن صعود الذكاء الاصطناي التوليدي. فهذه الأدوات القوية يمكنها أن تأخذ ادعاءً محدداً —سواء كان صحيحاً أم زائفاً— وتعيد كتابته بالكامل، فتغير الكلمات، وبنية الجملة، والنبرة، مع الحفاظ على المعنى الجوهري تماماً كما هو. إن هذه القدرة على "غسل" المعلومات تثير سؤالاً حرجاً: إذا كان البرنامج الحاسوبي مدرباً على رصد الكذبة بناءً على كيفية كتابتها، فماذا يحدث عندما يعيد ذكاء اصطناعي متطور كتابة تلك الكذبة لتبدو كمقال موثوق ومحايد؟ إن سلامة الأدوات الصحية الرقمية تعتمد على الإجابة على هذا السؤال، لأن النظام الذي يفشل في التعرف على كذبة أعيدت كتابتها قد يترك الناس عرضة للنصائح الضارة، بينما النظام الذي يخطئ في اعتبار حقيقة أعيدت كتابتها كذبة قد يؤدي إلى إسكات المعلومات الحيوية.

قام باحث في جامعة مانشستر متروبوليتان باختبار هذا السيناريو تحديداً باستخدام تجربة حاسوبية محكومة. ركزت الدراسة على أزمتين صحيتين متميزتين: جائحة كوفيد-19 وتفشي جدري القردة الأخير. أخذ الباحث مجموعة كبيرة من المنشورات الواقعية حول هذين الموضوعين، بعضها تم التحقق من صحته وبعضها الآخر تأكد زيفه، واستخدم أداة ذكاء اصطناعي توليدي لإنشاء ثلاث نسخ مختلفة من كل منشور. كانت إحدى النسخ قد أعيدت كتابتها لتكون محايدة وسهلة القراءة، وأخرى أعيد تنظيمها لتبدو أكثر منطقية وقائمة على الأدلة، وثالثة عُدلت لتبدو أكثر إلحاحاً أو إقناعاً، كل ذلك مع ضمان بقاء الادعاء الطبي الأساسي دون تغيير. ثم تم تغذية هذه النسخ المعاد كتابتها في تسعة أنواع مختلفة من برامج الكشف، تتراوح من النماذج الإحصائية البسيطة إلى الشبكات العصبية المعقدة، لمعرفة ما إذا كان بإمكانها لا تزال تحديد الحقيقة.

كشفت النتياج عن هشاشة مثيرة للقلق في الجيل الحالي من أجهزة الكشف. قبل إعادة الكتابة، كان البرنامج يعمل بشكل استثنائي، حيث حدد المعلومات الصحيحة والكاذبة بدقة في كل حالة تقريباً. ولكن بمجرد تعديل النص بواسطة الذكاء الاصطناعي، انهار أداء معظم الأنظمة. وفي مجموعة بيانات كوفيد-19، انخفض متوسط دقة أجهزة الكشف من درجة شبه مثالية بلغت 0.987 إلى نطاق يتراوح بين 0.428 و0.479. وهذا يعني أنه بعد إعادة كتابة النص، فشلت قدرة الحواسيب على اتخاذ قرارات ثنائية صحيحة عند إعداداتها القياسية بشكل كبير، رغم أن قدرتها الأساسية على تصنيف المعلومات الموثوقة في مرتبة أعلى من المعلومات المضللة ظلت أفضل بكثير من التخمين العشوائي. لم يكن الفشل موحداً عبر جميع الأنظمة أو جميع أنواع النصوص. ففي اختبارات كوفيد-19، كانت المشكلة الرئيسية هي أن البرمجيات بدأت تصنف المعلومات الموثوقة والصحيحة كمعلومات مزيفة بمعدل مثير للقلق، مما أدى فعلياً إلى إسكات المصادر الموثوقة. وفي المقابل، في مجموعة بيانات جدري القردة، كان الفشل الرئيسي هو العكس تماماً: فقد توقفت البرمجيات عن كشف الأكاذيب، مما سمح للمعلومات المضللة المعاد كتابتها بالتسلل كما لو كانت حقيقية.

بحثت الدراسة أيضاً في أسباب حدوث هذه الإخفاقات من خلال فحص كيفية تغيير الذكاء الاصطناعي للنص. ووجدت أن العامل الأكثر أهمية الذي جعل أجهزة الكشف تفشل لم يكن بالضرورة النبرة العاطفية أو الحجج المحددة المستخدمة، بل كان التغييرات الهيكلية في الكتابة. فعندما قام الذكاء الاصطناعي بتقصير النص أو جعل الجمل أكثر تعقيداً وصعوبة في القراءة، أصبحت أجهزة الكشف أكثر عرضة لارتكاب الأخطاء بشكل ملحوظ. وهذا يشير إلى أن البرمجيات كانت تعتمد بشكل مفرط على أنماط سطحية محددة لكيفية كتابة النص الأصلي، بدلاً من فهم الحقائق الطبية الموجودة فيه حقاً. وعندما تغيرت تلك الأنماط، فقدت البرمجيات طريقها.

ولمعالجة نقطة الضعف هذه، اختبر الباحث استراتيجية دفاعية: تدريب أجهزة الكشف على هذه النسخ المعاد كتابتها قبل نشرها. ومن خلال تغذية البرنامج بأمثلة على النص الأصلي والنسخ المعاد كتابتها بواسطة الذكاء الاصطناعي، كان الهدف هو تعليم النظام التعرف على الحقيقة بغض النظر عن طريقة صياغتها. وقد نجح هذا النهج بشكل ملحوظ في بيانات جدري القردة، حيث حسنت أجهزة الكشف قدرتها على رصد الأكاذيب المعاد كتابتها بفارق كبير، حيث أظهرت جميع النماذج التسعة أداءً أفضل. ومع ذلك، لم ينجح هذا الإصلاح بشكل متسق مع بيانات كوفيد-19، ولم يساعد البرمجيات على الأداء الجيد عند اختبارها على موضوع مرض مختلف تماماً. وهذا يشير إلى أنه بينما يمكن للتدريب على النصوص المعاد كتابتها أن يجعل النظام أكثر مرونة ضمن سياق محدد، إلا أنه لا يخلق بعد درعاً عالمياً يعمل عبر جميع المواضيع الصحية أو جميع أنواع إعادة الكتابة بالذكاء الاصطناعي.

تخلص الدراسة إلى أن الدقة العالية في الاختبارات القياسية لم تعد كافية لضمان أن جهاز كشف المعلومات المضللة الصحية آمن للاستخدام في العالم الحقيقي. إن قدرة الذكاء الاصطناعي التوليدي على إعادة كتابة المحتوى دون تغيير معناه تكشف عن ثغرة عميقة في الأنظمة الحالية، مما يتسبب في إما تفويت الأكاذيب الخطيرة أو اتهام الحقائق الصحيحة خطأً بأنها مزيفة. وبينما يوفر التدريب على هذه الأمثلة المعاد كتابتها مساراً واعداً لتحسين مرونة أجهزة الكشف، فإن الحل ليس إصلاحاً كاملاً بعد. وتشير الأبحاث إلى أن الأدوات المستقبلية يجب ألا تُختبر فقط على النص الأصلي، بل على الطرق العديدة التي يمكن أن يتحول بها النص، لضمان بقاء الضمانات الرقمية التي تحمي الصحة العامة فعالة حتى مع تطور لغة المعلومات المضللة.