Speaking at the Right Level: Literacy-Controlled Counterspeech Generation with RAG-RL

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التحدث بالمستوى المناسب: توليد الخطاب المضاد المتحكم في مستوى الإلمام بالقراءة والكتابة باستخدام RAG-RL".

1. بيان المشكلة

تشكل المعلومات الطبية المضللة على وسائل التواصل الاجتماعي تهديداً خطيراً للصحة العامة، مما يؤدي إلى خيارات صحية سيئة وتآكل الثقة في المشورة الطبية. وبينما برز استخدام النماذج اللغوية الكبيرة (LLMs) لتوليد خطاب مضاد آلي كاستراتيجية للتخفيف من هذه الآثار، تعاني النهج الحالية من قصور حرج: فهي تولد استجابات موحدة تتجاهل مستويات الإلمام بالثقافة الصحية المتفاوتة لدى الجمهور.

• عدم التوافق: غالباً ما يعجز المستخدمون ذوو الإلمام المنخفض بالثقافة الصحية عن فهم اللغة العلمية المعقدة، بينما قد يجد المستخدمون ذوو الإلمام العالي المحتوى المبسط مثيراً للشفقة أو غير مفيد.
• الفجوة: تفشل الأساليب الحالية في تكييف تعقيد الخطاب المضاد ونبرته وهيكله مع القدرات المعرفية وتفضيلات الجمهور المستهدف، مما يقلل من فعالية التدخل.

2. المنهجية: إطار العمل المتحكم في مستوى الإلمام (Controlled-Literacy)

يقترح المؤلفون إطار عمل Controlled-Literacy، وهو إطار مبتكر يدمج توليد النصوص المعزز بالاسترجاع (RAG) مع التعلم التعزيزي (RL) لتوليد خطاب مضاد مخصص. يتكون خط العمل من ثلاث مراحل رئيسية:

أ. بناء قاعدة المعرفة واسترجاع الأدلة

• مصادر متنوعة: يتم بناء قاعدة معرفة من مصادر موثوقة (مثل مراكز السيطرة على الأمراض والوقاية منها CDC، ومركز جونز هوبكنز للأطفال، وقواعد البيانات الأكاديمية) تحتوي على مواد بمستويات تعقيد متفاوتة.
• تصفية القابلية للقراءة: تُصنف المستندات إلى ثلاثة مستويات بناءً على درجة سهولة القراءة (Flesch-Kincaid Reading Ease - FKRE):
  • الإلمام المنخفض: درجة FKRE بين 80–100 (سهل).
  • الإلمام المتوسط: درجة FKRE بين 60–79 (متوسط).
  • الإلمام العالي: درجة FKRE بين 0–59 (صعب).
• الاسترجاع الهجين: يستخدم النظام مسترجعًا هجينًا يجمع بين البحث القائم على الكلمات المفتاحية والبحث الدلالي لجلب الأدلة ذات الصلة.
• التصفية التكيفية: يتم تصفية الأدلة المسترجعة لضمان وقوعها ضمن نطاق FKRE المستهدف وحصولها على تقييم عالٍ لـ "تفضيل المستخدم" (محاكى بواسطة النماذج اللغوية الكبيرة) لضمان كونها سهلة القراءة ومفيدة في آن واحد.

ب. تصميم دالة المكافأة

لتحسين عملية التوليد، صمم المؤلفون دالة مكافأة مركبة $r(x, y)$ توازن بين القابلية للقراءة الموضوعية وتفضيل المستخدم الذاتي:
$$r(x, y) = \alpha \cdot r_{read}(x, y) + (1-\alpha) \cdot r_{pref}(x, y)$$

1. مكافأة القابلية للقراءة ($r_{read}$): تستخدم دالة سيجمويد مزدوجة (double-sigmoid function) لتشجيع درجة FKRE للنص المولد على الوقوع ضمن نطاق مستهدف محدد (مثل 80–100 للإلمام المنخفض) بدلاً من فرض مساواة صارمة، مما يسمح بتدفق طبيعي للغة.
2. مكافأة تفضيل المستخدم ($r_{pref}$): نظرًا لندرة بيانات المستخدمين الحقيقية، استخدم المؤلفون مقيميّن محاكيين عبر النماذج اللغوية الكبيرة مشروطين بمستويات إلمام محددة لتقييم الخطاب المضاد على مقياس ليكرت من 1 إلى 5 فيما يتعلق بالوضوح، وسهولة الوصول، والمنفعة.

ج. تحسين التعلم التعزيزي (GRPO)

يستخدم إطار العمل تحسين السياسة النسبي للمجموعات (Group Relative Policy Optimization - GRPO) لضبط سياسة النموذج اللغوي الكبير:

• العملية: لكل مدخل (معلومات مضللة + مستوى الإلمام المستهدف)، يقوم النموذج بتوليد $n$ من الاستجابات.
• حساب الميزة: يحسب النموذج "الميزة النسبية" لكل استجابة بناءً على إشارة المكافأة المجمعة.
• تحديث السياسة: يتم تحديث السياسة لزيادة احتمالية الاستجابات ذات المكافأة العالية مع استخدام تنظيم تباعد KL (KL-divergence) لمنع النموذج من الانحراف بعيدًا عن السياسة الخاضعة للإشراف الأولية.

3. المساهمات الرئيسية

1. رؤية مبتكرة: تؤكد الورقة أن الخطاب المضاد الفعال يجب أن يتوافق مع مستوى الإلمام بالثقافة الصحية للجمهور المستهدف ليكون متاحًا ومقنعًا.
2. إطار عمل Controlled-Literacy: بنية تقنية تجمع بين RAG للتحكم في الأدلة و RL لتحسين الأسلوب والتعقيد، مما يعالج كلاً من القابلية للقراءة الموضوعية وإدراك المستخدم الذاتي.
3. مجموعة بيانات MisinfoLiteracy: إنشاء مجموعة بيانات جديدة تحتوي على 440 منشورًا لمعلومات طبية مضللة مقترنة بخطاب مضاد مصمم خصيصًا لمستويات الإلمام المنخفضة والمتوسطة والعالية.
4. التقييم المحاكي: استراتيجية تقييم قوية تستخدم النماذج اللغوية الكبيرة لمحاكاة ملفات تعريف المستخدمين المتنوعة، والتي تم التحقق من صحتها مقابل المقيمين البشريين.

4. النتائج التجريبية

تم تقييم إطار العمل على مجموعة بيانات MisinfoLiteracy وتم تعميمه عبر Check-COVID و MisinfoCorrect باستخدام نماذج لغوية كبيرة متنوعة (LLaMA-8B, Qwen-7B, LLaMA-1B).

• مقاييس الأداء: درست الدراسة اللباقة (Politeness)، والمسافة المستهدفة (الارتباط بـ FKRE)، وتفضيل المستخدم، والدقة الواقعية.
• النتائج الرئيسية:
  • توافق فائق: قلل إطار Controlled-Literacy بشكل كبير من "المسافة المستهدفة"، مما يعني أن النص المولد طابق مستوى القابلية للقراءة المقصود بشكل أفضل بكثير من النماذج المرجعية (مثل التلقين التعليمي أو RAG القياسي).
  • تفضيل المستخدم: حققت الطريقة درجات أعلى في تفضيل المستخدم عبر جميع مستويات الإلمام مقارنة بالنماذج المرجعية.
  • فائدة النماذج الصغيرة: أظهرت النماذج الأصغر (مثل LLaMA-1B) أكبر تحسن في الأداء عند استخدام Controlled-Literacy، مما يشير إلى أن إطار العمل يساعد في تعويض القدرة المحدودة للنموذج.
  • التعميم المتقاطع: حافظت الطريقة على أداء قوي عبر مجموعات بيانات مختلفة (تويتر مقابل ريديت) وأنواع مختلفة من المعلومات المضللة.
  • دراسة الاستئصال (Ablation): بينما حسن RAG الدقة الواقعية، إلا أنه لم يحسن تفضيل المستخدم بشكل كبير بدون تحسين RL، مما يبرز ضرورة التوليد المدفوع بالمكافأة.

5. الأهمية والأثر

• التواصل الصحي العادل: من خلال تخصيص المعلومات لمستوى استيعاب المستخدم، يضمن إطار العمل أن التصحيحات الصحية الحرجة متاحة للفئات الضعيفة (ذوي الإلمام المنخفض) بينما تظل جذابة للخبراء (ذوي الإلمام العالي).
• القابلية للتوسع: يعمل النهج على أتمتة توليد الخطاب المضاد المخصص على نطاق واسع، مما يعالج حجم المعلومات المضللة التي لا يستطيع مدققو الحقائق البشريون التعامل معها.
• الاتجاهات المستقبلية: حدد المؤلفون قيودًا مثل غياب التكامل مع البحث عبر الويب في الوقت الفيد، والحاجة إلى تقسيم أكثر دقة للمستخدمين يتجاوز الفئات الثلاث الواسعة. ويقترحون عملاً مستقبلياً يتضمن استرجاع المعلومات الديناميكي وتوصيف المستخدم الأكثر دقة.

في الختام، تثبت هذه الورقة أن التحكم في "مستوى" التواصل لا يقل أهمية عن دقة المحتوى في مكافحة المعلومات الطبية المضللة، حيث تقدم حلاً قابلاً للتوسع ومدفوعاً بالتعلم التعزيزي لسد الفجوة بين الحقائق العلمية والفهم العام.