💬 NLP

Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models

تقدم هذه الورقة البحثية Faithfulness-QA، وهي مجموعة بيانات واسعة النطاق تضم ما يقرب من 100,000 عينة من أسئلة وأجوبة معدلة بشكل مضاد للواقع، صُممت لتدريب وتقييم نماذج التوليد المعزز بالاسترجاع (RAG) لإعطاء الأولوية للسياق المسترجع على الذاكرة البارامترية الداخلية، وذلك لمعالجة المشكلة الحرجة المتمثلة في التوليد غير الأمين.

المؤلفون الأصليون: Li Ju, Junzhe Wang, Qi Zhang

نُشر 2026-04-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Li Ju, Junzhe Wang, Qi Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً ذكياً جداً، قرأ ملايين الكتب وحفظ كمية هائلة من الحقائق. هذا الطالب بارع في الإجابة على الأسئلة، لكن لديه عادة سيئة: عندما تعطيه مقالاً جديداً لتقرأه وتطلب منه سؤالاً حوله، فإنه غالباً ما يتجاهل المقال تماماً. بدلاً من ذلك، يندفع للإجابة بما يتذكره من ذاكرته الخاصة، حتى لو كانت تلك الذاكرة خاطئة أو قديمة.

في عالم الذكاء الاصطناعي، يُسمى هذا نموذج RAG (التوليد المعزز بالاسترجاع). والهدف من RAG هو جعل الذكاء الاصطناعي يقرأ المقال الجديد (السياق) ويجيب بناءً عليه فقط. ولكن غالباً ما يكون الذكاء الاصطناعي عنيداً للغاية ويعتمد على "ذاكرته البارامترية" (دماغه الذي تدرب عليه مسبقاً).

تقدم هذه الورقة البحثية حلاً يسمى Faithfulness-QA. فكر في الأمر كمعسكر تدريبي خاص مصمم لتعليم الذكاء الاصطناعي كيف يستمع حقاً للمقال الجديد.

المشكلة: "الطالب العنيد"

عادةً، عندما ندرب هذه النماذج، يتطابق السؤال والإجابة في المقال مع ما يعرفه الذكاء الاصطناعي بالفعل. لذا، يحصل الذكاء الاصطناعي على الإجابة الصحيحة، لكننا لا نعرف لماذا. هل قرأ المقال؟ أم أنه خمن الإجابة بشكل صحيح لأنه كان يعرف الحقيقة مسبقاً؟

الأمر يشبه سؤال طالب: "من هو أول رئيس للولايات المتحدة؟" بينما تعرض أمامه صورة لجورج واشنطن. إذا قال "جورج واشنطن"، فقد يكون قد قرأ الصورة، أو رب أنه استرجع فقط ما حفظه في الروضة. لا يمكننا التمييز بين الحالتين.

الحل: طريقة "السؤال الخادع"

لإصلاح ذلك، أنشأ الباحثون مجموعة بيانات ضخمة من 99,094 "سؤالاً خادعاً". لقد استخدموا طريقة ذكية تسمى استبدال الكيانات الواقعي (Counterfactual Entity Substitution).

إليك كيف بنوا هذه الطريقة، باستخدام تشبيه بسيط:

المادة المصدر: بدأوا بمكتبتين ضخمتين من الأسئلة والأجوبة الموجودة مسبقاً (SQuAD و TriviaQA).
"بنك الكيانات": أنشأوا دليلاً رقمياً ضخماً يحتوي على ما يقرب من 77,000 اسم ومكان وتاريخ (مثل "باريس"، أو "ماري كوري"، أو "4 يوليو").
عملية الاستبدال: لكل سؤال، وجدوا الاسم أو المكان المحدد في القصة (الكيان الذي يحمل الإجابة) واستبدلوه بآخر من "الدليل" الخاص بهم يتناسب مع نفس الفئة.
- القصة الأصلية: "ظهرت العذراء مريم لـ القديسة برناديت في عام 1858."
- الاستبدال: استبدلوا "القديسة برناديت" بـ "كيوموري" (شخص آخر).
- القصة الجديدة: "ظهرت العذراء مريم لـ كيوموري في عام 1858."
التضارب: الآن، ذاكرة الذكاء الاصطناعي تقول "لقد كانت القديسة برناديت!" بينما القصة الجديدة تقول "لقد كانت كيوموري!"

لماذا ينجح هذا؟

هذا يخلق تضارباً في المعرفة. يُجبر الذكاء الاصطناعي على الاختيار بين:

الخيار (أ): تجاهل القصة وإعطاء الإجابة من ذاكرته (القديسة برناديت).
الخيار (ب): تجاهل ذاكرته والثقة في القصة (كيوموري).

إذا كان الذكاء الاصطناعي "أميناً" (Faithful)، فيجب عليه اختيار الخيار (ب). ومن خلال التدريب على آلاف حالات التضارب هذه، يتعلم الذكاء الاصطناعي أنه عند حدوث تضارب، فإن القصة الجديدة هي المرجع الأعلى.

مراقبة الجودة

لم يقم الباحثون باستبدال الكلمات عشوائياً؛ بل بنوا "فلتر جودة" صارماً (مثل محرر شديد التدقيق).

تحققوا من أن الاسم الجديد يتناسب فعلياً مع الجملة.
تأكدوا من أن القصة ليست قصيرة جداً أو مكسورة.
تحققوا من أن الاسم الجديد ليس موجوداً بالفعل في القصة.

اختبروا ذلك على عينة عشوائية من 200 قصة، واجتازت 100% من هذه الاختبارات. مجموعة البيانات النهائية ضخمة (99,000 عينة)، وتغطي ثمانية أنواع مختلفة من الكيانات مثل الأشخاص، والمنظمات، والتواريخ، والمواقع.

ما قدموه لنا

تطلق الورقة البحثية ثلاث أشياء رئيسية للجمهور:

مجموعة البيانات: الـ 99,000 سؤال خادع الجاهزة للتدريب.
خط الإنتاج (Pipeline): الكود الذي ينشئ هذه الأسئلة الخادعة تلقائياً.
بنك الكيانات: قائمة الـ 77,000 اسماً ومكاناً المستخدمة في عمليات الاستبدال.

الخلاصة

تزعم الورقة أنه باستخدام مجموعة البيانات هذه، يمكننا تدريب نماذج الذكاء الاصطناعي لتتوقف عن كونها "طلاباً عنيدين" يتجاهلون المعلومات الجديدة. بدلاً من ذلك، تصبح "قراءً أمناء" يعطون الأولوية للنص الموجود أمامهم على ما يعتقدون أنهم يعرفونه بالفعل. ويشير المؤلفون إلى أنه بينما يعمل النظام بشكل جيد جداً في استبدال الأسماء، فإنه لا يعالج الضمائر (مثل تغيير "هو" إلى "هي" إذا تغير الاسم)، وهو يعمل حالياً باللغة الإنجليزية فقط. ولكن بالنسبة لغرضه المحدد — وهو تعليم الذكاء الاصطناعي الثقة في السياق بدلاً من ذاكرته — فإنه يعد أداة جديدة ضخمة وعالية الجودة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Faithfulness-QA: مجموعة بيانات استبدال الكيانات المضادة للواقع لتدريب نماذج RAG المخلصة للسياق."

1. بيان المشكلة

تُصمم أنظمة التوليد المعزز بالاسترجاع (RAG) لتجذير النماذج اللغوية الكبيرة (LLMs) في أدلة خارجية. ومع ذلك، يحدث نمط فشل حرج يُعرف باسم عدم الإخلاص (unfaithfulness) عندما تتجاهل النماذج السياق المسترجع وتعتمد بدلاً من ذلك على ذاكرتها البارامترية (parametric memory) (المعرفة المكتسبة أثناء التدريب المسبق).

السبب الجذري: تعامل دوال خسارة التنبؤ بالرمز التالي (next-token prediction) القياسية جميع الرموز بالتساوي، مما يفشل في التمييز بين المعلومات المستمدة من السياق والمعلومات المحفوظة مسبقاً. وبدون إشارات تدريب صريحة تكافئ التجذر في السياق، تعود النماذج إلى معرفتها الداخلية عند حدوث تعارضات.
الفجوة: تركز الحلول الحالية إما على حل التعارض أثناء الاستدلال (مثل Self-RAG وFaithfulRAG) أو توفر معايير تقييم صغيرة النطاق (مثل FaithEval بحوالي 4.9 ألف عينة). هناك نقص في بيانات التدريب عالية الجودة وواسعة النطاق المصممة خصيصاً لإجبار النماذج على إعطاء الأولوية للسياق المسترجع على الذاكرة الداخلية من خلال تعارضات معرفية محكومة.

2. المنهجية: بناء Faithfulness-QA

يقترح المؤلفون Faithfulness-QA، وهي مجموعة بيانات مكونة من 99,094 عينة تم بناؤها عبر مسار مؤتمت بالكامل يتكون من أربع مراحل. الآلية الجوهرية هي استبدال الكيانات المضاد للواقع (Counterfactual Entity Substitution)، والذي يخلق تعارضات اصطناعية بين السياق والمعرفة البارامترية المرجحة للنموذج.

أ. البيانات المصدرية

بُنيت مجموعة البيانات من معيارين متكاملين للاستخراج الإجابي (extractive QA):

SQuAD: يحتوي على 87,599 زوجاً (فقرات ويكيبيديا، متوسط الطول 701 حرفاً).
TriviaQA: يحتوي على 87,041 زوجاً (وثائق أدلة أطول، متوسط الطول 1,581 حرفاً).

ب. المسار المكون من أربع مراحل

بناء بنك الكيانات:
- استخراج الكيانات المسماة من سياقات المصدر باستخدام نموذج NER الخاص بـ SpaCy وهو en_core_web_lg.
- تنسيق بنك يضم 76,953 كياناً فريداً عبر 8 أنواع: PERSON (شخص)، GPE (مكان جغرافي سياسي)، ORG (منظمة)، DATE (تاريخ)، CARDINAL (عدد رقمي)، NORP (جماعة دينية أو قومية)، LOC (مكان)، وEVENT (حدث).
- تصفية الكيانات حسب الطول (من 2 إلى 100 حرف).
مطابقة الإجابة والكيان (Answer–Entity Matching):
- لكل عينة (سؤال، سياق، إجابة) $(q, c, a)$ ، يحاول النظام مطابقة كيان الإجابة $a$ مع كيان مُعرف في السياق $c$ .
- يستخدم تسلسلاً هرمياً من ثلاث استراتيجيات: المطابقة التامة، مطابقة الجزء الفرعي (Substring match)، والتداخل الموضعي (Positional overlap).
- يتم استبعاد العينات التي تفشل في مطابقة كيان مسمى (وهذا هو العائق الرئيسي).
استبدال الكيانات المضاد للواقع (الخطوة الجوهرية):
- تحديد كيان الإجابة الأصلي ( $e_{orig}$ ) ونوعه ( $t$ ).
- اختيار كيان بديل ( $e_{new}$ ) من البنك يشترك في نفس النوع $t$ ولكنه يختلف عن $e_{orig}$ .
- فرض توافق الطول ( $0.3 \le |e_{new}|/|e_{orig}| \le 3.0$ ).
- الاستبدال الشامل (Global Replacement): استبدال جميع حالات ظهور $e_{orig}$ (بغض النظر عن حالة الأحرف) بـ $e_{new}$ في السياق لإنشاء $c'$ .
- تصبح الإجابة "المخلصة" الجديدة هي $e_{new}$ .
تصفية الجودة والتقسيم:
- تطبيق 6 فحوصات قائمة على القواعد (مثل التأكد من وجود الكيان الجديد في السياق المعدل، وإزالة الكيان الأصلي، وكفاية طول السياق، وعدم وجود استبدالات مفرطة).
- تقسيم العينات الناجحة إلى (تدريب/تطوير/اختبار) بنسبة (80/10/10) مع بذرة ثابتة (42).
- المسار بأكمله حتمي، ويعمل على وحدة معالجة مركزية واحدة (CPU) في حوالي 5.5 ساعة، ولا يتطلب وحدة معالجة رسومات (GPU).

3. المساهمات الرئيسية

مجموعة بيانات Faithfulness-QA: مورد واسع النطاق (99 ألف عينة) مصمم خصيصاً لتدريب نماذج RAG على اتباع السياق بدلاً من الذاكرة البارامترية. وهي أكبر بنحو 20 ضعفاً من معايير تقييم الإخلاص الموجودة.
مسار بناء مؤتمت: مسار مؤتمت بالكامل ومفتوح المصدر يحقق معدل نجاح استبدال قدره 56.7% مع معدل نجاح في فحص الجودة بنسبة 100% على العينات التي تمت مراجعتها.
بنك الكيانات المصنف نوعياً: مورد قابل لإعادة الاستخدام يضم 76,953 كياناً عبر فئات مختلفة، مما يتيح بناء مجموعات بيانات قابلة للتكرار والتوسيع.
تحليل شامل: تحليل إحصائي مفصل لتوزيع الكيانات، وأطوال السياق، وأنماط الفشل، مما يوضح التكامل بين مصادر SQuAD وTriviaQA.

4. النتائج والإحصائيات

النطاق: 99,094 عينة إجمالية (49,094 من SQuAD، و50,000 من TriviaQA).
معدل النجاح: 56.7% إجمالاً (56.0% لـ SQuAD، و57.4% لـ TriviaQA).
تحليل الفشل: السبب الرئيسي للتصفية (64.0%) هو عدم وجود كيان NER مطابق (على سبيل المثال، عندما تكون الإجابات عبارات وصفية أو قيم منطقية). هذا مقايضة متعمدة لضمان استبدالات متسقة النوع ومتعرفة جيداً.
تدقيق الجودة: حقق تدقيق عشوائي لـ 200 عينة معدلات نجاح بنسبة 100% عبر أربعة أبعاد: وجود الاستبدال، إزالة الأصل، تعديل السياق، ونسبة الطول.
توزيع الكيانات:
- تهيمن كيانات PERSON على TriviaQA (45.7%).
- تُظهر SQuAD توزيعاً أكثر تجانساً عبر ORG وDATE وPERSON.
- يضمن الجمع بينهما تغطية واسعة، مما يقلل من خطر الإفراط في التخصيص لنوع معين (overfitting).

5. الأهمية والتطبيقات

تعالج Faithfulness-QA فجوة حرجة في منظومة RAG من خلال نقل التركيز من تقييم الإخلاص إلى التدريب عليه.

الضبط الدقيق المراعي للإخلاص (Faithfulness-Aware Fine-Tuning): يتيح تدريب النماذج على تجاوز الذاكرة البارامترية عندما تتعارض مع الأدلة المسترجعة.
دوال الخسارة القائمة على الانتباه (Attention-Based Loss Functions): يسمح التعديل الصريح لمناطق الاستبدال بالإشراف على أوزان الانتباه المتقاطع (cross-attention)، مما يشجع النماذج على الانتباه للسياق.
أبحاث تعارض المعرفة: يوفر بيئة محكومة لدراسة كيفية حل النماذج اللغوية الكبيرة للتعارضات بين الأدلة الخارجية والمعتقدات الداخلية.
التكامل: بينما يعمل FaithEval كمعيار للتقييم، تعمل Faithfulness-QA كمورد تدريبي لبناء نماذج قادرة على اجتياز تلك المعايير.

6. القيود والعمل المستقبلي

القيود:
- لا يوجد حل للمراجع (coreference resolution) (أي أن الضمائر التي تشير إلى الكيانات المستبدلة لا يتم تحديثها).
- يعتمد على التصفية القائمة على القواعد بدلاً من نماذج NLI لضمان الاتساق الدلالي.
- قد تكون بعض عمليات الاستبدال صحيحة نحوياً ولكنها غير منطقية دلالياً (مثل: "Amritsar, Illinois").
- محدود حالياً باللغة الإنجليزية.
الاتجاهات المستقبلية: دمج حل المراجع (coreference resolution)، استخدام نماذج LLM لمطابقة الكيانات لتحسين معدلات النجاح، تطبيق تصفية قائمة على NLI، وإجراء تجارب تدريب لاحقة على نماذج لغوية كبيرة مفتوحة المصدر (مثل Llama-3، Mistral، Qwen).

الخلاصة: توفر Faithfulness-QA البنية التحتية اللازمة لنقل أنظمة RAG من كونها "معززة بالاسترجاع" إلى كونها "مخلصة للاسترجاع"، مما يضمن اعتماد النماذج حقاً على الأدلة المقدمة إليها بدلاً من تحيزاتها المسبقة.