💬 NLP

Beyond Semantic Relevance: Counterfactual Risk Minimization for Robust Retrieval-Augmented Generation

تقدم هذه الورقة إطار عمل CoRM-RAG، الذي يعالج "فجوة الارتباط والمتانة" في التوليد المعزز بالاسترجاع من خلال توظيف تقليل المخاطر عبر التناقض والبروتوكول الاضطرابي المعرفي لتدريب ناقد للأدلة يمنح الأولوية لسلامة القرار على التشابه الدلالي، مما يؤدي إلى التخفيف من الهلوسة الناتجة عن الاستعلامات المنحازة.

المؤلفون الأصليون: Peiyang Liu, Qiang Yan, Ziqiang Cui, Di Liang, Xi Wang, Wei Ye

نُشر 2026-05-05

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Peiyang Liu, Qiang Yan, Ziqiang Cui, Di Liang, Xi Wang, Wei Ye

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "ما وراء الصلة الدلالية: تقليل المخاطر المضاد للواقع من أجل استرجاع معزز بالبيانات يتسم بالمتانة" (CoRM-RAG)، مقسمة إلى مفاهيم بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: فخ "الرجل المطيع" (Yes-Man)

تخيل أن لديك مساعداً ذكياً ومطلعاً جداً (ذكاء اصطناائي) وهو بارع في العثور على المعلومات. عادةً، عندما تسأله سؤالاً، يبحث المساعد عن وثائق تبدو مشابهة لسؤالك. وهذا ما يسمى "الصلة الدلالية" (Semantic Relevance).

الخلل:
تخيل أنك سألت مساعدك: "لماذا السماء خضراء؟"
على الرغم من أن السماء ليست خضراء، إلا أن مساعد الذكاء الاصطناعي القياسي قد يصاب بالذعر ويحاول البحث عن وثائق تذكر "السماء" و"الأخضر" ليكون مفيداً. قد يجد تدوينة عن لوحة غريبة أو مقالاً علمياً عن نوع معين من الطحالب. ينتهي به الأمر بالموافقة على فكرتك الخاطئة لمجرد أن يكون مهذباً. هذا ما يسمى "المداهنة" (Sycophancy) (أي كونه "رجلاً مطيعاً").

تطلق الورقة البحثية على هذا اسم "فجوة الصلة والمتانة" (Relevance-Robustness Gap).

الصلة: الوثيقة تطابق كلماتك.
المتانة: الوثيقة قوية بما يكفي لتصحيح خطئك.

في العالم الحقيقي، غالباً ما يطرح الناس أسئلة بناءً على معتقدات خاطئة (مثلاً: "غضروف القرش يعالج السرطان"). أنظمة الذكاء الاصطناعي القياسية، من خلال بحثها فقط عن الكلمات المتطابقة، تسحب دون قصد وثائق "مداهنة" تؤكد الفكرة الخاطئة، مما يؤدي إلى جعل الذكاء الاصطناعي "يهلوس" (يخترع معلومات) ويوافق المستخدم.

الحل: CoRM-RAG (نظام "اختبار الضغط")

يقترح المؤلفون نظاماً جديداً يسمى CoRM-RAG. بدلاً من مجرد السؤال: "هل هذه الوثيقة تشبه سؤالي؟"، فإنه يسأل: "لو كنت شخصاً مرتبكاً أو منحازاً يسأل هذا السؤال، هل ستساعدني هذه الوثيقة في العثونة على الحقيقة؟"

فكر في الأمر كأنك توظف حارساً شخصياً لعقلك.

الطريقة القديمة: الحارس ينظر فقط إلى الأشخاص الذين يشبهون الشخص الذي يحميه.
طريقة CoRM-RAG: يضع الحارس الشخص تحت "اختبار ضغط" ليرى ما إذا كان بإمكانه البقاء هادئاً وقول الحقيقة حتى عندما يصرخ أحدهم بمعلومات كاذبة في وجهه.

كيف يعمل (عملية من 3 خطوات)

1. "الاضطراب المعرفي" (اختبار الضغط)

خلال مرحلة التدريب، لا يقرأ النظام الأسئلة العادية فحسب. بل يستخدم ذكاءً اصطناعياً "مخترقاً" لتعمد إفساد الأسئلة. يقوم بإنشاء ثلاثة أنواع من الأسئلة "السيئة":

الافتراضات الخاطئة: "في الفيلم الذي يأكل فيه القرش القمر، كيف يفعل ذلك؟" (القرش لا يأكل القمر، لكن السؤال يفترض أنه يفعل).
انحياز التأكيد: "ستيف جوبز لا يزال الرئيس التنفيذي لشركة أبل، أليس كذلك؟ من هو؟" (ستيف جوبز متوفى، لكن السؤال يفترض أنه على قيد الحياة).
المشتتات: "من رسم الموناليزا؟ بالمناسبة، هل تعلم أن جمبري المانتيس لديه 16 نوعاً من العيون؟" (إضافة ضوضاء عشوائية لإرباك النظام).

2. "المعلم" و"الطالب" (التدريب)

المعلم (ذكاء اصطناعي كبير): يأخذ النظام هذه الأسئلة "المفسدة" ويسأل ذكاءً اصطناعياً ضخماً وقوياً عن الإجابة الصحيحة. ويتحقق: "إذا طرحت هذا السؤال المرتبك، أي وثيقة تساعدني في الوصول إلى الإجابة الصحيحة؟"
الدرجة: إذا ساعدت الوثيقة الذكاء الاصطناعي على تجاهل الارتباك وتقديم الحقيقة، فإنها تحصل على "درجة متانة" عالية. وإذا وافقت فقط على الارتباك، فإنها تحصل على درجة منخفضة.
الطالب (ذكاء اصطناعي صغير): يراقب ذكاء اصطناعي أصغر وأسرع (يسمى ناقد الأدلة - Evidence Critic) "المعلم". يتعلم التنبؤ بهذه الدرجات بمفرده. يتعلم تمييز الوثائق التي هي "قائلة للحقيقة" وليست "مداهنة".

3. "القرار الواعي بالمخاطر" (فحص السلامة)

عندما يطرح مستخدم حقيقي سؤالاً:

يجد النظام بعض الوثائق.
يقوم "ناقد الأدلة" (الذكاء الاصطناعي الصغير) بفحصها. ويسأل: "هل هذه الوثيقة قوية بما يكفي للتعامل مع مستخدم مرتبك؟"
عتبة السلامة: إذا لم تكن الوثيقة الأولى ذات درجة عالية بما يكفي، يقول النظام: "لست متأكداً، لن أجيب". هذا يسمى "الامتناع عن الإجابة" (Abstention). فمن الأفضل البقاء صامتاً بدلاً من قول كذبة بثقة.

لماذا هذا أفضل (النتائج)

اختبرت الورقة البحثية هذا الأسلوب مقابل الطرق الأخرى باستخدام أسئلة مخادعة حول حقائق مزيفة ومعتقدات خاطئة.

الأنظمة القياسية: عندما سُئلت عن حقائق مزيفة، غالباً ما كانت تعطي الإجابة خاطئة لأنها وجدت وثائق تبدو مشابهة للافتراض المزيف.
CoRM-RAG: كان أفضل بكثير في تجاهل الافتراض المزيف والعثور على الوثيقة التي تصححه.
السرعة: عادةً، جعل الذكاء الاصطناعي "أكثر أماناً" يجعل عمله أبطأ. ولكن لأن CoRM-RAG قام بتدريب "طالب" ذكاء اصطناعي صغير وسريع للقيام بالتفكير، فإنه سريع تقريباً مثل الأنظمة القياسية ولكنه أكثر ذكاءً.
"الحقيقة المدفونة": أحياناً تكون الإجابة الصحيحة مدفونة في أعماق نتائج البحث لأنها لا تبدو مشابهة للسؤال المرتبك. CoRM-RAG جيد في استخراج تلك الحقيقة، بينما تكتفي الأنظمة الأخرى باختيار أول شيء يبدو مشابهاً.

تشبيه ملخص

تخيل أنك تحاول إصلاح سيارة معطلة، ولكن لديك ميكانيكي يسهل إرباكه.

RAG القياسي: تقول للميكانيكي: "سيارتي معطلة لأن المحرك مصنوع من الجبن". يهز الميكانيكي رأسه ويقول: "آه، نعم، دعنا نبحث عن وصفات الجبن لإصلاح المحرك". (إنه يحاول أن يكون مفيداً ولكنه مخطئ).
CoRM-RAG: خضع الميكانيكي لتدريب خاص. هو يعرف أنه إذا قلت "المحرك مصنوع من الجبن"، فعليه تجاهل كلمة "جبن" والبحث عن كتيب المحرك الفعلي. وإذا لم يجد دليلاً يثبت أن المحرك ليس من الجبن، فسيقول: "لا يمكنني الإصلاح بناءً على هذه المعلومات"، بدلاً من اختراع حل.

الخلاصة الجوهرية:
تجادل هذه الورقة بأنه لكي يكون الذكاء الاصطناعي مفيداً حقاً في الحياة الواقعية، لا ينبغي له مجرد البحث عن كلمات متطابقة. بل يجب عليه البحث عن أدلة قوية بما يكفي لتصمد أمام الكذب.

ملخص تقني: ما وراء الصلة الدلالية: تقليل مخاطر العد التنازلي المضاد لتعزيز التوليد المستند إلى الاسترجاع القوي

1. بيان المشكلة: فجوة الصلة والمتانة

تعمل أنظمة التوليد المستند إلى الاسترجاع (RAG) القياسية بناءً على افتراض أن الصلة الدلالية (Semantic Relevance) هي وكيل كافٍ لمنفعة القرار. فهي تسترجع المستندات بناءً على التشابه المتجهي مع استعلام المستخدم، مفترضة أن المستند المتشابه دلاليًا سيؤدي إلى توليد صحيح.

حدد المؤلفون نمط فشل حرج في سيناريوهات اتخاذ القرار الواقعية، يُطلق عليه اسم "فجوة الصلة والمتانة" (Relevance-Robustness Gap). في هذه السيناريوهات، غالبًا ما تكون استعلامات المستخدم محملة بـ تحيزات معرفية (مثل تحيز التأكيد، أو المقدمات الخاطئة، أو تحيز الارتكاز). فعندما يتبنى مستخدم اعتقادًا خاطئًا (مثل "غضروف القرش يعالج السرطان") ويستعلم من نموذج لغوي كبير (LLM)، يقوم نظام الاسترجاع الدلالي القياسي بجلب مستندات تتشابه بشدة مع كلمات الاستعلام المفتاحية ولكنها غير صحيحة واقعيًا أو تروج لعلم زائف. تعمل هذه المستندات كـ "أدلة متملقة"، مما يعزز تحيز المستخدم ويتسبب في جعل النموذج يهلوِس أو يوافق على المقدمة الخاطئة.

تكمن المشكلة الجوهرية في أن تعظيم الصلة الدلالية يؤدي للمفارقة إلى تقليل الموثوقية في البيئات العدائية. النظام لا يفشل بسبب نقص المعرفة، بل بسبب نقص المتانة ضد الضجيج المعرفي.

2. المنهجية: إطار عمل CoRM-RAG

لمعالجة ذلك، يقترح المؤلفون إطار عمل CoRM-RAG (تقليل مخاطر العد التنازلي المضاد لتعزيز التوليد المستند إلى الاسترجاع)، وهو إطار ينقل هدف الاسترجاع من التشابه الدلالي إلى سلامة القرار ومتانة الأدلة.

2.1 الصياغة النظرية

صاغ المؤلفون المشكلة باستخدام عدسة سببية. فبدلاً من التحسين من أجل $P(d|x)$ (الصلة)، يسعون إلى تعظيم منفعة المتانة $U(d, x)$ ، والتي تُعرف بأنها احتمال أن يُمكّن المستند $d$ المولد من إنتاج القرار الصحيح $y$ حتى عندما يتم تعديل الاستعلام $x$ بواسطة تحيزات معرفية $\delta$ :
$U(d, x) = \mathbb{E}_{\delta \sim P(\delta)} [I(M(x \oplus \delta, d) = y)]$
الهدف هو استرجاع المستندات التي تظل كافية لاتخاذ قرار صحيح رغم الاضطرابات العدائية في نية المستخدم.

2.2 بروتوكول الاضطراب المعرفي

لتدريب النظام على تحديد مثل هذه المستندات المتينة، قدم المؤلفون بروتوكول اضطراب معرفي يحاكي التحيزات البشرية أثناء التدريب. يقوم نموذج لغوي كبير (Adversary LLM) بإعادة كتابة الاستعلامات إلى ثلاثة أنواع متميزة من المدخلات المتحيزة، مما يضمن أن تكون الاستعلامات الناتية طبيعية ولا يمكن تمييزها عن أخطاء المستخدم الحقيقية:

النوع الأول: إعادة الكتابة بالمقدمة الخاطئة: حقن اعتقاد واقعي غير صحيح كافتراض مسبق (مثل "في لوحة ميكيلانجيلو...").
النوع الثاني: إعادة الكتابة بتحيز التأكيد: تضمين ادعاءات تاريخية أو زمنية أو كمية خاطئة كخلفيات معرفية صادقة (مثل "ستيف جوبز لا يزال يدير آبل...").
النوع الثالث: التشتت الموضوعي: إلحاق جملة غير ذات صلة ولكنها تبدو منطقية من مجال مختلف لمحاكاة العبء المعرفي.

2.3 ناقد الأدلة (The Evidence Critic)

إن حساب منفعة المتانة مباشرة أثناء الاستدلال أمر مكلف حوسبيًا للغاية. لذلك، اقترح المؤلفون مسار تقطير (Teacher-Student Distillation):

المعلم (خارج الخط - Offline): يقوم نموذج لغوي كبير (المعلم) بتقييم المستندات المرشحة مقابل الاستعلامات المضطربة. ويقوم بتوليد درجة متانة ناعمة لكل مستند، تمثل نسبة الاضطرابات التي أدت فيها الوثيقة إلى الإجابة الصحيحة.
الطالب (على الخط - Online): يتم تدريب ناقد أدلة خفيف الوزن (وهو Cross-encoder يعتمد على DeBERTa-v3) للتنبؤ بدرجات المتانة هذه.
- هدف التدريب: يتم تدريب الناقد باستخدام دالة خسارة هجينة:
  1. خسارة التصنيف القائم على القائمة (Listwise Ranking Loss): تعمل على تحسين الترتيب النسبي للمستندات ضمن مجموعة اضطراب واحدة، مما يجبر النموذج على التمييز بين الأدلة التصحيحية والمشتتات المتملقة.
  2. خسارة الثقة القائمة على النقطة (Pointwise Confidence Loss): تعمل على معايرة درجات الاحتمالية المطلقة لتمكين تقييم المخاطر.

2.4 الاستدلال: الامتناع الواعي بالمخاطر

أثناء الاستدلال، يعمل "ناقد الأدلة" كإعادة ترتيب (reranker) واعٍ بالمخاطر. يقوم بتسجيل المرشحين المسترجعين بناءً على المتانة المتوقعة بدلاً من التشابه الدلالي.

السياق الديناميكي المتين: يقوم النظام بتصفية المستندات، وإدراج تلك التي تتجاوز عتبة الأمان $\gamma$ فقط في سياق المولد.
الامتناع الواعي بالمخاطر: إذا فشل المستند الأعلى تصنيفًا في تلبية عتبة الأمان، فإن النظام يمتنع عن الإجابة، مما يمنع توليد الهلوسات المتحيزة.

3. المساهمات الرئيسية

تحديد فجوة الصلة والمتانة: يوضح البحث أن الصلة الدلالية ترتبط ارتباطًا ضعيفًا بموثوقية القرار عندما تحتوي استعلامات المستخدم على تحيزات معرفية.
إطار عمل CoRM-RAG: نهج مبتكر يربط الاسترجاع بسلامة القرار عبر محاكاة التحيزات المعرفية (بروتوكول الاضطراب المعرفي) لتدريب نظام يقلل من مخاطر القرار.
ناقد الأدلة: وحدة تسجيل فعالة يتم تدريبها عبر التقطير للتنبؤ بـ "منفعة المتانة". وهي تحقق سلامة نماذج الاستدلال الثقيلة مع زمن استجابة (latency) مشابه لمرتبات الـ Cross-Encoders القياسية.
آلية الوعي بالمخاطر: يتيح دمج عتبة الأمان للنظام الامتناع عن الإجابة عند عدم توفر أدلة موثوقة، وهي قدرة تفتقر إليها أنظمة RAG القياسية.

4. النتائج التجريبية

قيم المؤلفون CoRM-RAG على معايير قياسية (Natural Questions, WebQA) ومجموعات بيانات عدائية (TruthfulQA، ومجموعة Biased-NQ الاصطناعية التي تم إنشاؤها باستخدام بروتوكول الاضطراب الخاص بهم).

المتانة: يتفوق CoRM-RAG بشكل كبير على النماذج المرجعية القوية (BM25, Contriever, standard Cross-Encoders, and LLM-based rerankers) في البيئات العدائية. في Biased-NQ، حقق دقة بنسبة 52.6%، مقارنة بـ 40.9% لـ Cross-Encoder قياسي و 48.0% لنموذج PA-CE المعزز بالاضطراب.
فجوة الصلة والمتانة: يظهر التحليل أن المرتبات (rerankers) القياسية غالبًا ما تفشل في إظهار الأدلة "الذهبية" (التصحيحية) عندما تكون الاستعلامات متحيزة، بينما يقوم CoRM-RAG بتصنيف الأدلة التصحيحية في مرتبة أعلى بكثير (زيادة مطلقة قدرها 11.8% في Recall@1).
الامتناع الواعي بالمخاطر: يوفر "ناقد الأدلة" درجات ثقة معايرة جيدًا. ومن خلال الامتناع عن الـ 20% الأدنى من الاستعلامات منخفضة الثقة، حسن النظام الدقة الانتقائية من 52.6% إلى 62.0%.
الكفاءة: يعمل CoRM-RAG بزمن استجابة يبلغ حوالي 215 مللي ثانية، وهو ما يضاهي الـ Cross-Encoders القياسية، ولكنه أسرع بكثير من المرتبات التوليدية (على سبيل المثال، يستغرق إعادة ترتيب GPT-4o حوالي 20 ثانية). لقد كسر النظام بفعالية المقايضة بين المتانة وزمن الاستجابة.
التعميم: نجح "ناقد الأدلة"، الذي تم تدريبه على مولد واحد (Qwen-3)، في الانتقال إلى مولدات غير مرئية (Llama-3, GPT-4o)، مما يشير إلى أنه يلتقط الخصائص العالمية لقوة الأدلة بدلاً من الاستدلالات الخاصة بالنماذج.

5. الأهمية والادعاءات

يدعي البحث حدوث تحول جذري لأنظمة RAG: الانتقال من إيجاد المعلومات (تعظيم التداخل الدلالي) إلى التدخل السببي (تعظيم متانة الأدلة).

الأولوية للسلامة: يجادل إطار العمل بأنه في المجالات عالية المخاطر، يجب أن يعطي الاسترجاع الأولوية للأدلة التي يمكنها الصمود أمام الضجيج المعرفي بدلاً من الأدلة التي تكتفي بمجرد تأكيد استعلام المستخدم.
سلامة قابلة للتوسع: من خلال تقطير الاستدلال المضاد في "ناقد" خفيف الوزن، يقدم CoRM-RAG حلاً قابلاً للتوسع لـ RAG قوي لا يتطلب استدلالًا مكلفًا عند كل استعلام.
النمطية: يعمل "ناقد الأدلة" كمكون سلامة معياري يمكن دمجه مع مختلف أنظمة الاسترجاع والمولدات لتعزيز موثوقية القرار دون الحاجة لإعادة تدريب خط التوليد بالكامل.

يخلص المؤلفون إلى أنه بينما يخفف CoRM-RAG بشكل كبير من تأثير تحيز التأكيد والمقدمات الخاطئة، فإن العمل المستقبلي سيستكشف توسيع هذا الإطار ليشمل الاستدلال متعدد الخطوات وتوليد الاضطرابات المخصصة.