ملخص تقني: فصل المنافسة الدلالية عن طول السياق في القراءة المعتمدة على الاسترجاع (RAG)

بيان المشكلة

غالبًا ما تفشل أنظمة التوليد المعزز بالاسترجاع (RAG) في إنتاج إجابات صحيحة حتى عندما ينجح مكون الاسترجاع في جلب الفقرة التي تحتوي على الحقيقة الأرضية (ground truth). وبينما يعزو الكثير من الأبحاث هذا التدهور إلى الحجم الهائل لنافذة السياق (مشكلة "الإبرة في كومة قش")، تجادل هذه الورقة بأن المنافسة الدلالية (semantic competition) هي عامل متميز وحاسم. فعندما تظهر فقرات متعددة مسترجعة كأنها ذات صلة بالاستعلام، يجب على نموذج القارئ التمييز بين الفقرة "الذهبية" الصحيحة والفقرات "المشتتة" (distractors) ذات الصلة ولكن غير الصحيحة. والسؤال الجوهى الذي تعالجه الورقة هو ما إذا كان تدهور الأداء ناتجًا فقط عن زيادة طول السياق أو عن الضغط الدلالي الذي تمارسه الفقرات السلبية عالية التصنيف والمنافسة.

المنهجية

قدم المؤلفون بروتوكول التحكم المتطابق (matched-control protocol) المصمم لعزل المنافسة الدلالية عن طول السياق. يستخدم الإعداد التجريبي مهمة الإجابة الاستخراجية على الأسئلة باستخدام مجموعة بيانات SQuAD 1.1 مع نموذجي قارئ مفتوحي المصدر ومدمجين: Phi-2 و Qwen2.5-1.5B-Instruct.

التصميم التجريبي

يبني البروتوكول حالتين مختلفتين للسياق، متطابقتين في عدد الفقرات وإجمالي طول المدخلات، ولكنهما تختلفان في جودة المشتتات:

1. الحالة الصعبة (Hard Condition): يحتوي السياق على مقتطف ذهبي واحد (مركزي حول الإجابة) و $H$ من المقتطفات المشتتة. هذه المشتتات هي سلبيات عالية التصنيف (top-ranked negatives) تم استرجاعها بواسطة BM25، مما يجعلها منافسين دلاليين أقوياء يشبهون الإجابة الصحيحة بشكل وثيق.
2. حالة التحكم البعيد (Far-Control Condition): يحتوي السياق على نفس المقتطف الذهبي ونفس عدد الفقرات الإجمالي ($N=20$). ومع ذلك، يتم استبدال السلبيات الصعبة عالية التصنيف بـ فقرات حقيقية بعيدة التصنيف (far-rank real passages) من نفس المجموعة (corpus). هذه الفقرات أيضًا تمت تصفيتها لاستبعاد سلسلة الإجابة، لكنها أقل تنافسية من الناحية الدلالية بشكل ملحوظ.

من الضروري ملاحظة أنه تم تصفية جميع المقتطفات غير الذهبية في كلتا الحالتين لضمان عدم ظهور سلسلة الإجابة المعيارية في المشتتات، وذلك لمنع تسرب الإجابة (answer leakage).

المقاييس والتحليل

تقيم الدراسة الأداء باستخدام:

• المطابقة التامة (Exact Match - EM): مطابقة معيارية صارمة.
• F1 للرموز (Token F1): رصيد جزئي لتداخل الرموز.
• تضمين الإجابة (Answer Inclusion): ما إذا كانت الإجابة الذهبية تظهر في أي مكان في المخرجات.

لتتبع تدهور الأداء مع زيادة المنافسة، يستخدم المؤلفون منحنيات الاحتفاظ (retention curves) ($R_M(H) = M(H) / M(0)$) ويلخصونها باستخدام نصف عمر ممتنع من جهة اليمين (right-censored half-life) ($K_{1/2}$). إذا لم ينخفض منحنى الاحتفاظ إلى ما دون 50% ضمن نطاق السلبيات الصعبة المختبر، يتم تسجيل نصف العمر كـ "ممتنع من جهة اليمين" (على سبيل المثال، $K_{1/2} > 79$) بدلاً من اختراع نقطة تقاطع.

النتائج الرئيسية

1. المنافسة الدلالية هي عامل تدهور متميز

أدى استبدال السلبيات الصعبة بفقرات بعيدة التصنيف مع تثبيت طول السياق إلى استعادة جزئية للأداء لكلا النموذجين. وهذا يؤكد أن التدهور ليس مجرد وظيفة لحجم السياق، بل مدفوع بشكل كبير بالمنافسة الدلالية بين الفقرات المسترجعة.

2. التباين في الاستعادة عبر المقاييس

كان تأثير الاستعادة أكثر وضوحًا في مقياس F1 و تضمين الإجابة، مع مكاسب أضعف وأكثر ضوضاء في المطابقة التامة (EM):

• Phi-2: استعاد +6.0 في EM، و +7.0 في تضمين الإجابة، و +0.057 في F1.
• Qwen2.5-1.5B: استعاد +4.5 في EM، و +9.0 في تضمين الإجابة، و +0.068 في F1.
• ملاحظة: بالنسبة لـ Qwen، تقاطع فاصل الثقة للاستعادة في EM مع الصفر قليلاً، بينما أظهر F1 وتضمين الإجابة مكاسب ذات دلالة إحصائية.

3. منحنيات الاحتفاظ ونصف العمر

تحت زيادة أعداد السلبيات الصعبة (حتى $H=79$)، أظهر كلا النموذجين تدهورًا رتيبًا (monotonic). ومع ذلك، ظلت منحنيات الاحتفاظ لكل من EM و F1 فوق 50% حتى عند أقصى عدد مختبر من السلبيات. وبناءً على ذلك، تم تسجيل نصف العمر لكلا المقياسين كـ ممتنع من جهة اليمين ($K_{1/2} > 79$)، مما يشير إلى أنه بينما يتدهور الأداء بثبات، فإن النماذج لا تنهار إلى مستوى العشوائية ضمن هذا النطاق.

4. الاعتماد على طول المقتطف

تفاوت حجم تأثير الاستعادة مع طول المقتطف. في التجارب التي استخدمت مقتطفات بطول 80 كلمة، كانت الاستعادة من استبدال "الصعب بالبعيد" أضعف بكثير (على سبيل المثال، انخفضت استعادة Q-EM من +4.5 إلى +0.0) مقارنة بـ مقتطفات بطول 50 كلمة. يشير المؤلفون إلى أن المقتطفات الأطول تحافظ على المزيد من السياق الداعم للإجابة، مما يقلل من الغموض ويترك مجالًا أقل لظهور ميزة "التحكم البعيد".

الأهمية والادعاءات

تدعي الورقة أنها تقدم برهانًا مضبوطًا على أن المنافسة الدلالية هي آلية لفشل RAG متميزة عن طول السياق. ومن خلال تثبيت عدد الفقرات وطولها، عزل المؤلفون صعوبة اختيار الفقرة الصحيحة من بين المشتتات المتشابهة دلاليًا.

يؤطر المؤلفون مساهماتهم بتواضع كما يلي:

• ابتكار البروتوكول: قدموا بروتوكول تحكم متطابق يفصل المنافسة عن الطول، متجنبين المتغيرات المربكة الموجودة في اختبارات السياق الطويل القياسية.
• الدليل التجريبي: أثبتوا أن استبدال السلبيات الصعبة بفقرات أقل تنافسية يستعيد جزئيًا أداء النموذج، وتحديدًا من خلال تحسين قدرة النموذج على تضمين الإجابة وتوليد مطابقات جزئية (F1)، وليس فقط المطابقات التامة.
• دقة التقييم: تشير النتائج إلى أن تقييم RAG يجب أن يتجاوز مجرد فحوصات "وجود الإبرة في كومة القش". فصعوبة مكون "القارئ" تتأثر بشدة بجودة المشتتات المسترجعة، وليس فقط بحجم النص.

تحدد الورقة صراحةً نطاق ادعاءاتها لتقتصر على مجموعة البيانات المحددة (SQuAD) والنماذج المدمجة المختبرة، مشيرة إلى أن مجموعات البيانات المختلفة، أو أدوات الاسترجاع، أو النماذج ذات النطاق الواسع (frontier-scale models) قد تظهر ملفات تعريف منافسة مختلفة. وهي لا تقترح حلولًا معمارية جديدة، بل تقدم إطارًا منهجيًا لتشخيص حالات فشل RAG بشكل أفضل.