ملخص تقني: ما مدى أهمية الاستدعاء (Recall) في قياس جودة الاسترجاع؟

بيان المشكلة

في أنظمة التوليد المعزز بالاسترجاع (RAG)، تؤثر جودة المستندات المسترجعة (اختيار الـ "top-K") بشكل مباشر على جودة الاستجابة التي يولدها النموذج اللغوي الكبير (LLM). تعتمد مقاييس الاسترجاع القياسية، مثل مقياس F (F-measure)، على الاستدعاء ($R = n_p / N_p$)، والذي يتطلب معرفة العدد الإجمالي للمستندات ذات الصلة ($N_p$) في قاعدة المعرفة (KB) لاستعلام معين.

ومع ذلك، في قواعد المعرفة الواقعية، واسعة النطاق، والمتطورة، يكون $N_p$ عادةً غير معروف مسبقاً. وبناءً على ذلك، لا يمكن حساب الاستدعاء، مما يجعل مقياس F والمقاييس المماثلة غير قابلة للتطبيق للتقييم في الوقت الفعلي. تشمل الاستراتيجيات الحالية للالتفاف على ذلك إنشاء معايير مرجعية ثابتة (تصبح قديمة مع تغير قاعدة المعرفة)، أو تقدير $N_p$ عبر التجميع (pooling) أو الاستقراء، أو استخدام مقاييس لا تتطلب $N_p$ (مثل nDCG). يبحث البحث في أي نهج هو الأفضل ارتباطاً بالجودة الفعلية لاستجابة الـ LLM عندما يكون العدد الإجمالي للمستندات ذات الصلة غير معروف.

المنهجية

بناء مجموعة البيانات

قام المؤلفون ببناء مجموعة بيانات مرجعية ("retrieval-response") تضم استعلامات، ومستندات إيجابية (ذات صلة)، ومستندات سلبية (غير ذات صلة) من أربعة مصادر:

1. ARXIV: ملخصات علمية.
2. HotpotQA: فقرات وجمل.
3. MSMARCO: مقتطفات بحث ويب.
4. Natural Questions: استعلامات ويب.

تتميز مجموعة البيانات بعدد منخفض نسبياً من المستندات ذات الصلة ($N_p \in [2, 15]$). وقد قام المؤلفون بتغيير حجم الاسترجاع $K$ عبر نطاق بالنسبة لـ $N_p$ (سواء كان $K < N_p$ أو $K \ge N_p$).

إعداد الاسترجاع والتقييم

• النماذج التضمينية (Embeddings): تم استخدام أربعة نماذج تضمين شائعة (all-MiniLM-L12-v2, multilingual-e5-small, e5-small-v2, multi-qa-MiniLM-L6-cos-v1) لاسترجاع أفضل $K$ من المستندات.
• توليد الاستجابة: قام نموذج لغوي كبير (GPT-4o-mini) بتوليد استجابات بناءً فقط على أفضل $K$ من المستندات المسترجعة.
• تسجيل الجودة: تمت مقارنة الاستجابات المولدة مع استجابة "مثالية" (تم توليدها باستخدام جميع المستندات الإيجابية). قام الـ LLM بتعيين درجة جودة (مقياس ليكرت من 1 إلى 5) بناءً على اكتمال المحتوى والمطابقة.
• التحقق: تم التحقق من تسجيل الـ LLM للجودة مقابل الأحكام البشرية، مما أظهر ارتباطاً قوياً (Krippendorff's $\alpha \approx 0.77–0.82$).

المقاييس التي تمت مقارنتها

قيمت الدراسة الارتباط بين مقاييس الاسترجاع التالية ودرجة جودة استجابة الـ LLM:

1. مقياس F (F-measure): يتطلب معرفة دقيقة بـ $N_p$.
2. Fe (F-المقدرة): تستخدم تقديراً تقريبياً لـ $N_p$ (عدّ الإيجابيات في أفضل $2K$) بدلاً من $N_p$ الحقيقي.
3. nDCG: لا يتطلب $N_p$؛ ويأخذ في الاعتبار ترتيب المستندات.
4. T (المقترح): مقياس جديد محدد كـ $T = \frac{(1-\alpha)n_p - \alpha n_n}{K}$، حيث $n_p$ هو عدد الإيجابيات و $n_n$ هو عدد السلبيات في أفضل $K$. وهو مصمم ليكون مستقلاً عن $N_p$.

حلل المؤلفون ارتباطات Spearman و Pearson و Kendall Tau عبر مجموعات بيانات ونماذج تضمين ونسب $K/N_p$ مختلفة.

النتائج الرئيسية

1. الارتباط مع جودة الاستجابة

• أداء المقياس: أدى المقياس T المقترح عموماً أداءً يضاهي أو يتفوق على مقياس F القياسي في السيناريوهات التي تكون فيها $K < N_p$ أو $K \approx N_p$ (تحديداً في ARXIV و HotpotQA-sentences).
• محدودية nDCG: أظهر nDCG عموماً ارتباطاً أقل بجودة الاستجابة من F أو T، باستثناء حالات معينة ذات نسب $K/N_p$ عالية في مجموعات البيانات المعقدة (مثل ARXIV). في سيناريوهات النسبة العالية هذه، أصبح ترتيب المستندات (ذات الصلة أولاً، وغير ذات الصلة لاحقاً) حاسماً للـ LLM، مما جعل nDCG مفضلاً.
• التقدير مقابل الواقع: من المثير للدهشة أن Fe (باستخدام $N_p$ مقدر من أفضل $2K$) تفوقت أحياناً على مقياس F الحقيقي عند ارتفاع نسبة $K/N_p$. يفترض المؤلفون أن المستندات ذات الصلة التي تظهر في أفضل $2K$ هي بطبيعتها أكثر أهمية للـ LLM من تلك التي تظهر لاحقاً، مما يجعل $N_p$ "المقدر" وسيطاً أفضل للمستندات ذات الصلة المفيدة.

2. تأثير نسبة $K/N_p$

• $K/N_p$ منخفض/متوسط: عندما يكون عدد المستندات المسترجعة مقارباً أو أقل من إجمالي المستندات ذات الصلة، فإن وجود مستندات غير ذات صلة (السلبيات) هو المحرك الرئيسي لضعف جودة الاستجابة. وتعمل المقاييس التي تركز على التوازن بين الإيجابيات والسلبيات (مثل T و F) بشكل أفضل.
• $K/N_p$ مرتفع: عندما يتجاوز $K$ قيمة $N_p$ بشكل كبير، تحتوي مجموعة البيانات على العديد من المستندات غير ذات الصلة. هنا، يصبح ترتيب هذه المستندات مهماً. إذا تلقى الـ LLM المستندات ذات الصلة مبكراً في السياق، يكون الأداء أعلى. هذا هو المكان الذي يكتسب فيه nDCG ميزة، رغم أنه يظل أدنى من T و F في مجموعات البيانات الأبسط (MSMARCO, Natural Questions).

3. حساسية نموذج التضمين

وُجد أن اختيار مقياس الاسترجاء يعتمد على نوع مجموعة البيانات ونسبة $K/N_p$ أكثر من اعتماده على نموذج التضمين المحدد المستخدم.

المساهمات الرئيسية

1. تقديم المقياس T: يقترح المؤلفون مقياساً بسيطاً وموحداً لجودة الاسترجاع (T) لا يتطلب معرفة العدد الإجمالي للمستندات ذات الصلة ($N_p$). فهو يوازن بين عدد المستندات ذات الصلة ($n_p$) مقابل المستندات غير ذات الصلة ($n_n$) ضمن أفضل $K$.
2. بناء معيار مرجعي شامل: إنشاء مجموعة بيانات متنوعة تربط تكوينات الاسترجاع (مختلف قيم $K$ و $N_p$ والتضمينات) باستجابات الـ LLM ودرجات جودتها، مما يسهل دراسة جودة الاسترجاع في غياب الاستدعاء (recall) الحقيقي.
3. رؤى تجريبية:
   • أثبت أن المقياس T هو بديل قوي للمقياس F للتقييم في العالم الحقيقي حيث يكون $N_p$ غير معروف.
   • أظهر أن nDCG ليس متفوقاً عالمياً؛ فميزته تقتصر على نسب $K/N_p$ العالية في مجموعات البيانات المعقدة حيث يؤثر ترتيب المستندات بشكل كبير على أداء الـ LLM.
   • لاحظ أن تقدير $N_p$ عبر أفضل $2K$ (Fe) يمكن أن يعطي أحياناً ارتباطات أفضل مع جودة الاستجابة من استخدام $N_p$ الحقيقي، مما يشير إلى أن المستندات ذات الصلة "المبكرة" تحمل وزناً أكبر للنماذج اللغوية الكبيرة.

الأهمية والادعاءات

يزعم البحث أنه في إعدادات RAG الواقعية حيث يكون إجمالي المستندات ذات الصلة غير معروف، فإن الاستدعاء (Recall) ليس ضرورياً بالضرورة لقياس جودة الاسترجاع بفعالية.

• الفائدة العملية: يوفر المقياس T حلاً "راسخاً ومريحاً" للتقييمات في الحياة الواقعية، متجنباً الحاجة إلى معايير مرجعية ثابتة أو تقنيات معقدة لتقدير $N_p$.
• الدقة السياقية: تسلط الدراسة الضوء على أن المقياس "الأفضل" يعتمد على السياق التشغيلي (تحديداً نسبة $K/N_p$ وتعقيد المستندات). وبينما يعد F (أو T) كافياً بشكل عام، فقد يُفضل nDCG فقط عند التعامل مع نوافذ استرجاع كبيرة ($K \gg N_p$) على بيانات معقدة حيث يربك ترتيب المستندات غير ذات الصلة الـ LLM.
• التقييم المتمحور حول الـ LLM: يعزز هذا العمل التحول نحو تقييم أنظمة الاسترجاع بناءً على تأثيرها اللاحق على جودة استجابة الـ LLM بدلاً من مقاييس استرجاع المعلومات المجردة وحدها.

يظل المؤلفون متواضعين بشأن نطاق البحث، مشيرين إلى أن تجاربهم ركزت على نطاقات $N_p$ متوسطة، وأن اعتبارات زمن الاستجابة (latency) للتقييم في الوقت الفعلي (على سبيل المثال، استخدام الـ LLMs لتسمية الصلة فورياً) لم يتم استكشافها بالكامل.