ملخص تقني: RAGCap-Bench

بيان المشكلة

بينما تعمل تقنية التوليد المعزز بالاسترجاع (RAG) على الحد من الأخطاء الواقعية والهلوسة في النماذج اللغوية الكبيرة (LLMs) من خلال الوصول إلى معرفة خارجية، إلا أن أنظمة RAG التقليدية غالبًا ما تعاني من مصادر معلومات ثابتة وتفكير سطحي. وقد عالجت التطورات الأخيرة في أنظمة RAG الوكيلية (agentic RAG systems) هذه المشكلات من خلال تمكين النماذج اللغوية الكبيرة من العمل كوكلاء مستقلين يقومون بالتخطيط، والاسترجاع، والتفكير بشكل تكراري عبر استعلامات معقدة في بيئات الويب المفتوحة والديناميكية.

ومع ذلك، تعتمد التقييمات الحالية لهذه الأنظمة الوكيلية بشكل أساست على اختبارات الإجابة على الأسئلة (QA) متعددة الخطوات (multi-hop) من البداية إلى النهاية. وبين أنها فعالة في قياس دقة المخرجات النهائية، إلا أن هذه الاختبارات تقدم تغذية راجعة محدودة التفاصيل حول كيفية تحسين مكونات النظام المحددة. فالأخطاء في المراحل المتوسطة — مثل التخطيط المعيب، أو استخراج الأدلة غير الصحيح، أو التفكير المهلوس — يمكن أن تتراكم، ومع ذلك تكافح طرق التقييم الحالية لعزل نقاط الفشل المحددة هذه. هناك فجوة حرجة في الاختبارات الموجهة نحو القدرات والتي يمكنها تقييم العمليات الوسيطة لأنظمة سير عمل RAG الوكيلية بشكل منهجي.

المنهجية

لمعالجة هذه الفجوة، يقترح المؤلفون RAGCap-Bench، وهو اختبار معيارى موجه نحو القدرات ومصمم للتقييم الدقيق على مستوى المكونات. تتضمن المنهجية ثلاث مراحل أساسية:

1. تصنيف القدرات والأخطاء

قام المؤلفون بتحليل مخرجات أنظمة RAG الوكيلية مفتوحة المصدر الرائدة (مثل WebThinker وHiRA وWebDancer) لاستخلاص أربع مهام وسيطة أساسية والقدرات المرتبطة بها:

• التخطيط (Planning): القدرة على تفسير نية المستخدم، وتفكيك المشكلات، وتحسين استراتيجيات البحث ديناميكيًا (بما يشمل التخطيط التقاربي والتباعدي).
• استخراج الأدلة (Evidence Extraction): القدرة على تحديد المستندات ذات الصلة من مجموعة كبيرة من نتائج البحث المسترجعة.
• التفكير المستند إلى الأدلة (Grounded Reasoning): القدرة على توليد عبارات منطقية ومتماسكة مدعومة بدقة بالأدلة المسترجعة.
• المتانة تجاه الضجيج (Noise Robustness): القدرة على اكتشاف المعلومات منخفضة الجودة أو المضللة والقدرة على الامتناع عن الإجابة عند عدم كفاية الأدلة.

تم بناء تصنيف للأخطاء الشائعة في النماذج اللغوية الكبيرة لكل قدرة (على سبيل المثال، "المطابقة السطحية للكلمات المفتاحية" لاستخراج الأدلة، و"الدعم المهلوس" للتفكير) لتوجيه إنشاء أسئلة التقييم.

2. بناء مجموعة البيانات

تتكون مجموعة المعايير من 255 سؤال اختيار من متعدد (MCQs) منسقة مستمدة من مجالات متنوعة (الترفيه، الرياضة، الطب، إلخ). تعتمد عملية البناء على سجلات مسار التنفيذ (execution trajectory logs) من أنظمة RAG الوكيلية التي تعالج استعلامات من مجموعات بيانات البحث العميق الموجودة (مثل InfoDeepSeek وBrowseComp).

تم استخدام استراتيجيتين رئيسيتين للتوليد:

• التوليد العادي (Vanilla Generation): استخراج وإعادة تنسيق المخرجات الوسيطة ذات الصلة (مثل استعلامات البحث، وصفحات الويب المسترجعة) مباشرة في خيارات الاختيار من متعدد.
• التوليد الموجه بالأخطاء (Error-Guided Generation): استخدام مطالبات (prompts) مخصصة لتوجيه النماذج اللغوية الكبيرة لتوليد أسئلة اختيار من متعدد صعبة من خلال إدخال أخطاء محددة عمدًا (بناءً على تصنيف الأخطاء) في خطوات التفكير أو خيارات التخطيط.

لضمان الجودة العالية، خضعت العناصر المولدة لعمليات تصفية صارمة:

• تصفية الصعوبة: تم استبعاد العناصر التي اختارت فيها جميع النماذج نفس الخيار لإزالة الأسئلة البديهية.
• تصفية التنسيق: قامت عمليات التحقق القائمة على القواعد والتدخل البشري بإزالة الأسئلة الغامضة أو سيئة التنسيق.
• التعليق البشري: قام ثلاثة متخصصين في معالجة اللغات الطبيعية (NLP) بتعليق البيانات النهائية، محققين اتفاقًا بين الملحقين (inter-annotator agreement) قدره 0.7825.

3. بروتوكول التقييم

يقيم الاختبار كلاً من النماذج "سريعة التفكير" (الاستدلال القياسي) والنماذج "بطيئة التفكير" (المدعومة بالتفكير). يتم قياس الأداء باستخدام المطابقة التامة (EM) ودرجات F1 الكلية (Macro F1). كما تدرس الدراسة الارتباط بين درجات RAGCap-Bench وأداء الأسئلة والأجوبة النهائي من البداية إلى النهاية على اختبارات مثل BrowseComp وXBench-DeepSearch.

المساهمات الرئيسية

• RAGCap-Bench: أول اختبار معياري دقيق مصمم خصيصًا لتقييم القدرات الوسيطة في أنظمة RAG الوكيلية، متجاوزًا مقاييس الأسئلة والأجوبة من البداية إلى النهاية.
• تصنيف القدرات: إطار هيكلي يحدد أربع مهارات وسيطة حاسمة (التخطيط، استخراج الأدلة، التفكير المستند إلى الأدلة، المتانة تجاه الضجيج) وأنماط الفشل المرتبطة بها.
• استراتيجية التوليد الموجه بالأخطاء: نهج مبتكر لبناء مجموعات البيانات يستخدم أنماط الأخطاء المحددة لتوليد أسئلة تقييم مستهدفة وصعبة.
• الكفاءة والارتباط: يوفر الاختبار طريقة تقييم أكثر كفاءة بمراحل (أسرع بنحو 50 مرة من مسارات العمل الوكيلية الكاملة) مع الحفاظ على ارتباط قوي بأداء المهام النهائية.

النتائج التجريبية

قيم المؤلفون مجموعة من النماذج سريعة وبطيئة التفكير (بما في ذلك عائلات Qwen وDeepSeek وGPT وGemini) على RAGCap-Bench:

• اتجاهات الأداء: أظهرت النماذج "بطيئة التفكير" عمومًا أداءً أقوى في المهام الوسيطة مقارنة بالنماذج "سريعة التفكير". على سبيل المثال، حقق كل من DeepSeek-R1 وGemini-2.5-Flash أعلى الدرجات الإجمالية.
• النتائج الخاصة بالمهام:
  • التخطيط: أظهرت النماذج قدرات متفاوتة في التخطيط التقاربي مقابل التباعدي. تصدرت نماذج GPT-5.5 (سريعة التفكير) وGemini-2.5-Flash (بطيئة التفكير) هذه الفئة.
  • استخراج الأدلة: عانت معظم النماذج بشكل كبير، حيث كانت درجات المطابقة التامة (EM) أقل من 40%، مما يشير إلى صعوبة في تصفية المعلومات غير ذات الصلة من مصادر الويب الديناميكية. ومع ذلك، كانت درجات F1 أعلى (>70%)، مما يشير إلى أن النماذج يمكنها استخراج بعض المعلومات ذات الصلة حتى لو لم يكن ذلك مثاليًا.
  • التفكير المستند إلى الأدلة: بينما كانت درجات F1 مرتفعة (>80%)، كانت درجات EM أقل بكثير، مما يسلط الضوء على أن النماذج غالبًا ما تنتج سلاسل تفكير صحيحة جزئيًا ولكنها معيبة في النهاية.
  • المتانة تجاه الضجيج: أدت النماذج بشكل عام أداءً جيدًا في الامتناع عن الإجابة عند فقدان المعلومات (Noise Abstain)، لكنها واجهت صعوبة في تحديد المصادر منخفضة الموثوقية (Noise Reliability)، حيث وثقت المحتوى على حساب سلطة المصدر.
• هندسة المطالبات (Prompt Engineering): أدى استخدام المطالبات المعلوماتية (التي تحتوي على أمثلة قليلة للأخطاء الشائعة) باستمرار إلى تحسين الأداء في جميع النماذج مقارنة بالمطالبات المجردة.
• الارتباط بالمهام النهائية: لوحظ ارتباط إيجابي قوي بين درجات RAGCap-Bench وأداء الأسئلة والأجوبة النهائي في المهام المعقدة متعددة الخطوات. وهذا يؤكد أن الاختبار المعياري يعمل كوكيل موثوق للتنبؤ بفعالية النظام في مسارات العمل الوكيلية في العالم الحقيقي.
• استقلالية المقياس: ظل الارتباط بين درجات الاختبار وأداء المهام النهائية صحيحًا عبر مختلف أحجام النماذج، مما يشير إلى أن RableCap-Bench يقيس قدرات وكيلية محددة وليس مجرد الحجم العام للنموذج.

الأهمية والادعاءات

يزعم البحث أن RAGCap-Bench يعالج قصورًا حرجًا في التقييم الحالي لـ RAG الوكيلي من خلال نقل التركيز من المقاييس القائمة على النتائج إلى تقييم القدرات القائم على العمليات. ومن خلال عزل المهام الوسيطة، يتيح الاختبار ما يلي:

1. التحليل المنفصل: يمكن للباحثين تحديد الاختناقات المحددة (مثل سوء التخطيط مقابل سوء التفكير) بدلاً من عزو الفشل إلى النظام ككل.
2. التطوير الفعال: يوفر بديلاً أسرع وأقل تكلفة لتشغيل مسارات العمل الوكيلية الكاملة من أجل ضبط النماذج بشكل تكراري.
3. التحسين الموجه: يوفر تصنيف الأخطاء وأسئلة الاختيار من متعدد المستهدفة خارطة طريق واضحة لتحسين مهارات وكيلية محددة، مثل تعزيز المتانة تجاه الضجيج أو تحسين منطق التخطيط.

يخلص المؤلفون إلى أن تعزيز هذه القدرات الوسيطة أمر ضروري لبناء أنظمة RAG وكيلية أكثر موثوقية، وأن RAGCap-Bench يعد أداة حيوية لتتبع التقدم في هذا المجال. كما يسلط العمل الضوء على إمكانية استخدام النماذج اللغية الكبيرة لتقييم المخرجات الوسيطة للأنظمة الوكيلية الأخرى، مما يمهد الطريق لخطوط تقييم مؤتمتة.