RMIT-ADM+S at the MMU-RAG NeurIPS 2025 Competition

بناءً على الورقة المقدمة، إليك ملخص تقني مفصل لنظام RMIT-ADM+S ومشاركته في مسابقة NeurIPS 2025 MMU-RAG.

1. بيان المشكلة

تتناول الورقة تحدي بناء أنظمة توليد مدعم بالاسترجاع (RAG) لا تكتفي بالدقة فحسب، بل تكون أيضاً تكيُّفية، وفعالة في استهلاك الموارد، ومتمحورة حول المستخدم. غالباً ما تطبق أنظمة RAG التقليدية استراتيجية استرجاع موحدة لجميع الاستعلامات، مما قد يؤدي إلى عدم الكفاءة في الأسئلة البسيطة أو عدم الكفاية في المهام البحثية المعقدة والمتعددة الخطوات. كان السياق المحدد هو مسابقة NeurIPS 2025 MMU-RAG، والتي ركزت على:

• التقييم الديناميكي: تم اختبار الأنظمة في بيئات "RAG-Arena" في الوقت الفعلي حيث كانت تفضيلات المستخدم والملاحظات النوعية أكثر أهمية من المقاييس التجميعية الثابتة.
• قيود الموارد: كان الهدف هو تحقيق أداء عالٍ على أجهزة استهلاكية (وحدة معالجة رسومية واحدة) بدلاً من الاعتماد على مجموعات ضخمة ومكلفة.
• التعامل مع التعقيد: الحاجة إلى التمييز بين الاستعلامات المعلوماتية البسيطة والاستعلامات المعقدة التي تتطلب استدلالاً عميقاً، وتوليفاً متعدد المنظورات، وبحثاً تكرارياً.

2. المنهجية: التوجيه إلى RAG (R2RAG)

المساهمة الجوهرية هي R2RAG، وهي بنية ديناميكية توجه الاستعلامات إلى مسارات معالجة مختلفة بناءً على التعقيد المستنتج. بُني النظام على نظام G-RAG (الفائز بجائزة SIGIR 2025 LiveRAG) ولكنه قدم تحسينات كبيرة بناءً على دراسات مستخدم نوعية.

أ. بنية النظام

يتكون سير العمل من ثلاث مراحل رئيسية:

1. تصنيف الاستعلام:

   • يقوم مصنف يعتمد على النماذج اللغوية الكبيرة (LLM) (باستخدام Qwen3-4B) بتحديد ما إذا كان الاستعلام "بسيطاً" أم "معقداً".
   • التعريف: الاستعلامات المعقدة هي أسئلة غير معلوماتية تتطلب استدلالاً طويل الأمد، أو توليفاً متعدد الخطوات، أو خطوات بحث متعددة.
   • القرار: يوجه المصنف الاستعلام إما إلى مسار Vanilla RAG (بسيط) أو مسار Vanilla Agent (معقد).

2. المسار 1: Vanilla RAG (للأسئلة البسيطة)

   • الاسترجاع بمرور واحد: يولد 3 متغيرات للاستعلام لتوسيع نطاق التغطية.
   • الاسترجاع: يبحث في فهرس ClueWeb22-A بشكل متوازٍ.
   • إعادة الترتيب: يستخدم نموذج Qwen3-Reranker-0.6B خفيف الوزن لتسجيل الوثائق.
   • التوليد: يقوم بتوليد إجابة من أفضل الوثائق (مقتطعة إلى 5 آلاف كلمة) باستخدام Qwen3-4B.

3. المسار 2: Vanilla Agent (للأسئلة المعقدة)

   • حلقة البحث التكرارية: يعمل في حلقة (بحد أقصى 5 تكرارات) لجمع أدلة متكاملة.
   • إدارة الحالة: يراكم الاستعلامات المستخدمة (لتجنب التكرار) وملخصات الوثائق المفيدة.
     مستند إلى نموذج لغوي كبير (LLM)، يقوم نموذج مراجعة الوثائق بتحليل الأدلة الحالية مقابل الاستعلام. ويتحقق من:
     • تغطية وجهات النظر المتعددة.
     • اكتمال الأجزاء الفرعية.
     • التوازن في المواضيع المثيرة للجدل.
     • تحديد الفجوات المعرفية.
   • شروط الإنهاء: تتوقف الحلقة إذا:
     • تجاوز عدد الرموز (Tokens) 20,000 (لحماية نافذة السياق).
     • اعتُبرت تغطية المعلومات كافية (من قبل الـ LLM).
     • تم الوصول إلى الحد الأقصى من التكرارات (5).
   • التوليد: بمجد ما يتم جمع أدلة كافية، يقوم الـ LLM بتوليد استجابة شاملة مع استشهادات داخلية.

ب. اختيار النماذج وكفاءة الموارد

• النماذج: يعتمد النظام بالكامل على نماذج Qwen3:
  • Qwen3-4B للتصنيف، وتوليد الاستعلامات، ومراجعة الوثائق، وتوليد الإجابات.
  • Qwen3-Reranker-0.6B لإعادة ترتيب الوثائق.
• الأجهزة: يعمل النظام بأكمله على وحدة معالجة رسومية (GPU) واحدة من الفئة الاستهلاكية.
• التحسين:
  • تُستخدم النماذج بدون كمية (Quantization) (على عكس النماذج الأكبر من 8B+ التي تدهورت جودتها عند استخدام الكمية في الاختبارات الأولية).
  • تم تقليص نافذة السياق إلى 25,000 رمز (من 32 ألف الأصلية) للموازنة بين استخدام الذاكرة والأداء.
  • يُستخدم vLLM لتقديم الاستدلال بكفاءة.

ج. التقييم النوعي والتحسين

كان الجزء الحاسم من المنهجية هو دراسة مجموعة التركيز النوعية التي شارك فيها 20 مشاركاً (من الطلاب إلى الأساتذة) من جامعة RMIT.

• النتائج: فشلت المقاييس الكمية في التقاط تفضيلات المستخدمين فيما يتعلق بالإسهاب، والنبرة، والهيكل.
  • كان Vanilla Agent أفضل للاستعلامات المعقدة ولكنه كان مسهباً جداً في الأسئلة البسيطة.
  • كان Vanilla RAG موجزاً في الأسئلة البسيطة ولكنه فشل في المهام متعددة الأوجه.
• الأثر: ساهمت هذه الرؤى مباشرة في استراتيجية التوجيه وهندسة الأوامر (Prompt Engineering)، مما ضمن تكيف النظام مع الاحتياجات المحددة لنوع الاستعلام.

3. المساهمات الرئيسية

1. بنية R2RAG: نظام توجيه ديناميكي مبتكر يفصل صراحةً بين التعامل مع الاستعلامات البسيطة والمعقدة، مما يحسن استخدام الموارد مع تعظيم جودة الإجابة.
2. تصميم كفء في الموارد: أثبت أن RAG الديناميكي عالي الجودة يمكن تحقيقه على أجهزة استهلاكية باستخدام نماذج مدمجة غير مكممة ذات 4 مليارات معلمة، مما يتحدى فكرة أن RAG واسع النط scale يتطلب بنية تحتية ضخمة.
3. التحسين القائم على النوعية: تم صقل النظام بناءً على التعليقات البشرية بدلاً من المقاييس الاصطناعية فقط، مما يعالج "عدم التطابق التوزيعي" الذي يوجد غالباً في تقييمات LLM-as-a-Judge.
4. تراكم الأدلة التكراري: يقدم مكون "Vanilla Agent" آلية قوية لحلقات البحث ذاتية التصحيح، حيث يحدد النظام بنشاط الفجوات المعرفية ويعيد صياغة الاستعلامات حتى يتم استيفاء عتبة التغطية.

4. النتائج

• أداء المسابقة: فاز R2RAG بجائزة أفضل تقييم ديناميكي في فئة المصدر المفتوح في مسابقة NeurIPS 2025 MMU-RAG.
• الفعالية: تفوق النظام في وضع "RAG-Arena" (الديناميكي في الوقت الفعلي)، متفوقاً على خطوط الأساس للتقييم الثابت.
• حل المقايضة: نجحت آلية التوجيه في الموازنة بين الإيجاز المطلوب للاستعلامات البسيطة والعمق المطلوب للمهام البحثية المعقدة، وهو تمييز غالباً ما تغفله المقاييس التجميعية.

5. الأهمية

• تحول في نموذج التقييم: تسلط الورقة الضوء على أن التقييم الحي والديناميكي وتعليقات المستخدم النوعية ضروريان لتطوير أنظمة RAG قوية، حيث لا تلتقط المقاييس الثابتة تماماً عمق الاستدلال أو تفضيلات المستخدم.
• إمكانية الوصول: من خلال إثبات أن وحدات معالجة الرسومات الاستهلاكية يمكن أن تشغل وكلاء RAG متطورين وتكيفيين، فإن هذا العمل يخفض حاجز الدخول لنشر أدوات البحث المتقدمة المدعومة بالذكاء الاصطناعي.
• قابلية التكرار: أصدر المؤلفون مستودع الكود الخاص بهم، مما يعزز الشفافية ويسمح للمجتمع بالبناء على بنيتهم الديناميكية وخفيفة الوزن.
• الاتجاه المستقبلي: تشير الدراسة إلى أن أنظمة RAG المستقبلية يجب أن تعطي الأولوية لـ التخطيط التكيفي والتقييم المتوافق مع الإنسان بدلاً من التوسع بالقوة الغاشمة لعدد معلمات النموذج.