ملخص تقني: مهارة Experience-RAG لتنسيق استراتيجية الاسترجاع القائمة على الخبرة

بيان المشكلة

تعمل أنظمة التوليد المعزز بالاسترجاع (RAG) الحالية غالباً تحت افتراض أن مسار استرجاع واحد وثابت كافٍ لجميع المهام. ومع ذلك، فإن هذا الافتراض يفشل في بيئات الوكلاء (Agents) الواقعية حيث تختلف متطلبات المهام بشكل كبير. فعلى سبيل المثال، تظهر الإجابة على الأسئلة الواقعية، والاستنتاج متعدد الخطوات (multi-hop reasoning)، والتحقق من الادعاءات العلمية، تفضيلات استرجاع متباينة؛ حيث قد يكفي المسترجع الكثيف (dense retriever) للحقائق المباشرة، بينما يكون الاسترجاع الهجين (hybrid retrieval) أكثر استقراراً في حالات المطابقة المعقدة متعددة الخطوات أو الأدلة العلمية. ويتمثل التحدي الجوهي المحدد ليس مجرد استرجاع المعرفة، بل في كيفية تنظيم وتنسيق عملية الاسترجاع لتناسب المهمة الحالية المحددة.

المنهجية

تقترح الورقة البحثية مهارة Experience-RAG، وهي طبقة تنسيق استرجاع قابلة للفصل وموجهة نحو الوكيل، تقع بين الوكيل ومجموعة من المسترجعات. وبدلاً من معاملة الاسترجاع كخطوة أحادية، تقوم هذه المهارة بتغليف عملية الاختيار كقدرة وكيل قابلة لإعادة الاستخدام.

بنية الإطار العملي

يعمل الإطار من خلال مسار مهيكل يتضمن ست وحدات:

1. واجهة المهارة (Skill Interface): نقطة الدخول الموحدة للوكيل.
2. محلل المشهد (Scene Analyzer): يبني تمثيلاً مهيكلاً للمشهد ($s$) بناءً على الاستعلام ($q$)، وسجل الحوار ($h$)، والبيانات الوصفية للمهمة ($m$).
3. ذاكرة الخبرة ($M$): تخزن السجلات التاريخية لميزات المشهد، ومتجهات الدرجات، والاستراتيجية الأفضل أداءً، وهامش الأداء. وتشمل الميزات نوع المهمة، والمجال، وطول السياق، وتعقيد السؤال، وأسلوب الاستعلام، وهيكل المستند.
4. موجه الاستراتيجية (Strategy Router): يختار المسترجع الأمثل ($r^*$) عبر استشارة ذاكرة الخبرة بناءً على المشهد الحالي.
5. مجموعة المسترجعات ($R$): مجموعة مرشحة من المسترجعات (مثل BM25، وDense، وHybrid RFF).
6. مغلف النتائج (Result Packager): يعيد أدلة مهيكلة ومعيارية إلى الوكيل.

يتم تعريف التدفق التشغيلي كما يلي:
$$s = \text{Analyze}(q, h, m)$$
$$r^* = \text{Route}(s, M)$$
$$o = \text{RetrieveAndPackage}(q, r^*)$$

آلية التوجيه

تستخدم النسخة الحالية التوجيه القائم على القواعد (rule-based routing) كأقوى إعداداتها، حيث تربط المهام المباشرة بالمسترجعات الكثيفة، والمهام متعددة الخطوات/العلمية بالـ RRF الهجين (Reciprocal Rank Fusion). وبينما تم استكشاف متغيرات التوجيه المتعلمة، إلا أنها لم تتفوق على النموذج المرجعي القائم على القواعد في ظل النطاق الحالي لبيانات الخبرة. يعطي النظام الأولوية لإعادة استخدام الخبرة الصريحة وتغليف الأدلة المهيكلة على حساب الاختيار المدفوع بالتعقيد فقط.

المساهمات الرئيسية

حدد المؤلفون ثلاث مساهمات رئيسية:

1. الصياغة: أعادوا صياغة اختيار استراتيجية الاسترجاع كمسألة تنسيق مهارة للوكيل، وهي مسألة متميزة عن منطق اختيار التضمين (embedding selection) المدمج مباشرة في سير العمل العلوي.
2. بناء ذاكرة الخبرة: قاموا ببناء نظام ذاكرة يسجل ميزات المشهد الشاملة، ودرجات تعدد المسترجعات، وهوامش الاستراتيجية، بدلاً من مجرد تخزين التصنيف "الأفضل".
3. التقييم التجريبي: قاموا بتقييم المهارة على مهام استرجاع غير متجانسة، ومقارنتها بكل من النماذج المرجعية الثابتة التقليدية وأساليب التوجيه التكيفية الحديثة.

النتائج التجريبية

تم تقييم النظام على ثلاث معايير عامة: BeIR/nq، وBeIR/hotpotqa، وBeIR/scifact، باستخدام 120 استعلاماً لكل مجموعة بيانات مع عينات من المتون المرشحة.

الأداء مقابل النماذج المرجعية الثابتة

حققت مهارة Experience-RAG أعلى أداء إجمالي، متفوقة على جميع النماذج المرجعية الثابتة أحادية الطريقة:

• nDCG@10: بلغ 0.8924 (مقابل 0.8802 لأقوى نموذج مرجعي ثابت، وهو Hybrid RRF).
• Recall@10: بلغ 0.9428.
• MRR@10: بلغ 0.9006.
  تشير النتائج إلى أن الميزة الأساسية للمهارة تكمن في التنسيق غير المتجانس، حيث تدير بفعالية أعباء العمل المختلطة بدلاً من التفوق في كل مهمة فرعية على حدة.

المقارنة مع النماذج المرجعية الحديثة

عند مقارنتها بالأساليب الحديثة بما في ذلك HyDE، وLongRAG-style، وRAPTOR-style، وAdaptive-RAG-style:

• أظهر أسلوب Adaptive-RAG-style تفوقاً طفيفاً (0.8934 nDCG@10 مقابل 0.8924 لـ Experience-RAG Skill).
• أظهرت أساليب HyDE وLongRAG-style وRAPTOR-style أداءً أضعف بكثير في إعداد الاسترجاع فقط مع المتون المختارة.
  تشير الورقة إلى أن Experience-RAG Skill تظل منافسة لأقوى نماذج التوجيه الحديثة مع توفير حدود نظام أكثر وضوحاً للتفاعل مع الوكيل.

الأهمية والادعاءات

تخلص الورقة إلى أن اختيار استراتيجية الاسترجاع يمكن تغليفه بإنتاجية كـ مهارة وكيل قابلة لإعادة الاستخدام بدلاً من برمجتها بشكل صلب في سير العمل. وتثبت الدراسة أن التنسيق القائم على الخبرة فعال لأعباء عمل الاسترجاع غير المتجانسة ويظل منافساً حتى عند إدخال النماذج المرجعية الحديثة في مجموعة مرشحة ثابتة.

يتبنى المؤلفون موقفاً متواضعاً فيما يتعلق بنطاق العمل الحالي:

• تعتمد التجارب على متون مختارة (sampled corpora) بدلاً من مجموعات البيانات كاملة النطاق.
• التوجيه المتعلم لم يتفوق بعد على النماذج المرجعية القائمة على القواعد.
• يفترض التنفيذ مجموعة مرشحة ثابتة، مستبعداً الإضافة الديناميكية.
• تحليل سير العمل هو نوعي ولا يشكل بعد تقييماً كاملاً لوكيل تفاعلي شامل.

وبناءً على ذلك، يصنف المؤلفون هذا العمل كورقة قصيرة أو مسودة أولية تثبت جدوى طبقة المهارة، مع التخطيط لأعمال مستقبلية لمعالجة الإضافة الدينامية للمرشحين، والتوجيه على مستوى القدرات، والتقييم الشامل للوكيل من البداية إلى النهاية.