💬 NLP

COSEARCH: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search

تقترح الورقة البحثية CoSearch، وهو إطار عمل يقوم بتدريب وكيل استدلال متعدد الخطوات ونموذج ترتيب مستندات توليدي بشكل مشترك عبر تحسين السياسة النسبي المجموعي (GRPO) باستخدام التجميع الدلالي والمكافآت المركبة، مما يثبت أن تحسين كلا المكونين معاً يتفوق بشكل كبير على النهج الحالية التي تعامل الاسترجاع كأداة ثابتة.

المؤلفون الأصليون: Hansi Zeng, Liam Collins, Bhuvesh Kumar, Neil Shah, Hamed Zamani

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hansi Zeng, Liam Collins, Bhuvesh Kumar, Neil Shah, Hamed Zamani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز غامض للغاية، مثل "من هو أول شخص تسلق جبل إيفرست ثم سبح في القناة الإنجليزية؟". لديك محقق بارع (الوكيل الذكي - AI Agent) يتميز بالذكاء في التفكير، وربط النقاط، وصياغة النظريات. ومع ذلك، فإن المحقق لا يعرف كل شيء؛ فهو يحتاج إلى استدعاء أمين مكتبة (محرك البحث) ليجد له الكتب المناسبة للقراءة.

المشكلة: المحقق ذكي، لكن أمين المكتبة غافل

في معظم أنظمة الذكاء الاصطناي الحالي، يتم تدريب المحقق ليصبح أكثر ذكاءً في طرح الأسئلة وحل الألغاز. لكن أمين المكتبة عالق في روتين ثابت؛ فهو "أداة ثابتة" — يستخدم دائماً نفس الطريقة القديمة والجامدة للبحث عن الكتب.

التشبيه: تخيل أن المحقق يسأل: "أرني كتباً عن متسلقي الجبال في القرن التاسع عشر". يقوم أمين المكتبة، الذي يبدو بطيئاً بعض الشيء، بتسليمه كتاباً عن متسلقي الجبال المعاصرين أو كتاباً عن السباحة. عندها يضطر المحقق للتخمين بناءً على معلومات سيئة، أو يضطر للسؤال مراراً وتكراراً، مما يهدر الوقت.
التجربة: اختبر الباحثون ما سيحدث لو منحوا المحقق الكتب المثالية (الـ Oracle) بشكل سحري. قفز أداء المحقق بنسبة تقارب 27%. أثبت هذا أن العائق لم يكن عقل المحقق، بل كان قدرة أمين المكتبة على إيجاد الأشياء الصحيحة.

الحل: COSEARCH (التدريب المشترك للفريق)

يقدم البحث COSEARCH، وهي طريقة جديدة لتدريب الذكاء الاصطناعي. بدلاً من مجرد تدريب المحقق وترك أمين المكتبة وحيداً، يقومون بتدريب كلاهما معاً في نفس الوقت.

فكر في الأمر كشراكة رقص:

الطريقة القديمة: تعلم الراقص (الذكاء الاصطناعي) كيف يرقص بإتقان، لكنك تبقي الموسيقى (نتائج البحث) ثابتة وغير قابلة للتغيير. إذا كانت الموسيقى خارج الإيقاع، سيبدو الراقص سيئاً.
طريقة COSEARCH: تعلم الراقص ومهندس الصوت (أمين المكتبة/المصنف) كيف يتدربان معاً. بينما يصبح الراقص أفضل، يتعلم مهندس الصوت تشغيل الأغنية المثالية لتلك الحركة المحددة. ومع تحسن مهندس الصوت في اختيار الأغاني، يمكن للراقص أداء حركات أكثر تعقيداً.

كيف فعلوا ذلك (الخدع السحرية)

التدريب معاً أمر صعب لأن المحقق يطرح أسئلة مختلفة في كل خطوة. كيف تعلم مهندس الصوت أي أغنية كانت "جيدة" إذا غير المحقق طلبه في منتصف الطريق؟

استخدم المؤلفون خدعتين ذكيتين:

خدعة "تجميع التشابه" (التجميع الدلالي):
تخيل أن المحقق يطرح 100 سؤال مختلف أثناء التدريب. بعضها "من تسلق إيفرست؟" والبعض الآخر "من كان أول من صعد إيفرست؟". كلاهما يعني الشيء نفسه ولكن بصياغات مختلفة.
بدلاً من معاملة كل سؤال كأنه فريد، يقوم COSEARCH بتجميع الأسئلة المتشابهة معاً. يقول النظام: "حسناً، هذه الأسئلة العشرة تدور حول نفس الموضوع تقريباً. دعونا نرى كيف كان أداء أمين المكتبة تجاه هذه المجموعة من الأسئلة". هذا يسمح لهم بتدريب أمين المكتبة بكفاءة دون الحاجة إلى ملايين جولات التدريب الإضافية.
بطاقة "التعليقات المزدوجة" (المكافأة المركبة):
كيف تخبر مهندس الصوت أنه قام بعمل جيد؟

تعليقات قصيرة المدى: "هل وضعت الكتاب الأكثر صلة على الرف العلوي؟" (هذه هي مكافأة الصلة).
تعليقات طويلة المدى: "هل حل المحقق اللغز باستخدام الكتب التي قدمتها لهم؟" (هذه هي مكافأة المسار).
يقوم COSEARCH بدمج هذين النوعين. إذا وضع أمين المكتبة الكتاب الصحيح على الرف، يحصل على نقطة. وإذا ساعد ذلك الكتاب المحقق في حل القضية، يحصل على نقطة إضافية. هذا يعلم أمين المكتبة ليس فقط إيجاد أي كتاب ذي صلة، بل إيجاد الكتاب الذي يساعد حقاً في حل المشكلة.

النتائج

عندما اختبروا هذا التعاون الجديد:

حل الذكاء الاصطناعي عدداً أكبر بكثير من الأسئلة بشكل صحيح مقارنة بالسابق.
احتاج "المحقق" إلى رحلات أقل إلى المكتبة للعثور على الإجابة (كان أكثر كفاءة).
حتى مع استخدام محقق أصغر وأقل قوة (نموذج بـ 3 مليارات معلمة)، قدم النظام الجديد أداءً مذهلاً لأن أمين المكتبة كان بارعاً جداً في المساعدة.

الخلاصة الكبرى

لفترة طويلة، اعتقد باحثو الذكاء الاصطناعي: "إذا جعلنا الذكاء الاصطناعي أكثر ذكاءً فقط، فسيحل كل شيء". يقول هذا البحث: "لا! يجب عليك أيضاً جعل الأدوات التي يستخدمها الذكاء الاصطناعي أكثر ذكاءً."

من خلال تعليم عقل الاستنتاج وأداة البحث كيف يتعلمان من بعضهما البعض في وقت واحد، نحصل على نظام أفضل بكثير في إيجاد الحقيقة، وحل المشكلات المعقدة، والتصرف كـ "وكيل" حقيقي بدلاً من مجرد روبوت دردشة مزود بشريط بحث. إنه الفرق بين محقق لديه مكتبة فوضوية وغير منظمة، ومحقق لديه مساعد بحث فائق الذكاء ومتكيف.

إليك ملخص تقني مفصل لورقة البحث "COSEARCH: التدريب المشترك للاستدلال وتصنيف المستندات عبر التعلم التعزيزي للبحث الوكيل (Agentic Search)."

1. بيان المشكلة

يتضمن البحث الوكيل (Agentic Search) تدريب النماذج اللغوية الكبيرة (LLMs) على الاستدلال بشكل تكراري، وإصدار استعلامات بحث، وتوليف المعلومات المسترجعة للإجابة على أسئلة معقدة. وبينما نجح التعلم التعزيزي (RL) في تدريب الوكلاء على تحديد متى وماذا يبحثون، فإن النهج الحالي (مثل Search-R1) يعامل نظام الاسترجاع كـ أداة ثابتة. يتعلم الوكيل كيفية استخدام الأداة، لكن الأداة (المسترجع/المصنف) لا تتكيف مع أنماط الاستدلال الخاصة بالوكيل.

حدد المؤلفون عنق زجاجة حرجاً: جودة الاسترجاع.

الفجوة: كشفت تجربة أولية لـ "الاسترجاع المثالي" (Oracle Retrieval) أنه إذا كان نظام الاسترجاع مثالياً (أي يعزز وصول المستندات التي تحتوي على الإجابة الذهبية إلى القمة)، فمن الممكن تحسين الأداء بنسبة +14.7% لوكيل بـ 7 مليارات معلمة و +26.8% لوكيل بـ 3 مليارات معلمة عبر سبعة معايير لأسئلة وأجوبة (QA benchmarks).
المشكلة: معظم الأخطاء في البحث الوكيل لا تنبع من عملية الاستدلال، بل من فشل نظام الاسترجاع في إعادة المستندات ذات الصلة، مما يجبر الوكيل على إعادة المحاولة أو استخلاص استنتاجات خاطئة من الضجيج.
الهدف: هل يمكننا تحسين نظام الاسترجاع والوكيل الاستدلالي بشكل مشترك بحيث يتعلمان تكملة بعضهما البعض؟

2. المنهجية: COSEARCH

CODEARCH هو إطار عمل يقوم بتدريب وكيل استدلال متعدد الخطوات (الوكيل الرئيسي) ومصنف مستندات توليدي بشكل مشترك عبر التعلم التعزيزي، وتحديداً باستخدام تحسين السياسة النسبية للمجموعة (GRPO).

بنية النظام

يتم تفكيك نظام الاسترجاع إلى مرحلتين:

مسترجع كثيف ثابت (Fixed Dense Retriever): مسترجع قياسي (مثل E5) يجلب مجموعة كبيرة من المرشحين ( $N=50$ ) من المستندات.
مصنف توليدي قابل للتدريب (Trainable Generative Ranker): نموذج لغوي كبير يأخذ مجموعة المرشحين والاستعلام الفرعي (sub-query) الخاص بالوكيل، ويستدل حول مدى الصلة، ثم يختار/يعيد ترتيب مجموعة فرعية ( $K=5$ ) ليلاحظها الوكيل الرئيسي.
الوكيل الرئيسي (Main Agent): يعمل في حلقة من نوع ReAct، حيث يولد أفكاراً واستعلامات بحث بناءً على المستندات المصنفة التي يوفرها المصنف.

يتم تحسين كل من الوكيل الرئيسي والمصنف في آن واحد باستخدام GRPO، مع اشتقاق المكافآت من صحة الإجابة النهائية.

التحديات التقنية الرئيسية والحلول

التحدي 1: تطبيق GRPO على المصنف

المشكلة: يتطلب GRPO تجميع استجابات متعددة ناتجة عن نفس المطالبة (prompt) لحساب تقديرات الميزة. بالنسبة للوكيل الرئيسي، تبدأ جميع المسارات بنفس استعلام المستخدم. ومع ذلك، يتلقى المصنف استعلامات فرعية يولدها الوكيل الرئيسي، والتي تختلف عبر مسارات الاستدلال المختلفة (rollouts).
الحل: استراتيجية التجميع الدلالي (Semantic Grouping Strategy).
- بدلاً من التجميع حسب استعلام المستخدم الأولي، قام المؤلفون بتجميع الاستعلامات الفرعية حسب تشابه F1 على مستوى الرمز (token-level F1 similarity).
- يتم تجميع الاستعلامات الفرعية المتكافئة دلالياً (مثل "من لعب X؟" مقابل "ممثل X") لتشكيل مجموعات تحسين GRPO صالحة.
- يسمح هذا بتدريب المصنف باستخدام المسارات التي تم إنشاؤها بالفعل للوكيل الرئيسي، مما يلغي الحاجة إلى عمليات تشغيل (rollouts) إضافية.
- يتم استبعاد المجموعات الصغيرة (أقل من حد أدنى للحجم) لضمان استقرار تقدير الميزة.

التحدالة 2: تصميم مكافأة للمصنف

المشكلة: تأثير المصنف على الإجابة النهائية غير مباشر. فقد يؤدي الاسترجاع الجيد إلى إجابة خاطئة إذا فشل الاستدلال، والعكس صحيح. المكافأة البسيطة على مستوى المسار (صحة الإجابة النهائية) تكون مشوشة جداً للمصنف. وبالمقابل، فإن مكافأة الصلة (مطابقة المستندات الذهبية) تفشل في الإشراف على الخطوات التي تكون فيها المستندات المسترجعة مفيدة للاستدلال ولكنها لا تحتوي على الإجابة النهائية.
الحل: المكافأة المركبة (Composite Reward).
تجمع مكافأة المصنف ( $r_{rank}$ $r_{r ank}$ ) بين إشارتين:
1. مكافأة الصلة ( $r_{rel}$ ): تعتمد على مقاييس Hit@k باستخدام تسميات الصلة الزائفة (المستندات التي تحتوي على الإجابة الذهبية). وهذا يوفر تغذية راجعة فورية حول دقة الاسترجاع.
2. مكافأة المسار ( $r_{main}$ ): درجة F1 على مستوى الرمز للإجابة النهائية.
- المنطق:
  - إذا وجد مستند ذو صلة في مجموعة المرشحين ولكن تم تصنيفه بشكل سيئ ( $r_{rel}$ منخفضة)، يتم تحسين المصنف بناءً على $r_{rel}$ فقط.
  - إذا كان التصنيف قوياً ( $r_{rel}$ عالية)، تتضمن المكافأة $r_{main}$ لالتقاط الفائدة طويلة المدى.
  - إذا لم يوجد مستند ذو صلة في مجموعة المرشحين، يعتمد المصنف على $r_{main}$ كإشارة وحيدة.

3. المساهمات الرئيسية

تحديد عنق زجاجة الاسترجاع: قياس السقف الذي يفرضه نظام الاسترجاع الثابت، مما أظهر مكاسب محتملة تصل إلى +26.8% مع الاسترجاع المثالي.
إطار عمل COSEARCH: إطار عمل جديد للتعلم التعزيزي للتدريب المشترك والنهائي (end-to-end) لوكيل الاستدلال ومصنف توليدي.
التجميع الدلالي لـ GRPO: طريقة لتمكين تدريب GRPO للمصنفات ذات المدخلات المتغيرة (الاستعلامات الفرعية) عبر تجميع الاستعلامات المتشابهة دلالياً، مما يتجنب التكلفة الأسية لعمليات التشغيل المخصصة.
تصميم المكافأة المركبة: إشارة مكافأة هجينة توازن بين جودة الاسترجاع الفورية (Hit@k) ونجاح المهمة النهائية (صحة الإجابة).

4. النتائج التجريبية

تم تقييم إطار العمل على سبعة معايير لأسئلة وأجوبة (3 أحادية الخطوة: PopQA, NQ, TriviaQA؛ و4 متعددة الخطوات: HotpotQA, 2Wiki, Musique, Bamboogle).

مكاسب الأداء:
- وكيل 7B: حقق COSEARCH متوسط F1 قدره 0.568، متفوقاً على خط الأساس القوي Search-R1 بنسبة زيادة نسبية قدرها +6.6%.
- وكيل 3B: عند اقترانه بمصنف 7B، حقق COSEARCH زيادة نسبية قدرها +10.8% مقارنة بـ Search-R1.
- المقارنة: تفوق باستمرار على "الاسترجاع فقط" (بدون مصنف)، و"المصنف الثابت" (مصنف مجمد)، وخطوط أساس أخرى مثل ZeroSearch و Search-o1.
سد الفجوة: سد COSEARCH حوالي 27% من فجوة الاسترجاع للوكيل 7B و 26% للوكيل 3B بالنسبة للحد الأعلى للمثالي (Oracle).
الكفاءة: تطلب COSEARCH عدداً أقل من دورات البحث في المتوسط (1.67 دورة) مقار- بـ Fixed Ranker (2.62 دورة)، مما يشير إلى أن اختيار المستندات عالي الجودة يقلل من الحاجة إلى المحاولات التكرارية.

دراسات الاستئصال (Ablation Studies):

أدى إزالة استراتيجية التجميع الدلالي إلى انخفاض بنسبة 3.3% في F1، مما يؤكد ضرورتها لاستقرار التدريب.
أدى إزالة مكافأة الصلة ( $r_{rel}$ ) إلى انخفاض أكبر بنسبة 2.8% من إزالة مكافأة المسار، مما يسلط الضوء على أهمية الإشراف المباشر على الاسترجاع.
استخدام مصنف أصغر (3B) تسبب في تباعد التدريب (divergence)، مما يشير إلى أن المصنف يحتاج إلى قدرة كافية للتعامل مع مخرجات الترتيب فوق 50 مرشحاً.

5. الأهمية

تتحدى هذه الورقة النموذج السائد في البحث الوكيل حيث يُعامل نظام الاسترجاع كأداة ثابتة. ومن خلال إثبات أن التدريب المشترك لوكيل الاستدلال ونظام الاسترجاع ليس ممكناً فحسب، بل هو أكثر فعالية بشكل كبير، يشير COSEARCH إلى اتجاه جديد لوكلاء البحث المستقبليين.

يثبت العمل أن:

جودة الاسترجاع هي عائق أساسي في البحث الوكيل القائم على التعلم التعزيزي.
التحسين النهائي (end-to-end) لمكون الاسترجاع عبر التعلم التعزيزي يحقق مكاسب كبيرة في الأداء، خاصة للنماذج الاستدلالية الأصغر.
استراتيجيات التدريب الفعالة (مثل التجميع الدلالي) يمكن أن تتغلب على العقبات التقنية لتطبيق التعلم التعزيزي القائم على المجموعات على المكونات ذات المدخلات الديناميكية.

يشير هذا النهج إلى أن وكلاء "البحث العميق" (Deep Research) المستقبليين سيحتاجون على الأرجاء إلى التكيف المشترك بين منطق الاستدلال وآليات استرجاع المعلومات الخاصة بهم لتحقيق أداء بمستوى البشر أو أعلى في مهام المعرفة المعقدة.