💬 NLP

Can David Beat Goliath? On Multi-Hop Reasoning with Resource-Constrained Agents

تقدم الورقة البحثية إطار عمل David-GRPO، وهو إطار للتعلم التعزيزي يعزز الاستدلال متعدد الخطوات لدى الوكلاء ذوي الموارد المحدودة من خلال الجمع بين التمهيد الخبير خارج السياسة (off-policy expert bootstrapping) والاستكشاف داخل السياسة الموجه بالأدلة (evidence-guided on-policy exploration) للتغلب على ندرة مسارات التدريب المفيدة وتحقيق أداء فائق في معايير اختبار الأسئلة والأجوبة متعددة الخطوات.

المؤلفون الأصليون: Hojae Han, Heeyun Jung, Jongyoon Kim, Seung-won Hwang

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hojae Han, Heeyun Jung, Jongyoon Kim, Seung-won Hwang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز معقد، مثل معرفة ما إذا كان هناك معلمان مشهوران في نفس الحي. لديك مساعد صغير وذكي (نموذج لغوي صغير) يرغب في المساعدة، لكن هذا المساعد لديه ميزانية محدودة للغاية؛ إذ لا يمكنه إلا طرح عدد قليل من الأسئلة على أمين المكتبة (أداة الاسترجاع) قبل أن يتعين عليه تقديم إجابة.

المشكلة هي أن معظم طرق التدريب لهذه المساعدين تشبه تدريب بطل في الشطرنج عبر السماح له بلعب آلاف المباريات ضد حاسوب خارق. هذا يعمل بشكل رائع إذا كان لديك حاسوب خارق، ولكن مساعدنا الصغير لا يملك إلا بضع عملات معدنية لإنفاقها على الألعاب. إذا حاولت تدريبه باستخدام عدد قليل جداً من الألعاب، فإنه عادة ما يستسلم، أو يخمن عشوائياً، أو يتوقف عن طرح الأسئلة مبكراً جداً.

يقترح مؤلفو هذه الورقة البحثية، التي تحمل عنوان "هل يمكن لداود أن يهزم جالوت؟"، طريقة تدريب جديدة تسمى DAVID-GRPO. وقد أطلقوا عليها اسم "داود" لأنها مصممة للوكلاء الصغار ذوي الموارد المحدودة، بينما يمثل "جالوت" عمليات التدريب الضخمة والمكلفة التي تستخدمها شركات التقنية الكبرى.

إليك كيف يعمل DAVID-GRPO، باستخدام تشبيهات بسيطة:

1. المشكلة: "الغرفة الفارغة" للتعلم

عادةً، لتعليم ذكاء اصطناعي حل الألغاز متعددة الخطوات، تجعله يحاول عدة مرات (محاولات/rollouts) وتكافئه عندما يصل إلى الإجابة الصحيحة. ولكن مع ميزانية ضئيلة، يحاول الذكاء الاصطناعي عدة مرات، ويفشل في العثور على الأدلة الصحيحة، ولا يحصل على أي مكافآت. إنه يشبه طالباً يحاول حل مسألة رياضية في غرفة لا توجد بها كتب؛ فهو يخمن فقط، ويخطئ، ثم يتوقف عن المحاولة. يدخل الذكاء الاصطناعي في حلقة مفرغة من الفشل.

2. الحل: خدعتان خاصتان

يعالج DAVID-GRPO هذه المشكلة باستخدام استراتيجيتين ذكيتين لجعل كل محاولة واحدة ذات قيمة:

الخدعة (أ): "ورقة الغش من الخبير" (Expert Bootstrapping)
بدلاً من ترك الذكاء الاصطناعي يبدأ من الصفر، يعطيه الباحثون "ورقة غش" صغيرة. إنهم يأخذون أربعة أمثلة مثالية فقط لكيفية حل خبير (ذكاء اصطناً أكثر ذكاءً أو إنسان) للمشكلة.

التشبيه: تخيل أنك تتعلم خبز كعكة ولكن ليس لديك سوى بطاقة وصفة واحدة. بدلاً من محاولة ابتكار كعكة من الصفر، تنظر إلى تلك الوصفة المثالية الواحدة لتبدأ بداية جيدة.
كيف يساعد ذلك: على الرغم من أن الذكاء الاصطناعي لا يرى سوى هذه الأمثلة الأربعة، إلا أنه يستخدمها للانطلاق في تعلمه. هو لا يكتفي بنسخها؛ بل يستخدمها كدليل لفهم شكل المسار "الجيد"، مما يمنعه من الاستسلام فوراً.

الخدعة (ب): "الإنقاذ عبر النجاح الجزئي" (Evidence-Guided Exploration)
أحياناً، يقطع الذكاء الاصطناعي شوطاً في الطريق. يجد بعض الأدلة ولكنه يفتقد القطعة الأخيرة. في الطرق القديمة، يتم التخلص من هذه المحاولة باعتبارها فشلاً.

التشبيه: تخيل أنك تبحث عن مفتاح معين في منزل فوضوي. وجدت الدرج الذي ربما يكون المفتاح فيه، لكنك لم تجد المفتاح نفسه. المعلم القديم سيقول لك: "لقد فشلت، ابدأ من جديد". أما DAVID-GRPO فيقول: "عمل رائع لأنك وجدت الدرج! لنتوقف عند هذه النقطة بالضبط ونحاول البحث في هذا الدرج تحديداً بعيون جديدة".
كيف يساعد ذلك: يقوم النظام بالتحقق من عدد الأدلة التي وجدها الذكاء الاصطناعي. إذا وجد بعض الأدلة ولكن ليس جميعها، فإنه ينهي المحاولة مبكراً عند النقطة التي كان لا يزال فيها يؤدي بشكل جيد، ويطلب من الذكاء الاصطناعي الاستمرار من هناك. هذا يحول "الفشل" إلى "محاولة جديدة"، مما يوفر الوقت والمال الثمينين.

3. النتيجة: ميزانية صغيرة، انتصارات كبيرة

اختبر الباحثون هذه الطريقة على نماذج ذكاء اصطناعي صغيرة (حوالي 1.5 مليار معلمة) باستخدام أربع بطاقات رسوميات قياسية فقط (RTX 3090s).

المقارنة: قارنوا طريقتهم بمدربي ذكاء اصطناعي آخرين يستخدمون ميزانيات ضخمة (آلاف وحدات معالجة الرسومات وملايين المحاولات).
النتيجة: تمكن DAVID-GRPO من حل أسئلة معقدة متعددة الخطوات (مثل "من هو ابن عم الشخص الذي كتب X؟") بنفس كفاءة العمالقة المكلفين تقريباً، ولكنه استخدم 4.7% فقط من ميزانية الحوسبة.
تغيير السلوك: بدون هذه الطريقة، غالباً ما تتخطى نماذج الذكاء الاصطناዊ الصغيرة عملية البحث عن الأدلة تماماً أو تتوقف بعد بحث سريع واحد. مع DAVID-GRPSO، يتعلم الذكاء الاصطناعي الصغير التعمق أكثر، وجمع المزيد من الأدلة قبل الإجابة، تماماً كما يفعل المحقق الحقيقي.

ملخص

باختصار، DAVID-GRPO هو تقنية تدريب تسمح لوكلاء الذكاء الاصطناعي الصغيرين والرخيصين بتعلم مهام الاستدلال المعقدة من خلال:

التعلم من أمثلة خبير قليلة لتجنب البدء من الصفر.
إعادة تدوير النجاحات الجزئية بدلاً من التخلص منها، مما يضمن أن كل جهد مبذول له قيمة.

إنه يثبت أنك لست بحاجة إلى ميزانية "جالوت" لتدريب "داود" على حل المشكلات الصعبة؛ بل تحتاج فقط إلى طريقة أذكى لاستخدام الموارد المتاحة لديك.

ملخص تقني: هل يستطيع ديفيد غوليات؟ حول الاستدلال متعدد الخطوات مع الوكلاء مقيدي الموارد

بيان المشكلة

تتناول الورقة البحثية تحدي تدريب وكلاء النماذج اللغوية الصغيرة (SLM) لأداء الاستدلال متعدد الخطوات (مثل الإجابة على الأسئلة متعددة الخطوات) في ظل قيود صارمة على الموارد. وبينما نجحت أساليب التعلم التعزيزي (RL) في تدريب الوكلاء لمهام معقدة، فإن النهج الحالية تعتمد عادةً على إعدادات عالية التكلفة تتضمن أحجام دفعات كبيرة وعمليات استكشاف (rollouts) داخل السياسة (on-policy) مكثفة (على سبيل المثال، آلاف المسارات لكل عملية تحديث). وهذه الإعدادات لا يمكن الوصول إليها من قبل الباحثين الذين يستخدمون أجهزة عادية (مثل 4×RTX 3090 GPUs).

تحت قيود الميزانية المنخفضة (دفعات صغيرة، عدد قليل من عمليات الاستكشاف)، تواجه أساليب التعلم التعزيزي القياسية مثل تحسين السياسة النسبي للمجموعات (GRPO) عقبة حرجة: تحتوي كل عملية تحديث على عدد قليل جداً من المسارات المفيدة من السياسة الحالية لتشكيل تقديرات ميزة (advantage estimates) ذات معنى. وتحديداً في عمليات الاسترجاع متعددة الخطوات، يجب على الوكيل تجميع عدة وثائق داعمة (وثيقة الجسر ووثيقة الإجابة). ومع عمليات الاستكشاف الشحيحة، يفشل الوكلاء غالباً في استرجاع أي أدلة مفيدة، مما يؤدي إلى "انهيار السياسة" حيث يتلقى الوكيل مكافآت صفرية ولا يستطيع التعلم. تفشل الحلول الحالية في هذا النظام:

التهيئة القائمة على الضبط الدقيق الموجه (SFT): تعاني من الإفراط في التخصيص (overfitting) عندما تكون المسارات المشروحة نادرة.
مكافآت مستوى الاسترجاع: غالباً ما تمنح الائتمان لوثائق فردية دون تحسين تغطية مجموعة الأدلة الكاملة.
توسيع الاستكشاف (مثل Tree-GRPO): يهدر الحوسبة عند التوسع من بادئات (prefixes) تفتقر إلى إشارات تقدم الأدلة.

المنهجية: DAVID-GRPO

يقترح المؤلفون DAVID-GRPO، وهو إطار عمل للتعلم التعزيزي كفء من حيث الميزانية، مصمم لجعل دفعات المسارات الصغيرة أكثر إفادة من خلال الاستفار من المعلومات من داخل وخارج السياسة الحالية. يتكون الأسلوب من مكونين أساسيين:

1. تمهيد الخبراء (حقن خارج السياسة - Off-Policy Injection)

لمنع الانهيار المبكر للسياسة عندما لا يسفر استكشاف الوكيل الخاص عن أي مكافآت، يقوم DAVID-GRPO بحقن عدد صغير من مسارات الخبراء خارج السياسة في مجموعة تحديث التعلم التعزيزي.

الآلية: بدلاً من الاعتماد على آلاف المسارات المشروحة للضبط الدقيق الموجه (SFT)، يستخدم الأسلوب مجموعة مسارات خبير "قليلة العينات" ( $X_{inj}$ ) تحتوي على $k$ فقط من الأمثلة (حيث $k \ll |X_{train}|$ ).
التكامل: لكل مدخل، يتم إنشاء مجموعة التدريب بمسار خبير واحد خارج السياسة ( $\tau^*$ ) و $G-1$ من المسارات داخل السياسة المستخرجة من السياسة الحالية ( $\pi_\theta$ ).
الهدف: يتم تعديل دالة الخسارة لتشمل هدفاً مختلطاً حيث يتم تخصيص ميزة محددة لمسار الخبير لتشجيع المحاكاة، بينما يتم تحديث المسارات داخل السياسة عبر ميزات نسبية للمجموعة القياسية. يوفر هذا إشارة تدرج (gradient signal) حتى عندما يفشل استكشاف الوكيل.

2. الاستكشاف الموجه بالأدلة (إعادة الاستخدام داخل السياسة - On-Policy Reuse)

لمعالجة مشكلة الدفعات دون المستوى الأمثل حيث لا يحقق أي مسار مكافأة كاملة، يقدم الأسلប إشارة مكافأة أكثر كثافة وآلية لإعادة استخدام النجاحات الجزئية.

مكافأة تغطية الأدلة ( $r_g$ ): بدلاً من الاعتماد فقط على صحة الإجابة النهائية ( $r_o$ )، يحسب الأسلوب مكافأة بناءً على استدعاء (recall) مجموعة الدعم الكاملة $D$ ضمن مجموعة الوثائق المسترجعة التراكمية $\hat{D}_{union}$ عبر المسار بأكمله.
$r_g(\tau) = \frac{|\hat{D}_{union} \cap D|}{|D|}$
المكافأة الإجمالية هي مجموع مرجح: $R(\tau) = \lambda r_g(\tau) + (1-\lambda)r_o(\tau)$ . هذا يشجع الوكيل على استرجاع جميع وثائق الجسر والإجابة الضرورية، وليس فقط الإجابة النهائية.
استمرارية البادئة (Prefix Continuation): إذا كان أفضل مسار في الدفعة لا يزال دون المستوى الأمثل (أي غير مكتمل تغطية الأدلة)، فإنه يحدد آخر خطوة $t'$ زادت فيها تغطية الأدلة. يقوم بقص المسار عند $t'$ وإعادة أخذ عينة من الاستمرارية من السياسة الحالية. إذا أدت الاستمرارية الجديدة إلى تحسين المكافأة، فإنه يستبدل أسوأ مسار في الدفعة. هذا يعمل فعلياً على "إعادة تدوير" البادئات الواعدة لتوليد أمثلة عالية الجودة دون الحاجة إلى عمليات استكشاف كاملة إضافية.

المساهمات الرئيسية

إطار عمل DAVID-GRPO: إطار عمل جديد للتعلم التعزيزي يجمع بين تمهيد الخبراء والاستكشاف الموجه بالأدلة لتمكين تدريب الاستدلال متعدد الخطوات على النماذج الصغيرة باستخدام حوسبة محدودة.
مكاسب الكفاءة: يثبت أن الوكلاء الصغار (حتى 1.5 مليار معلمة) يمكنهم تعلم استراتيجيات استرجاع معقدة متعددة الخطوات باستخدام 4.7% فقط من ميزانية الاستكشاف المطلوبة للنماذج المرجعية عالية التكلفة مثل Tree-GRPO.
التحول السلوكي: يظهر أن DAVID-GRPO يتعلم القيام بعدة إجراءات استرجاع وتجميع مجموعات الأدلة الكاملة، بينما غالباً ما تتخطى النماذج المرجعية منخفضة الميزانية مثل Tree-GRPO إجراءات الاسترجاع أو تتوقف بعد عمليات بحث ضحلة.
المتانة: يظل الأسلوب مستقراً عبر أحجام نماذج مختلفة (من 0.5B إلى 1.5B) ويتعمم على سلاسل استخدام الأدوات بما يتجاوز أسئلة وأجوبة نمط ويكيبيديا (مثل اختبارات BFCL لاستخدام الأدوات).

النتائج التجريبية

قام المؤلفون بتقييم DAVID-GRPO على ستة اختبارات للأسئلة متعددة الخطوات (HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle, BamTwoogle, AntiLeakBench) باستخدام نماذج Qwen2.5 و Llama-3.2 (0.5B و 1.5B معلمة) تم تدريبها على 4×RTX 3090 GPUs.

الأداء مقابل النماذج المرجعية عالية الميزانية: رغم استخدام 4.7% فقط من ميزانية الاستكشاف الخاصة بالنموذج المرجعي Tree-GRPO عالي التكلفة، حقق DAVID-GRPO درجات مطابقة تامة (Exact Match - EM) أعلى في 2WikiMultiHopQA و MuSiQue و Bamboogle.
الأداء مقابل النماذج المرجعية منخفضة الميزانية: تحت نفس قيود الميزانية المنخفضة، تفوق DAVID-GRPO بشكل كبير على الأساليب الأخرى منخفضة الميزانية (Tree-GRPO, StepSearch, Search-R1-v0.3). على سبيل المثال، في مقياس AntiLeakBench بمقياس 1.5B، تجاوز ثاني أفضل نموذج مرجعي بمقدار 19.6 نقطة مئوية في درجة EM.
سلوك الاسترجاع: كشف التحليل أن وكلاء DAVID-GRPO قاموا بإجراء 2-3 عمليات استرجاع في المتوسط، ونجحوا في تغطية كل من وثائق الجسر والإجابة. في المقابل، غالباً ما قامت النماذج المرجعية مثل Tree-GRPO بصفر عمليات استرجاع، معتمدة على المعرفة البارامترية.
دراسات الاستبعاد (Ablation Studies): أدى إزالة أي من مكونات تمهيد الخبراء أو الاستكشاف الموجه بالأدلة إلى تدهور الأداء، مما يؤكد ضرورة كلا الآليتين. كما أظهر الأسلوب متانة عند التدريب على "الأدلة الفضية" (الأسئلة المولدة المقترنة بأزواج دعم وإجابة ثابتة).

الأهمية والادعاءات

تدعي الورقة أن العقبة الرئيسية للوكلاء الصغار في الاستدلال متعدد الخطوات ليست حجم النموذج وحده، بل نقص إشارات التدريب الكثيفة على مستوى الأدلة تحت قيود الموارد. ومن خلال تقديم DAVID-GRPO، يوضح المؤلفون أن:

الوكلاء الصغار يمكنهم تعلم استراتيجيات استرجاع فعالة متعددة الخطوات دون الحاجة إلى ميزانيات استكشاف كثيفة.
الجمع بين عدد قليل من مسارات الخبراء خارج السياسة وإعادة الاستخدام داخل السياسة الموجهة بالأدلة يمكن أن يستقر التدريب ويحسن كفاءة العينات.
يخفض هذا النهج حاجز الحوسبة لأبحاث الوكلاء، مما يجعل من الممكن للمختبرات الأكاديمية ذات الأجهزة العادية إعادة إنتاج وتوسيع قدرات الوكلاء التي كانت مقتصرة سابقاً على المؤسسات ذات الموارد الضخمة.

يخلص المؤلفون إلى أن عملهم يوفر مساراً لتدريب وكلاء استرجاع قادرين على الأجهزة العادية، رغم إشارتهم إلى أن العمل المستقبلي قد يقلل من الاعتماد على جودة المسترجع وتغطية المتن.