OPDSearch+: On-Policy Distillation with RL Refinement for Search-Augmented Reasoning

في عالم الذكاء الاصطناعي سريع التطور، يحاول الباحثون باستمرار تعليم برامج الكمبيوتر التفكير بشكل يشبه البشر، خاصة عندما يتعلق الأمر بإيجاد الإجابات في محيط شاسع من المعلومات. لسنوات، كان النهج القياسي يعتمد على تدريب نماذج ضخمة ومكلفة تحفظ الحقائق، لكن هذه الأنظمة غالباً ما تعاني عندما تحتاج إلى البحث عن معلومات جديدة أو الربط بين النقاط عبر مواضيع مختلفة. وثمة مسار أكثر واعدية يتضمن "الاستدلال المعزز بالبحث"، حيث يتعلم النموذج كيفية طرح الأسئلة، وقراءة الإجابات التي يجدها، ثم صياغة استجابة نهائية. ومع ذلك، كان تعليم النماذج الأصغر والأكثر كفاءة للقيام بذلك مشكلة مستعصية؛ إذ تتطلب الطريقة المعتادة نموذجاً "معلماً" يكون خبيراً بالفعل في البحث، لكن تدريب معلم لكل مهمة محددة هو أمر مكلف وبطيء للغاية. علاوة على ذلك، فإن مجرد نسخ إجابات المعلم غالباً ما يفشل لأن نموذج "الطالب" يقع في حلقة مفرغة من أخطائه الخاصة، غير قادر على التعلم من الطبيعة الديناميكية والآنية لمحرك بحث حي.

لقد قدم فريق من الباحثين طريقة جديدة تسمى +OPDSearch تحل هذه المشكلات من خلال تغيير كيفية تعلم الطالب. فبدلاً من الاعتماد على معلم تم تدريبه خصيصاً لوظيفة معينة، استخدموا نموذجاً قوياً موجوداً مسبقاً يتم إبقاؤه "مجمداً"، مما يعني أنه لا يتغير أثناء العملية. يعمل هذا المعلم كمرشد، ليس من خلال إعطاء الإجابة النهائية، بل من خلال مراقبة الطالب وهو يتفاعل مع محرك بحث حي. وبينما يطرح الطالب الأسئلة ويقرأ النتائج، يقدم المعلم تغذية راجعة فورية وخطوة بخطوة لكل كلمة يولدها الطالب. تساعد هذه التغذية الراجعة الطالب ليس فقط على معرفة الإجابة الصحيحة، بل وأيضاً على كيفية تفكيك سؤال معقد، وكيفية صياغة استعلام بحث، وكيفية نسج المعلومات التي وجدها في حجة منطقية.

تتم هذه العملية في مرحلتين متمايزتين. أولاً، يتعلم نموذج الطالب من توجيهات المعلم بينما يقوم بالبحث بنشاط عن المعلومات. هذه المرحلة حاسمة لأنها تعلم الطالب عادات الباحث الجيد — كيفية تفكيك المشكلة ودمج الأدلة — دون أن يرى الطالب تاريخ البحث الخاص بالمعلم أبداً. وقد وجد الباحثون أن هذا التدريب الأولي يعيد تشكيل سلوك الطالب، مما يخلق أساساً أقوى بكثير من البدء من الصفر. وفي المرحلة الثانية، يتم صقل الطالب باستخدام تقنية تكافئه على الوصول إلى الإجابة النهائية بشكل صحيح. ولأن الطالب بدأ بهذا الأساس القوي من المرحلة الأولى، فإنه يستطيع التعلم بسرعة أكبر والوصول إلى مستوى من الأداء لم يكن ليحققه بمفرده أبداً.

النتائج التي حققها هذا النهج مذهلة. فعند اختباره على سبعة معايير مختلفة للإجابة على الأسئلة، سمحت الطريقة الجديدة لنموذج صغير نسبياً، يمتلك ثلاثة مليارات معلمة فقط، بالتفوق على جميع النماذج السابقة من نفس الحجم. وفي المهام المعقدة التي تتطلب ربط قطع متعددة من المعلومات، كان التحسن دراماتيكياً بشكل خاص، حيث حقق النموذج زيادة قدرها ثلاثة عشر نقطة في الدقة في أحد الاختبارات الرئيسية، وثماني نقاط في اختبار آخر. لقد أثبت الباحثون أن هذه الطريقة ليست مجرد تعديل طفيف، بل هي تحول جوهري في كيفية تعليم النماذج الصغيرة الاستدلال باستخدام أدوات البحث. فمن خلال استخدام معلم جاهز ومجمد لتوجيه الطالب عبر التفاعلات في الوقت الفعلي، نجحوا في إنشاء نظام يتسم بالكفاءة العالية والفعالية الملحوظة، مما يثبت أن النموذج الصغير يمكنه تعلم التفكير بعمق والبحث بحكمة دون الحاجة إلى تدريب مكلف ومخصص لكل مهمة.