💬 NLP

SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning

يقدم SD-Search إطار عمل للتقطير الذاتي المتأخر في الوقت الفعلي (on-policy hindsight self-distillation) يُمكّن وكلاء الاستدلال المعززين بالبحث من توليد إشارات إشراف على مستوى الخطوة داخلياً عبر تدريب نموذج طالب لمحاكاة معلم مشروط بالنتائج المتأخرة، مما يتغلب على قيود تخصيص الائتمان لتعلم التعزيز القائم على مكافأة النتيجة دون الحاجة إلى معلمين خارجيين أو تعليقات توضيبية إضافية.

المؤلفون الأصليون: Yufei Ma, Zihan Liang, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yufei Ma, Zihan Liang, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طالباً كيفية حل لغز معقد. لدى الطالب مكتبة (الإنترنت) يمكنه البحث فيها، لكنه لا يعرف ماذا يطلب من أمين المكتبة.

في الحالة الراهنة لأبحاث الذكاء الاصطناعي، تشبه معظم طرق التدريب معلماً يكتفي فقط بتقييم الطالب بناءً على الإجابة النهائية.

المشكلة: إذا حصل الطالب على الإجابة الصحيحة، يقول له المعلم: "عمل رائع!". ولكن إذا حصل على الإجابة الصحيحة بفضل سؤال سيء وإجابة محظوظة، فإن المعلم سيقول له أيضاً: "عمل رائع!". هكذا لن يتعلم الطالب أبداً أن سؤاله بالتحديد كان سيئاً للغاية؛ هو فقط يعرف أن النتيجة كانت جيدة. وهذا ما يسمى بـ "مكافأة النتيجة" (Outcome Reward).
الحل القديم: حاول بعض الباحثين إصلاح ذلك عبر استئجار "محقق بارع" (ذكاء اصطناعي ضخم خارجي) شديد الذكاء والتكلفة لمراقبة الطالب وقول: "كان هذا سؤالاً جيداً"، أو "كان هذا سؤالاً سيئاً". هذا الأسلوب فعال، ولكنه مكلف للغاية وبطيء لأنك تحتاج إلى هذا المحقق البارع الضخم لكل جلسة تدريبية واحدة.

SD-Search هي طريقة ذكية وجديدة لتعليم الطالب دون الحاجة إلى المحقق البارع المكلف. وإليك كيف تعمل باستخدام تشبيه بسيط:

فصل "السفر عبر الزمن" الدراسي

تخيل أن الطالب يخوض اختباراً.

الطالب (ذاته في "الآن"): يجلس الطالب على مكتبه، ينظر إلى السؤال. عليه أن يقرر ما الذي سيبحث عنه الآن، دون أن يكون لديه أدنى فكرة عما إذا كان سيصيب أم يخطئ. إنه يخمن بناءً على ما يعرفه في اللحظة الحالية.
المعلم (ذاته في "المستقبل"): الآن، تخيل نفس الطالب، ولكن هذه المرة لديه دفتر ملاحظات سحري للسفر عبر الزمن. يحتوي هذا الدفتر على نتائج عديد من المحاولات لنفس السؤال. مكتوب فيه: "في المحاولة (أ)، سألنا 'من هو الأب؟' وحصلنا على الإجابة الصحيحة. وفي المحاولة (ب)، سألنا 'ما هو لون السماء؟' وأخطأنا".

SD-Search يستخدم هذا الدفتر السحري لإنشاء نسخة "المعلم" من الطالب.

المعلم ينظر إلى السؤال ويقرأ الدفتر. ولأن المعلم يعرف أي الأسئلة أدت إلى النجاح وأيها أدى إلى الفشل، يمكنه القول: "آه، أرى أن السؤال عن الأب كان الخطوة الصحيحة. كنت سأسأل ذلك".
الطالب (الذي لا يملك الدفتر بعد) يُطلب منه بعد ذلك تقليد اختيارات المعلم. الهدف هو جعل تخمينات الطالب تطابق حكمة "الاستبصار" لدى المعلم.

كيف يعمل الأمر في الواقع

يطلق البحث على هذا الاسم "التقطير الذاتي للاستبصار أثناء السياسة" (On-Policy Hindsight Self-Distillation). دعنا نفكك ذلك:

التقطير الذاتي (Self-Distillation): الذكاء الاصطناعي يعلم نفسه بنفسه. لا يحتاج إلى خبير خارجي. فهو يولد مجموعة من المحاولات (rollouts)، ثم ينظر إلى النتائج، ومن ثم يستخدم الأنماط "الناجحة" لتعليم نسخة "الطالب" من نفسه.
الاستبصار (Hindsight): إنه ينظر إلى ما حدث بعد اتخاذ القرار ليحكم ما إذا كان القرار جيداً أم لا.
أثناء السياسة (On-Policy): يفعل ذلك باستخدام بياناته الحالية، وليس بيانات من ذكاء اصطناعي آخر أكبر منه.

التركيز على "استعلام البحث"

يركز البحث تحديداً على استعلامات البحث (الأسئلة التي يطرحها الذكاء الاصطناعي على محرك البحث).

في الطرق القديمة، إذا كانت الإجابة النهائية صحيحة، فإن كل كلمة يكتبها الذكاء الاصطناعي (بما في ذلك أسئلة البحث) تحصل على ملصق "عمل جيد"، حتى لو كان سؤال البحث غامضاً أو خاطئاً.
في SD-Search، يحصل الذكاء الاصطناعي على إشارة محددة بـ "عمل جيد" أو "عمل سيئ" لكل سؤال بحث بعينه. إذا أدى سؤال البحث إلى طريق مسدود، فإن "المعلم" (بواسطة دفتر ملاحظات الاستبصار) يظهر للطالب سؤالاً مختلفاً وأفضل. عندها يتعلم الطالب محاكاة السؤال الأفضل.

النتائج (لوحة النتائج)

اختبر الباحثون طريقتهم على سبعة اختبارات مختلفة للإجابة على الأسئلة (مثل اختبار المعلومات العامة).

الأداء: حققت طريقتهم (SD-Search) أداءً يضاهي الطرق المكلفة التي تستخدم "محقق بارع" ضخم بـ 72 مليار معلمة، بل وتفوقت على الطرق التي تكتفي فقط بالنظر إلى الإجابة النهائية.
الكفاءة: فعلوا ذلك دون الحاجة إلى أي مساعدة خارجية، ولا واجهات برمجة تطبيقات (APIs) مكلفة، ولا مراحل تدريب إضافية. لقد استخدموا دورة التدريب القياسية، مع إضافة خطوة صغيرة لـ "السفر عبر الزمن" حيث يراجع الذكاء الاصطناعي محاولاته الماضية.
التوسع: مع زيادة حجم نموذج الذكاء الاصطناعي (من 3 مليارات إلى 7 مليارات معلمة)، استمرت طريقة التعلم الذاتي هذه في التحسن، بينما بدأت الطرق التي تعتمد على "المحقق البارع" تفقد ميزتها التنافسية.

باخت-اختصار

SD-Search يشبه طالباً، بعد خوض الاختبار، يحصل على نموذج الإجابة وملاحظات زملائه الذين خاضوا الاختبار في نفس الوقت. ثم يعيد خوض الاختبار، محاولاً طرح نفس الأسئلة التي طرحتها النسخ "الناجحة" من نفسه. إنه يتعلم من أخطائه ونجاحاته الماضية، ليصبح أكثر ذكاءً دون أن يحتاج أبداً إلى معلم بشري أو حاسوب خارق ليخبره بما يجب فعله.

ملخص تقني: SD-Search

بيان المشكلة

تعتمد وكلاء الاستدلال المعززة بالبحث، والتي تدمج بين الاستدلال الداخلي واستدعاءات الاسترجاع الخارجية، بشكل كبير على جودة استعلامات البحث الفردية. ومع ذلك، فإن أساليب التعلم المعزز (RL) القياسية لهذه الوكلاء، مثل تحسين المجموعة النسبي (GRPO)، تعتمد عادةً على مكافآت مستوى النتيجة (على سبيل المثال، صحة الإجابة النهائية). هذا الصياغة تخصص نفس المكافأة على مستوى المسار لكل رمز (token) في عملية التوليد، مما يفشل في توفير ائتمان محدد للخطوة (step-specific credit) لقرارات البحث الفردية. ونتيجة لذلك، لا يتلقى النموذج إشارة تميز بين استعلام جيد التكوين وعالي القيمة وبين استعلام زائد عن الحاجة أو رديء.

تحاول المحاولات الأخيرة معالجة ذلك عبر الإشراف على العمليات (مثل Thinker و StepSearch) من خلال حقن إشارات على مستوى الخطوة بالاعتماد على موارد خارجية: إما نموذج معلم أكبر بكثير (مثل 72 مليار معلمة) لتفكيك المشكلات، أو تعليقات توضيحية من أنظمة خارجية أقوى (مثل GPT-4o). تحسن هذه الأساليب الأداء ولكنها تفرض تكاليف كبيرة، وتخلق تبعية للواجهات البرمجية (APIs) أو النماذج الخارجية، وتحد من إمكانية التطبيق في البيئات التي لا تتوفر فيها هذه الموارد.

المنهجية: SD-Search

يقترح المؤلفون SD-Search (التقطير الذاتي اللاحق للسياسة - On-Policy Hindsight Self-Distillation)، وهو إطار عمل يستمد الإشراف على مستوى الخطوة بالكامل من السياسة نفسها، مما يلغي الحاجة إلى معلمين خارجيين أو تعليقات توضيحية مساعدة. الابتكار الجوهري هو التقطير الذاتي اللاحق للسياسة، حيث يلعب نموذج واحد دورين يتم التمييز بينهما فقط من خلال سياق التكييف:

رؤية الطالب (Student View): تعمل السياسة تحت ظروف الاستدلال القياسية، حيث لا ترى سوى بادئة المسار المتاحة في لحظة اتخاذ القرار.
رؤية المعلم (Teacher View): يتم تكييف نفس بارامترات السياسة مع كتلة استباقية ( $h(G)$ ). تقوم هذه الكتلة بتجميع مسارات البحث وملصقات النتائج (صحيح/خاطئ) لمجموعة من المسارات الشقيقة التي تم أخذ عينات منها من نفس السؤال. ومن المهم أن المعلم يرى رؤية "مقنعة" (masked) لهذه المسارات، حيث يحتفظ فقط بنطاقات البحث وملصقات النتائج بينما يتخلص من الاستدلال اللاحق، والوثائق المسترجعة، والإجابات النهائية لمنع استخراج الإجابة بشكل مباشر.

هدف التدريب

يقوم المنهج بمواءمة توزيع استعلام الطالب مع توزيع المعلم عند مواضع استعلامات البحث ( $Q_\tau$ ) باستخدام فقد تباعد جينسن-شانون (JSD) على مستوى الرمز.

توزيع المعلم: نظرًا لأن المعلم يعرف نتائج مجموعة المسارات بأكملها، فإن توزيعه التنبئي عبر رموز البحث يشفر ضمنيًا أي الاستعلامات أدت إلى النجاح وأيها لم يؤدِ.
مواءمة الطالب: يقلل الطالب من قيمة JSD بين توزيعه وتوزيع المعلم عند مواضع الاستعلام. يوفر هذا إشارة كثيفة على مستوى الخطوة تكمل المزايا العامة للمسار التي يوفرها GRPO.
التكامل: إجمالي الفقد هو $L_{total} = L_{GRPO} + \alpha_{SD} L_{SD}$ . يتم إضافة حد JSD كفقد مساعد دون تعديل مقدر الميزة أو عملية أخذ عينات GRPO.

الخيارات التصميمية الرئيسية

قناع المستقبل (Future Masking): تقوم الكتلة الاستباقية بحجب الرموز غير المتعلقة بالبحث (THINK, DOCUMENTS, ANSWER) لمنع المعلم من "الغش" عبر رؤية الإجابة في السياق المسترجع، مما قد يؤدي إلى انهيار توزيع البحث.
تباين النتيجة (Outcome Contrast): يعتمد المعلم في تكييفه على ملصقات النتائج الثنائية للمسارات الشقيقة. يسمح هذا التباين للمعلم بتعزيز أنماط الاستعلام الناجحة وإعادة توزيع الكتلة الاحتمالية بعيدًا عن الأنماط الفاشلة، حتى لو انتهى المسار الذي يتم الإشراف عليه بالفشل.
فترة الإحماء (Warmup): يتم استخدام فترة إحماء يكون فيها معامل التقطير صفرًا، مما يسمح للسياسة بتعلم تنسيق المسار المهيكل قبل إدخال إشارة التقطير الذاتي.

المساهمات الرئيسية

الإطار العملي: يعد SD-Search أول إطار عمل يوفر إشرافًا على مستوى الخطوة لعمليات البحث المعززة بالاستدلال عبر التقطير الذاتي اللاحق للسياسة، دون الحاجة إلى معلم خارجي أو تعليقات توضيحية بخلاف أزواج السؤال-الجواب القياسية المستخدمة لتدريب مكافأة النتيجة.
الهدف: هدف جديد لـ JSD على مستوى الرمز يعمل على مواءمة توزيع استعلام السياسة مع التوزيع المشروط استباقيًا. يتكامل هذا بسلاسة مع خطوط أنابيب GRPO الحالية مع تمريرة أمامية مساعدة واحدة فقط.
التحقق التجريبي: أظهرت التجارب المكثفة على سبعة اختبارات مرجعية (benchmarks) للأسئلة ذات القفزة الواحدة والقفزات المتعددة أن SD-Search يضاهي أو يتفوق على نماذج الإشراف على العمليات التي تعتمد على موارد خارجية، بينما يتفوق على نماذج مكافأة النتيجة البحتة.

النتائج التجريبية

قيم المؤلفون SD-Search باستخدام نماذج خلفية من نوع Qwen2.5-3B و Qwen2.5-7B عبر سبعة اختبارات مرجعية (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle).

مقياس 3B: حقق SD-Search متوسط مطابقة تامة (EM) قدره 0.428، متفوقًا على أقوى نماذج مكافأة النتيجة (AutoRefine: 0.405, MR-Search: 0.414) ومضاهيًا إحصائيًا لنموذج الإشراف على العمليات الرائد Thinker (0.430)، رغم أن Thinker يعتمد على معلم بقدر 72 مليار معلمة.
مقياس 7B: وصل SD-Search إلى متوسط EM قدره 0.476، متفوقًا على جميع النماذج المرجعية، بما في ذلك Thinker (0.452) و AutoRefine (0.455).
سلوك التوسع (Scaling Behavior): على عكس Thinker، الذي تتضاءل مكاسبه فوق نماذج مكافأة النتيجة وتتحول أحيانًا إلى سالبة مع زيادة حجم النموذج (بسبب تحول المعلم الخارجي الثابت إلى عنق زجاجة)، تظل مكاسب SD-Search إيجابية عبر جميع المقاييس (من 1.5B إلى 14B). يشير هذا إلى أن الطريقة تتوسع مع قدرة الطالب على القراءة في السياق.
الكفاءة: يتسبب المنهج في زيادة قدرها 15.5% في وقت التدريب النهائي (مقاسًا على 8 × H800 GPU) مقارنة بنماذج مكافأة النتيجة. هذه الزيادة محتواة بالكامل داخل حلقة RL القياسية، مما يتجنب تكاليف الاستدلال الهائلة لنماذج المعلم بقدر 72 مليار معلمة أو خطوط أنابيب تعليقات GPT-4o المطلوبة في الطرق المنافسة.

الأهمية والادعاءات

يدعي البحث أن إشارة مستوى الخطوة التي يتم الحصول عليها تقليديًا من المصادر الخارجية يمكن استردادها من السياسة نفسها من خلال التكييف الاستباقي. من خلال الاستفادة من التباين بين المسارات الناجحة والفاشلة داخل مجموعة تدريب واحدة، تتعلم السياسة تحديد قرارات البحث عالية الجودة دون إشراف خارجي.

يضع المؤلفون SD-Search كبديل أكثر سهولة وقابلية للتوسع للإشراف على العمليات. فهو يزيل التبعية للنماذج الخارجية المكلفة أو الواجهات البرمجية، مما يجعل الإشراف عالي الجودة على مستوى الخطوة متاحًا للممارسين ذوي الموارد المحدودة. علاوة على ذلك، تشير النتائج إلى أن "المعلم" في التقطير الذاتي لا يحتاج إلى أن يكون نموذجًا منفصلًا وأكبر؛ بل إن السياسة نفسها، عندما تتاح لها إمكانية الوصول إلى نتائج استكشافاتها، تمتلك المعلومات الكافية لتوجيه استراتيجية البحث الخاصة بها بفعالية.

القيود: يشير المؤلفون إلى أن الطريقة تعتمد حاليًا على ملصقات النتائج الثنائية المستمدة من الإجابات الذهبية، مما يقيدها بالمهام التي لها مراجع قابلة للقياس. بالإضافة إلى ذلك، قد تتدهور فعالية التباين الاستباقي في السيناريوهات التي تشترك فيها مجموعة المسارات بأكملها في نفس النتيجة (كلها نجاح أو كلها فشل)، وإن كان هذا أقل حدوثًا في المقاييس الأصغر.