HindSearch: Trajectory-Level Hindsight Critique for Search-Augmented Reinforcement Learning
تقدم HindSearch إجراءً للتقطير الذاتي القائم على التبصر في التفكير (hindsight self-distillation) لتعلم التعزيز المعزز بالبحث، والذي يستفيد من انتقادات حَكَمٍ مُجمّد للمسارات الفاشلة لتوفير إشارات مساعدة داخل السياسة (on-policy signals)، مما يحسن الأداء بشكل كبير مقارنة بالنماذج المرجعية السابقة عبر استخدام الإجابة النموذجية لتشخيص إخفاقات البحث.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يحل لغزاً. تعطيه سؤالاً، فيبدأ بسؤال الإنترنت بحثاً عن أدلة. أحياناً يجد الإجابة، وأحياناً أخرى يتوه في متاهة من المنعطفات الخاطئة. في عالم الذكاء الاصطناعي، يسمى هذا "التعلم المعزز بالبحث" (Search-Augmented Learning). الروبوت هنا هو نموذج لغوي كبير (LLM)، وهو عقل حاسوبي فائق الذكاء يقرأ ويكتب النصوص. ولحل المشكلات الصعبة، لا يكتفي بالتخمين؛ بل يستخدم محرك بحث للبحث عن الحقائق، قطعة قطعة، مثل محقق يجمع الأدلة.
لفترة طويلة، كانت طريقة تدريب هذه الروبوتات التحقيقية تشبه إلى حد ما لعبة "ساخن أو بارد" مع حكم صارم جداً. كان الروبوت يخوض تحقيقه بالكامل، وفي النهاية فقط، يقول له الحكم ببساطة: "لقد أصبت!" أو "لقد أخطأت!". وإذا أخطأ الروبوت في الإجابة، فإن التغذية الراجعة الوحيدة التي يتلقاها هي الرقم "0" المسطح. كان يعرف أنه فشل، لكنه لم يكن يملك أدنى فكرة عن "السبب". هل طرح السؤال الخاطئ؟ هل قرأ المقال الخطأ؟ هل ارتبك بسبب اسم محير؟ بدون معرفة "السبب"، كان على الروبوت أن يخمن كيف يصحح نفسه، وهو أمر يشبه محاولة تعلم قيادة السيارة فقط من خلال إخبارك بكلمة "اصطدمت" أو "لم تصطدم" بعد كل رحلة. إنه أمر محبط، بطيء، وغالباً ما يؤدي إلى وقوع الروبوت في عادات سيئة.
هنا تأتي فكرة جديدة تسمى HindSearch، اقترحها الباحثون ليو، وانغ، وو، وتاو، وفانغ. لقد أدركوا أنه عندما يفشل الروبوت، لدينا في الواقع مرجع: وهو الإجابة الصحيحة. وبدلاً من الاكتفاء بقول "فشل"، قرروا استخدام تلك الإجابة الصحيحة لكتابة ملاحظة قصيرة ومفيدة تشرح بالضبط ما كان ينبغي للروبوت فعله بشكل مختلف. وهم يسمونها "النقد الاستباقي" (hindsight critique).
إليك كيف يعمل الأمر في الممارسة العملية: تخيل أن الروبوت يحاول معرفة من أخرج فيلم Brazil (فيلم الخيال العلمي لعام 1985، وليس دولة البرازيل). يرتبك ويبحث عن "Brazil director"، فيجد صفحات عن حكومة تلك الدولة بدلاً من ذلك. يفشل. في الطريقة القديمة، يتوقف التدريب عند هذا الحد مع الرقم "0". ولكن مع HindSearch، ينظر "قاضٍ" مجمد (ذكاء اصطناعي فائق الذكاء، مُدرب مسبقاً ولا يتعلم أي شيء جديد بنفسه) إلى تاريخ بحث الروبوت الفوضوي و الإجابة الصحيحة (تيري غيليام). ثم يكتب القاضي ملاحظة صغيرة من جملة واحدة: "لقد خلطت بين الدولة والفيلم! كان يجب أن تسأل 'مخرج فيلم Brazil 1985' بدلاً من ذلك".
تُستخدم هذه الملاحظة بعد ذلك كـ "تلميح" خاص لتعليم الروبوت. يُعرض على الروبوت الملاحظة ويُطلب منه أن يتخيل: "لو كنت أعرف هذا التلميح، فماذا كنت سأبحث عنه؟". يتعلم الروبوت تعديل عادات البحث لديه لتتوافق مع نصيحة القاضي. يحدث هذا بعد كل محاولة فاشلة، مما يحول كل خطأ إلى درس مفصل بدلاً من مجرد طريق مسدود.
اختبر الباحثون هذه الطريقة على مجموعة معيارية من سبعة تحديات صعبة للإجابة على الأسئلة، باستخدام نموذج يسمى Qwen2.5-3B-Instruct. ووجدوا أن هذه الحيلة البسيطة المتمثلة في إضافة "النقد الاستباقي" أحدثت فرقاً هائلاً. حققت طريقة HindSearch الجديدة متوسط معدل نجاح قدره 39.4% في هذه الاختبارات. وهذا أفضل بكثير من الطرق الأفضل السابقة، التي كانت تحوم حول 33.6%. كان التحسن ثابتاً عبر جميع أنواع الأسئلة، من الحقائق البسيطة إلى الألغاز المعقدة التي تتطلب ربط قطع متعددة من المعلومات.
والأهم من ذلك، أراد الفريق التأكد من أن التحسن جاء حقاً من جزء "الاستباق" (hindsight) — أي حقيقة أن القاضي يعرف الإجابة. ولإثبات ذلك، أجروا اختباراً حيث أزالوا وصول القاضي إلى الإجابة الصحيحة. عندما اضطر القاضي لتخمين الخطأ دون معرفة الحل، تلاشى التحسن تقريباً، حيث انخفضت النتيجة مرة أخرى إلى 34.7%. وهذا يشير إلى أن السحر ليس مجرد وجود ذكاء اصطناعي آخر ينظر إلى العمل؛ بل هو تحديداً في استخدام ذلك الذكاء الاصطناعي الثاني للإجابة الصحيحة لتقديم درس تصحيحي دقيق.
كما استكشف البحث كيفية سلوك هذا التدريب بمرور الوقت. ارتفع أداء الروبوت بثبات على مدار 300 خطوة تدريب، ليصل إلى ذروة درجة تدريب تقارب 50% ودرجة تحقق (validation) بلغت 39.4% في النهاية. كان التدريب مستقراً، مما يعني أن الروبوت لم يرتبك أو يبدأ في التصرف بغرابة، وهو أمر شائع عند تعليم الذكاء الاصطناዊ بمكافآت معقدة.
هناك تفصيل مثير للاهتمام أيضاً؛ فهذه الطريقة تعمل من خلال تعليم الروبوت كيفية البحث تحديداً، وليس كيفية إعطاء الإجابة النهائية. "النقد" يؤثر فقط على الكلمات التي يستخدمها الروبوت عندما يطلب المساعدة من محرك البحث. هذا يبقي الروبوت مركزاً على مهمته: جمع الأدلة الصحيحة. وجد الباحثون أيضاً أن استخدام نموذج "معلم" أكبر بكثير (7 مليارات معلمة) لتقديم التلميحات أدى في الواقع إلى جعل الأمور أسوأ، مما تسبب في انهيار التدريب. اتضح أن المعلم الذي يختلف كثيراً عن الطالب قد يكون مربكاً؛ فالمعلم الذي يشبهه ولكنه مجمد هو الأفضل.
باختختصار، تشير HindSearch إلى أن أفضل طريقة لتعليم روبوت البحث ليست فقط إخباره بأنه مخطئ، بل إظهار الإجابة له وسؤاله: "بما أنك تعرف الإجابة، فما هو الشيء الوحيد الذي كان يجب عليك فعله بشكل مختلف؟". ومن خلال تحويل كل فشل إلى درس محدد وقابل للتنفيذ، يتعلم الروبوت أن يكون محققاً أفضل بكثير، ويجد الأدلة الصحيحة في كثير من الأحيان أكثر مما سبق. الكود الخاص بهذه الطريقة متاح للآخرين لتجربته، وتشير النتائج إلى أن نهج "الاستباق" هذا يمكن أن يكون أداة قوية لتدريب وكلاء الذكاء الاصطناعي الذين يحتاجون لاستكشاف العالم للعثور على الإجابات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.