🤖 machine learning

LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation

يُعد LoongReflect إطار عمل تدريبي يعزز التفكير طويل الأمد في وكلاء البحث من خلال صياغة التأمل كسياسة للتحكم في الذاكرة وتوظيف آلية تقطير ثنائية القنوات لمواءمة قرارات التأمل المحلية مع نتائج المهام العالمية، مما يتغلب على تحديات الإشراف الشحيح لتعلم التعزيز القائم على النتائج.

المؤلفون الأصليون: Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

نُشر 2026-08-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تُعلّم روبوتًا ذكيًا جدًا ومتحمسًا للغاية حل لغز ضخم متعدد الخطوات. هذا الروبوت، الذي يعمل بنموذج لغوي كبير (LLM)، يشبه المحقق الذي يمكنه قراءة ملايين الكتب، وطرح الأسئلة، وربط الخيوط ببعضها البعض. لكن هناك مشكلة: عندما يتعثر المحقق أو يتبع مسارًا خاطئًا، فإنه غالبًا لا يدرك ذلك إلا بعد أن يكتب فصلًا كاملاً من الهراء. في عالم الذكاء الاصطناعي، يُسمى هذا "الاستدلال طويل الأمد" (long-horizon reasoning)؛ وهو القدرة على التخطيط لرحلة طويلة، وليس مجرد اتخاذ خطوة واحدة.

المشكلة الكبرى هي تعليم الروبوت كيف يقول: "مهلًا، أنا أسلك الطريق الخطأ، دعني أعود"، وهذا أمر صعب للغاية. عادةً، يحصل الروبوت على درجة في نهاية القصة فقط: "لقد حللت اللغز!" أو "لقد فشلت". إذا ارتكب الروبوت خطأً قبل ثلاث ساعات، فلا يملك أي فكرة بأن تلك اللحظة المحددة هي التي تسببت في المشكلة. إنه مثل طالب يحصل على درجة سيئة في الامتحان النهائي ولا يملك أدنى فكرة عن أي واجب منزلي تسبب في تعثره. تتناول هذه الورقة البحثية هذا الإحباط تحديدًا: كيف نعلم الذكاء الاصطناعي أن ينظر إلى عمله، ويكتشف الأخطاء، ويضغط على زر "التراجع" (undo) قبل أن يفسد المشروع بأكمله؟

تعرف على LoongReflect، وهو إطار تدريب جديد مصمم لتحويل وكلاء الذكاء الاصطناعي إلى محققين قادرين على التصحيح الذاتي. أدرك الباحثون من جامعة بكين أنه لكي يتمكن وكيل الذكاء الاصطناعي من حل الألغاز المعقدة، فإنه يحتاج إلى ما هو أكثر من مجرد زر "حاول مرة أخرى"؛ إنه يحتاج إلى طريقة منظمة للتوقف، والتفكير، وإعادة كتابة تاريخه الخاص.

فكر في عملية تفكير الذكاء الاصطناعي ليس كخط مستقيم، بل كـ شجرة ضخمة قابلة للانعكاس. بينما يستكشف الذكاء الاصطناعي مشكلة ما، فإنه ينمي فروعًا. معظم الوقت، يسير في أحد الفروع، جامعًا الحقائق. ولكن في بعض الأحيان، يصطدم بطريق مسدود أو يجد دليلًا لا يتناسب مع السياق. في الماضي، ربما كان الذكاء الاصطناعي سيستمر في السير فحسب، جارًا معه ذلك الدليل السيئ حتى تنهار القصة بأكملها. يمنح LoongReflect الذكاء الاصطناعي قوتين خارقتين: (التأمل) و (الرجوع).

فعل الـ يشبه توقف المحقق لاستشارة خريطة. يسأل: "ماذا أعرف بالتأكيد؟ ما الذي ينقصني؟ هل هذا الفرع آمن؟" هو لا يخمن فحًا، بل يلخص الأدلة ويحدد المخاطر. وإذا أدرك المحقق أنه في المسار الخطأ، فإنه يستخدم فعل الـ . هذا ليس مجرد مسح لآخر جملة؛ إنه يشبه السفر عبر الزمن للعودة إلى آخر نقطة تفتيش آمنة، وقطع ذلك الفرع الفوضوي والخاطئ، والاحتفاظ بملاحظة صغيرة لاصقة تقول: "لا تسلك هذا المسار مرة أخرى". ثم يبدأ الذكاء الاصطناعي من جديد من تلك النقطة الآمنة، مسلحًا بالدرس المستفاد.

ولكن كيف تعلم ذكاءً اصطناعيًا القيام بذلك؟ تحددت الورقة البحثية "معضلة إشارة التعلم" الصعبة. إذا كنت تكافئ الذكاء الاصطناعي فقط عندما يحصل على الإجابة النهائية الصحيحة، فإنه سيحصل على مساعدة ضئيلة جدًا بشأن كيفية التأمل. الأمر يشبه محاولة تعلم القيادة من خلال الحصول على تنبيه بالزمور فقط عندما تصطدم. لا يعرف الذكاء الاصطناعي ما إذا كان السبب هو المنعطف، أو السرعة، أو المطر الذي تسبب في الحادث.

ولحل هذه المشكلة، بنى المؤلفون نظام تدريب ثنائي القنوات، وهو يشبه وجود مدربين يعملان معًا:

المدرب السريع (المعلم): هذا المدرب هو نسخة "متميزة" من الذكاء الاصطناعي يمكنها رؤية شجرة الاحتمالات بأكملها والنتيجة النهائية قبل أن يتخذ الطالب خطوة. يراقب الفرع المحلي للطالب ويقول: "مهلًا، أنت تتجاهل دليلًا حاسمًا هنا"، أو "يجب أن تتراجع الآن". والأهم من ذلك، أن هذا المدرب لا يكشف عن الإجابة النهائية (لمنع الطالب من تجاوز عملية الاستدلال)؛ بل يقدم فقط تلميحات حول كيفية التفكير ومتى يجب التراجع. وهذا يوفر للذكاء الاصطناعي تغذية راجعة كثيفة وفورية على مهارات التأمل لديه.
المدرب البطيء (النتيجة): ينتظر هذا المدرب حتى نهاية الرحلة. ينظر إلى النتيجة النهائية ويقول: "عمل رائع في حل اللغز!" أو "لقد فشلت". يستخدم هذا التقييم النهائي للتأكد من أن القرارات المحلية للذكاء الاصطناعي تؤدي بالفعل إلى النجاح في العالم الحقيقي.

تحدث المعجزة عندما ينسق هذان المدربان. يقترح "المدرب السريع" اتجاهًا بناءً على المنطق المحلي، ويتحقق "المدرب البطيء" مما إذا كان هذا الاتجاه يؤدي بالفعل إلى فوز. إذا اختلفوا، يستخدم النظام طريقة "النظر للأمام" (look-ahead) ذكية لتعديل اقتراح المدرب السريع بحيث لا يضلل الذكاء الاصطناي. إنه يشبه نظام تحديد المواقع (GPS) الذي يقترح طريقًا مختصرًا، لكن يتحكم فيه مراقب حركة المرور ليتأكد من أن هذا الطريق المختصر سيوصلك بالفعل إلى وجهتك بشكل أسرع.

النتائج واعدة. اختبر الباحثون LoongReflect على أسئلة صعبة متعددة الخطوات (مثل العثة حقيقة مخفية عبر عدة وثائق) ومسائل رياضية. وجدوا أن الوكلاء الذين تم تدريبهم بهذه الطريقة تفوقوا باستمرار على غيرهم من وكلاء الذكاء الاصطناعي رفيعي المستوى. على سبيل المثال، في نموذج بـ 3 مليارات معلمة، قفز متوسط الدرجات من حوالي 31% إلى أكثر من 46%، وهي طفرة كبيرة. والأكثر إثارة للإعجاب هو أن المهارات التي تعلمها الذكاء الاصطناعي في مهام القراءة هذه انتقلت إلى المسائل الرياضية التي لم يرها من قبل، مما يشير إلى أنه تعلم حقًا فن التأمل، وليس مجرد كيفية حفظ الإجابات.

باخت مختصر، يشير LoongReflect إلى أنه من خلال منح وكلاء الذكاء الاصطناعي طريقة منظمة للتوقف، وتشخيص أخطائهم، والتراجع بوضوح عن أخطائهم، يمكننا جعلهم أفضل بكثير في حل المشكلات المعقدة طويلة الأمد التي تحبطهم حاليًا. إنه يحول الذكاء الاصطناعي من روبوت يستمر في المشي فحسب إلى محقق يعرف متى يتوقف، ويفكر، ويجرب مسارًا مختلفًا.

ملخص تقني: LoongReflect

بيان المشكلة

تعتمد وكلاء النماذج اللغوية الكبيرة (LLMs) بشكل متزايد على التفكير طويل المدى لحل المهام المعقدة التي تتضمن التخطيط، واستخدام الأدوات، والذاكرة. وتعد القدرة على التفكير (Reflection) قدرة حاسمة في هذه الإعدادات: وهي القدرة على تقييم تقدم المسار، وتحديد الأدلة المفقودة أو الحالات الوسيطة غير الموثوقة، واتخاذ قرار بشأن الاستمرار في مسار استدلالي حالي، أو مراجعته، أو التخلي عنه.

يعوق تعلم التفكير الفعال تحديان جوهريان:

معضلة إشارة التعلم: تُقاس قيمة قرار التفكير من خلال العديد من الإجراءات اللاحقة ولا تظهر إلا من خلال نتيجة المهمة النهائية. يوفر التعلم المعزز (RL) القائم على النتيجة إشرافاً متفرقاً، ومتأخراً، وضعيف العزو للقرارات الوسيطة هذه. وعلى العكس من ذلك، فإن تخصيص مكافآت وسيطة صريحة للتفكير يعرض لـ "اختراق المكافأة" (Reward Hacking)، مما يشجع على التفكير السطحي أو المفرط دون تحسين نجاح المهمة.
فجوة المنظور المحلي-العالمي: يتم إجراء التفكير من سياق مسار الاستدلال الحالي (محلي)، ومع ذلك فإن فائدته الحقيقية تعتمد على كيفية مساهمة هذا المسار في المسار الكامل (عالمي). لا يمكن للمُفكّر المحلي أن يلاحظ مباشرة ما إذا كان الاستمرار في مسار ما، أو مراجعته، أو التخلي عنه سيؤدي في النهاية إلى تحسين النتيجة النهائية.

تتعامل النهج الحالية إما مع التفكير كحكم محلي أو تعتمد على إشارات إشراف غير متوافقة مع النتائج طويلة المدى، مما يؤدي إلى الفشل في تعلم التفكير كآلية تحكم على مستوى المسار.

المنهجية: LoongReflect

LoongReflect هو إطار عمل للتدريب يصيغ التفكير كـ سياسة تحكم في الذاكرة صريحة للوكلاء ذوي الأفق الطويل. وهو يعالج التحديات المذكورة أعلاه من خلال هيكل شجري للمسار قابل للعكس وآلية تحسين ثنائية القنوات.

1. إطار التحكم في الذاكرة

يعمل الوكيل عبر شجرة مسار قابلة للعكس ( $T_t$ ) مع مسار تنفيذ نشط ( $P_t$ ) وذاكرة عمل مضغوطة ( $m_t$ ).

الإجراءات الصريحة: يختار الوكيل من بين إجراءات التنفيذ (الاستدلال، استخدام الأدوات، الإجابة) وإجراءات التحكم:
- <reflect> (تفكير): يشخص الحالة النشطة عن طريق تلخيص الحقائق التي تم التحقق منها، وتحديد الأدلة المفقودة، وتقييم المخاطر الخاصة بالمسار. ويخرج قراراً مهيكلاً: continue (استمرار) أو backtrack (تراجع).
- <backtrack> (تراجع): ينفذ عملية الاسترداد عندما يُعتبر المسار الحالي غير موثوق. يقوم بإزالة اللاحقة الملوثة من السياق النشط، واستعادة بادئة تم التحقق من صحتها، والحفاظ على "درس تصحيحي" موجز (مثل افتراض أو قيد ثبت خطؤه) للخطوات المستقبلية.
فصل الحالة: يتم استبعاد المسارات غير النشطة من السياق النشط لمنع تلوث الحالة، ولكنها تظل في الشجرة لأغراض تشخيص الخطأ والإشراف التأملي.

2. التحسين ثنائي القنوات

لحل عدم التطابق بين المحلي والعالمي، يستخدم LoongReflect قناتي تعلم متكاملتين يتم تنسيقهما عبر تحديث بأسلوب النظر للأمام (Look-ahead) والاشتقاق المتدرج (Extragradient).

القناة السريعة (التقطير المحلي):
- الهدف: توفير إشراف كثيف ومطلع محلياً لقرارات التفكير.
- الآلية: يقوم معلم EMA متميز (مدرب على نفس السياسة ولكن مع الوصول إلى شجرة المسار العالمية والنتيجة النهائية) بتوليد تلميحات مهيكلة محجوبة الإجابة. تشخص هذه التلميحات الحالة (الأدلة المتحقق منها، المخاطر، نقاط العودة) دون الكشف عن الإجابة النهائية.
- الخسارة (Loss): يتعلم الطالب عبر هدف (reverse-KL) محجوب، يقتصر على رموز <reflect> و <backtrack>، مما يربط قرارات التحكم المحلية بالتشخيص المطلع عالمياً للمعلم.
القناة البطيئة (التحسين العالمي):
- الهدف: مواءمة قرارات التحكم المحلية مع نجاح المهمة النهائي.
- الآلية: تستخدم تحسين السياسة النسبي للمجموعة (GRPO) على المسارات الكاملة. وهي تقيم ما إذا كانت قرارات التفكير والتراجع قد أدت إلى نتيجة نهائية ناجحة.
- الخسارة (Loss): تعمل على تحسين السياسة بناءً على المزايا النسبية للمجموعة المستمدة من المكافآت النهائية، مما يضمن أن سلوك التفكير المستخلص يساهم في نجاح المهمة الإجمالي.
تنسيق النظر للأمام:
- تقترح القناة السريعة اتجاه التحديث ( $g_f$ ) بناءً على التقطير المحلي. وتقوم القناة البطيئة بتقييم هذا الاتجاه مقابل النتائج العالمية لاستخلاص اتجاه المعايرة ( $g_s$ ).
- إذا تعارضت $g_f$ مع $g_s$ (أي أن التحسينات المحلية تضر بالأداء العالمي)، يتم إسقاط المكون المتعارض من $g_f$ . يجمع التحديث النهائي بين الاتجاه السريع المعاير والاتجاه البطيء، مما يضمن عدم انحراف التعلم المحلي عن الأهداف العالمية.

المساهمات الرئيسية

صياغة التفكير كتحكم في الذاكرة: تقترح الورقة نمذجة التفكير ليس كنص حر التشكيل، بل كإجراءات تحكم صريحة ومهيكلة (<reflect>, <backtrack>) على شجرة مسار قابلة للعكس، مما يسمح باسترداد منهجي للأخطاء.
إطار عمل للتعلم ثنائي القنوات: تقدم نموذجاً تدريبياً مبتكراً يجمع بين تقطير المعلم المحجوب الإجابة (للإشراف المحلي الكثيف والمطلع عالمياً) مع GRPO القائم على النتيجة (للمواءمة على مستوى المسار)، ويتم تنسيقهما عبر آلية النظر للأمام لمنع تضارب الإشارات.
التحقق التجريبي: يظهر إطار العمل تحسينات ثابتة على نماذج RL القائمة على النتيجة فقط ونماذج التقطير الذاتي عبر عدة اختبارات مرجعية.

النتائج التجريبية

أُجريت التجارب على نماذج Qwen2.5-3B و Qwen2.5-7B عبر سبعة اختبارات مرجعية لتوليد النصوص المعزز بالاسترجاع (RAG) ومهام الاستدلال الرياضي.

الأداء: حقق LoongReflect أعلى درجات F1 في جميع الاختبارات المرجعية.
- على نموذج Qwen2.5-3B، وصل إلى متوسط F1 بنسبة 46.15%، متفوقاً على أقوى خط أساس (AgenticRAG-R1) بمقدار 12.60 نقطة.
- على نموذج Qwen2.5-7B، وصل إلى 49.21%، متجاوزاً خط الأساس بمقدار 12.61 نقطة.
التعميم: أظهر النموذج مكاسب كبيرة في الإعدادات خارج النطاق (مثل Bamboogle، MuSiQue، Natural Questions)، مما يشير إلى أن سياسة التفكير المتعلمة تتعمم وراء توزيع التدريب بدلاً من مجرد الإفراط في التخصيص للمهام داخل النطاق.
الانتقال إلى الاستدلال الرياضي: عند تطبيقه على MATH و GSM8K (مهام غير مرتبطة بالاسترجاع)، حسن LoongReflect الأداء فوق كل من AgenticRAG-R1 و RLSD، مما يشير إلى أن سلوكيات التشخيص والاسترداد المتعلمة تفيد الاستدلال متعدد الخطوات حتى بدون بحث خارجي.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة <reflect> أو <backtrack> إلى انخفاض كبير في الأداء (حوالي 13-15 نقطة F1)، مما يؤكد ضرورة وجود آليات التشخيص والاسترداد معاً.
- أدت إزالة أي من القناتين السريعة أو البطيئة، أو تنسيق النظر للأمام، إلى تدهور مستمر في الأداء، مما يؤكد الطبيعة التكاملية للإشراف المحلي الكثيف والمواءمة مع النتيجة العالمية.

الأهمية والادعاءات

تزعم الورقة أن LoongReflect يعالج عدم التطابق الجوهري بين الطبيعة المحلية لقرارات التفكير والطبيعة العالمية لفائدتها. ومن خلال معاملة التفكير كسياسة تحكم في الذاكرة مهيكلة واستخدام إطار تحسين ثنائي القنوات، ينجح الأسلوب في تدريب وكلاء يمكنهم:

تشخيص تلوث الحالة والأدلة المفقودة محلياً.
التعافي من الأخطاء عن طريق التراجع إلى حالات تم التحقق من صحتها.
المواءمة بين قرارات التحكم المحلية هذه ونجاح المهمة طويل المدى.

يؤكد المؤلفون أن هذا النهج يوفر حلاً قوياً لتدريب الوكلاء ذوي الأفق الطويل، متجاوزاً مجرد RL القائم على النتيجة أو التحقق المحلي إلى نظام قادر على إدارة الحالة الصريحة وتصحيح الأخطاء. وتشير النتائج إلى أن التفكير المهيكل، عندما يتم الإشراف عليه بشكل صحيح من خلال التقطير المطلع عالمياً والمواءمة مع النتيجة، يعد مكوناً حاسماً لسلوك الوكيل الموثوق في البيئات المعقدة متعددة الخطوات.