🤖 AI

What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents

تقدم هذه الورقة SERL، وهو إطار عمل للتعلم بإعادة وزن البيئة الانتقائي يعزز وكلاء النماذج اللغوية الكبيرة متعددي الأدوار من خلال تقطير ملاحظات بيئية محددة وذات صلة بالأفعال استراتيجياً لمعالجة تحديات تخصيص الائتمان طويلة الأمد، محققاً أداءً هو الأفضل في حالته على معايير ALFWorld وWebShop.

المؤلفون الأصليون: Xiaozhe Li, Tianyi Lyu, Yang Li, Yichuan Ma, Peiji Li, Linyang Li, Qipeng Guo, Dahua Lin, Kai Chen

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaozhe Li, Tianyi Lyu, Yang Li, Yichuan Ma, Peiji Li, Linyang Li, Qipeng Guo, Dahua Lin, Kai Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا يعمل كخادم ليقوم بتنظيف منزل فوضوي. يتعين على الروبوت القيام بقائمة طويلة من المهام: المشي إلى المطبخ، البحث عن وعاء، التقاطه، غسله، تجفيفه، ثم وضعه على الرف.

المشكلة: قضية "الدرجة الواحدة الكبيرة"
في التدريب التقليدي، يحصل الروبوت على درجة واحدة فقط في نهاية اليوم.

إذا انتهى الأمر بالوعاء نظيفًا على الرف، يحصل الروبوت على A+.
إذا انكسر الوعاء، يحصل على F.
المشكلة هي أن الروبوت لا يعرف أي إجراء محدد هو الذي استحق الدرجة. هل حصل على A+ لأنه التقط الوعاء بشكل صحيح؟ أم لأنه مشى إلى الحوض؟ أم أنه كان مجرد حظ؟
في قائمة طويلة مكونة من 20 خطوة، ربما كانت 3 خطوات فقط مهمة حقًا (الالتقاط، الغسل، الوضع). أما الخطوات الـ 17 الأخرى، فكانت مجرد مشي في دوائر أو تفقد الثلاجة. إذا أعطيت الروبوت A+ عن اليوم بأكمله، فقد يعتقد: "رائع! يجب أن أستمر في المشي في دوائر لأن هذا ما منحني الدرجة!" وهذا ما يسمى بـ مشكلة تخصيص الائتمان (Credit Assignment Problem).

الحل القديم: المعلم "شديد الانتباه"
حاول بعض الباحثين إصلاح ذلك بتعيين معلم ذكي للغاية يراقب الروبوت. المعلم يرى كل شيء: أفعال الروبوت، النتيجة الفورية (مثل: "الوعاء مبلل")، وحتى المستقبل (مثل: "الوعاء الآن على الرف"). ثم يخبر المعلم الروبوت: "افعل تمامًا ما أراه أنا".

العيب: المعلم يرى أشياء لا يستطيع الروبوت رؤيتها أثناء اتخاذ القرار. على سبيل المثال، المعلم يعرف أن الوعاء سينكسر إذا سقط، لكن الروبوت لا يعرف ذلك بعد. إذا قام الروبوت بتقليد المعلم بشكل أعمى، فسوف يتعلم الاعتماد على "المعرفة السحرية" التي لا يمتلكها فعليًا. وعندما يحاول الروبوت أداء المهمة بمفرده لاحقًا، سيفشل لأنه كان يغش بالنظر إلى نموذج الإجابة.

الحل الجديد: SERL (التعلم الانتقائي بإعادة وزن البيئة)
يقدم هذا البحث SERL، وهو طريقة أذكى لاستخدام ذلك المعلم. فكر في SERL كمدرب يستخدم مجموعة محددة جدًا من القواعد:

المدرب يحدد الاتجاه (المكافأة):
الدرجة النهائية (A+ أو F) هي الشيء الوحيد الذي يحدد الاتجاه الذي يجب أن يسلكه الروبوت. إذا كانت المهمة ناجحة، يعرف الروبوت أنه يجب أن يستمر فيما كان يفعله. وإذا فشلت، يعرف أنه يجب أن يتوقف. هذا يضمن أن الروبوت يحاول دائمًا حل المشكلة الفعلية، وليس مجرد تقليد المعلم.
المعلم يضبط مستوى الصوت (التقطير/Distillation):
المعلم لا يخبر الروبوت ماذا يفعل. بدلاً من ذلك، يعمل المعلم مثل مفتاح التحكم في مستوى الصوت.

إذا قام الروبوت بحركة يرى المعلم أنها تؤدي إلى نتيجة جيدة (بناءً على التغذية الراجعة الفورية مثل "الوعاء مبلل")، يقوم المعلم برفع مستوى الصوت لهذا الإجراء المحدد. "نعم! افعل ذلك مجددًا!"
إذا قام الروبوت بحركة تؤدي إلى فوضى، يقوم المعلم بخفض مستوى الصوت. "لا، لا تفعل ذلك".
والأهم من ذلك، أن المعلم يتجاهل خطوات "التفكير" الخاصة بالروبوت (مثل "ممم، أين الوعاء؟") ويركز فقط على ضبط مستوى الصوت في خطوات الإجراء (مثل "التقاط الوعاء").

الجزء "الانتقائي":
وجد الباحثون أنك لست بحاجة لأن يرى المعلم المستقبل بأك«مله ليكون مفيدًا. في الواقع، رؤية الكثير من معلومات المستقبل تشتت الروبوت.

أفضل تغذية راجعة: الإشارة الأكثر فائدة هي النتيجة الفورية للإجراء (مثل: "لقد التقطت الوعاء، ولم يسقط").
الموضع: لست بحاجة لتصحيح الروبوت بعد كل كلمة يكتبها. أنت تحتاج فقط لتصحيحه عندما يحدث تغيير ملموس في العالم (مثل الانتقال من غرفة المعيشة إلى المطبخ). وهذا ما يسمى بالتغذية الراجعة على مستوى المرتكز (Anchor-Level).

تشبيه لعبة الفيديو
تخيل أنك تلعب لعبة فيديو حيث تحصل فقط على شاشة "Game Over" أو "Level Complete" في النهاية.

التعلم المعزز القياسي (Standard RL): تحاول تخمين أي ضغطة زر هي التي أنقذت الموقف.
التقطير القديم (Old Distillation): يقف صديق خلفك، يرى المستوى بأكمله، ويهمس لك: "اضغط X الآن!" لكنك لا تستطيع رؤية ما يراه هو، لذا تشعر بالارتباك.
SERL: لا تزال تحصل فقط على شاشة "Level Complete" في النهاية لتخبرك ما إذا كنت قد فزت أم لا. ولكن، هناك مدرب يراقب شاشتك. عندما تضغط على زر ويفتح باب فورًا، يصرخ المدرب: "عمل رائع!" (رفع مستوى الصوت). عندما تضغط على زر وتسقط في حفرة، يقول المدرب: "حركة سيئة" (خفض مستوى الصوت). المدرب لا يخبرك أي زر تضغط تاليًا؛ هو فقط يخبرك بمدى أهمية الزر الذي ضغطته للتو.

النتائج
اختبر الباحثون SERL في مهمتين معقدتين:

ALFWorld: منزل افتراضي حيث يتعين على الروبوت العثور على الأشياء ونقلها.
WebShop: متجر إلكتروني افتراضي حيث يتعين على الروبوت البحث عن وشراء عناصر محددة.

تفوق SERL على جميع الطرق الأخرى. لقد تعلم بشكل أسرع وكان أكثر نجاحًا لأنه لم يعتمد على "المعرفة السحرية" من المعلم. لقد استخدم ردود فعل المعلم الفورية لتسليط الضوء على التحركات الأكثر أهمية، بينما ترك نتيجة النجاح/الفشل النهائية توجه الاستراتيجية العامة.

الخلاصة الكبرى
لتعليم وكيل ذكاء اصطناي القيام بمهام طويلة ومعقدة، لست بحاجة لمنح معلمه الذي يرى المستقبل. أنت تحتاج فقط لمعلم يمكنه إخبار الوكيل فورًا: "ذلك الإجراء المحدد الذي قمت به للتو كان هو الشيء الصحيح (أو الخاطئ) الذي يجب فعله"، وترك النتيجة النهائية تقرر الهدف العام. المعلومات الأقل "امتيازًا" والتغذية الراجعة الأكثر "واقعية" تعمل بشكل أفضل.

ملخص تقني: ماذا ومتى يتم التقطير: التقطير الانتقائي للرؤية المتأخرة للوكلاء متعدد الخطوات

1. بيان المشكلة

يعد التعلم التعزيزي (RL) نموذجاً أساسياً لتدريب وكلاء النماذج اللغوية الكبيرة (LLMs) في البيئات التفاعلية طويلة المدى (مثل التنقل عبر الويب، والمهام المجسدة). ومع ذلك، توجد عقبة حرجة في تخصيص الائتمان (Credit Assignment): حيث يجب توزيع إشارات النجاح المتفرقة على مستوى المسار (مثل إشارة "إتمام المهمة" الواحدة) عبر عشرات الإجراءات، والتي يكون الكثير منها مجرد خطوات تنقل روتينية أو تنسيقية لا تأثير سببي لها على النتيجة.

تواجه الأساليب الحالية مشكلتين رئيسيتين:

تخصيص ائتمان خشن: الأساليب القائمة على المقارنة الجماعية مثل GRPO تبث ميزة واحدة على مستوى المسار لكل رمز (token)، مما يعامل القرارات الحاسمة ورموز الواجهة غير المؤثرة بشكل متساوٍ.
تسرب المعلومات المميزة في التقطير: بينما يمكن للتقطير الذاتي في الوقت الفعلي (On-policy self-distillation - OPD) توفير إشراف كثيف على مستوى الرمز باستخدام نموذج "معلم" يراقب ردود فعل البيئة (الرؤية المتأخرة/Hindsight)، فإن التقليد العشوائي ينطوي على خطر تسريب معلومات غير متاحة للطالب وقت اتخاذ القرار (مثل الملاحظات المستقبلية، أو رسائل الخطأ). يمكن أن يؤدي هذا إلى تضخيم التفضيلات الأسلوبية غير المرتبطة بنجاح المهمة ويؤدي إلى زعزعة استقرار التدريب.

التحدي الجوههري هو تحديد ما هي مصادر التغذية الراجعة المفيدة، وأين (عند أي مستوى من التفصيل) يجب تطبيقها، وكيف يمكن دمجها دون المساس بالرابط السببي بين قرار الوكيل والمكافأة النهائية.

2. المنهجية: SERL

يقترح المؤلفون إطار عمل SERL (التعلم الانتقائي الموزون بالبيئة)، وهو إطار يفصل بين اتجاه التحديث عن مقدار وموضع التحديث.

المبدأ الأساسي

مكافأة المهمة: تحدد اتجاه تحديث السياسة (سواء كان تعزيز السلوك أو كبحه).
التغذية الراجعة من البيئة: تعدل فقط الموضع (أي الرموز) والمقدار (مدى قوة) ذلك التحديث.

المكونات الرئيسية

أ. وضع الرؤية المتأخرة (المصدر والتفصيل)

يستكشف SERL بشكل منهجي مساحة التصميم لمصادر التغذية الراجعة ونقاط الإدراج:

مصادر التغذية الراجعة: التغذية الراجعة الفورية ( $r_t$ )، الملاحظة التالية ( $s_{t+1}$ )، المسار المستقبلي ( $\tau_{>t}$ )، المسارات الناجحة ( $\tau_+$ )، ومزيج منها.
مستويات التفصيل:
- مستوى الخطوة (Step-Level): يطبق التغذية الراجعة على كل انتقال.
- مستوى المرتكز (Anchor-Level): يجمع الحالات المتشابهة دلالياً في "مرتكزات" ويطبق التغذية الراجعة فقط عند التغييرات ذات المعنى في الحالة لتقليل التكرار والضجيج.

ب. آلية المعلم والطالب غير المتماثلة

يستخدم SERL سياسة معلم ذات تدرج متوقف ( $\pi_T$ ) مشروطة بالرؤية المتأخرة الموضوعة $\Phi(t)$ ، بينما يرى الطالب ( $\pi_\theta$ ) فقط سياق وقت اتخاذ القرار.

فجوة الاحتمالية اللوغاريتمية: يحسب النظام الفجوة بين الاحتمالات اللوغاريتمية للمعلم والطالب لكل رمز: $\Delta_{t,i} = \log \pi_T - \log \pi_\theta$ .
إعادة الوزن المدركة للإشارة: يتم تحويل هذه الفجوة إلى وزن محدود $w_{t,i}$ $w_{t, i}$ يعدل ميزة GRPO. ومن المهم أن إشارة ميزة GRPO الأصلية ( $A_t$ $A_{t}$ ) هي التي تحدد كيفية تفسير الفجوة:
- إذا كانت $A_t > 0$ (مسار ناجح)، فإن الرموز التي يفضلها المعلم تتلقى تحديثات إيجابية أكبر.
- إذا كانت $A_t < 0$ (مسار فاشل)، فإن الرموز التي لا يفضلها المعلم تُعاقب بشكل أكبر.
قناع رموز الإجراء (Action-Token Masking): تقتصر إعادة الوزن على رموز الإجراءات القابلة للتنفيذ. أما رموز الاستنتاج والتنسيق فتحتفظ بأوزان GRPO الأصلية، مما يمنع المعلم من التأثير على الأجزاء غير القرارية من التوليد.
جدول الاضمحلال (Decay Schedule): يتم اضمحلال قوة إعادة وزن الرؤية المتأخرة ( $\alpha_k$ ) عبر التدريب. في المراحل المبكرة، يتم الاستفادة من الرؤية المتأخرة الكثيفة لتخصيص الائتمان أثناء الاستكشاف؛ وفي المراحل اللاحقة، تعود السيطرة إلى الهدف المدفوع بالمكافأة لمنع التحيز المستمر للمعلومات المميزة.

ج. دالة الهدف

تجمع الدالة النهائية بين خسارة RL المعاد وزنها ( $\mathcal{L}_{rw}$ ) ودالة تقطير خفيفة الوزن مقتصرة على الإجراءات فقط ( $\mathcal{L}_{act}$ ):
$\mathcal{L}_{SERL} = \mathcal{L}_{rw} + \lambda \mathcal{L}_{act}$
يضمن هذا أن الرؤية المتأخرة المميزة لا تملي أبداً اتجاه التحديث الكامل للاستجابة، بل تعمل كضبط محدود على مستوى الإجراء.

3. المساهمات الرئيسية

دراسة منهجية لتصميم التغذية الراجعة: أول تحليل شامل للتغذية الراجعة من البيئة للتعلم التعزيزي لوكلاء LLM في المهام طويلة المدى، مع تقييم خمسة مصادر للتغذية الراجعة ومستويين من التفصيل عبر ALFWorld وWebShop.
إطار عمل SERL: هدف متوافق مع GRPO يحول الرؤية المتأخرة المميزة إلى إعادة وزن محدودة على مستوى الإجراء لمتجه السياسة، مع الحفاظ على اتجاه التحسين المرتبط بمكافأة المهمة.
الرؤى التجريبية: إثبات أن التغذية الراجعة الفعالة ليست مجرد السياق "الأغنى". بل إن الإشارات المرتبطة بالفعل والموضوعة في نقاط ذات معنى دلالي (مستوى المرتكز - Anchor-Level) تتفوق باستمرار على الاستخدام العشوائي للسياق الأطول أو الأكثر تميزاً.

4. النتائج التجريبية

أُجريت التجارب على ALFWorld (اتخاذ القرار المجسد) و WebShop (التنقل في التسوق عبر الإنترنت) باستخدام Qwen2.5-7B-Instruct كنموذج أساسي.

الأداء: حقق SERL متوسط نجاح بنسبة 90.0% في ALFWorld و 80.1% في WebShop.
المقارنات:
- تفوق على خطوط الأساس القوية للتعلم التعزيزي (مثل GRPO و HGPO) بفوارق كبيرة (على سبيل المثال، +14.7 نقطة في متوسط النجاح في ALFWorld مقارنة بـ GRPO).
- تجاوز الهجين بين التعلم التعزيزي والتقطير (مثل SDPO و RLSD)، والتي غالباً ما عانت من مكاسب غير متسقة أو عدم استقرار في المهام طويلة المدى.
نتائج دراسة الاستبعاد (Ablation):
- المصدر: أعطت توليفة المسارات الناجحة + التغذية الراجعة الفورية أفضل النتائج، مما يشير إلى أن السلوك المرجعي يجب أن يكون مرتبطاً بالانتقال الفعلي للمسار الحالي.
- التفصيل: تفوق وضع مستوى المرتكز (Anchor-level) عموماً على وضع مستوى الخطوة (Step-level) بالنسبة للتغذية الراجعة متعددة المصادر، حيث قلل من التحديثات المكررة مع الحفاظ على الإشارات السببية.
- الاضمحلال: كان اضمحلال إشارة المعلم أمراً حاسماً؛ حيث أدى الاستخدام الموحد للرؤية المتأخرة طوال التدريب إلى أداء دون المستوى بسبب تسرب المعلومات المميزة في المراحل المتأخرة.

5. الأهمية والادعاءات

يدعي البحث أن العقبة الرئيسية في تعلم الوكلاء بالتعلم التعزيزي ليست مجرد تقليل التباين في تقدير التدرج، بل هي عدم توافق تخصيص الائتمان في المسارات الطويلة.

المؤصل مقابل الغني: تتحدى الدراسة الافتراض بأن السياق الأكثر غنى (مثل المسارات المستقبلية الكاملة) هو الأفضل دائماً. بدلاً من ذلك، تجادل بأن الإشارات المؤصلة والمرتبطة بالإجراء عند نقاط ذات معنى دلالي هي الأفضل لأنها تحافظ على التوافق السببي مع قرارات الوكيل المحددة.
التقطير المنضبط: يثبت SERL أنه يمكن دمج التقطير في التعلم التعزيزي دون عدم استقرار إذا استُخدمت إشارة المعلم بشكل غير متماثل — كمعامل لتعديل المقدار بدلاً من كونها هدفاً مباشراً للتقليد.
مبادئ التصميم: يرسخ هذا العمل أن التعلم التعزيزي الفعال للوكلاء يتطلب مواءمة ثلاثة خيارات تصميمية: مصدر التغذية الراجعة، وموضع (تفصيل) تلك التغذية، وقوة تأثيرها على تحديث السياسة.

من خلال معالجة "ماذا ومتى" للتقطير، يوفر SERL مساراً مستقراً لتدريب الوكلاء متعددي الخطوات الذين يمكنهم استخدام التغذية الراجعة الكثيفة من البيئة بفعالية دون الوقوع في فخاخ تسرب المعلومات المميزة.