🤖 machine learning

TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents

لمعالجة مشكلة "عدم استقرار KL على مستوى المسار" الناتجة عن الأخطاء التراكمية في تدريب الوكيل متعدد الخطوات، تقترح هذه الورقة إطار عمل **TCOD (التقطير داخل السياسة ذو المنهج التعليمي الزمني)**، وهو إطار يعمل على تثبيت التدريب وتحسين الأداء من خلال زيادة عمق المسار المعرض للنموذج الطالب تدريجيًا عبر جدول زمني تعليمي.

المؤلفون الأصليون: Jiaqi Wang, Wenhao Zhang, Weijie Shi, Yaliang Li, James Cheng

نُشر 2026-04-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiaqi Wang, Wenhao Zhang, Weijie Shi, Yaliang Li, James Cheng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طفل صغير كيفية اجتياز مسار عقبات معقد متعدد الغرف.

إذا قمت ببساطة بإلقاء الطفل في منتصف المسار وصحت في وجهه: "اتبع خطوات الرياضي المحترف بدقة!" في كل مرة يرتكب فيها خطأً بسيطاً، فسيشعر بسرعة بالضياع والإحباط، وينتهي به الأمر بالجلوس في زاوية ما والاستسلام. هذه هي بالضبط المشكلة التي وجدها الباحثون في "الوكلاء" (Agents) الحاليين للذكاء الاصطناعي.

إليك تفصيل لورقة البحث، TCOD، باستخدام هذا التشبيه.

1. المشكلة: "كرة الثلج من الأخطاء"

تستخدم عملية تدريب الذاء الاصطناعي الحالية طريقة تسمى التقطير على السياسة نفسها (On-Policy Distillation - OPD). فكر في هذا كأن هناك "رياضياً محترفاً" (الذكاء الاصطناعي المعلم) يراقب "مبتدئاً" (الذكاء الاصطناعي الطالب) وهو يحاول ركض المسار. يراقب المحترف المبتدئ ويقول له: "كان يجب أن تحرك قدمك اليسرى بهذا الشكل".

المشكلة هي أنه في المهام متعددة الخطوات (مثل محادثة طويلة أو لعبة معقدة)، تتراكم الأخطاء.

تأثير كرة الثلج: إذا اتخذ الطالب خطوة خاطئة قليلاً في البداية، سينتهي به الأمر في جزء من الغرفة لم يسبق للمحترف أن كان فيه.
الحيرة: ولأن الطالب أصبح الآن في "مكان غريب"، لا يعرف المحترف كيف يساعده بعد الآن. تصبح نصيحة المحترف مربكة أو غير ذات صلة.
الانهيار: لاحظ الباحثون في الورقة أنه كلما ارتكب الطالب المزيد من الأخطاء، فإن "الفجوة" بين الطالب والمعلم (والتي تسمى تباعد KL) تنفجر، وينهار معدل نجاح الطالب إلى الصفر. الطالب هنا "ينكسر" فعلياً.

2. الحل: TCOD (منهج "عجلات التدريب")

اقترح الباحثون TCOD (التقطير على السياسة نفسها عبر المنهج الزمني المتدرج). وبدلاً من إلقاء الطالب في العمق مباشرة، يستخدمون منهجاً متدرجاً (Curriculum) — وهو خطة تعليمية منظمة تزداد صعوبة فقط عندما يصبح الطالب مستعداً لها.

لقد ابتكروا طريقتين ذكيتين للقيام بذلك:

الطريقة أ: TCOD-F2B (منهج "العدو السريع القصير")

التشبيه: بدلاً من جعل الطفل يركض المسار كاملاً بـ 10 لفات، اطلب منه أولاً أن يمشي فقط من البداية إلى المخروط الأول. بمجرد أن يتقن ذلك، اطلب منه الذهاب إلى المخروط الثاني. وهكذا، تقوم بزيادة المسافة ببطء.
كيف تعمل: يبدأ الذكاء الاصطناعي بالتدرب فقط على الخطوات القليلة الأولى من المهمة. ومع تحسنه، يتوسع "الأفق". إنه يتقن "البداية" قبل أن يضطر أبداً للقلق بشأن "النهاية".

الطة ب: TCOD-B2F (منهج "الإنهاء الموجه")

التشبيه: تخيل أن الطفل يعاني لإنهاء السباق. قم بحمله، ومرره عبر الجزء الأوسط الفوضوي والمربك من المسار، وضعه عند خط النهاية تماماً. ثم قل له: "الآن، حاول القيام بالخطوات الثلاث الأخيرة للفوز". بمجرد أن يتمكن من فعل ذلك، حركه للخلف قليلاً واتركه يحاول القيام بآخر أربع خطوات.
كيف تعمل: يعمل الذكاء الاصطناعي "المعلم" كمرشد. هو يتولى الأجزاء الصعبة من المهمة لإيصال الطالب إلى "منطقة النجاح". بعد ذلك، يتدرب الطالب على إنهاء المهمة من ذلك المكان الآمن. وتدريجياً، يتراجع المعلم أكثر فأكثر حتى يتمكن الطالب من القيام بالمهمة بأكهملها بمفرده.

3. النتائج: طالب أكثر ذكاءً

اختبر الباحثون هذا على عدة بيئات رقمية صعبة (مثل المطابخ الافتراضية ومواقع التسوق الإلكتروني)، وكانت النتائج مبهرة:

الاستقرار: على عكس الطريقة القديمة، حيث كان الذكاء الاصطناعي "ينكسر" ويتوقف عن النجاح، حافظ TCOD على عملية تدريب سلسة ومستقرة.
الكفاءة: لقد وفر الوقت بالفعل! نظرًا لأن الطالب لم يكن يضيع وقته في التجول بلا هدف في "مناطق الخطأ"، فقد انتهى التدريب بشكل أسرع بنسبة تصل إلى 32%.
تجاوز المعلم: والأكثر دهشة، في بعض الحالات، أصبح الطالب أفضل من المعلم. فمن خلال تعلم "منطق" المهمة عبر هذا المنهج المتدرج، طور الطالب طريقة أكثر قوة لحل المشكلات من الخبير الذي كان يقلده.

ملخص في جملة واحدة:

بدلاً من إجبار الطالب على محاكة رحلة كاملة وطويلة لخبير بدقة منذ اليوم الأول، يقوم TCOD بتعليمه عبر أجزاء صغيرة يمكن التحكم فيها — بدءاً من دفعات قصيرة أو نهايات موجهة — حتى لا يضيع في أخطائه الخاصة.

ملخص تقني: TCOD: استكشاف المنهج التعليمي الزمني في التقطير في السياسة (On-Policy Distillation) للوكلاء المستقلين متعدد الدورات

1. المشكلة: عدم استقرار KL على مستوى المسار (Trajectory-Level KL Instability)

يتناول البحث نمط فشل حرج في التقطير في السياسة (On-Policy Distillation - OPD) عند تطبيقه على الوكلاء المستقلين متعدد الدورات. وبينما يعد الـ OPD فعالاً في الاستدلال أحادي الدور (مثل الرياضيات أو الأسئلة والأجوبة)، فإنه يعاني في البيئات التفاعلية ذات الأفق الطويل.

حدد المؤلفون ظاهرة أطلقوا عليها اسم "عدم استقرار KL على مستوى المسار". في الإعدادات متعددة الدورات، ومع تفاعل النموذج الطالب مع البيئة، تتراكم أخطاؤه الصغيرة في اختيار الإجراءات بمرور الوقت. هذا الخطأ التراكمي يدفع الوكيل إلى حالات تكون "خارج التوزيع" (Out-of-Distribution) بالنسبة لتدريب المعلم أو دعمه الفعال. ونتيجة لذلك:

تصاعد تباعد KL: يخصص المعلم احتمالات منخفضة بشكل متزايد لإجراءات الطالب مع تقدم المسار.
انهيار معدل النجاح: تصبح إشارة التدريب غير موثوقة، مما يؤدي إلى انخفاض حاد في قدرة الوكيل على إكمال المهام.
عدم استقرار التدريب: حتى لو تقارب النموذج في النهاية، فإنه غالباً ما يبدأ بتباعد KL مرتفع للغاية، مما يجعل عملية التحسين غير مستقرة للغاية.

2. المنهجية: التقطير في السياسة بالمنهج التعليمي الزمني (TCOD)

للتخفيف من تراكم الخطأ، يقترح المؤلفون إطار عمل TCOD، الذي يستخدم التعلم المنهجي (Curriculum Learning) للتحكم في "عمق المسار" (عدد خطوات التفاعل) المعرض للنموذج الطالب. بدلاً من التدريب على مسارات كاملة طويلة الأمد منذ البداية، يقوم TCOD بتوسيع الأفق تدريجياً.

وقد قدموا متغيرين عمليين:

من الأمام إلى الخلف (TCOD-F2B): نهج "من الضحل إلى العميق". يتم تقييد الطالب بحد أقصى قدره $k$ من خطوات التفاعل. في البداية، تكون $k$ صغيرة، مما يجبر الطالب على إتقان الاستدلال في الدورات المبكرة والإجراءات الفورية. ومع تقدم التدريب، يتم زيادة $k$ عبر جدول زمني خطي حتى يتمكن الطالب من التعامل مع المسارات كاملة الطول.
من الخلف إلى الأمام (TCOD-B2F): نهج "الملاح" (Navigator). يُستخدم نموذج المعلم لـ "ملاحة" الوكيل إلى حالة قريبة من النهاية (حالة نجاح وسيطة). ثم يتولى الطالب المهمة من تلك الحالة لإكمال المهمة. يعمل المنهج التعليمي عن طريق تقليل "البادئة" (Prefix) التي يقوم بها المعلم (عدد الخطوات التي ينفذها المعلم) تدريجياً حتى يتعين على الطالب تنفيذ المسار بأكمله من الحالة الأولية. يضمن ذلك أن يتعلم الطالب دائماً من نقاط بداية "ناجحة"، متجاوزاً أخطاء الدورات المبكرة.

3. المساهمات الرئيسية

تحديد نمط فشل جديد: التعريف الرسمي والبرهان التجريبي لـ "عدم استقرار KL على مستوى المسار" في تقطير الوكلاء متعدد الدورات.
إطار عمل منهجي مبتكر: تقديم TCOD، الذي يوفر طريقتين متميزتين (F2B و B2F) لإدارة التعقيد الزمني في التعلم التعزيزي/التقطير.
تنفيذ خفيف الوزن: يتطلب المنهج تعديلات برمجية طفيفة على أطر التقطير الحالية ولا يتطلب مقاييس صعوبة خارجية؛ حيث تُعرف الصعوبة ذاتياً من خلال عمق المسار.
مكاسب الكفاءة: يقلل النهج المنهجي إجمالي وقت التدريب بنسبة تصل إلى 32% لأن مراحل التدريب المبكرة تتضمن مسارات أقصر وأسرع.

4. النتائج التجريبية

قيم المؤلفون TCOD عبر ثلاثة اختبارات مرجعية: ALFWorld (بيئة مجسدة)، WebShop (تجارة إلكترونية)، و ScienceWorld (استدلال علمي)، باستخدام أزواج مختلفة من الطالب والمعلم (مثل سلسلة Qwen).

تعزيز الأداء: حسن TCOD أداء الوكيل بما يصل إلى 1 points مقارنة بـ OPD التقليدي. وقد نجح في استعادة النماذج الصغيرة (مثل Qwen3-1.7B) من معدلات نجاح تقترب من الصفر.
الاستقرار: خفف TCOD بشكل كبير من طفرات تباعد KL وحافظ على خسائر تدرج سياسة أكثر سلاسة مقارنة بالسلوك المضطرب لـ vanilla OPD.
التعميم (تجاوز المعلم): ومن المثير للاهتمام أن TCOD-B2F أظهر القدرة على تجاوز أداء المعلم. ففي تقسيمات المهام "الصعبة" (Hard) حيث فشل المعلم تحت أخذ العينات، حقق الطالب معدلات نجاح أعلى من المعلم بنحو 14 نقطة، مما يثبت أنه يتعلم سياسات قوية وليس مجرد محاكاة للأخطاء.
المتانة: أثبتت الطريقة متانتها تجاه اختيار معدل نمو المنهج ( $\eta$ ).

5. الأهمية

تكمن أهمية هذا العمل في كونه ينقل التركيز من التوافق على مستوى "الرمز" (Token-level) إلى التوافق على مستوى "الزمن" (Temporal-level) في تقطير النماذج اللغوية الكبيرة. إنه يوفر مخططاً لتدريب وكلاء مستقلين صغار الحجم وعاليي القدرة يمكنهم التعامل مع مهام طويلة الأمد. ومن خلال حل مشكلة الخطأ التراكمي عبر منهج تعليمي زمني، يُمكّن TCOD النماذج الصغيرة من تحقيق قدرات استدلال وتنفيذ معقدة كانت تُعتبر سابقاً حكراً على النماذج الضخمة الرائدة.