💻 computer science

From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents

تقترح هذه الورقة طريقة "التقطير الذاتي المقارن الموثق بالنتائج" (OVCSD)، وهي طريقة مبتكرة لوكلاء النماذج اللغوية الكبيرة تعزز استيعاب المهارات من خلال تنظيم عمليات التشغيل الفاشلة في شجرة بادئة، والتحقق من توجيه المعلم عبر نتائج البيئة، وتطبيق التعلم المقارن الموضعي لتقطير سلوكيات الإكمال الناجحة، مما يؤدي إلى التفوق بشكل كبير على النماذج المرجعية الحالية في ALFWorld وWebShop.

المؤلفون الأصليون: Xu Xia, Jinghua Piao, Min Yang, Xiaochong Lan, Jiaju Chen, Yong Li

نُشر 2026-07-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xu Xia, Jinghua Piao, Min Yang, Xiaochong Lan, Jiaju Chen, Yong Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية لعب لعبة فيديو معقدة، مثل حل لغز في منزل افتراضي أو العثور على السلعة المثالية في متجر ضخم عبر الإنترنت. لفترة طويلة، كانت أذكى طريقة للقيام بذلك هي إعطاء الروبوت "ورقة غش" أو "مدربًا خارقًا" يهمس له بالخطوات الصحيحة كلما تعثر. نجح هذا الأمر بشكل رائع طالما كانت ورقة الغش موجودة، ولكن بمجرد سحبها، ينسى الروبوت كل شيء ولا يستطيع اللعب بمفرده. يسمي العلماء هذا "استخراج القدرة" (capability elicitation) — أي أن الروبوت يتصرف بذكاء فقط لأنه يُدفع للقيام بذلك، وليس لأنه تعلم المهارة حقًا.

الهدف الكبير في هذا المجال من الذكاء الاصطناعي هو "الاستيعاب الداخلي للقدرة" (capability internalization). فكر في الأمر كفرق بين طالب يحفظ الإجابات لاختبار ما، وطالب يفهم الرياضيات حقًا لدرجة تمكنه من حل مشكلات جديدة دون كتاب مدرسي. يريد الباحثون من وكلاء الذكاء الاصطناعي استيعاب هذه المهارات في "دماغهم" الخاص حتى يتمكنوا من التصرف باستقلالية. التحدي يكمكم في كيفية تعليم الروبوت دون مجرد إظهار الإجابات الصحيحة له، بل مساعدته على التعلم من أخطائه ومن نجاحات المعلم بطريقة تترسخ في ذهنه.

تقدم هذه الورقة البحثية طريقة تدريب ذكية جديدة تسمى "التقطير الذاتي المقارن المتحقق من النتيجة" (Outcome-Verified Comparative Self-Distillation - OVCSD). يرى المؤلفون أن الطريقة القديمة لتعليم الذكاء الاصطناعي كانت تشبه معلمًا يقول فقط: "كانت تلك الحركة 7 من 10"، دون التحقق مما إذا كانت تلك الحركة قد ساعدت بالفعل في الفوز باللعبة. أحيانًا تؤدي "حركة جيدة" إلى خسارة لاحقًا، وقد تكون "الحركة السيئة" هي المسار الوحيد نحو النصر. الطرق القديمة كانت تهدر الكثير من المعلومات عبر التخلص من المحاولات الفاشلة أو معاملة كل خطوة من نجاح المعلم على أنها متساوية في الأهمية.

يقترح الباحثون نهجًا أكثر ذكاءً يعامل تدريب الذكاء الاصطناعي كقصة بوليسية. أولاً، ينظرون في كل المرات التي فشل فيها الطالب الذكي وينظمون تلك الإخفاقات في "شجرة عائلة" من الأخطاء. يساعد هذا في رؤية أين تعثر الطلاب المختلفون في نفس المسار بالضبط. وبدلاً من التخمين أين يجب تقديم المساعدة، يتركون "معلمًا" (ذكاءً اصطناعيًا يمتلك ورقة غش) يتدخل في اللحظة التي فشل فيها الطلاب تمامًا. لكن هنا تكمن الخدعة: مساعدة المعلم لا تُحتسب إلا إذا أدت بالفعل إلى فوز في بيئة اللعبة. إذا حاول المعلم إصلاح الخطأ ومع ذلك خسر، يتم استبعاد تلك المحاولة. هذا هو الجزء "المتحقق من النتيجة" — فهم لا يثقون إلا فيما ينجح في العالم الحقيقي، وليس فقط فيما يبدو جيدًا على الورق.

بمجرد الحصول على نجاح متحقق منه، يستخدمون عملية تعلم مكونة من خطوتين. أولاً، يقومون بتكبير اللحظة الأولى التي انفصل فيها مسار المعلم عن مسار الطالب الفاشل. يعلمون الطالب: "مهلًا، عند هذا المفترق في الطريق، اخترت الباب الخاطئ؛ المعلم اختار الباب الصحيح". هذا تصحيح حاد ومركز. ثانيًا، يتركون الطالب يشاهد بقية رحلة المعلم الناجحة ليتعلم كيفية إتمام المهمة.

النتائج مثيرة للإعجاب. فعند اختبارهم على مهمتين معقدتين — ALFWorld (منزل افتراضي حيث يتعين عليك التنظيف والطبخ والتنظيم) وWebShop (محاكاة للتسوق عبر الإنترنت) — تفوقت هذه الطة الجديدة باستمرار على تقنيات التدريب الرائدة الأخرى. أصبح وكلاء الذكاء الاصطناعي الذين تم تدريبهم باستخدام OVCSD أفضل بكثير في حل هذه الألغاز الطويلة والمعقدة دون الحاجة إلى أي أوراق غش أثناء اللعبة الفعلية. على سبيل المثال، في مهام تنظيف المنزل، حسنت الطريقة الجديدة معدلات النجاح بما يصل إلى 29.7 نقطة مقارنة بأقوى الطرق السابقة، وفي مهام التسوق، تحسنت بمقدار 5.4 نقطة. ولعل الأهم من ذلك هو تحقيق هذه المكاسب مع استخدام قدر ضئيل جدًا من "الامتياز الإضافي" (مساعدة المعلم) أثناء التدريب — أقل من 3% من إجمالي التفاعلات.

باختصار، تشير الورقة البحثية إلى أنه من خلال المقارنة الدقيقة بين محاولات الطالب الفاشلة ونجاحات المعلم المتحقق منها، ومن خلال التركيز على لحظة الاختلاف بدقة، يمكننا تعليم وكلاء الذكاء الاصطناعي استيعاب المهارات المعقدة بشكل أكثر فعالية من ذي قبل. الأمر لا يتعلق فقط بإعطاء الروبوت خريطة أفضل؛ بل بمساعدته على تعلم كيفية قراءة التضاريس حتى يتمكن من التنقل في العالم بمفرده.

ملخص تقني: التقطير الذاتي المقارن الموثق بالنتائج لوكلاء النماذج اللغوية الكبيرة (LLM Agents)

بيان المشكلة

شهدت التطورات الأخيرة في وكلاء النماذج اللغوية الكبيرة (LLM) تحولاً من التركيز على استخراج القدرات الخارجية (الاعتماد على الاسترجاع أو الأدوات الخارجية أثناء الاستدلال) إلى استيعاب القدرات (دمج المهارات مباشرة في معاملات النموذج). وبينما يوفر التقطير الذاتي في السياسة المماثلة (On-Policy Self-Distillation - OPSD) مساراً واعداً للاستيعاب عبر استخدام معلم متميز (مزود بمهارات) للإشراف على طالب خالٍ من المهارات، تعاني الطرق الحالية من قصورين حرجين:

تفضيلات المعلم غير الموثقة: تعتمد الطرق الحالية عادةً على تقييم إجراءات الطالب بناءً على تفضيلات المعلم المحلية. ومع ذلك، فإن الإجراء ذو الدرجة العالية لا يضمن النجاح النهائي في المهام طويلة الأمد، كما أن الدرجة المنخفضة تفشل في تحديد الإجراء البديل الصحيح. تفضيلات المعلم ليست موثقة بنتائج البيئة الفعلية.
المعلومات غير المستغلة بالكامل: تفشل النهج الحالية في استغلال العلاقة بين مسارات الطالب والمعلم بشكل كامل. فهي غالباً ما تتجاهل عمليات التشغيل الفاشلة للطالب أو تعامل مسارات المعلم بشكل موحد، متجاهلةً الحالة المحددة التي فشل فيها الطالب ونجح فيها المعلم. كما تفتقر هذه النهج إلى آلية لمواءمة المسارات عند نقطة التباين السلوكي لعزل القرار التصحيحي.

المنهجية: التقطير الذاتي المقارن الموثق بالنتائج (OVCSD)

إن OVCSD هو إطار عمل للتعلم في السياسة المماثلة، مصمم لاستيعاب التوجيه المتميز من خلال التفاعلات الناجحة مع البيئة بدلاً من الاعتماد فقط على درجات المعلم. تعتمد الطريقة على ثلاث ملاحظات رئيسية مستمدة من تحليل عمليات تشغيل الطالب الفاشلة:

بنية الحالة المشتركة: غالباً ما تشترك المسارات الفاشلة في بادئات وسيطة صالحة رغم تلقيها مكافآت فشل نهائية متطابقة.
الاعتماد على الحالة والنتيجة: تعتمد فائدة التدخل على الحالة المحددة التي تم الوصول إليها، ويجب توثيق إجراءات المعلم عبر نتائج البيئة لضمان موثوقيتها.
القابلية للمقارنة المدركة للمواءمة: تتغير العلاقة بين فرع الطالب الفاشل وفرع المعلم الناجح عند أول تباين متوافق مع الحالة. قبل هذه النقطة، تكون السلوكيات متطابقة؛ وعند التباين، تختلف؛ وبعد ذلك، تنفصل المسارات التاريخية.

المكونات الجوهرية

1. التدخل التكيفي الموثق بالنتائج

بناء شجرة البادئات (Prefix Tree): يقوم OVCSD بتنظيم مسارات الطالب الفاشلة في شجرة بادئات لتحديد الحالات الوسيطة المشتركة.
التراجع التكيفي (Adaptive Backtracking): بدلاً من نقطة تدخل ثابتة، يعطي النظام الأولوية للعقد الأعمق في الشجرة للحفاظ على التقدم الصالح للطالب. إذا لم يتمكن المعلم من التعافي من حالة عميقة، فإنه يتراجع إلى أسلاف أكثر ضحالة.
توثيق النتيجة: يعمل معلم متميز (سياسة مجمدة مع سياق المهارة) انطلاقاً من حالة الطالب المستعادة. ومن الضروس، لا يتم قبول استمرارية المعلم إلا إذا أدت بنجاح إلى إكمال المهمة وفقاً لمكافأة البيئة. يضمن هذا أن الإشراف يرتكز على نجاح قابل للتنفيذ، وليس مجرد احتمالية.

2. التعلم المقارن المدرك للمواءمة
يستخدم OVCSD هدفين متكاملين بناءً على نقطة التباين ( $d$ ) بين استمرارية المعلم الموثقة وفروع الطالب الفاشلة:

تصحيح التباين الموضعي: عند أول تباين متوافق مع الحالة، يطبق OVCSD هدفاً مقارناً موضعياً؛ حيث يزيد من احتمالية إجراء المعلم الموثق بينما يقلل من احتمالات البدائل الفاشلة للطالب. يتم تحقيق ذلك من خلال حساب إشارة ميزة (advantage signal) معيارية حيث يحصل إجراء المعلم على ميزة إيجابية وتتلقى بدائل الطالب الفاشلة ميزة سلبية.
تقطير اللاحقة بعد التباين: بعد نقطة التباين، يتم تقطير مسار المعلم المتبقي (اللاحقة) في سياسة الطالب الخالية من المهارات باستخدام هدف تباعد كولباك-ليبلر (KL divergence). هذا يعلم الطالب كيفية إكمال المهمة بمجرد اتخاذ القرار الصحيح.

3. التدريب والاستدلال
يجمع هدف التدريب الإجمالي بين تحديث الميزة الموضعية وخسارة تقطير اللاحقة. أثناء الاستدلال، ينشر OVCSD السياسة الناتجة الخالية من المهارات دون الحاجة إلى استرجاع المهارة، أو بناء شجرة البادئات، أو التفاعل مع المعلم.

المساهمات الرئيسية

التقطير الذاتي الموثق بالنتائج: تقديم OVCSD، وهو إطار عمل يستوعب التوجيه المتميز من خلال التفاعل الناجح مع البيئة بدلاً من الاعتماد على درجات المعلم غير الموثقة.
التعلم المدرك للمواءمة: تحديد المقارنة المتوافقة مع الحالة كآلية حرجة للتعلم من سلوك المعلم الناجح واستكشاف الطالب الفاشل في المهام متعددة الخطوات، وتحديداً فصل القرار التصحيحي عن سلوك الإكمال.
أداء رائد للنماذج الخالية من المهارات: إثبات أن OVCSD يحقق أفضل معدلات نجاح للنماذج الخالية من المهارات عبر مقاييس ونماذج متعددة، متفوقاً بشكل كبير على قواعد RL والتقطير الذاتي الحالية.

النتائج التجريبية

أُجريت التجارب على ALFWorld (المهام المنزلية) و WebShop (البحث في التجارة الإلكترونية) باستخدام ثلاثة مقاييس للنماذج (Qwen3-1.7B، Qwen2.5-3B، و Qwen2.5-7B).

مكاسب الأداء: تفوق OVCSD باستمرار على أقوى القواعد المرجعية.
- في ALFWorld، حقق مكاسب في معدل النجاح المطلق تصل إلى 29.7 نقطة فوق أقوى قاعدة مرجعية (SDAR).
- في WebShop، حقق مكاسب تصل إلى 5.4 نقطة.
- كانت التحسينات ملحوية بشكل خاص في المهام التركيبية (مثل Heat, Cool, Pick2) التي تتطلب قرارات متعددة معتمدة على بعضها البعض.
الكفاءة: أضافت الطريقة أقل من 3% من التفاعل المتميز (خطوات البيئة) أثناء التدريب. وعند مطابقتها مع إجراءات البيئة التراكمية، وصل OVCSD إلى معدل نجاح GRPO النهائي بـ 2.1 ضعف أقل من الإجراءات، مما يشير إلى أن المكاسب ليست مجرد نتيجة لزيادة ميزانية أخذ العينات.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة إما تحديث الميزة الموضعية أو تقطير اللاحقة إلى تقليل الأداء بشكل كبير، مما يؤكد ضرورة كلا الإشارتين.
- أدى إزالة توثيق النتيجة أو استخدام مراكز تدخل عشوائية إلى تقليل كفاءة عملية التعلم وعدد الفروع الموثقة.
- أظهر تحليل السياسة أن OVCSD يحفز تفضيلاً موضعياً لإجراءات المعلم خصيصاً عند نقاط التباين، بينما لا يظهر GRPO القياسي مثل هذا التركيز.

الأهمية

يزعم البحث أن OVCSD يوفر نهجاً فعالاً لاستيعاب القدرات من خلال معالجة هشاشة تفضيلات المعلم في المهام طويلة الأمد. ومن خلال تنظيم الإخفاقات في شجرة بادئات وفرض توثيق النتيجة، تضمن الطريقة أن يتعلم الطالب من السلوكيات الناجحة والقابلة للتنفيذ بدلاً من التفضيلات الافتراضية. إن الفصل بين القرار التصحيحي (التباين) وسلوك الإكمال (اللاحقة) يسمح بتعلم أكثر دقة وكفاءة، مما يمكن الوكلاء الخاليين من المهارات من أداء مهام معقدة متعددة الخطوات بمعدلات نجاح عالية دون الاعتماد على الاسترجاع الخارجي وقت الاستدلال.