Latent On-Policy Self-Distillation
تقدم هذه الورقة البحثية إطار عمل "التقطير الذاتي الكامن داخل السياسة" (LOPD)، وهو إطار عمل مبتكر يستبدل المصنوعات اليدوية المتميزة برموز كامنة قابلة للتعلم مستمدة من الخبرات المسترجعة لتمكين الوكلاء من تحقيق أداء فائق وكفاءة عالية في البيانات في المهام ذاتية التطور مثل استخدام الأدوات وتوليد الأكواد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيف يلعب لعبة فيديو معقدة. في الأيام الخوالي، كان عليك الجلة هناك وكتابة "دليل" مثالي لكل مستوى يدويًا، تخبر الروبوت بالضبط أي الأزرار يجب الضغط عليها. ولكن ماذا لو استطاع الروبوت التعلم من خلال لعب اللعبة بنفسه، ومراقبة إعادات لعبه، واكتشاف ما الذي نجح؟ هذا هو جوهر مجال يسمى التقطير الذاتي داخل السياسة (On-Policy Self-Distillation). فكر في الأمر كأن الروبوت يعمل كمعلم لنفسه. يلعب جولة (الطالب)، ثم تأتي نسخة أذكى منه (المعلم) لتشاهد الإعادة وتقول: "مهل، لقد ترددت هنا؛ جرب هذا بدلاً من ذلك". السحر يحدث عندما يقدم المعلم ملاحظات تفصيلية للغاية حول كل حركة قام بها الطالب، وليس فقط ما إذا كانوا قد فازوا أو خسروا في النهاية.
ومع ذلك، هناك عقبة. لكي يكون الروبوت معلمًا جيدًا، فإنه يحتاج إلى دليل "مميز" (privileged)—شيء يشبه حلاً مثاليًا أو استراتيجية سرية لا يمتلكها الطالب بعد. عادةً، يضطر البشر لصياغة هذه الأدلة يدويًا، وكتابتها في شكل نصوص عادية أو قواعد محددة. ولكن ماذا لو استطاع الروبوت تعلم إنشاء أدلته الخاصة تلقائيًا، عبر سحب الأجزاء الأكثر فائدة من مغامراته الماضية وتحويلها إلى لغة سرية لا يفهمها إلا المعلم؟ هذا هو السؤال الكبير الذي تعالجه هذه الورقة البحثية: هل يمكننا التوقف عن جعل البشر يكتبون القواعد وترك الذكاء الاصطناعي يتعلم كيفية تلخيص تجربته في دليل مثالي وغير مرئي؟
الورقة البحثية: التقطير الذاتي الكامن (Latent On-Policy Self-Distillation - LOPD)
تقدم هذه الورقة طريقة جديدة تسمى التقطير الذاتي الكامن (LOPD). بدلاً من مطالبة مصمم بشري بكتابة "دليل" محدد (مثل إجابة نصية أو وصف مهارة معينة) ليقرأه معلم الروبوت، تقوم LOPD بتعليم الروبوت كيف يتعلم دليله الخاص.
إليك كيف يعمل الأمر، باستخدام تشبيه مرح:
تخيل روبوتًا طالبًا يحاول حل متاهة. يصطدم بجدار، يستدير، وفي النهاية يجد المخرج.
- الطريقة القديمة: ينظر إنسان إلى المتاهة ويكتب ملاحظة تقول: "انعطف يسارًا عند الباب الأحمر". سيقرأ روبوت المعلم هذه الملاحظة ويقول للطالب: "كان يجب أن تنعطف يسارًا". لكن هذه الملاحظة جامدة؛ إذا تغيرت المتاهة قليلاً، فقد تصبح الملاحظة عديمة الفائدة.
- طريقة LOPD: لا يستخدم الروبوت ملاحظة مكتوبة. بدلاً من ذلك، لديه "مؤلف ذاكرة" (Memory Composer). ينظر هذا المؤلف إلى جولات الروبوت الناجحة السابقة عبر متاهات مشابهة. يأخذ اللحظات الأكثر أهمية ويضغطها في "كود سري" صغير وغير مرئي (يسمى الرموز الكامنة - latent tokens). هذا الكود يشبه همسًا تقنيًا مضغوطًا لا يسمعه إلا روبوت المعلم.
يستمع روبوت المعلم إلى هذا الهمس السري أثناء مراقبة الروبوت الطالب وهو يلعب. ولأن المعلم يمتلك هذا الكود السري، فهو يعرف بالضبط ما الذي كان ينبغي على الطالب فعله في كل خطوة. ثم يعلم الطالب: "لا تكتفِ بالتخمين؛ إليك المسار الكثيف والمفصل الذي كان يجب أن تسلكه".
الجزء الأروع؟ يتعلم الروبوت كيفية كتابة هذا الكود السري أثناء تعلمه كيفية لعب اللعبة. إنه يكتشف أي أجزاء من مغامراته الماضية هي مفيدة حقًا وأيها مجرد ضجيج. الأمر يشبه تعلم الروبوت لكيفية تدوين ملاحظاته الخاصة بلغة اخترعها هو، بدلاً من إجباره على قراءة كتاب مدرسي كتبه إنسان.
ما الذي وجدوه
اختبر الباحثون ذلك على نوعين مختلفين تمامًا من المهام:
- استخدام الأدوات الوكيلية (Agentic Tool Use): إعطاء الروبوت مجموعة من الأدوات (مثل آلة حاسبة، محرك بحث، أو قاعدة بيانات) ومطالبته بحل مشكلات متعددة الخطوات، مثل حجز رحلة طيران أو إدارة جدول مواعيد.
- توليد الكود (Code Generation): مطالبة الروبوت بكتابة برامج كمبيوتر تعمل بشكل صحيح.
وقارنوا LOPD بطرق أخرى حيث اضطر البشر لصياغة "الأدلة" يدويًا (مثل إعطاء المعلم إجابة نصية مثالية أو ملخص مهارة محدد).
النتائج:
- أداء أفضل: تفوقت LOPD باستمرار على الطرق الأخرى. في اختبارات استخدام الأدوات، حسنت النتائج بشكل كبير. على سبيل المثال، في أحد الاختبارات المسمى EnvScaler، رفعت النتيجة من 61.8 إلى 63.7 باستخدام نموذج أصغر، ومن 60.2 إلى 66.4 باستخدام نموذج أكبر. وفي اختبارات البرمجة، كانت هي الأفضل أيضًا، متفوقة على أفضل الطرق المصممة بشريًا.
- كفاءة فائقة: تعلم الروبوت بشكل أسرع. تشير الورقة إلى أن LOPD حققت هذه النتائج باستخدام أقل من 30% من "ميزانية التدريب" (rollout budget) المطلوبة من الطرق الرائدة الأخرى مثل GRPO و Skill-SD. الأمر يشبه الحصول على درجة امتياز في مادة الرياضيات بعد الدراسة لمدة ثلاث ساعات فقط، بينما درس أصدقاؤك لمدة عشر ساعات.
- "الخلطة السرية" قابلة للتعلم: أثبتت الورقة أن الكود السري (السياق الكامن) يجب أن يُتعلم. عندما حاولوا استخدام نسخة ثابتة وغير قابلة للتغيير من الكود، لم يتعلم الروبوت بنفس الكفاءة. ولكن عندما سمحوا للروبوت بضبط الكود الخاص به، عمل الأمر بشكل مثالي.
ما الذي استبعدوه
تجادل الورقة صراحةً ضد فكرة أننا بحاجة للاستمرار في ابتكار المزيد والمزيد من "الأدلة" المعقدة والمكتوبة بشريًا (مثل مسارات الاستدلال المحددة، الإجابات المثالية، أو أوصاف المهارات الجامدة) لجعل الروبوتات أكثر ذكاءً. لقد أظهروا أن هذه الملاحظات المصنوعة يدويًا غالبًا ما تفشل لأنها جامدة للغاية؛ فالملاحظة التي تساعد في موقف واحد قد تربك الروبوت في موقف آخر. تقترح LOPD أن أفضل طريق للمضي قدمًا هو ترك الروبوت يكتشف ما الذي يتذكره و كيف يضغط المعلومات، بدلاً من إجباره على قراءة دليل مستخدم مكتوب مسبقًا.
مدى ثقتهم
الورقة واثقة جدًا من هذه النتائج لأنها اختبرتها عبر ثلاثة نماذج روبوت مختلفة (Qwen3-4B، و Qwen3-8B، و Olmo3-7B) و سبعة معايير قياسية مختلفة. لم تكن النتائج مجرد ضربة حظ؛ فقد صمدت باستمرار. كما أجروا تجارب محددة لإثبات أن جزء "التعلم" في الكود السري هو السبب الحقيقي للنجاح، وليس مجرد قوة الحوسبة الإضافية. وبينما لا يدعون أنهم حلوا لغز تطور الذكاء الاصطناعي بالكامل، إلا أن البيانات تشير بقوة إلى أن ترك الذكاء الاصطناعي يتعلم "سياقه المتميز" الخاص هو خطوة هائلة للأمام لجعل الوكلاء قادرين على تحسين أنفسهم باستمرار.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.