Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning
تقترح الورقة البحثية تقنية التقطير في الموقع على مستوى الخطوة (SOPD)، وهي طريقة مبتكرة تدمج بين الضبط الدقيق الخاضع للإشراف والتقطير في الموقع لتوفير تصحيحات كاملة على مستوى الخطوة للمسارات التي يولدها الطالب، مما يؤدي إلى تفوقها بشكل كبير على كلا النهجين التقليديين في مهام الاستنتاج والوكلاء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناي، غالبًا ما تُشبَّه النماذج اللغوية الكبيرة بالطلاب الذين يجب أن يتعلموا من معلم. لسنوات، كانت الطريقة القياسية لتعليم هؤلاء الطلاب الرقميين هي عرض أمثلة مثالية كتبها خبير عليهم، وطلب حفظ التسلسل منها. هذه الطريقة، المعروفة باسم "الضبط الدقيق الخاضع للإشراف" (supervised fine-tuning)، فعالة ولكنها جامدة؛ فهي تفترض أن الطالب سيتبع دائمًا مسار الخبير بدقة، متجاهلةً الأخطاء التي يرتكبها الطالب بالفعل. أما النهج الأحدث، المسمى "التقطير في السياسة المتبعة" (on-policy distillation)، فيحاول إصلاح ذلك عبر السماح للطالب بتوليد إجاباته الخاصة، ثم تصحيحه خطوة بخطوة (أو رمزًا تلو الآخر) أثناء تقدمه. وبينما يسمح هذا للطالب بالتعلم من أخطائه، فإنه يخلق مشكلة مختلفة: التصحيحات تكون مجزأة للغاية لدرجة أن الطالب لا يرى أبدًا مسارًا كاملًا ومتماسكًا للوصرد إلى الإجابة الصحيحة. الأمر يشبه محاولة تعلم القيادة من خلال تلقي تعليمات مكونة من كلمة واحدة في كل مرة تلمس فيها عجلة القيادة، بدلًا من أن يتم عرض كيفية اجتياز منعطف كامل لك.
لقد طور الباحثون الآن طريقة تدريب جديدة تسد هذه الفجوة، وتجمع بين أفضل ما في العالمين. فمن خلال تقديم تقنية تسمى "التقطير على مستوى الخطوة في السياسة المتبعة" (Step-Level On-Policy Distillation)، يسمح الفريق للطالب بإكمال فكرة كاملة أو تسلسل أفعال بمفرده، ثم يطلب من المعلم تقديم تصحيح واحد متماسك لكل خطوة رئيسية من تلك الرحلة. تم اختبار هذا النهج في مهام معقدة تتراوح من حل المسائل الرياضية الصعبة إلى التنقل في بيئات منزلية افتراضية. وتظهر النتائج أن هذه الطريقة تساعد الطالب على التعلم بشكل أسرع وأكثر دقة من التقنيات السابقة، محققةً معدلات نجاح كانت بعيدة المنال لنماذج بهذا الحجم. والاكتشاف الرئيسي هو أنه من خلال تقسيم عملية التعلم إلى قطع طبيعية وذات معنى بدلاً من الكلمات الفردية أو التصحيحات العشوائية، يمكن للنموذج أن يفهم ليس فقط ما هي الإجابة الصحيحة، بل كيف يصل إليها انطلاقًا من الأخطاء المحددة التي ارتكبها.
يكمن جوهر هذه الطة الجديدة في كيفية التعامل مع التفاعل بين نموذج الطالب والمعلم. في النهج التقليدي للتقطير في السياسة المتبعة، ينظر المعلم إلى عمل الطالب ويقدم تصحيحًا ضئيلًا لكل كلمة يتم توليدها. إذا ارتكب الطالب خطأً في وقت مبكر، يحاول المعلم إصلاحه كلمة بكلمة، لكن الطالب يظل عالقًا في حالة من الارتباك، محاولًا اتباع مسار مكسور. تغير الطريقة الجديدة، "التقطير على مستوى الخطوة في السياسة المتبعة"، إيقاع هذا التفاعل. أولاً، يُسمح للطالب بتوليد استجابة كاملة أو تسلسل كامل من الأفعال دون انقطاع. وبمجرد انتهاء الطالب، يقوم النظام بتفكيك تلك الاستجابة إلى خطوات طبيعية، مثل جملة كاملة في برهان رياضي أو دور كامل في محادثة داخل لعبة.
عند هذه النقطة، يتدخل المعلم، ولكن ليس لإعادة كتابة القصة بأكملها. بدلاً من ذلك، ينظر المعلم إلى نقطة البداية الخاصة بالطالب لكل خطوة محددة، ويولد نسخة واحدة صحيحة لتلك الخطوة. يتعلم الطالب بعد ذلك مطابقة هذه الخطوة الصحيحة مع الحفاظ على بقية سياقه الأصلي. وهذا يعني أن الطالب يتعلم تصحيح مساره دون أن يستولي المعلم على العملية بأكملها. يوفر المعلم دليلًا محليًا واضحًا لكل جزء من الرحلة، مما يضمن أن يرى الطالب مسارًا منطقيًا كاملًا من النقطة التي أخطأ فيها بالضبط. هذا يحافظ على تجربة الطالب في ارتكاب الأخطاء مع منحه طريقة مهيكلة لإصلاحها.
اختبر الباحثون هذا النهج في بيئتين مختلفتين تمامًا لمعرفة مدى صموده تحت الضغط. تضمنت الاختبار الأول وكيلًا يتنقل في منزل محاكى، وهي مهمة تُعرف باسم ALFWorld. في هذه البيئة، كان على النموذج معرفة كيفية تنفيذ مهام مثل العثور على مفتاح أو تنظيف غرفة من خلال التفاعل مع عالم نصي. استخدم الفريق نموذج معلم قوي لتوجيه نموذج طالب أصغر. وعندما قارنوا الطريقة الجديدة بأسلوب التصحيح القديم (كلمة بكلمة)، كانت النتائج مذهلة. فقد تحسن معدل نجاح الطالب الذي تدرب بالطريقة الجديدة بأكثر من 18 نقطة مئوية في المهام التي رآها من قبل، وبأكثر من 21 نقطة مئوية في المهام التي لم يسبق له رؤيتها. علاوة على ذلك، أكمل هذه المهام في محاولات أقل، مما يظهر أنه لم يكن يكتفي بالتخمين بشكل أفضل فح، بل تعلم طرقًا أكثر كفاءة لحل المشكلات.
ركز الاختبار الثاني على الاستدلال الرياضي، وهو مجال تعتبر فيه الاتساق المنطقي أمرًا بالغ الأهمية. هنا، طُلب من النماذج حل مسائل رياضية بمستوى المسابقات. وجد الباحثون أن الطريقة الجديدة سمحت للطالب بتنظيم تفكيره في خطوات أكثر وضوحًا وهيكلية. ومع تقدم التدريب، بدأ الطالب في توليد خطوات استدلال أكثر تميزًا، وأصبحت تصحيحات المعلم أكثر ثراءً وتفصيلًا. وفي أربعة معايير مختلفة للرياضيات، تفوق الطالب الذي تدرب بهذه الطريقة الجديدة على أفضل نهج سابق بفارق كبير، حيث حسن متوسط دقته بنسبة تقارب 10 نقاط مئوية. وقد أثبت هذا أن الطريقة ليست مجرد تقنية للمهام البسيطة، بل هي وسيلة قوية لتحسين الاستدلال المعقد.
أحد المزايا الأكثر عملية لهذه التقنية الجديدة هو أنها لا تتطلب من المعلم الكشف عن حساباته الداخلية. في العديد من الطرق السابقة، كان الطالب يحتاج إلى الوصول إلى درجات الاحتمالية الخام للمعلم لكل كلمة، وهو أمر مستحيل غالبًا إذا كان المعلم نظامًا مغلقًا (صندوقًا أسود). تتطلب الطريقة الجديدة فقط من المعلم توليد نص، مما يجعل تطبيقها أسهل بكثير في السيناريوهات الواقعية حيث لا تكون النماذج الأفضل مفتوحة بالكامل. بالإضافة إلى ذلك، نظرًا لأن المعلم يولد خطوة واحدة فقط في كل مرة بناءً على عمل الطالب الحالي، فإن العملية أسرع وتتجنب التأخير الناتج عن انتظار رد فعل البيئة تجاه كل حركة.
تؤكد الدراسة أن الطريقة التي نهيكل بها التعلم تهم بقدر جودة المعلم نفسه. فمن خلال الابتعاد عن التصحيحات المجزأة (كلمة بكلمة) والتوجه نحو التوجيه المتماسك على مستوى الخطوة، نجح الباحثون في خلق ديناميكية تدريب تحترم مسار الطالب الخاص مع توفير خريطة واضحة للتصحيح. يجمع هذا النهج بنجاح بين مرونة التعلم من الأخطاء الشخصية ووضوح توجيه الخبراء. وتشير النتائج إلى أنه لكي يصبح الذكاء الاصطناعي أكثر قدرة وموثوقية، خاصة في المهام التفاعلية المعقدة، يجب علينا تصميم طرق تدريب تسمح للنماذج برؤية الصورة الكاملة لأخطائها وتعلم كيفية إصلاحها في حركة منطقية واحدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.