Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning
تقترح الورقة البحثية تقنية التقطير في الموقع على مستوى الخطوة (SOPD)، وهي طريقة مبتكرة تدمج بين الضبط الدقيق الخاضع للإشراف والتقطير في الموقع لتوفير تصحيحات كاملة على مستوى الخطوة للمسارات التي يولدها الطالب، مما يؤدي إلى تفوقها بشكل كبير على كلا النهجين التقليديين في مهام الاستنتاج والوكلاء.