Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation
تتناول هذه الورقة القضية الحرجة المتمثلة في "تدهور دقة الإشراف" (Supervision Fidelity Decay) في عملية التقطير القائم على السياسة (on-policy distillation)، حيث تضعف توجيهات المعلم عبر سلاسل الاستدلال الطويلة، وذلك عبر اقتراح "مكافأة الاستشراف الجماعي" (Lookahead Group Reward)، وهي طريقة مبتكرة تقيم الرموز المرشحة بناءً على ثقة المعلم المستقبلية المستحثة منها، مما يحسن أداء النموذج الطالب بشكل كبير في اختبارات الرياضيات والبرمجة المعقدة.