Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation
यह शोध पत्र 'लुकअहेड ग्रुप रिवॉर्ड' (Lookahead Group Reward) प्रस्तावित करके ऑन-पॉलिसी डिस्टिलेशन में 'सुपरविजन फिडेलिटी डिके' (Supervision Fidelity Decay) की महत्वपूर्ण समस्या को संबोधित करता है, जहाँ लंबे रीजनिंग चेन के दौरान शिक्षक का मार्गदर्शन कमजोर हो जाता है, जो जटिल गणित और कोड बेंचमार्क पर छात्र मॉडल के प्रदर्शन को महत्वपूर्ण रूप से सुधारने के लिए उम्मीदवार टोकन का मूल्यांकन उनके द्वारा प्रेरित भविष्य के शिक्षक विश्वास (future teacher confidence) के आधार पर करता है।