🤖 AI
Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning
यह शोध पत्र एडेप्टिव टीचर एक्सपोज़र फॉर सेल्फ-डिस्टिलेशन (ATESD) को प्रस्तुत करता है, जो एक नवीन विधि है जो गतिशील रूप से यह सीखना सीखती है कि ऑन-पॉलिसी प्रशिक्षण के दौरान एक शिक्षक मॉडल छात्र को कितनी विशेषाधिकार प्राप्त तर्क (privileged reasoning) प्रकट करता है, जिससे एक्सपोज़र मिसमैच (exposure mismatch) का समाधान होता है और चुनौतीपूर्ण गणितीय तर्क बेंचमार्क पर मौजूदा सेल्फ-डिस्टिलेशन और आरएल (RL) बेसलाइन की तुलना में काफी बेहतर प्रदर्शन होता है।