Strong Teacher Not Needed? On Distillation in LLM Pretraining
यह शोध पत्र इस पारंपरिक धारणा को चुनौती देता है कि प्रभावी ज्ञान आसवन (नॉलेज डिस्टिलेशन) के लिए लार्ज लैंग्वेज मॉडल प्रीट्रेनिंग हेतु एक सशक्त शिक्षक की आवश्यकता होती है, यह प्रदर्शित करते हुए कि यदि लॉस फंक्शन को उचित रूप से मिश्रित किया जाए तो छोटे या कम प्रशिक्षित शिक्षक भी बड़े छात्रों में सुधार कर सकते हैं, जबकि अधिक शक्तिशाली शिक्षक हमेशा बेहतर परिणाम नहीं देते हैं।