Scaling Laws for Task-Specific LLM Distillation
यह शोध पत्र मात्रात्मक वित्त (क्वांटिटेटिव फाइनेंस) में डोमेन-विशिष्ट LLM डिस्टिलेशन के लिए अनुभवजन्य स्केलिंग लॉ (एम्पिरिकल स्केलिंग लॉ) स्थापित करता है, जो यह प्रदर्शित करता है कि जबकि संपीड़न (कंप्रेशन) अनुमानित रूप से इन-डोमेन प्रदर्शन को कम करता है, चेन-ऑफ-थॉट सुपरविजन उस सामान्य ज्ञान को प्रभावी ढंग से पुन: प्राप्त करता है जो संरचनात्मक छंटाई (स्ट्रक्चरल प्रूनिंग) के तहत अन्यथा समाप्त हो जाता।