Tuning Language Models by Mixture-of-Depths Ensemble
यह शोध पत्र Mixture-of-Depths Ensemble (MoDE) प्रस्तुत करता है, जो एक ट्यूनिंग फ्रेमवर्क है जो तर्क करने की क्षमता (reasoning performance) में सुधार करने के लिए सीखे गए रूटिंग वेट्स के साथ लेट-लेयर रिप्रेजेंटेशन्स के एक एनसेम्बल का लाभ उठाता है और यह प्रदर्शित करता है कि ये इंटरमीडिएट लेयर्स बड़े ट्रेन करने योग्य मॉड्यूल्स का प्रभावी ढंग से विकल्प बन सकती हैं।