Mashup Learning: Faster Finetuning by Remixing Past Checkpoints
Dit paper introduceert Mashup Learning, een methode die door het samenvoegen van de meest relevante historische checkpoints een betere startpositie biedt voor het finetunen van taalmodellen, wat leidt tot hogere nauwkeurigheid en aanzienlijk snellere convergentie vergeleken met training vanaf nul.