On the Value of Tokeniser Pretraining in Physics Foundation Models
Dit onderzoek toont aan dat het vooraf trainen van een tokeniser met een auto-encoding-doelstelling de rekenefficiëntie en nauwkeurigheid van fysische foundation-modellen aanzienlijk verbetert, vooral wanneer de vooraftraining op hetzelfde fysische systeem als de downstream-taak wordt uitgevoerd.