On the Value of Tokeniser Pretraining in Physics Foundation Models
Lo studio dimostra che il preaddestramento del tokenizzatore su un sistema fisico specifico migliora significativamente l'efficienza e l'accuratezza dei modelli fondazione per la fisica, riducendo l'errore di 64% rispetto all'addestramento da zero e introducendo nuove operazioni di compressione spaziotemporale adattabili.