Evaluating the Impact of Tokenization Schemes on the Performance of Chemical Language Models
Diese Studie präsentiert die erste systematische Evaluierung von neun SMILES-Tokenisierungsstrategien über drei Modellskalen hinweg und zeigt auf, dass regelbasierte Tokenizer zwar in der generativen Validität exzellieren, corpusbasierte und hybride Ansätze jedoch bei der nachgelagerten Eigenschaftsvorhersage übertreffen, wobei letztlich eine hybride Strategie für generalisierbare chemische Sprachmodelle empfohlen wird.