Evaluating the Impact of Tokenization Schemes on the Performance of Chemical Language Models
Questo studio presenta la prima valutazione sistematica di nove strategie di tokenizzazione SMILES attraverso tre scale di modelli, rivelando che mentre i tokenizer basati su regole eccellono nella validità generativa, gli approcci basati sul corpus e ibridi superano le prestazioni nella predizione delle proprietà a valle, raccomandando in definitiva una strategia ibrida per modelli di linguaggio chimico generalizzabili.