Evaluating the Impact of Tokenization Schemes on the Performance of Chemical Language Models
본 연구는 세 가지 모델 규모에 걸쳐 9가지 SMILES 토큰화 전략을 체계적으로 평가한 첫 사례를 제시하며, 규칙 기반 토크나이저가 생성적 유효성 측면에서 뛰어나지만 코퍼스 기반 및 하이브리드 접근 방식이 다운스트림 물성 예측에서 더 우수한 성능을 보임을 밝힘으로써, 궁극적으로 일반화 가능한 화학 언어 모델을 위한 하이브리드 전략을 권장한다.