Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES
यह अध्ययन प्रदर्शित करता है कि बाइट-पेयर एनकोडिंग (BPE) और यूनिग्राम-LM रासायनिक SMILES के लिए मौलिक रूप से भिन्न और लगभग विलग (near-disjoint) सबवर्ड वोकैबुलरी (subword vocabularies) उत्पन्न करते हैं, जो यह दर्शाता है कि टोकेनाइजेशन एल्गोरिदम का चयन एक महत्वपूर्ण मॉडलिंग निर्णय है न कि एक तटस्थ डिफ़ॉल्ट।