Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES
यह अध्ययन प्रदर्शित करता है कि बाइट-पेयर एनकोडिंग (BPE) और यूनिग्राम-LM रासायनिक SMILES के लिए मौलिक रूप से भिन्न और लगभग विलग (near-disjoint) सबवर्ड वोकैबुलरी (subword vocabularies) उत्पन्न करते हैं, जो यह दर्शाता है कि टोकेनाइजेशन एल्गोरिदम का चयन एक महत्वपूर्ण मॉडलिंग निर्णय है न कि एक तटस्थ डिफ़ॉल्ट।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) का विवरण दिया गया है।
मुख्य प्रश्न: हम कंप्यूटर को रासायनिक सूत्र (Chemical Formulas) पढ़ना कैसे सिखाएं?
कल्पना कीजिए कि आप एक कंप्यूटर को रसायन विज्ञान की भाषा समझने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। रसायन शास्त्री अणुओं (molecules) को SMILES नामक एक कोड का उपयोग करके लिखते हैं (जो अक्षरों और प्रतीकों की एक स्ट्रिंग होती है जैसे CC(=O)Oc1ccccc1)।
इससे पहले कि कंप्यूटर कुछ भी सीख सके, उसे एक टोकनाइज़र (tokenizer) की आवश्यकता होती है। टोकनाइज़र को एक अनुवादक के रूप में समझें जो एक लंबे वाक्य को छोटे, प्रबंधनीय टुकड़ों (शब्दों या उप-शब्दों) में तोड़ देता है ताकि कंप्यूटर उसे समझ सके।
वर्षों से, रसायन विज्ञान के क्षेत्र ने नेचुरल लैंग्वेज प्रोसेसिंग (जैसे कि कंप्यूटर अंग्रेजी कैसे पढ़ता है) से एक विधि को बिना सोचे-समझे कॉपी किया है जिसे BPE (Byte-Pair Encoding) कहा जाता है। इस शोध पत्र के शोधकर्ताओं ने एक सरल प्रश्न पूछा: "क्या रासायनिक सूत्रों को काटने का यह सबसे अच्छा तरीका है, या कोई बेहतर तरीका मौजूद है?"
उन्होंने मानक विधि (BPE) की तुलना Unigram-LM नामक एक अलग विधि से की।
प्रयोग: दो अलग-अलग कैंची
कल्पना कीजिए कि आपके पास अलग-अलग रंगों के मोतियों से बना एक लंबा, जटिल हार (रासायनिक सूत्र) है। आपको इस हार को अध्ययन करने के लिए छोटे टुकड़ों में काटने की आवश्यकता है। आपके पास दो अलग-अलग प्रकार की कैंची हैं:
- लालची कैंची (Bode/BPE): ये कैंची उन दो मोतियों को खोजती हैं जो पूरे हारों के ढेर में एक-दूसरे के बगल में सबसे अधिक बार दिखाई देते हैं। वे उन दोनों को एक "सुपर-मोती" के रूप में एक साथ जोड़ देती हैं और इस प्रक्रिया को दोहराती हैं। वे आक्रामक और लालची हैं, जो बार-बार आने वाले पैटर्न से बड़े टुकड़े बनाने की कोशिश करती हैं।
- संभाव्यता वाली कैंची (Probabilistic Scissors/Unigram-LM): ये कैंची मोतियों के एक विशाल ढेर से शुरू होती हैं और पूछती हैं, "यदि मैं इस विशिष्ट मोती को हटा दूँ, तो इससे समग्र चित्र को कितना नुकसान होगा?" वे सावधानीपूर्वक उन हिस्सों को काट देती हैं जो आवश्यक नहीं हैं, जिससे वे एक अधिक सूक्ष्म और विस्तृत दृश्य बनाए रखती हैं।
चौंकाने वाली खोज: वे सहमत नहीं हैं
शोधकर्ताओं को उम्मीद थी कि चूंकि रासायनिक सूत्र बहुत सख्त होते हैं (परमाणुओं को विशिष्ट तरीकों से जुड़ना ही होता है), इसलिए दोनों कैंची लगभग एक ही जगह पर कट लगाएंगी। उन्हें लगा कि "रसायन विज्ञान के नियम" दोनों विधियों को एक जैसा बना देंगे।
वे गलत थे।
यहाँ तक कि जब उन्होंने बिल्कुल एक ही रासायनिक डेटा, एक ही शुरुआती नियम और एक ही शब्दावली आकार का उपयोग किया, तब भी दोनों विधियों ने बिल्कुल अलग "शब्दों" के सेट बनाए।
- ओवरलैप बहुत कम है: यदि आप BPE द्वारा बनाए गए "सुपर-मोतियों" की सूची को Unigram-LM द्वारा बनाई गई सूची से तुलना करें, तो उनमें लगभग कुछ भी समान नहीं था। सबसे खराब स्थिति में, उनके बीच 16% से भी कम समानता थी। सबसे अच्छी स्थिति में (सबसे महत्वपूर्ण, उच्च-आवृत्ति वाले टुकड़ों को देखते हुए), उनके बीच 5% से भी कम समानता थी।
- "कट" की गहराई: दोनों विधियाँ इस बात पर सहमत थीं कि कहाँ कट लगाना है (अणु का ढांचा), लेकिन वे इस बात पर असहमत थीं कि कट कितना गहरा हो।
- BPE बड़े (coarser) कट लगाने की प्रवृत्ति रखता था। यह परमाणुओं के पूरे छल्लों (rings) को एक बड़े टोकन में जोड़ देता था।
- Unigram-LM बारीक (finer) कट लगाता था। इसने छल्लों को छोटे, परमाणु-स्तर के टुकड़ों में विभाजित रखा।
- परिणाम: Unigram-LM ने उसी अणु का वर्णन करने के लिए BPE की तुलना में 29% से 41% अधिक टोकन (टुकड़े) का उपयोग किया।
एक दृश्य उपमा: मानचित्र बनाम स्ट्रीट व्यू
कल्पना कीजिए कि आप एक शहर के मानचित्र को देख रहे हैं।
- BPE एक ऐसे मानचित्र की तरह है जो पूरे मोहल्लों को एकल ब्लॉकों के रूप में समूहित करता है। यह कहता है, "यह पूरा क्षेत्र 'डाउनटाउन' है।" यह कुशल है और कम शब्दों का उपयोग करता है।
- Unigram-LM एक 'स्ट्रीट व्यू' की तरह है जो हर इमारत और सड़क के कोने को सूचीबद्ध करता है। यह कहता है, "यहाँ एक बेकरी है, यहाँ एक पार्क है, यहाँ एक घर है।" यह कई अधिक शब्दों का उपयोग करता है लेकिन एक अधिक विस्तृत विवरण देता है।
शोध पत्र ने पाया कि ये दोनों मानचित्र एक-दूसरे के विकल्प नहीं हैं। यदि आप एक से दूसरे पर स्विच करते हैं, तो कंप्यूटर डेटा की एक मौलिक रूप से भिन्न संरचना देखता है।
सरल अंग्रेजी में मुख्य निष्कर्ष
- यह एक डिज़ाइन विकल्प है, डिफ़ॉल्ट नहीं: यह क्षेत्र डिफ़ॉल्ट रूप से BPE का उपयोग कर रहा है क्योंकि यह नेचुरल लैंग्वेज मॉडल में उपयोग किया जाता है। यह शोध पत्र सिद्ध करता है कि रसायन विज्ञान में, आप उस विकल्प को केवल कॉपी-पेस्ट नहीं कर सकते। आपको यह सक्रिय रूप से तय करना होगा कि कौन सी "कैंची" का उपयोग करना है क्योंकि वे अलग-अलग परिणाम देती हैं।
- अंतर स्थिर है: यह असहमति संयोगवश नहीं हुई। यह विभिन्न प्रकार के रसायनों (सामान्य दवाओं, दुर्लभ प्राकृतिक उत्पादों और विविध अणुओं) में और जटिल परमाणुओं को संभालने के नियमों को बदलने पर भी बनी रही।
- पैमाना (Scale) इसे ठीक नहीं करता: आमतौर पर, यदि आप कंप्यूटर को अधिक डेटा या बड़ी शब्दावली देते हैं, तो चीजें सुधर सकती हैं। शोधकर्ताओं ने शब्दावली को 8 गुना बड़ा करके इसका परीक्षण किया। इसके बावजूद, दोनों विधियाँ सहमत नहीं हुईं। वे अलग बनी रहीं।
- "नेस्टिंग" प्रभाव: भले ही वे अलग-अलग शब्दों का उपयोग करते हैं, वे एक-दूसरे से लड़ते नहीं हैं। Unigram-LM के कट लगभग हमेशा BPE के कटों के "अंदर" होते हैं। यह ऐसा है जैसे BPE कहता है "पूरा पिज्जा काटो," और Unigram-LM कहता है "पिज्जा काटो, फिर उसके स्लाइस भी काटो।" वे अलग स्तरों पर संगत (compatible) हैं।
पाठक के लिए इसका क्या अर्थ है
शोध पत्र यह निष्कर्ष निकालता है कि आप जिस एल्गोरिदम का चयन करते हैं, वह एक प्रमुख मॉडलिंग निर्णय है।
- यदि आप BPE चुनते हैं, तो आपको छोटी अनुक्रम (कम टोकन) मिलती है, जो कंप्यूटर के लिए संसाधित करना सस्ता है, लेकिन आप अणु की संरचना के बारे में कुछ सूक्ष्म विवरण खो देते हैं।
- यदि आप Unigram-LM चुनते हैं, तो आपको अणु का अधिक विस्तृत, सूक्ष्म दृश्य मिलता है, लेकिन इसके लिए कंप्यूटर को अधिक टोकन संसाधित करने की आवश्यकता होती है।
लेखकों ने यह परीक्षण नहीं किया कि इनमें से कौन सा विकल्प कंप्यूटर को रासायनिक प्रतिक्रियाओं या दवा के गुणों की भविष्यवाणी करने में अधिक स्मार्ट बनाता है। उन्होंने केवल यह सिद्ध किया कि ये दो विधियाँ अलग भाषाएँ बनाती हैं। इसलिए, रसायन विज्ञान समुदाय अब यह मानकर नहीं चल सकता कि वे समान हैं; उन्हें अपनी "कैंची" सावधानी से चुननी होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।