🤖 machine learning

FastOmniTMAE: Parallel Clause Learning for Scalable and Hardware-Efficient Tsetlin Embeddings

यह शोध पत्र FastOmniTMAE प्रस्तुत करता है, जो Omni TM-AE का एक समानांतर (parallelized) और हार्डवेयर-त्वरित (hardware-accelerated) पुनर्गठन है, जो एम्बेडिंग गुणवत्ता को बनाए रखते हुए प्रशिक्षण को 5 $\times$ तक तेज़ बनाता है और संसाधन-बाधित SoC-FPGA प्लेटफॉर्म पर कुशल परिनियोजन (deployment) को सक्षम बनाता है।

मूल लेखक: Ahmed K. Kadhim, Lei Jiao, Rishad Shafik, Ole-Christoffer Granmo, Mayur Kishor Shende

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ahmed K. Kadhim, Lei Jiao, Rishad Shafik, Ole-Christoffer Granmo, Mayur Kishor Shende

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ FastOmniTMAE पेपर का विवरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के माध्यम से समझाया गया है।

बड़ी तस्वीर: एक रोबोट को शब्द समझना सिखाना

कल्पना कीजिए कि आप एक रोबोट को मानव भाषा समझना सिखाने की कोशिश कर रहे हैं। अधिकांश आधुनिक रोबोट (जैसे कि ChatGPT के पीछे वाले) "डीप लर्निंग" (Deep Learning) का उपयोग करते हैं। इसे एक विशाल, काले डिब्बे (black box) के रूप में सोचें जो लाखों छोटे, धुंधले कनेक्शनों से बना है। यह अविश्वसनीय रूप से अच्छा काम करता है, लेकिन यह देखना कठिन है कि इसने कोई निर्णय क्यों लिया। यह एक ऐसे शेफ की तरह है जो बेहतरीन सूप तो बनाता है, लेकिन आपको उसकी रेसिपी नहीं बताता।

यह पेपर एक अलग दृष्टिकोण पेश करता है जिसे Tsetlin Machine (TM) कहा जाता है। धुंधले कनेक्शनों के बजाय, यह मशीन सरल तर्क (logic) (जैसे कि "यदि A और B, तो C") का उपयोग करती है। यह पारदर्शी है; आप इसके अंदर देख सकते हैं और देख सकते हैं कि इसने वास्तव में कौन से नियम सीखे हैं।

हालाँकि, एक समस्या थी: इस तर्क-आधारित मशीन का पिछला संस्करण (जिसे Omni TM-AE कहा जाता था) प्रशिक्षण (training) के दौरान अविश्वसनीय रूप से धीमा था। यह एक कक्षा के छात्रों को एक-एक करके पढ़ाने जैसा था, जहाँ शिक्षक को अगले पाठ पर जाने से पहले हर एक छात्र के हाथ उठाने का इंतज़ार करना पड़ता था।

लेखकों ने एक नया संस्करण बनाया जिसे FastOmniTMAE कहा जाता है। उन्होंने इसे समानांतर (parallel) रूप से सीखने की अनुमति देकर तेज़ बनाया, और इसे और भी तेज़ बनाने के लिए एक विशेष "हार्डवेयर क्लासरूम" (एक चिप जिसे FPGA कहा जाता है) बनाया।

1. समस्या: "प्रतीक्षा पंक्ति" (Waiting Line) की बाधा

पुराने सिस्टम (Omni TM-AE) में, प्रशिक्षण प्रक्रिया का एक सख्त नियम था: सभी को सभी का इंतज़ार करना होगा।

उदाहरण: कल्पना कीजिए कि जासूसों का एक समूह एक रहस्य सुलझाने की कोशिश कर रहा है। पुराने सिस्टम में, जासूस A तब तक अपना सुराग नहीं लिख सकता जब तक कि जासूस B, C और D अपने सुराग पूरे न कर लें और उन्हें एक केंद्रीय प्रबंधक (central manager) को न सौंप दें। प्रबंधक फिर यह तय करने के लिए एक "स्कोर" की गणना करता है कि किसे अपने नोट्स अपडेट करने का मौका मिलेगा।
परिणाम: इस "केंद्रीय प्रबंधक" वाले चरण ने एक बड़ा ट्रैफिक जाम पैदा कर दिया। जितने अधिक जासूस (clauses) होते, उतना ही लंबा इंतज़ार करना पड़ता। इससे ट्रेनिंग में दिनों या महीनों का समय लग जाता था।

2. समाधान: "फास्ट ट्रैक" (समानांतर सीखना)

लेखकों ने महसूस किया कि जासूसों को सच जानने के लिए "केंद्रीय प्रबंधक" की वास्तव में आवश्यकता नहीं थी। उन्होंने प्रक्रिया को इस तरह से पुनर्गठित किया कि प्रत्येक जासूस स्वतंत्र रूप से काम कर सके।

उदाहरण: नए FastOmniTMAE सिस्टम में, जासूसों को मीटिंग का इंतज़ार नहीं करना पड़ता। जैसे ही जासूस A को एक सुराग मिलता है, वह तुरंत अपने नोट्स अपडेट कर देता है। उसे समूह के स्कोर का इंतज़ार करने की ज़रूरत नहीं होती।
परिणाम: यह एक कतार वाली लाइन को एक चौड़े हाईवे में बदल देता है। पेपर का दावा है कि यह मानक कंप्यूटरों पर प्रशिक्षण को 5 गुना तेज़ बनाता है, जबकि यह धीमे संस्करण की तरह ही भाषा को उतनी ही अच्छी तरह सीखता है।

3. हार्डवेयर ट्विस्ट: ग्राफिक्स कार्ड (GPUs) क्यों विफल हुए

आमतौर पर, जब लोग AI को तेज़ बनाना चाहते हैं, तो वे शक्तिशाली ग्राफिक्स कार्ड (GPUs) का उपयोग करते हैं, जैसे कि गेमिंग कंप्यूटर या सुपरकंप्यूटर में। ये जटिल गणित (जैसे बड़ी संख्याओं की सूचियों को गुणा करना) करने में अद्भुत हैं।

उदाहरण: एक GPU को एक फॉर्मूला 1 रेस कार के रूप में सोचें। यह गति और तेज़ मोड़ों के लिए बनी है (जटिल गणित)। लेकिन Tsetlin Machine एक साइकिल की तरह है। इसे रेस कार की ज़रूरत नहीं है; इसे बस कुशलता से पैडल मारने की ज़रूरत है।
समस्या: जब आप एक साइकिल को फॉर्मूला 1 ट्रैक पर रखते हैं, तो साइकिल तेज़ नहीं होती; बल्कि वह रेस कार के डिज़ाइन में बाधा डालती है। पेपर में पाया गया कि इस विशिष्ट तर्क-आधारित प्रशिक्षण के लिए GPUs वास्तव में धीमे थे क्योंकि वे सरल "हाँ/ना" तर्क के लिए ज़रूरत से ज़्यादा जटिल (over-engineered) हैं।
सुधार: लेखकों ने FPGA हार्डवेयर (एक प्रकार की चिप जिसे आप प्रोग्राम कर सकते हैं) का उपयोग करके एक समर्पित "साइकिल लेन" बनाई। यह एक समर्पित पथ बनाने जैसा है जो विशेष रूप से साइकिल के लिए है। यह बहुत कम बिजली और जगह का उपयोग करता है लेकिन लॉजिक कार्यों को अविश्वसनीय रूप से तेज़ी से चलाता है।

4. परिणाम: गति और बुद्धिमत्ता

लेखकों ने अपने नए सिस्टम का परीक्षण पुराने सिस्टम और अन्य प्रसिद्ध भाषा मॉडलों (जैसे Word2Vec और BERT) के विरुद्ध तीन मुख्य परीक्षणों का उपयोग करके किया:

वर्गीकरण (Classification - छाँटना): क्या मॉडल बता सकता है कि वाक्य "खेल" के बारे में है या "राजनीति" के बारे में?
- परिणाम: FastOmniTMAE 5 गुना तेज़ था और वास्तव में पुराने संस्करण की तुलना में बेहतर स्कोर प्राप्त किया।
समानता (Similarity - मिलान): क्या मॉडल जान सकता है कि "कार" और "वाहन" समान हैं?
- परिणाम: इसने उद्योग के शीर्ष मॉडलों के समान ही मानवीय धारणाओं से मिलान किया, लेकिन यह बहुत तेज़ी से सीखा।
क्लस्टरिंग (Clustering - समूह बनाना): यदि आप शब्दों का एक समूह किसी मानचित्र पर डालते हैं, तो क्या "जानवर" एक साथ आते हैं और "औज़ार" एक साथ आते हैं?
- परिणाम: हाँ। विज़ुअल मैप्स ने दिखाया कि मॉडल शब्दों के अर्थ को स्पष्ट रूप से समझता है।

5. हार्डवेयर चैंपियन

पेपर में विभिन्न भौतिक चिप्स पर मॉडल का परीक्षण भी किया गया:

मानक कंप्यूटर (CPUs): अच्छे हैं, लेकिन सबसे तेज़ नहीं हैं।
गेमिंग कार्ड (GPUs): इस विशिष्ट कार्य के लिए आश्चर्यजनक रूप से धीमे।
कस्टम चिप्स (FPGAs): विजेता।
- एक छोटे, कम शक्ति वाले चिप (Zybo बोर्ड) पर, यह कंप्यूटर CPU की तुलना में 5.5 गुना तेज़ था।
- एक शक्तिशाली चिप (ZCU104) पर, यह 7 गुना तेज़ था।
- महत्वपूर्ण बात यह है कि इसने यह सब बहुत कम बिजली और स्थान का उपयोग करते हुए किया, जिससे साबित होता है कि इन तर्क-आधारित मॉडलों को प्रशिक्षित करने के लिए आपको विशाल सुपरकंप्यूटर की आवश्यकता नहीं है।

सारांश

यह पेपर FastOmniTMAE प्रस्तुत करता है, जो जटिल गणित के बजाय सरल तर्क का उपयोग करके मशीनों को भाषा समझाना सिखाने का एक स्मार्ट और तेज़ तरीका है।

उन्होंने क्या बदला: उन्होंने प्रशिक्षण प्रक्रिया में "प्रतीक्षा पंक्ति" को हटा दिया ताकि सब कुछ एक साथ हो सके।
उन्होंने क्या पाया: मानक सुपर-फास्ट कंप्यूटर (GPUs) इस काम के लिए गलत उपकरण हैं।
जीत: कस्टम, पुन: प्रोग्राम करने योग्य चिप्स (FPGAs) का उपयोग करके, उन्होंने एक ऐसा सिस्टम बनाया जो पहले की तुलना में 5 से 7 गुना तेज़ है, बहुत कम बिजली का उपयोग करता है, और फिर भी भाषा को पूरी तरह से समझता है।

तकनीकी सारांश: FastOmniTMAE

समस्या विवरण

यद्यपि BERT जैसे डीप लर्निंग आर्किटेक्चर नेचुरल लैंग्वेज प्रोसेसिंग (NLP) एम्बेडिंग कार्यों में दबदबा रखते हैं, वे अपारदर्शिता और उच्च कम्प्यूटेशनल लागत से ग्रस्त हैं। इसके विपरीत, टसेटलिन मशीन (Tsetlin Machine - TM) एक पारदर्शी, तर्क-आधारित विकल्प प्रदान करती है जो अंतर्निहित व्याख्यात्मकता (interpretability) रखती है। हालाँकि, मौजूदा TM-आधारित एम्बेडिंग मॉडल, विशेष रूप से ओम्नी टसेटलिन मशीन ऑटोएन्कोडर (Omni TM-AE), प्रशिक्षण दक्षता में महत्वपूर्ण बाधाओं का सामना करते हैं।

पहचाने गए प्राथमिक सीमाएँ मूल Omni TM-AE में निम्नलिखित हैं:

क्रमिक प्रशिक्षण निर्भरता (Sequential Training Dependencies): प्रशिक्षण प्रक्रिया एक वैश्विक class_sum गणना पर निर्भर करती है। किसी भी क्लॉज (clause) को अपडेट करने से पहले, भारित योग (weighted sum) की गणना करने के लिए सभी क्लॉज का मूल्यांकन किया जाना चाहिए, जो एक सिंक्रोनाइज़ेशन बाधा उत्पन्न करता है जो समानांतर निष्पादन (parallel execution) को रोकता है।
हार्डवेयर बेमेल (Hardware Mismatch): TM संचालन फ्लोटिंग-पॉइंट अंकगणित के बजाय सरल तार्किक ऑपरेशन्स (AND, OR, NOT, XOR) पर अत्यधिक निर्भर करते हैं। यह आधुनिक GPUs (जैसे, NVIDIA H100) पर TM प्रशिक्षण को अक्षम बनाता है, जो घने फ्लोटिंग-पॉइंट गणनाओं (FMA) के लिए अनुकूलित हैं और जहाँ महत्वपूर्ण हार्डवेयर संसाधन कम उपयोग किए जाते हैं।
प्रशिक्षण अवधि: बड़े डेटासेट के लिए मूल प्रशिक्षण समय कई दिनों या महीनों तक बढ़ सकता है, जो व्यावहारिक अनुप्रयोग को सीमित करता है।

कार्यप्रणाली (Methodology)

लेखक FastOmniTMAE का प्रस्ताव करते हैं, जो Omni TM-AE का एक पुनर्गठन है जिसे मूल्यांकन और अपडेट प्रक्रियाओं को अलग करने के लिए डिज़ाइन किया गया है, जिससे समानांतर निष्पादन सक्षम होता है।

एल्गोरिद्मिक पुनर्गठन

वैश्विक निर्भरता को हटाना: लेखकों ने class_sum तंत्र का विश्लेषण किया और निर्धारित किया कि जबकि यह छोटे पैमाने के अनुप्रयोगों में अभिसरण (convergence) को निर्देशित करता है, यह बड़े पैमाने के NLP कार्यों में उच्च-गुणवत्ता वाले एम्बेडिंग प्राप्त करने के लिए सख्ती से आवश्यक नहीं है। उन्होंने पाया कि एम्बेडिंग की गुणवत्ता विशिष्ट अभिसरण व्यवहारों के बजाय डेटा की समृद्धि (data richness) के साथ अधिक मजबूती से सह-संबंधित है।
दो-चरणीय समानांतर प्रक्रिया: FastOmniTMAE क्रमिक निर्भरता को एक दो-चरणीय प्रक्रिया से बदल देता है:
1. मूल्यांकन (Evaluation): क्लॉज इनपुट उदाहरणों का स्वतंत्र रूप से मूल्यांकन करते हैं।
2. अपडेट (Update): अपडेट संभावनाओं की गणना वैश्विक योग के बजाय व्यक्तिगत क्लॉज परिणामों के आधार पर स्थानीय रूप से की जाती है।
अभिसरण रणनीति: class_sum के माध्यम से अपडेट दरों को कम करने पर निर्भर रहने के बजाय, मॉडल पर्याप्त संख्या में इपोक (epochs) के लिए प्रशिक्षित होता है। लेखक नोट करते हैं कि हालांकि ऑटोमेटन स्पेस में स्टेट वितरण प्रशिक्षण के दौरान बदल जाता है, लेकिन इन वितरणों और एम्बेडिंग गुणवत्ता के बीच सीधा संबंध अभी तक स्थापित नहीं हुआ है, जो यह सुझाव देता है कि फिक्स्ड इपोक ट्रेनिंग वर्तमान में एक अधिक विश्वसनीय स्टॉपिंग क्राइटेरिया है।

हार्डवेयर कार्यान्वयन

TM को GPU पर अक्षम बनाने के समाधान के रूप में, लेखकों ने FastOmniTMAE को SoC-FPGA प्लेटफॉर्म्स (विशेष रूप से Zynq-7000 और Zynq UltraScale+ MPSoC) पर एक पुन: प्रयोज्य इंटेलेक्चुअल प्रॉपर्टी (IP) कोर के रूप में लागू किया है।

आर्किटेक्चर: यह डिज़ाइन होस्ट कंट्रोल के लिए एक प्रोसेसिंग सिस्टम (PS) और एक्सेलेरेटर के लिए एक प्रोग्रामेबल लॉजिक (PL) अनुभाग का उपयोग करता है।
संचार: यह कंट्रोल सिग्नल्स के लिए AXI-Lite और DDR मेमोरी तथा ऑन-चिप बफर्स (BRAM/URAM) के बीच हाई-थ्रूपुट डेटा मूवमेंट के लिए AXI-MM का उपयोग करता है।
लॉजिक: एक्सेलेरेटर सीधे हार्डवेयर लॉजिक गेट्स का उपयोग करके तार्किक संचालन निष्पादित करता है, जो फ्लोटिंग-पॉइंट यूनिट्स को बायपास करता है जो GPU आर्किटेक्चर पर हावी होते हैं। यह दृष्टिकोण बिजली की खपत और विलंबता (latency) को कम करता है जबकि कई ट्रेनिंग इंजनों के माध्यम से समानांतरता को अधिकतम करता है।

मुख्य योगदान

FastOmniTMAE आर्किटेक्चर: एक नया मॉडल जो वैश्विक सिंक्रोनाइज़ेशन बाधाओं को हटाकर प्रशिक्षण गति में सुधार करता है और Omni TM-AE के समान एम्बेडिंग गुणवत्ता बनाए रखता है।
सिंगल-रन मल्टी-एनवायरनमेंट बेंचमार्क: वर्गीकरण (classification), सिमेंटिक समानता (semantic similarity), और क्लस्टरिंग कार्यों में एम्बेडिंग गुणवत्ता का मूल्यांकन करने वाला एक समर्पित बेंचमार्क सूट।
हार्डवेयर दक्षता विश्लेषण: एक व्यापक विश्लेषण जो आर्किटेक्चरल बेमेल और लॉजिक-आधारित हार्डवेयर की श्रेष्ठ दक्षता के कारण GPU-आधारित TM प्रशिक्षण की अक्षमता को सिद्ध करता है।
प्रथम पूर्ण-स्तरीय FPGA प्रशिक्षण: NLP के लिए FPGA हार्डवेयर पर पूर्ण-स्तरीय TM-आधारित एम्बेडिंग मॉडल प्रशिक्षण का पहला कार्यान्वयन।
मल्टी-हार्डवेयर बेंचमार्क: प्रदर्शन और स्केलेबिलिटी को मान्य करने के लिए CPU, GPU, और SoC-FPGA प्लेटफॉर्म्स के बीच एक तुलनात्मक अध्ययन।

परिणाम

सॉफ्टवेयर प्रदर्शन (सिंगल-रन मल्टी-एनवायरनमेंट बेंचमार्क)

NVIDIA DGX H100 सर्वर पर मूल्यांकन किया गया:

प्रशिक्षण गति: FastOmniTMAE ने वर्गीकरण कार्यों में Omni TM-AE की तुलना में 5× स्पीडअप प्राप्त किया (100 इपोक के लिए 310 सेकंड बनाम 1709 सेकंड)।
वर्गीकरण (Classification): FastOmniTMAE ने 0.6 से ऊपर स्थिर F1-स्कोर बनाए रखा, जबकि Omni TM-AE ने 0.56 तक क्रमिक गिरावट दिखाई, जिसका कारण class_sum तंत्र की प्रतिबंधात्मक अपडेट दर है।
सिमेंटिक समानता (Semantic Similarity): RG65, MTurk, WordSim353, और MEN डेटासेट पर, FastOmniTMAE ने Omni TM-AE, Word2Vec, GloVe, और FastText के बराबर या बेहतर परिणाम प्राप्त किए।
- Kendall Correlation: FastOmniTMAE (CPU) ने उच्चतम औसत स्कोर ( $\tau = 0.392$ ) प्राप्त किया।
- Spearman Correlation: FastOmniTMAE (CPU) ने $\rho = 0.537$ प्राप्त किया, जो FastText ( $\rho = 0.550$ ) से थोड़ा पीछे है लेकिन Omni TM-AE ( $\rho = 0.543$ ) से बेहतर है।
GPU प्रदर्शन: CUDA के माध्यम से NVIDIA H100 पर प्रशिक्षण CPU कार्यान्वयन की गति का 0.18× था, जो TM लॉजिक के साथ आर्किटेक्चरल बेमेल की पुष्टि करता है।

हार्डवेयर प्रदर्शन (मल्टी-हार्डवेयर बेंचमार्क)

RG65 44-टोकन वर्कलोड पर मूल्यांकन किया गया:

FPGA दक्षता: ZCU104 SoC-FPGA बोर्ड (12 पैरेलल इंजन) ने अपने स्थानीय ARM CPU के मुकाबले 7.08× स्पीडअप हासिल किया, जिसमें प्रशिक्षण का समय 119.9 सेकंड रहा।
हार्डवेयर पर एम्बेडिंग गुणवत्ता: ZCU104 FPGA ने 0.696 का Spearman कोरिलेशन प्राप्त किया, जो CPU बेसलाइन (0.680) से बेहतर है। संसाधन-सीमित Zybo बोर्ड (2 इंजन) ने 0.669 प्राप्त किया, जो स्केलेबिलिटी को प्रदर्शित करता है।
CPU बनाम GPU: इंटीग्रेटेड Intel GPU और NVIDIA H100 GPU ने अपने संबंधित CPU समकक्षों की तुलना में काफी खराब प्रदर्शन किया (क्रमशः 0.22× और 0.18× स्पीडअप), जो समर्पित लॉजिक-आधारित हार्डवेयर की आवश्यकता को पुष्ट करता है।

महत्व और दावे

यह पेपर दावा करता है कि FastOmniTMAE ने गुणवत्ता से समझौता किए बिना लॉजिक-आधारित एम्बेडिंग मॉडल की प्रशिक्षण दक्षता की बाधा को सफलतापूर्वक हल कर दिया है। मूल्यांकन और अपडेट को अलग करके, यह मॉडल समानांतर प्रसंस्करण को सक्षम करता है जो हार्डवेयर त्वरण (hardware acceleration) के लिए स्वाभाविक रूप से उपयुक्त है।

लेखक इस बात पर जोर देते हैं कि SoC-FPGA कार्यान्वयन विशेष रूप से महत्वपूर्ण है, क्योंकि यह प्रदर्शित करता है कि TM-आधारित एम्बेडिंग प्रशिक्षण को कम कम्प्यूटेशनल फुटप्रिंट के साथ संसाधन-सीमित हार्डवेयर पर कुशलतापूर्वक किया जा सकता है। यह एज एनवायरनमेंट्स (edge environments) में पारदर्शी, व्याख्यात्मक AI मॉडल को तैनात करने की क्षमता को मान्य करता है जहाँ डीप लर्निंग मॉडल अक्सर बहुत बड़े या अत्यधिक ऊर्जा खपत वाले होते हैं। यह कार्य स्थापित करता है कि लॉजिक-आधारित लर्निंग के लिए, फ्लोटिंग-पॉइंट अंकगणित के लिए डिज़ाइन किए गए सामान्य-उद्देश्यीय एक्सेलेरेटर्स (GPUs) की तुलना में समर्पित हार्डवेयर (FPGA) श्रेष्ठ है।