💻 computer science

FTerViT: Fully Ternary Vision Transformer

यह शोध पत्र FTerViT प्रस्तुत करता है, जो एक पूर्ण टेनरियराइज्ड (ternarized) विजन ट्रांसफार्मर है जो महत्वपूर्ण मेमोरी संपीड़न प्राप्त करने और इमेजनेट-1K (ImageNet-1K) की प्रतिस्पर्धी सटीकता बनाए रखते हुए माइक्रोकंट्रोलर्स पर कुशल ऑन-डिवाइस परिनियोजन को सक्षम करने के लिए सभी भारों (weights) और सामान्यीकरण मापदंडों (normalization parameters) को क्वांटाइज़ करता है।

मूल लेखक: Szymon Ruciński, Pietro Bonazzi, Engin Türetken, Simon Narduzzi, Michele Magno, Nadim Maamari

प्रकाशित 2026-05-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Szymon Ruciński, Pietro Bonazzi, Engin Türetken, Simon Narduzzi, Michele Magno, Nadim Maamari

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान, उच्च शिक्षित लाइब्रेरियन (Vision Transformer या ViT) है, जो किसी तस्वीर को देखकर बिल्कुल सटीक बता सकता है कि वह क्या है। यह लाइब्रेरियन अविश्वसनीय रूप से स्मार्ट है, लेकिन उनके दिमाग में किताबों का एक विशाल पुस्तकालय भरा हुआ है। यदि आप इस लाइब्रेरियन को एक बहुत छोटे बैग (एक माइक्रोकंट्रोलर जैसे कि स्मार्टवॉच या सस्ते कैमरे में) में रखने की कोशिश करते हैं, तो बैग फट जाता है क्योंकि किताबें बहुत भारी होती हैं और बहुत अधिक जगह घेरती हैं।

आमतौर पर, इतने छोटे डिवाइस में स्मार्ट AI को फिट करने के लिए, इंजीनियर किताबों को छोटा करने की कोशिश करते हैं। वे टेक्स्ट को एक छोटे कोड में बदल सकते हैं, लेकिन वे अक्सर सबसे महत्वपूर्ण, नाजुक पन्नों (जैसे कि कवर, इंडेक्स और अंतिम सारांश) को उनके मूल, भारी प्रारूप में ही छोड़ देते हैं। यह शोध पत्र तर्क देता है कि यह एक भारी विश्वकोश को केवल उसके बीच के अध्यायों को छोटा करके अपनी जेब में फिट करने की कोशिश करने जैसा है; कवर और इंडेक्स अभी भी बहुत भारी हैं।

FTerViT के लेखकों ने इसे हल करने के लिए यह किया:

1. "तीन-रंगों" वाला शब्दकोश

जटिल संख्याओं (जैसे कि 3.14159...) का उपयोग करके जानकारी संग्रहीत करने के बजाय, लेखकों ने AI को केवल तीन सरल प्रतीकों का उपयोग करने के लिए मजबूर किया: -1, 0, और +1।

इसे ऐसे समझें जैसे कि हर शब्द को लाल, हरे या नीले बिंदु द्वारा बदल दिया गया हो।
इन केवल तीन विकल्पों का उपयोग करके, वे जानकारी को अविश्वसनीय रूप से सघनता से पैक कर सकते हैं। यह एक विशाल मानचित्र को एक छोटे से चौकोर आकार में मोड़ने जैसा है।
वे इसे टेनरी (Ternary) कहते हैं (जिसका अर्थ है "तीन")।

2. "नाजुक" हिस्से

मॉडल को छोटा करने के पिछले प्रयासों ने बीच में ही काम रोक दिया था। उन्होंने मुख्य मस्तिष्क (इन्कोडर) को छोटा किया, लेकिन पैच एम्बेडिंग (कैसे AI छवि की पहली झलक देखता है), लेयरनॉर्म (कैसे AI अपने विचारों को संतुलित करता है), और क्लासिफायर (अंतिम निर्णय लेने वाला) को उनके भारी, पूर्ण आकार के प्रारूप में ही छोड़ दिया।

लेखकों ने महसूस किया कि एक छोटे डिवाइस में, ये "बचे हुए" भारी हिस्से वास्तव में सबसे अधिक जगह घेरते हैं, भले ही उनकी संख्या कम हो।
FTerViT पहली ऐसी तकनीक है जो इन नाजुक हिस्सों सहित सब कुछ सरल -1, 0, +1 प्रारूप में छोटा करती है।

3. "शिक्षक और छात्र" वाली तरकीब

एक विशाल मस्तिष्क को एक छोटे मस्तिष्क में सिकोड़ने से अक्सर वह सोचना भूल जाता है, जिससे वह मूर्खतापूर्ण गलतियाँ करने लगता है। इसे ठीक करने के लिए, लेखों ने नॉलेज डिस्टिलेशन (Knowledge Distillation) नामक तकनीक का उपयोग किया।

कल्पना करें कि एक मास्टर शेफ (मूल, भारी AI) एक जूनियर शेफ (छोटा, सिकुड़ा हुआ AI) को सिखा रहा है।
केवल जूनियर शेफ को यह बताने के बजाय कि "यह एक बिल्ली है," मास्टर शेफ उसे दिखाता है कि वे बिल्ली को कैसे देखते हैं। "कानों को देखो, मूंछों को देखो, उसकी आकृति को देखो।"
जूनियर शेफ मास्टर की विचार प्रक्रिया की नकल करके सीखता है, न कि केवल अंतिम उत्तर से। इसने छोटे AI को अपने सबसे छोटे आकार में सिकुड़ने के बाद भी स्मार्ट बने रहने में मदद की।

4. परिणाम: $10 के कैमरे में एक स्मार्ट AI

लेखकों ने इसका परीक्षण एक बहुत ही सस्ते, सामान्य माइक्रोकंट्रोलर चिप ESP32-S3 (जो लगभग $10 वाले उपकरणों में पाया जाता है) पर किया।

पहले: मूल AI 88.3 MB का था। यह इतना बड़ा था कि चिप में समा ही नहीं सकता था।
बाद में: उनका नया FTerViT मॉडल केवल 5.81 MB का है। यह पूरी तरह से फिट बैठता है।
प्रदर्शन: छोटा होने के बावजूद, यह अभी भी बहुत स्मार्ट है। यह लगभग 79.6% बार छवियों को सही ढंग से पहचानता है। यह AI को छोटा करने के पिछले प्रयासों की तुलना में बहुत बेहतर है, जहाँ प्रदर्शन अक्सर 74% या उससे कम हो जाता था।

5. यह आपकी जेब के लिए क्यों मायने रखता है

यह शोध पत्र दिखाता है कि स्मार्ट विजन चलाने के लिए आपको सुपरकंप्यूटर की आवश्यकता नहीं है। आप इसे 8 MB मेमोरी वाले डिवाइस पर चला सकते हैं (जो एक छोटे टेक्स्ट फ़ाइल के आकार के बराबर है)।

गति: क्योंकि डेटा इतना छोटा है, डिवाइस को जानकारी प्राप्त करने के लिए बहुत अधिक मेहनत नहीं करनी पड़ती। यह तेज़ चलता है और कम बैटरी खर्च करता है।
दक्षता: लेखकों ने एक कस्टम "इंजन" (सॉफ्टवेयर) बनाया है जो इस छोटे AI को पूरी तरह से चिप पर चलाता है, बिना इंटरनेट या क्लाउड सर्वर से जुड़े।

संक्षेप में: यह शोध पत्र सबसे उन्नत इमेज-सीइंग AI मॉडल्स को एक छोटे कंकड़ के आकार तक सिकोड़ने का एक तरीका पेश करता है, जिससे उन्हें उन सस्ते, बैटरी से चलने वाले उपकरणों पर चलाना संभव हो जाता है जो पहले इन्हें संभालने के लिए बहुत कमजोर थे। उन्होंने इसे गणित को केवल तीन संख्याओं तक सरल बनाकर और एक "शिक्षक" का उपयोग करके किया ताकि छोटा मॉडल सही ढंग से सोचना सीख सके।

तकनीकी सारांश: FTerViT: फुली टेनरी विजन ट्रांसफॉर्मर (Fully Ternary Vision Transformer)

समस्या विवरण (Problem Statement)

विज़न ट्रांसफॉर्मर्स (ViTs) शक्तिशाली इमेज क्लासिफायर हैं, लेकिन वे अपने विशाल मेमोरी फुटप्रिंट के कारण माइक्रोकंट्रोलर-श्रेणी के उपकरणों के लिए सामान्यतः अनुपयुक्त हैं। एक मानक कॉम्पैक्ट ViT जैसे कि DeiT-Small को FP32 प्रिसिजन में लगभग 88.3 MB की आवश्यकता होती है, जबकि विशिष्ट माइक्रोकंट्रोलर यूनिट्स (MCUs) में केवल कुछ मेगाबाइट की एक्सटर्नल RAM होती है। यह विसंगति क्लाउड ऑफलोडिंग के बिना एज डिवाइसेस पर 'ऑलवेज-ऑन', लो-पावर विजन अनुप्रयोगों की तैनाती को रोकती है।

जबकि टेनरी क्वांटाइजेशन (वेट्स को $\{-1, 0, +1\}$ तक सीमित करना) FP32 की तुलना में सैद्धांतिक रूप से 16 $\times$ कंप्रेशन प्रदान करता है, मौजूदा अत्याधुनिक (state-of-the-art) विधियाँ केवल ट्रांसफॉर्मर एनकोडर लेयर्स को ही टेनरीकृत करती हैं। वे पैच एम्बेडिंग, लेयरनॉर्म पैरामीटर्स और क्लासिफायर हेड्स को फुल प्रिसिजन (FP32) या लोअर-बिट इंटीजर्स (INT8) में रखती हैं। कॉम्पैक्ट मॉडल्स में, ये शेष फुल-प्रिसिजन घटक मुख्य बाधा बन जाते हैं, जो पैरामीटर्स के एक छोटे से हिस्से का प्रतिनिधित्व करने के बावजूद मॉडल के आकार का 38% तक उपभोग करते हैं। इसके अलावा, इन संवेदनशील घटकों को पूरी तरह से टेनरीकृत करने के पिछले प्रयास (जैसे, TerViT) ने महत्वपूर्ण सटीकता हानि (22.4 प्रतिशत अंक तक) प्रदर्शित की, जिसका मुख्य कारण उन लेयर्स की ज्ञात संवेदनशीलता थी जो पहले और अंतिम लेयर्स से संबंधित हैं।

कार्यप्रणाली (Methodology)

लेखक FTerViT प्रस्तावित करते हैं, जो पहला फुली टेनरीकृत विज़न ट्रांसफॉर्मर है जहाँ सभी वेट मैट्रिसेस और नॉर्मलाइजेशन पैरामीटर्स को $\{-1, 0, +1\}$ तक सीमित किया गया है। यह दृष्टिकोण दो मुख्य स्तंभों पर आधारित है: नवीन टेनरी ऑपरेटर्स और एक विशेष प्रशिक्षण प्रोटोकॉल।

1. टेनरी प्रिमिटिव्स (Ternary Primitives)

FP32 बाधाओं को समाप्त करने के लिए, लेखक मानक घटकों को समर्पित टेनरी मॉड्यूल से बदलते हैं:

TernaryBitLinear: यह फुली-कनेक्टेड लेयर्स के लिए उपयोग किया जाता है। यह प्रति-टेन्सर एब्सोल्यूट मीन ($absmean $) स्केलिंग और क्लैम्प्ड राउंडिंग का उपयोग करके वेट्स को$ {-1, 0, +1}$ में क्वांटाइज करता है। एक्टिवेशन्स को प्रति-टोकन एब्सोल्यूट मैक्स स्केलिंग का उपयोग करके 8-बिट इंटीजर्स में क्वांटाइज किया जाता है।
TernaryBitConv2d: विशेष रूप से पैच एम्बेडिंग लेयर के लिए डिज़ाइन किया गया है। यह हेट्रोजेनियस फ़िल्टर मैग्नीट्यूड्स को संभालने के लिए प्रति-चैनल स्केलिंग लागू करता है, जो पैच एम्बेडिंग लेयर की संवेदनशीलता को संबोधित करता है जिसे पिछले कार्यों में सबसे महत्वपूर्ण घटक के रूप में पहचाना गया था।
TernaryLayerNorm: लेयरनॉर्म के लर्नबल एफ़ाइन पैरामीटर्स ( $\gamma$ और $\beta$ ) को उसी $absmean$ स्कीम का उपयोग करके टेनरीकृत करता है। प्रति-टोकन सांख्यिकी (मीन और वेरिएंस) और बायस (biases) FP32 में रहते हैं क्योंकि उनका पैरामीटर काउंट नगण्य है, लेकिन उनका टेनरीकरण पोजीशनल इंफॉर्मेशन को नष्ट कर देगा।

2. प्रशिक्षण प्रोटोकॉल (Training Protocol)

मॉडल को दो-चरणीय नॉलेज डिस्टिलेशन (KD) रणनीति का उपयोग करके प्रशिक्षित किया जाता है:

चरण 1 (प्रशिक्षण): टेनरी स्टूडेंट को एक प्री-ट्रेन्ड FP32 टीचर से इनिशियलाइज़ किया जाता है और $10^{-4}$ (कोसाइन डिके) के लर्निंग रेट के साथ 250 एपोक्स के लिए क्वांटाइजेशन-अवेयर डिस्टिलेशन (QAD) का उपयोग करके प्रशिक्षित किया जाता है। लॉस फंक्शन केवल स्टूडेंट और टीचर लॉजिट्स के बीच फॉरवर्ड-KL डाइवर्जेंस टर्म का उपयोग करता है, जो क्रॉस-एन्ट्रॉपी से बचता है क्योंकि यह लो-बिट नेटवर्क्स में KL के साथ संघर्ष कर सकता है।
चरण 2 (रिकवरी): एक लाइटवेट फाइन-ट्यूनिंग चरण जहाँ लर्निंग रेट को 10 एपोक्स के लिए $10^{-5}$ (कोसाइन डिके) पर रीस्टार्ट किया जाता है। यह चरण स्केल्स के पुनर्मूल्यांकन और चरण 1 के शुरुआती सैचुरेशन के दौरान खोई हुई सटीकता की रिकवरी की अनुमति देता है।

प्रमुख योगदान (Key Contributions)

प्रथम फुली टेनरी ViT: लेखक प्रदर्शित करते हैं कि ViTs के सबसे नाजुक घटक (पैच एम्बेडिंग, लेयरनॉर्म्स और क्लासिफायर हेड) को नॉलेज डिस्टिलेशन के साथ सफलतापूर्वक टेनरीकृत किया जा सकता है, जो उस सीमा को आगे बढ़ाता है जिसे पहले क्वांटाइज करने योग्य माना जाता था।
नवीन ऑपरेटर्स: प्रति-चैनल स्केलिंग के साथ TernaryBitConv2d और गैर-एनकोडर लेयर्स की विशिष्ट संवेदनशीलता को संभालने के लिए TernaryLayerNorm का परिचय।
प्रशिक्षण रणनीति: एक सरल लेकिन प्रभावी दो-चरणीय प्रशिक्षण रणनीति (हाई-LR ट्रेनिंग के बाद लो-LR रिकवरी) जो तेज़ अभिसरण (convergence) और पिछले टेनरी ViT दृष्टिकोणों की तुलना में काफी उच्च अंतिम सटीकता सक्षम करती है।
ऑन-डिवाइस इम्प्लीमेंटेशन: संसाधन-बाधित ड्यूल-कोर ESP32-S3 माइक्रोकंट्रोलर (8 MB PSRAM) पर एक स्टैंडअलोन C इम्प्लीमेंटेशन वाला पहला टेनरी विज़न ट्रांसफॉर्मर।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन ImageNet-1K और अन्य बेंचमार्क पर किया गया:

सटीकता और कंप्रेशन (Accuracy and Compression):
- FTerViT-DeiT-III-S (384 $\times$ 384): 82.43% टॉप-1 सटीकता के साथ 6.09 MB (14.6 $\times$ कंप्रेशन) प्राप्त करता है, जो अपने FP32 टीचर की तुलना में केवल 2.42 प्रतिशत अंक कम है। यह पिछले टेनरी ViT तरीकों (जैसे, TerViT) से 8 प्रतिशत अंक तक बेहतर प्रदर्शन करता है।
- FTerViT-DeiT-III-S (224 $\times$ 224): 5.81 MB पर 79.64% टॉप-1 प्राप्त करता है।
- FTerViT-DeiT-S (224 $\times$ 224): 5.81 MB पर 77.47% टॉप-1 प्राप्त करता है, जो TerViT-DeiT-S से 3.27 प्रतिशत अंक अधिक है।
- CIFAR बेंचमार्क: DeiT-Tiny वेरिएंट केवल 1.53 MB स्टोरेज के साथ 97.43% (CIFAR-10) और 86.01% (CIFAR-100) प्राप्त करते हैं।
घटक संवेदनशीलता विश्लेषण (Component Sensitivity Analysis):
- टेलर फर्स्ट-ऑर्डर और हेसियन-ट्रेस विश्लेषण पुष्टि करते हैं कि लेयरनॉर्म्स और पैच एम्बेडिंग्स मॉडल के महत्व को डोमिनेट करते हैं (क्रमशः 34–39% और 4.6%), भले ही वे <0.2% पैरामीटर्स घेरते हों। यह समझाता है कि क्यों पिछले तरीकों ने उन्हें उच्च प्रिसिजन में रखा और क्यों उनका सफल टेनरीकरण महत्वपूर्ण है।
ऑन-डिवाइस परिनियोजन (ESP32-S3):
- 5.81 MB का मॉडल ESP32-S3 के 8 MB PSRAM में पूरी तरह से फिट हो जाता है, जिससे कैमरा और LCD बफ़र्स के लिए ~4.5 MB खाली रहता है।
- परफॉरमेंस: एक फॉरवर्ड पास में 21.06 सेकंड लगते हैं।
- दक्षता: FP32 की तुलना में, पैक किया गया 2-बिट टेनरी इन्फरेंस 1.71 $\times$ तेज़ (एक विशिष्ट लेयर के लिए 804 ms बनाम 1376 ms) है और ऊपर-की-इडल (above-idle) ऊर्जा खपत को 55% कम करता है (59 mJ बनाम 130 mJ)।

महत्व (Significance)

पेपर का दावा है कि FTerViT मानक ViT सटीकता और माइक्रोकंट्रोलर-स्केल परिनियोजन के सख्त मेमोरी प्रतिबंधों के बीच के अंतर को काफी कम कर देता है। पैच एम्बेडिंग्स और नॉर्मलाइजेशन लेयर्स सहित पूरे आर्किटेक्चर को सफलतापूर्वक टेनरीकृत करके, लेखक कम लागत वाले ($10) कमोडिटी MCUs पर उच्च-सटीकता वाले विजन मॉडल्स की तैनाती को सक्षम करते हैं। यह कार्य प्रमाणित करता है कि सही प्रशिक्षण रणनीति (सेम-आर्किटेक्चर KD और टू-फेज रिकवरी) के साथ, इन घटकों की संवेदनशीलता को प्रबंधित किया जा सकता है, जिससे फुली टेनरी ViTs एक व्यावहारिक वास्तविकता बन जाते हैं। लेखक नोट करते हैं कि FP32 तक की सटीकता का अंतर मॉडल क्षमता के व्युत्क्रमानुपाती (inversely proportional) होता है, जिसमें बड़े मॉडल (DeiT-III-S384) छोटे मॉडल्स की तुलना में कम सापेक्ष सटीकता हानि झेलते हैं।