🤖 machine learning

RAViT: Resolution-Adaptive Vision Transformer

यह शोध पत्र RAViT का प्रस्ताव करता है, जो एक रेजोल्यूशन-एडेप्टिव विजन ट्रांसफॉर्मर फ्रेमवर्क है जो विभिन्न रेजोल्यूशन पर छवियों को प्रोसेस करके मानक विजन ट्रांसफॉर्मर के समान सटीकता प्राप्त करने और कंप्यूटेशनल लागत को महत्वपूर्ण रूप से कम करने के लिए अर्ली एग्जिट मैकेनिज्म के साथ एक मल्टी-ब्रांच आर्किटेक्चर का उपयोग करता है।

मूल लेखक: Martial Guidez, Stefan Duffner, Christophe Garcia

प्रकाशित 2026-03-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Martial Guidez, Stefan Duffner, Christophe Garcia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त संग्रहालय में एक सुरक्षा गार्ड हैं, और आपका काम हर उस पेंटिंग की पहचान करना है जो दरवाजे से अंदर आती है।

पुराना तरीका (स्टैंडर्ड विजन ट्रांसफॉर्मर्स):
परंपरागत रूप से, जब कोई पेंटिंग आती है, तो आप एक विशाल, भारी आवर्धक लेंस (magnifying glass) निकालते हैं। आप पेंटिंग के हर एक ब्रशस्ट्रोक (brushstroke) का हाई डेफिनिशन में निरीक्षण करते हैं, चाहे वह एक साधारण स्टिक-फिगर ड्राइंग हो या कोई जटिल उत्कृष्ट कृति। इसमें बहुत अधिक ऊर्जा और समय लगता है। यदि संग्रहालय में भीड़ है, तो आप थक जाते हैं, और आपके बैटरी पैक (डिवाइस की शक्ति) की ऊर्जा तेजी से खत्म हो जाती है।

समस्या:
आर्टिफिशियल इंटेलिजेंस मॉडल जिन्हें "विज़न ट्रांसफॉर्मर्स" (ViT) कहा जाता है, वे इसी तरह काम करते हैं। वे अविश्वसनीय रूप से स्मार्ट और सटीक हैं, लेकिन वे ऊर्जा और कंप्यूटिंग शक्ति के मामले में बहुत "महंगे" हैं क्योंकि वे सरल चित्रों के लिए भी हर विवरण का पूर्ण रिज़ॉल्यूशन पर विश्लेषण करने का प्रयास करते हैं।

नया समाधान: RAViT (स्मार्ट गार्ड)
इस शोध पत्र के लेखकों, मार्शल, स्टीफन और क्रिस्टोफ़ ने एक नया सिस्टम बनाया है जिसे RAViT (रेज़ोल्यूशन-एडेप्टिव विज़न ट्रांसफॉर्मर) कहा जाता है। RAViT को एक स्मार्ट, मल्टी-स्टेज चेकपॉइंट के रूप में समझें जिसमें एक "आलसी" लेकिन कुशल रणनीति है।

यह इस प्रकार काम करता है, एक सरल उपमा (analogy) का उपयोग करते हुए:

1. "धुंधले से स्पष्ट तक" की रणनीति (मल्टी-ब्रांच)

एक ही बार में एक विशाल आवर्धक लेंस का उपयोग करने के बजाय, RAViT एक रिले रेस की तरह तीन स्टेशनों की व्यवस्था करता है:

स्टेशन 1 (लो-रेज़ोल्यूशन व्यू): सबसे पहले, गार्ड पेंटिंग के एक छोटे, धुंधले, लो-रिज़ॉल्यूशन थंबनेल को देखता है। यह दूर से आँखें सिकोड़कर देखने जैसा है।
- क्यों? यदि पेंटिंग एक साधारण लाल घेरा है, तो गार्ड इसे धुंधलेपन में ही तुरंत पहचान सकता है। इसमें लगभग न के बराबर ऊर्जा लगती है।
स्टेशन 2 (मीडियम व्यू): यदि गार्ड धुंधलेपन से निश्चित नहीं हो पाता (शायद वह एक लाल घेरा दिखता है लेकिन एक लाल सेब भी हो सकता है), तो वे अगले स्टेशन पर जाते हैं और मध्यम आकार के संस्करण को देखते हैं।
स्टेशन 3 (हाई-रेज़ोल्यूशन व्यू): केवल तभी जब पहले दो स्टेशन अभी भी भ्रमित हों, तब गार्ड पूर्ण-आकार के हाई-डेफिनिशन आवर्धक लेंस का उपयोग करके हर विवरण को देखता है।

जादुई ट्रिक: सिस्टम प्रत्येक स्टेशन पर शून्य से शुरुआत नहीं करता है। यह एक "नोट" (एक विशिष्ट टोकन) को धुंधले दृश्य से मध्यम दृश्य में, और फिर स्पष्ट दृश्य में पास करता है। इसका मतलब है कि बाद के स्टेशनों को सब कुछ फिर से सीखने की आवश्यकता नहीं है; वे केवल पिछले अनुमान को परिष्कृत (refine) करते हैं।

2. "अर्ली एग्जिट" (कॉन्फिडेंस चेक)

प्रत्येक स्टेशन पर, गार्ड खुद से पूछता है: "क्या मैं 100% निश्चित हूँ?"

यदि उत्तर हाँ है: गार्ड तुरंत रुक जाता है और परिणाम की घोषणा करता है। वे अगले स्टेशनों पर जाने की जहमत नहीं उठाते। इससे भारी मात्रा में ऊर्जा बचती है।
यदि उत्तर नहीं है: वे अगले, अधिक विस्तृत स्टेशन पर चले जाते हैं।

वास्तविक दुनिया की उपमा:
कल्पना कीजिए कि आप एक अंधेरे कमरे में किसी जानवर का अनुमान लगाने की कोशिश कर रहे हैं।

स्टैंडरल AI: आप तेज़ रोशनी चालू करते हैं, पास जाते हैं, और जानवर के फर, दांत और पंजों का निरीक्षण करने के बाद कहते हैं, "यह एक बिल्ली है।" (हमेशा उच्च ऊर्जा का उपयोग)।
RAViT: आप एक "म्याऊँ" सुनते हैं। आप कहते हैं, "यह एक बिल्ली है!" और रुक जाते हैं। आपको रोशनी चालू करने या पास जाने की ज़रूरत नहीं पड़ी।
RAViT (कठिन मामला): यदि आप एक सरसराहट सुनते हैं लेकिन कोई आवाज़ नहीं आती, तो आप एक मंद रोशनी चालू करते हैं। यदि आप अभी भी निश्चित नहीं हैं, तो आप तेज़ रोशनी चालू करते हैं।

यह क्यों मायने रखता है?

शोधकर्ताओं ने तीन अलग-अलग "संग्रहालयों" (डेटासेट्स: CIFAR-10, Tiny ImageNet, और ImageNet) पर इसका परीक्षण किया।

परिणाम: उन्होंने पाया कि RAViT पुराने, भारी-भरकम AI मॉडलों जितनी ही सटीकता के साथ छवियों की पहचान कर सकता है।
बचत: हालांकि, क्योंकि यह अक्सर जल्दी रुक जाता है या कम रिज़ॉल्यूशन का उपयोग करता है, इसने मानक मॉडलों की तुलना में केवल 70% ऊर्जा (कंप्यूटिंग पावर) का उपयोग किया।

मुख्य निष्कर्ष (The Bottom Line)

RAViT आपके AI के लिए एक स्मार्ट थर्मोस्टेट की तरह है।

एक धूप वाले दिन (एक सरल छवि) पर, यह कम शक्ति पर चलता है।
एक तूफानी दिन (एक जटिल छवि) पर, यह काम को सही ढंग से करने के लिए अपनी शक्ति बढ़ाता है।

यह इसे एम्बेडेड डिवाइसेस जैसे स्मार्टफोन, ड्रोन या मेडिकल सेंसर के लिए एकदम उपयुक्त बनाता है, जहाँ बैटरी लाइफ बहुत कीमती है। यह इन उपकरणों को शक्तिशाली AI चलाने की अनुमति देता है बिना बैटरी को मिनटों में खत्म किए, बस यह समझकर कि कब कड़ी मेहनत करनी है और कब आराम से काम चलाना है।

यहाँ शोध पत्र "RAViT: Resolution-Adaptive Vision Transformer" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न ट्रांसफॉर्मर्स (ViTs) ने कंप्यूटर विज़न कार्यों में अत्याधुनिक प्रदर्शन हासिल किया है, लेकिन वे उच्च कम्प्यूटेशनल लागत और मेमोरी आवश्यकताओं से जूझते हैं। यह मुख्य रूप से सेल्फ-अटेंशन मैकेनिज्म (self-attention mechanism) के कारण होता है, जो इमेज पैचेस (टोकन्स) की संख्या के साथ द्विघातीय (quadratically) रूप से बढ़ता है।

ट्रेड-ऑफ (The Trade-off): इनपुट रिज़ॉल्यूशन को कम करने से कम्प्यूटेशनल लागत काफी कम हो जाती है (उदाहरण के लिए, आयामों को आधा करने से FLOPs लगभग 4 गुना कम हो जाते हैं), लेकिन आमतौर पर इससे सटीकता (accuracy) में गिरावट आती है।
अंतराल (The Gap): मौजूदा संपीड़न विधियाँ (टोकन प्रूनिंग, नॉलेज डिस्टिलेशन, क्वांटाइजेशन) अक्सर जटिल रिट्रेनिंग या विशिष्ट आर्किटेक्चरल परिवर्तनों की मांग करती हैं। एक ऐसे फ्रेमवर्क की आवश्यकता है जो सटीकता और कम्प्यूटेशनल लागत के बीच गतिशील रूप से संतुलन बना सके, विशेष रूप से संसाधन-सीमित एम्बेडेड सिस्टम के लिए, बिना ViTs के ग्लोबल कॉन्टेक्स्ट लाभों को खोए।

2. कार्यप्रणाली: RAViT फ्रेमवर्क (Methodology: RAViT Framework)

लेखक RAViT (Resolution-Adaptive Vision Transformer) का प्रस्ताव करते हैं, जो एक मल्टी-ब्रांच न्यूरल नेटवर्क है जो एक ही छवि के विभिन्न रिज़ॉल्यूशन पर कई संस्करणों पर कार्य करता है। यह फ्रेमवर्क कोर्स-टू-फाइन इन्फरेंस (coarse-to-fine inference) को एक अर्ली-एग्जिट मैकेनिज्म (early-exit mechanism) के साथ जोड़ता है।

A. मल्टी-ब्रांच आर्किटेक्चर (Multi-Branch Architecture)

इनपुट स्केलिंग (Input Scaling): एक इनपुट इमेज $I$ को घटते रिज़ॉल्यूशन (जैसे, $1/4$ आकार, $1/2$ आकार, मूल आकार) के साथ $B$ संस्करणों ( $I_1, \dots, I_B$ ) में रीसाइज किया जाता है।
ब्रांच प्रोसेसिंग (Branch Processing):
- प्रक्रिया सबसे कम रिज़ॉल्यूशन वाली इमेज ( $I_1$ ) के माध्यम से पहले ViT एनकोडर ( $T_1$ ) से शुरू होती है।
- फीचर ट्रांसफर (Feature Transfer): सभी फीचर मैप्स को ट्रांसफर करने के बजाय, फ्रेमवर्क केवल ब्रांच $i$ के आउटपुट से क्लासिफिकेशन (CLS) टोकन को ब्रांच $i+1$ के लिए प्रारंभिक CLS टोकन के रूप में पास करता है। यह उच्च-रिज़ॉल्यूशन वाली ब्रांच को पुन: आरंभ (re-initialization) किए बिना, निम्न-स्तर की समझ को "विरासत" में लेने की अनुमति देता है।
- सभी ब्रांचेस समान एम्बेडिंग डायमेंशन और हिडन साइज़ का उपयोग करती हैं, जिससे CLS टोकन की अनुकूलता सुनिश्चित होती है।
कोर्स-टू-फाइन रणनीति (Coarse-to-Fine Strategy): मॉडल केवल तभी आवश्यक होने पर इमेज को लो-रिज़ॉल्यूशन (कम लागत) से हाई-रिज़ॉल्यूशन (उच्च लागत) की ओर प्रोसेस करता है।

B. अर्ली-एग्जिट (EE) मैकेनिज्म (Early-Exit Mechanism)

डायनेमिक इन्फरेंस (Dynamic Inference): प्रत्येक ब्रांच के अंत में, एक "एग्जिट हेड" (एक सरल MLP) भविष्यवाणी और उसकी अनिश्चितता (uncertainty) की गणना करता है।
अनिश्चितता मीट्रिक (Uncertainty Metric): कॉन्फिडेंस स्कोर को सॉफ्टमैक्स प्रेडिक्शन के एन्ट्रॉपी (entropy) से प्राप्त किया जाता है।
निर्णय तर्क (Decision Logic):
- यदि एन्ट्रॉपी एक पूर्व-निर्धारित थ्रेशोल्ड ( $E_{th}$ ) से नीचे है, तो मॉडल भविष्यवाणी को पर्याप्त रूप से विश्वसनीय मानता है और अर्ली एग्जिट (early exit) कर लेता है, जिससे बाद की ब्रांचेस स्किप हो जाती हैं।
- यदि एन्ट्रॉपी अधिक (अनिश्चित) है, तो CLS टोकन को अगले उच्च-रिज़ॉल्यूशन और अधिक लेयर्स वाली ब्रांच में पास किया जाता है।
अनुकूलन क्षमता (Adaptability): यह सिस्टम रनटाइम पर थ्रेशोल्ड को समायोजित करके सटीकता और गति/बैटरी लाइफ के बीच संतुलन बना सकता है। सरल इमेज जल्दी बाहर निकल जाती हैं; जटिल इमेज अधिक गहरी ब्रांचेस तक जाती हैं।

C. ट्रेनिंग रणनीति (Training Strategy)

लॉस फंक्शन (Loss Function): एक ग्लोबल लॉस को मिनिमाइज किया जाता है, जो सभी एग्जिट पॉइंट्स से क्रॉस-एन्ट्रॉपी लॉस का भारित योग (weighted sum) है:
$L_{total} = \sum_{i=1}^{B} \omega_i L_{branch-i}$
ऑप्टिमाइजेशन (Optimization): मॉडल को एंड-टू-एंड प्रशिक्षित किया जाता है। लेखक नोट करते हैं कि $\omega_i$ (जैसे, $1/B$ ) सेट करने से अच्छे परिणाम मिलते हैं।

3. प्रमुख योगदान (Key Contributions)

नवीन मल्टी-रिज़ॉल्यूशन आर्किटेक्चर: एक ViT-आधारित फ्रेमवर्क जो कोर्स-टू-फाइन तरीके से कई रिज़ॉल्यूशन पर इमेज को प्रोसेस करता है, सूचना को सुरक्षित रखने के लिए केवल CLS टोकन को ब्रांचेस के बीच ट्रांसफर करता है।
डायनेमिक अर्ली-एग्जिट इंटीग्रेशन: एक इन्फरेंस-टाइम मैकेनिज्म जो मॉडल को इमेज की कठिनाई और कॉन्फिडेंस के आधार पर गणना को अनुकूल रूप से रोकने की अनुमति देता है, जिससे सटीकता और कम्प्यूटेशनल लागत के बीच एक ट्यूनेबल संतुलन सक्षम होता है।
प्री-ट्रेनिंग डिपेंडेंसी के बिना दक्षता: विधि मानक ViTs के समान सटीकता बनाए रखते हुए महत्वपूर्ण FLOP रिडक्शन (लगभग 30%) प्रदर्शित करती है, भले ही इसे छोटे डेटासेट्स पर स्क्रैच से प्रशिक्षित किया गया हो।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने CIFAR-10, Tiny ImageNet, और ImageNet पर RAViT का मूल्यांकन किया।

CIFAR-10 (2-branch):
- एक 1-3 मॉडल (लो-रेज़ ब्रांच पर 1 लेयर, हाई-रेज़ पर 3) ने एक मानक 4-लेयर ViT के 81% FLOPs के साथ 84.9% सटीकता प्राप्त की।
- अर्ली एग्जिट (थ्रेशोल्ड 0.15) के साथ, सटीकता थोड़ी गिरकर 82.6% हो गई लेकिन FLOPs बेसलाइन के 61% रह गए।
Tiny ImageNet (3-branch):
- एक 2-0-3 मॉडल (2 लेयर्स लो-रेज़, 0 मिड, 3 हाई-रेज़) ने 40.7% सटीकता (4-लेयर ViT के 41.0% के मुकाबले) प्राप्त की, जिसमें 78% FLOPs लगे।
- अर्ली एग्जिट (थ्रेशोल्ड 0.2) के साथ, FLOPs गिरकर 71% हो गए और सटीकता में नगण्य कमी (40.4%) आई।
ImageNet (3-branch):
- ViT-B (12 लेयर्स) के विरुद्ध तुलना।
- एक 1-1-8 मॉडल ने 73.25% सटीकता (ViT-B की 73.36% के मुकाबले 99.85%) प्राप्त की, जबकि इसकी कम्प्यूटेशनल लागत केवल 70% थी।
- अर्ली एग्जिट (थ्रेशोल्ड 1.0) के साथ, लागत घटकर 65% हो गई और सटीकता में मामूली गिरावट (72.6%) आई।

सामान्य निष्कर्ष: सभी डेटासेट्स में, RAViT मॉडल्स ने क्लासिकल ViTs के बराबर सटीकता हासिल की जबकि उन्हें केवल ~70% FLOPs की आवश्यकता पड़ी।

5. महत्व और निहितार्थ (Significance and Implications)

एम्बेडेड सिस्टम: RAViT विशेष रूप से सीमित संसाधनों वाले उपकरणों (बैटरी, मेमोरी) के लिए डिज़ाइन किया गया है। अर्ली-एग्जिट थ्रेशोल्ड को गतिशील रूप से समायोजित करने की क्षमता सिस्टम को वास्तविक समय की जरूरतों के आधार पर बैटरी लाइफ (जल्दी बाहर निकलना) या सटीकता (पूर्ण प्रक्रिया) को प्राथमिकता देने की अनुमति देती है।
स्केलेबिलिटी: आर्किटेक्चर लचीला है; ब्रांचेस और लेयर्स की संख्या को डिजाइन में आमूल-चूल परिवर्तन किए बिना समायोजित किया जा सकता है।
पूरक दृष्टिकोण: टोकन प्रूनिंग या क्वांटाइजेशन के विपरीत, RAViT इनपुट प्रोसेसिंग रणनीति को बदल देता है। इसे और अधिक दक्षता के लिए अन्य संपीड़न तकनीकों के साथ संभावित रूप से जोड़ा जा सकता है।
भविष्य का कार्य: लेखक प्रत्येक ब्रांच के लिए इष्टतम लेयर वितरण को स्वचालित रूप से निर्धारित करने के लिए न्यूरल आर्किटेक्चर सर्च (NAS) का उपयोग करने और हार्डवेयर बैटरी स्तरों के साथ एग्जिट थ्रेशोल्ड को सह-संबंधित करने का सुझाव देते हैं।

निष्कर्षतः, RAViT मल्टी-रिज़ॉल्यूशन प्रोसेसिंग और एडैप्टिव इन्फरेंस का लाभ उठाकर विज़न ट्रांसफॉर्मर्स की कम्प्यूटेशनल बाधा का एक व्यावहारिक और प्रभावी समाधान प्रदान करता है, जिससे हाई-परफॉरमेंस ViT का एज डिवाइसेस पर परिनियोजन (deployment) संभव हो जाता है।