🤖 machine learning

t-gems: text-guided exit modules for decreasing clip image encoder

यह शोधपत्र टेक्स्ट-गाइडेड एग्जिट मॉड्यूल्स (T-GEMs) और एक दर-आधारित रेगुलराइज़र पेश करता है ताकि CLIP इमेज एनकोडर्स में अर्ली एग्जिटिंग को सक्षम बनाया जा सके, जो टेक्स्टुअल विवरणों का उपयोग करके एग्जिट निर्णयों को निर्देशित करते हुए क्रॉस-मोडल समझ के प्रदर्शन को बनाए रखते हुए कंप्यूटेशनल लागत को प्रभावी ढंग से कम करता है।

मूल लेखक: Alberto Presta, Grzegorz Stefanski, Michal Byra, Krzysztof Arendt

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alberto Presta, Grzegorz Stefanski, Michal Byra, Krzysztof Arendt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बहुत बड़ी लाइब्रेरी (AI मॉडल) है जो किसी चित्र को देख सकती है और उसका विवरण पढ़ सकती है ताकि यह समझ सके कि वे किसके बारे में हैं। आमतौर पर, किसी प्रश्न का उत्तर देने के लिए, यह लाइब्रेरी हर एक किताब को पहले पन्ने से लेकर आखिरी पन्ने तक पढ़ने के लिए मजबूर करती है, चाहे सवाल कितना भी सरल क्यों न हो। इसमें बहुत समय और ऊर्जा लगती है।

यह पेपर एक नया तरीका पेश करता है जिससे लाइब्रेरी को जल्दी रुकने की अनुमति मिलती है यदि वह उत्तर जान लेती है। वे इस सिस्टम को T-GEMS (Text-Guided Exit Modules) कहते हैं।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: जब ज़रूरत न हो तब भी पूरी किताब पढ़ना

AI के "दिमाग" (इमेज एनकोडर) को कई कमरों (लेयर्स) वाले एक लंबे गलियारे के रूप में सोचें। एक छवि को समझने के लिए, AI को आमतौर पर सभी 12 कमरों से होकर गुजरना पड़ता है।

पुराना तरीका: भले ही AI तीसरे कमरे में ही उत्तर जान जाए, फिर भी वह सुरक्षित रहने के लिए 12वें कमरे तक चलता रहता है। यह धीमा है और इसमें बहुत बिजली (कंप्यूटिंग पावर) खर्च होती है।
लक्ष्य: हम चाहते हैं कि AI कहे, "मैं तीसरे कमरे में ही पर्याप्त आश्वस्त हूँ, इसलिए मैं यहीं रुक जाता हूँ और उत्तर दे देता हूँ।"

2. चुनौती: "मूक" छवि (The "Silent" Image)

कई AI सिस्टम में, इमेज और टेक्स्ट को अलग-अलग प्रोसेस किया जाता है। टेक्स्ट वाला हिस्सा उत्तर जानता है (जैसे, "यह एक बिल्ली है"), लेकिन इमेज वाला हिस्सा बस अंधेरे में गलियारे में चल रहा है। उसे यह नहीं पता होता कि वह क्या ढूंढ रहा है जब तक कि वह पूरी यात्रा पूरी नहीं कर लेता। इमेज वाले हिस्से को जल्दी रोकना कठिन है क्योंकि उसके पास मार्गदर्शन करने के लिए टेक्स्ट के संकेत नहीं होते।

3. समाधान: T-GEMS (टेक्स्ट गाइड)

लेखकों ने एक विशेष "गाइड" बनाया जिसे T-GEMS कहा जाता है।

रूपक (Metaphor): कल्पना कीजिए कि आप एक धुंधली फोटो देख रहे हैं। यदि कोई फुसफुसाता है, "यह एक बिल्ली है," तो आपका दिमाग तुरंत बिल्ली के लक्षणों (कान, मूंछें) को खोजने लगता है बजाय इसके कि वह पूरी छवि को बेतरतीब ढंग से स्कैन करे।
यह कैसे काम करता है: T-GEMS टेक्स्ट विवरण (उस फुसफुसाहट) को लेता है और इसका उपयोग यह अनुमान लगाने के लिए करता है कि विभिन्न चरणों पर इमेज "गलियारा" कैसा दिखना चाहिए। यह इमेज एनकोडर को बताता है, "टेक्स्ट के आधार पर, अब तक आपको ये विशिष्ट पैटर्न दिखने चाहिए।"

4. "आश्चर्य" मीटर (Class-Rate)

AI को कैसे पता चलता है कि कब रुकना है? यह पेपर एक अवधारणा पेश करता है जिसे Class-Rate कहा जाता है, जो एक "आश्चर्य मीटर" (Surprise Meter) की तरह काम करता है।

रूपक: कल्पना कीजिए कि आप एक खेल में शब्द का अनुमान लगा रहे हैं।
- यदि आपको बताया जाता है कि शब्द "सेब" है और आप एक लाल फल देखते हैं, तो आप हैरान नहीं होते। "आश्चर्य" कम है।
- यदि आपको बताया जाता है कि शब्द "सेब" है लेकिन आप एक कार देखते हैं, तो आप बहुत हैरान होते हैं। "आश्चर्य" अधिक है।
अनुप्रयोग: सिस्टम प्रत्येक चरण पर टेक्स्ट विवरण द्वारा इमेज डेटा के प्रति कितने "हैरान" होने की गणना करता है। यदि आश्चर्य कम है (अर्थात, इमेज और टेक्स्ट पूरी तरह से मेल खाते हैं), तो सिस्टम कहता है, "हमारे पास पर्याप्त जानकारी है; चलिए जल्दी बाहर निकलते हैं!"

5. गाइड बनाने के दो तरीके

शोधकर्ताओं ने इस सिस्टम को सिखाने के दो तरीकों का परीक्षण किया:

"सैंपल" विधि (Naive): उन्होंने AI को हजारों बिल्लियों और कुत्तों के उदाहरण दिखाए ताकि वह प्रत्येक चरण पर यह याद रख सके कि वे कैसे दिखते हैं। यह काम करता है, लेकिन इसके लिए उदाहरणों की एक विशाल लाइब्रेरी की आवश्यकता होती है और यह वास्तव में टेक्स्ट को इमेज से गहराई से नहीं जोड़ता है।
"लर्निंग" विधि (T-GEMS): उन्होंने AI को सीधे टेक्स्ट से नियम सीखना सिखाया। AI ने बिना हजारों विशिष्ट तस्वीरों को याद किए, यह अनुमान लगाना सीखा कि इमेज को केवल टेक्स्ट पढ़कर कैसा दिखना चाहिए। यह अधिक लचीला और कुशल है।

6. परिणाम: स्मार्ट और छोटा

शोधकर्ताओं ने एक मानक डेटासेट (CIFAR10) का उपयोग करके एक लोकप्रिय AI मॉडल (CLIP) पर इसका परीक्षण किया।

जगह बचाना: जल्दी रुककर, वे प्रभावी रूप से इमेज एनकोडर के अंतिम हिस्से को "काट" सकते थे। उन्होंने पाया कि वे सटीकता में बहुत अधिक कमी लाए बिना मॉडल के आकार का एक बड़ा हिस्सा (लाखों पैरामीटर्स) हटा सकते हैं।
बेहतर सटीकता: आश्चर्यजनक रूप से, "सरप्राइज मीटर" (Class-Rate) का उपयोग प्रशिक्षण उपकरण के रूप में करने से AI वास्तव में अलग-अलग चीजों के बीच अंतर करने में बेहतर हो गया, भले ही वह जल्दी रुक गया हो।
समझौता (Trade-off): यदि वे बहुत जल्दी (कुछ ही कमरों के बाद) रुक जाते, तो सटीकता थोड़ी गिर जाती, लेकिन यदि वे बीच में (लगभग छठे कमरे के आसपास) रुकते, तो वे भारी मात्रा में कंप्यूटिंग पावर बचाते हुए लगभग पूरी सटीकता बनाए रखते।

सारांश

संक्षेप में, यह पेपर एक AI को एक टेक्स्ट विवरण सुनने के माध्यम से यह सिखाता है कि उसे कब पता चल गया है कि उसने एक छवि को पहचानने के लिए पर्याप्त देख लिया है। AI को हर बार पूरी छवि को प्रोसेस करने के लिए मजबूर करने के बजाय, यह उत्तर तेजी से खोजने के लिए एक मानचित्र के रूप में टेक्स्ट का उपयोग करता है, जिससे सटीकता बनाए रखते हुए समय और ऊर्जा की बचत होती है।

तकनीकी सारांश: T-GEMS – घटते CLIP इमेज एनकोडर के लिए टेक्स्ट-गाइडेड एग्जिट मॉड्यूल्स

समस्या विवरण (Problem Statement)
CLIP जैसे मल्टीमॉडल (MM) मॉडल कंट्रास्टिव लर्निंग का उपयोग करके इमेज और टेक्स्ट इनपुट को एक साझा लेटेंट स्पेस में अलाइन करते हैं। हालांकि यह प्रभावी है, लेकिन इनका इन्फरेंस (inference) स्टेटिक है: हर इनपुट, उसकी जटिलता की परवाह किए बिना, पूरे ट्रांसफॉर्मर स्टैक से गुजरता है, जिससे उच्च कम्प्यूटेशनल लागत आती है। अर्ली एग्जिट (Early Exit - EE) विधियों को एक्सप्लोर किया गया है, जो मॉडल को मध्यवर्ती परतों (intermediate layers) पर गणना रोकने की अनुमति देती हैं जब वे पर्याप्त आत्मविश्वास (confidence) महसूस करते हैं, लेकिन इन्हें यूनिमोडल और फ्यूजन-आधारित मल्टीमॉडल मॉडल्स में देखा गया है। हालांकि, कंट्रास्टिव ड्यूल-एनकोडर वाले CLIP जैसे मॉडल्स में EE अभी भी कम खोजा गया क्षेत्र है। मुख्य चुनौती मोडैलिटी एनकोडर्स का अलगाव है; मौजूदा डायनेमिक दृष्टिकोण अक्सर जॉइंट प्रोसेसिंग या टोकन प्रूनिंग पर निर्भर करते हैं, जो विजुअल एनकोडर में एग्जिट को गाइड करने के लिए टेक्स्ट एनकोडर की जानकारी का उपयोग करने में विफल रहते हैं। इसके अलावा, इन मॉडल्स के लिए स्टैटिक EE विकसित करने के लिए केवल इमेज डेटा पर निर्भर रहने के बजाय, टेक्स्ट विवरणों से प्राप्त मध्यवर्ती सेमेंटिक कंटेंट डिस्ट्रीब्यूशन का अनुमान लगाने का एक तरीका चाहिए।

कार्यप्रणाली (Methodology)
लेखक टेक्स्ट-गाइडेड एग्जिट मॉड्यूल्स (T-GEMs) प्रस्तावित करते हैं, जो एक ड्यूल-एनकोडर मॉडल के इमेज एनकोडर में ड्यूल-एनकोडर मॉडल से प्राप्त जानकारी का उपयोग करके स्टैटिक अर्ली एग्जिट करने के लिए डिज़ाइन किया गया एक फ्रेमवर्क है। मुख्य उद्देश्य एक विशिष्ट क्लास $c$ के लिए, इमेज $x$ और टेक्स्ट विवरण $d$ दिए जाने पर, मध्यवर्ती न्यूरॉन एक्टिवेशन ( $\ell_{ij}$ ) के पोस्टीरियर प्रोबेबिलिटी डिस्ट्रीब्यूशन का अनुमान लगाना है।

डिस्ट्रीब्यूशन एस्टीमेशन (Distribution Estimation): यह विधि मानती है कि मध्यवर्ती एक्टिवेशन गॉसियन डिस्ट्रीब्यूशन का पालन करते हैं। लक्ष्य प्रत्येक क्लास और लेयर के लिए मीन ( $\mu$ ) और वेरिएंस ( $\sigma^2$ ) की गणना करना है।
दो एस्टीमेशन दृष्टिकोण:
- सैंपलिंग-आधारित (Sampling-based): एक नेइव (naive) दृष्टिकोण जो प्रत्येक क्लास के लिए $\mu$ और $\sigma^2$ को अनुभवजन्य रूप से (empirically) कैलकुलेट करने के लिए कैलिब्रेशन सेट $S$ का उपयोग करता है। यह नए पैरामीटर्स को प्रशिक्षित करने से बचता है लेकिन टेक्स्ट और इमेज एक्टिवेशन मैप्स के बीच संबंध स्थापित करने में विफल रहता है।
- लर्निंग-आधारित (Learning-based - T-GEMs): एक लर्नबल नेटवर्क $\Psi_i$ (T-GEM) सीधे टेक्स्ट एम्बेडिंग्स ( $d_t$ ) से डिस्ट्रीब्यूशन पैरामीटर्स का अनुमान लगाता है, जो इन्फरेंस के दौरान सैंपल इमेजेस की आवश्यकता को समाप्त कर देता है। यह मॉड्यूल एक्टिवेशन सिग्नल के "रेट" (surpise/आश्चर्य) को मिनिमाइज करने के लिए ऑप्टिमाइज किया गया है।
जंपर मॉड्यूल (The Jumper Module): भेदभाव (discrimination) में सुधार के लिए, एक प्रोजेक्शन मॉड्यूल $J^i$ (Jumper) मध्यवर्ती इमेज एक्टिवेशन को लो-डायमेंशनल स्पेस $\tilde{\ell}^i$ में मैप करता है। यह बेहतर रेट एस्टीमेशन की सुविधा प्रदान करता है और क्रॉस-मोडल सिमिलैरिटी के एकीकरण की अनुमति देता है।
क्लासिफिकेशन मेट्रिक (Class-Rate): स्टैंडर्ड कोसाइन सिमिलैरिटी के बजाय, यह विधि एक क्लास-रेट मेट्रिक ( $R^i_c$ ) पेश करती है। यह मेट्रिक एक क्लास धारणा के आधार पर एक्टिवेशन का "सरप्राइज" (rate) कैलकुलेट करता है। प्रेडिक्टेड क्लास वह होती है जो इस रेट को न्यूनतम करती है (Eq. 3), जो प्रभावी रूप से उस क्लास को चुनती है जो सिग्नल को सबसे कुशलता से कंप्रेस करती है।
ट्रेनिंग ऑब्जेक्टिव (Training Objective): मॉड्यूल्स को एक संयुक्त लॉस फंक्शन $L = L_r + L_s$ $L = L_{r} + L_{s}$ का उपयोग करके प्रशिक्षित किया जाता है:
- $L_r$ : एक रेट-आधारित रेगुलराइज़र जो गॉसियन डिस्ट्रीब्यूशन के नेगेटिव लॉग-लाइक्लीहुड को मिनिमाइज करता है, जिससे सेमेंटिक कंटेंट को डिस्क्रिमिनेट करने की क्षमता बढ़ती है।
- $L_s$ : टेक्स्ट एम्बेडिंग और प्रोजेक्टेड इमेज रिप्रेजेंटेशन के बीच एक क्रॉस-मोडल सिमिलैरिटी लॉस (कोसाइन सिमिलैरिटी)।

प्रमुख योगदान (Key Contributions)
पेपर चार प्राथमिक योगदानों का दावा करता है:

मध्यवर्ती रिप्रेजेंटेशन का विश्लेषण: इस बात की जांच कि CLIP में इंटरमीडिएट रिप्रेजेंटेशन टेक्स्ट एम्बेडिंग्स के सापेक्ष क्लासेस के बीच कैसे भिन्न होते हैं, जिससे पता चलता है कि इन लेयर्स में अर्ली एग्जिट के लिए उपयुक्त डिस्क्रिमिनेटिव जानकारी होती है।
क्लास-रेट रेगुलराइज़र: एक स्टैटिस्टिक का परिचय जो एक्टिवेशन मैप्स से प्राप्त होता है और कोसाइन सिमिलैरिटी के साथ सह-संबंधित है, लेकिन बेहतर डिस्क्रिमिनेशन के लिए एक ट्रेन करने योग्य रेगुलराइज़र के रूप में कार्य करता है।
टेक्स्ट-गाइडेड एग्जिट मॉड्यूल्स (T-GEMs): एक मॉड्यूल जो केवल टेक्स्ट एम्बेडिंग्स से मध्यवर्ती इमेज एनकोडर एक्टिवेशन की भविष्यवाणी करता है, जो मोडैलिटीज के बीच एक बाउंडेड रिलेशनशिप को प्रदर्शित करता है।
स्टैटिक अर्ली एग्जिट फ्रेमवर्क: इमेज क्लासिफिकेशन जैसे कार्यों के लिए इंटरमीडिएट एक्टिवेशन मैप्स का लाभ उठाने वाले स्टैटिक EE मॉड्यूल्स का प्रशिक्षण, जो कंट्रास्टिव ड्यूल-एनकोडर मॉडल्स में स्टैटिक EE के लिए टेक्स्ट और विजुअल एनकोडर्स दोनों की मध्यवर्ती परतों का उपयोग करने वाला पहला अध्ययन है।

प्रायोगिक परिणाम (Experimental Results)
प्रयोग CIFAR-10 पर CLIP ViT-B-32 और ViT-L-14 आर्किटेक्चर का उपयोग करके किए गए।

फुल CLIP बनाम प्रदर्शन: T-GEMs + Jumper अप्रोच ने फुल CLIP मॉडल के साथ प्रतिस्पर्धी सटीकता हासिल की। उदाहरण के लिए, ViT-B-32 के साथ, विधि ने फाइनल लेयर (RB12) पर 92% सटीकता प्राप्त की, जो 91.3% के जीरो-शॉट बेसलाइन के तुलनीय है।
रेगुलराइजेशन का प्रभाव: रेट-आधारित रेगुलराइज़र ( $L_r$ ) को शामिल करने से प्रदर्शन में काफी सुधार हुआ, विशेष रूप से शुरुआती लेयर्स (RB3–RB5) में, जिससे केवल कोसाइन सिमिलैरिटी का उपयोग करने वाले तरीकों की तुलना में 6% तक की बढ़त मिली।
पैरामीटर एफिशिएंसी: T-GEMs और Jumper द्वारा पेश किए गए अतिरिक्त पैरामीटर्स नगण्य हैं (लाखों में), जो एक सिंगल रेसिडुअल ब्लॉक का लगभग 4% प्रतिनिधित्व करते हैं। यह महत्वपूर्ण मॉडल कंप्रेशन की अनुमति देता है; उदाहरण के लिए, 5वें लेयर पर एग्जिट करने से हाई एक्यूरेसी बनाए रखते हुए एनकोडर का आकार लगभग 52 मिलियन पैरामीटर्स कम हो जाता है।
क्लास-रेट बनाम कोसाइन: क्लास-रेट मेट्रिक को कोसाइन सिमिलैरिटी के एक विश्वसनीय प्रॉक्सी के रूप में सिद्ध किया गया, जो अक्सर इन्फरेंस मेट्रिक के रूप में उपयोग किए जाने पर कोसाइन से बेहतर प्रदर्शन करता है, विशेष रूप से जब इसे रेट रेगुलराइज़र के साथ जोड़ा जाता है।
सैंपल सेंसिटिविटी: सैंपलिंग-आधारित दृष्टिकोण को प्रभावी होने के लिए एक उचित संख्या में सैंपल्स (जैसे, $S \ge 100$ ) की आवश्यकता थी, जबकि लर्निंग-आधारित दृष्टिकोण $K=128$ के प्रोजेक्शन डायमेंशन के साथ स्थिर हुआ, जो दर्शाता है कि T-GEMs के लिए बड़े मॉडल्स अनिवार्य नहीं हैं।

महत्व और दावे (Significance and Claims)
यह पेपर इस कार्य को कुशल मल्टीमॉडल इन्फरेंस की दिशा में एक आधारभूत कदम के रूप में प्रस्तुत करता है। यह दावा करता है कि यह टेक्स्ट और विजुअल इंटरमीडिएट लेयर्स के बीच संबंध का लाभ उठाकर कंट्रास्टिव ड्यूल-एनकोडर मॉडल्स में स्टैटिक अर्ली एग्जिट का पता लगाने वाला पहला अध्ययन है। लेखक जोर देते हैं कि उनकी विधि इमेज-टेक्स्ट सिमिलैरिटी प्रदर्शन से समझौता किए बिना इमेज एनकोडर के आकार को कम करती है।

इसका महत्व यह प्रदर्शित करने में है कि:

अर्ली एनकोडर लेयर्स के मध्यवर्ती एक्टिवेशन क्लासिफिकेशन कार्यों के लिए पर्याप्त डिस्क्रिमिनेटिव हैं।
रेट-आधारित रेगुलराइजेशन मानक सिमिलैरिटी मेट्रिक्स की तुलना में अधिक डिस्क्रिमिनेटिव रिप्रेजेंटेशन निकाल सकता है।
टेक्स्ट एम्बेडिंग्स प्रभावी रूप से इमेज एक्टिवेशन डिस्ट्रीब्यूशन के अनुमान को गाइड कर सकते हैं, जिससे एक स्टैटिक अर्ली एग्जिट रणनीति संभव होती है जिसके लिए इन्फरेंस के दौरान डायनेमिक, प्रति-सैंपल निर्णय लेने की आवश्यकता नहीं होती है।

लेखक अपने दायरे के बारे में विनम्र रहते हुए नोट करते हैं कि हालांकि वे वर्तमान में डायनेमिक एग्जिट स्ट्रैटेजी (जहाँ प्रत्येक सैंपल अलग लेयर पर एग्जिट करता है) को लागू नहीं करते हैं, फिर भी उनका स्टैटिक फ्रेमवर्क भविष्य के डायनेमिक कार्यान्वयन और लाइटवेट मल्टीमोडल एनकोडर ट्रेनिंग के लिए एक आशाजनक आधार प्रदान करता है।