⚡ electrical engineering

Transformer Architecture with Minimal Inference Latency for Multi-Modal Wireless Networks

यह शोध पत्र एक नवीन, तीव्र मल्टी-मोडल ट्रांसफॉर्मर इन्फरेंस फ्रेमवर्क प्रस्तावित करता है जो एक ऑप्टिमाइज़ेशन-संचालित टोकन चयन तंत्र के माध्यम से विलंबता (लेटेंसी), मेमोरी और गणनात्मक लागत को 80% से अधिक कम करता है, जिससे गतिशील वातावरण में बीमफॉर्मिंग और प्रोएक्टिव हैंडओवर जैसे वास्तविक समय के, उच्च-सटीक वायरलेस संचार कार्यों को सक्षम बनाया जा सके।

मूल लेखक: Minsu Kim, Walid Saad, Kui Wang, Zongdian Li, Tao Yu, Kei Sakaguchi

प्रकाशित 2026-04-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minsu Kim, Walid Saad, Kui Wang, Zongdian Li, Tao Yu, Kei Sakaguchi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त राजमार्ग पर एक स्व-चालित (self-driving) कार चला रहे हैं। सुरक्षित और कनेक्टेड रहने के लिए, आपकी कार को एक साथ कई अलग-अलग इंद्रियों का उपयोग करके दुनिया को "देखने" की आवश्यकता है: एक कैमरा (आंखें), एक रडार (कान), एक LiDAR (एक 3D लेजर स्कैनर), और GPS (एक मानचित्र)।

6G वायरलेस नेटवर्क की दुनिया में, इस कार का "मस्तिष्क" (या सड़क के किनारे वाला टॉवर) एक शक्तिशाली AI का उपयोग करता है जिसे ट्रांसफॉर्मर (Transformer) कहा जाता है। इसका काम सभी डेटा को प्रोसेस करना है ताकि यह सेकंड के सूक्ष्म हिस्सों में निर्णय ले सके, जैसे कि "किसी इमारत से टकराने से पहले एक नए सिग्नल बीम पर स्विच करें" या "अनुमान लगाएं कि अगली कार कहां होगी।"

समस्या: अत्यधिक व्यस्त शेफ (The Overwhelmed Chef)

वर्तमान AI मस्तिष्क एक रसोई में शेफ की तरह हैं जो यह तय करने से पहले कि सूप नमकीन है या नहीं, चावल के एक विशाल बर्तन के हर एक दाने को चखने की कोशिश करते हैं।

बहुत अधिक डेटा: क्योंकि कार में कई सेंसर होते हैं, इसलिए प्रोसेस करने के लिए डेटा (टोकन) की एक विशाल मात्रा होती है।
बाधा (The Bottleneck): AI पैटर्न खोजने के लिए हर डेटा पॉइंट की दूसरे हर डेटा पॉइंट के साथ तुलना करने की कोशिश करता है। यह ऐसा है जैसे शेफ हर दाने को दूसरे दाने के साथ मिलाकर चख रहा हो।
परिणाम: रसोई जाम हो जाती है। AI सोचने में बहुत समय लेता है (हाई लेटेंसी)। जब तक यह अंततः कहता है, "अरे, सामने दीवार आ रही है!", तब तक कार दीवार से टकरा चुकी होती है। निर्णय इतना धीमा था कि वह उपयोगी नहीं रहा।

समाधान: स्मार्ट सू-शेफ (The Smart Sous-Chef)

इस शोध के लेखकों ने AI के काम करने का एक नया तरीका बनाया है। हर चावल के दाने को चखने के बजाय, उन्होंने AI को एक स्मार्ट सू-शेफ (Smart Sous-Chef) (एक "टोकन राउटर") दिया है।

यहाँ उनका नया सिस्टम कैसे काम करता है, चरण-दर-चरण:

1. भाषाओं का अनुवाद (Tokenization)

सबसे पहले, कैमरा "इमेज" बोलता है, रडार "ध्वनि" बोलता है, और GPS "संख्याओं" की भाषा बोलता है। ये सभी अलग-अलग भाषाएं हैं।

समाधान: सिस्टम विशेष अनुवादकों (Tokenizers) का उपयोग करता है ताकि इन सभी अलग-अलग भाषाओं को एक ही सामान्य भाषा में बदला जा सके। अब, AI बिना भ्रमित हुए एक पेड़ की तस्वीर की सीधे रडार सिग्नल के साथ तुलना कर सकता है।

2. स्मार्ट सू-शेफ (Token Routing)

यही असली जादू है। AI सब कुछ नहीं देखता।

पुराना तरीका: 10,000 डेटा पॉइंट्स को देखें।
नया तरीका: "सू-शेफ" तेजी से डेटा को स्कैन करता है और पूछता है, "क्या यह बैकग्राउंड शोर है? क्या यह एक उबाऊ नीला आसमान है?" यदि हाँ, तो वह उस डेटा को फेंक देता है।
फोकस: यह केवल "महत्वपूर्ण" डेटा पॉइंट्स (जैसे किसी पैदल यात्री की अचानक हलचल या किसी इमारत का प्रकट होना) को ही रखता है। यह शायद केवल सबसे महत्वपूर्ण 30% जानकारी को ही रखता है।

3. समायोज्य फ़िल्टर (Learnable Keep Ratio)

AI को कैसे पता चलता है कि उसे कितना रखना है?

कल्पना कीजिए कि लाइटों के लिए एक डिमर स्विच (dimmer switch) है। AI के पास एक "कीप रेश्यो" (Keep Ratio) का नॉब है।
ट्रेनिंग के दौरान, AI इस नॉब को स्वचालित रूप से घुमाना सीख जाता है। यदि सड़क खाली है, तो यह नॉब को कम कर देता है (कम टोकन रखता है)। यदि सड़क अराजक है, तो यह इसे बढ़ा देता है (अधिक टोकन रखता है)।
महत्वपूर्ण बात यह है कि यह ड्राइविंग सीखते समय ही यह सब सीख जाता है, ताकि यह तेज़ होने और सटीक होने के बीच सही संतुलन बना सके।

वास्तविक दुनिया का परिणाम: दुर्घटना को मात देना

शोधकर्ताओं ने इसका परीक्षण दो चीजों पर किया:

सिमुलेशन: उन्होंने सिग्नल बीम की भविष्यवाणी करने के लिए सार्वजनिक डेटासेट्स का उपयोग किया।
वास्तविक जीवन: उन्होंने टोक्यो में एक वास्तविक कार, वास्तविक कैमरों और वास्तविक LiDAR के साथ एक टेस्ट ट्रैक बनाया।

परिणाम:

गति: नया सिस्टम पुराने "सब कुछ चखने वाले" सिस्टम की तुलना में 86% तेज़ था।
मेमोरी: इसने 35% कम कंप्यूटर मेमोरी का उपयोग किया।
सुरक्षा: वास्तविक दुनिया के परीक्षण में, पुराना सिस्टम इतना धीमा था कि उसने बाधा (blockage) का अनुमान तब लगाया जब कार पहले ही दीवार से टकरा चुकी थी। नया सिस्टम इतना तेज़ था कि इसने बाधा आने से पहले ही उसका अनुमान लगा लिया और समय पर सिग्नल बदल दिया, जिससे कनेक्शन सुरक्षित रहा।

बड़ी तस्वीर (The Big Picture)

इस पेपर को एक सुपर-इंटेलिजेंट AI को शोर को अनदेखा करने और सिग्नल पर ध्यान केंद्रित करने के लिए सिखाने के रूप में देखें।

लाइब्रेरी में एक विशिष्ट तथ्य खोजने के लिए हर शब्द को पढ़ने के बजाय, नया AI विषय सूची (table of contents) को स्कैन करना, सही किताब चुनना और केवल प्रासंगिक अध्याय को पढ़ना सीख जाता है। यह 6G नेटवर्क को एक बदलती दुनिया के प्रति तुरंत प्रतिक्रिया करने में सक्षम बनाता है, जिससे हमारा भविष्य कनेक्टेड, तेज़ और सुरक्षित रहता है।

यहाँ शोध पत्र "Transformer Architecture with Minimal Inference Latency for Multi-Modal Wireless Networks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

अगली पीढ़ी के वायरलेस नेटवर्क (जैसे 6G) को गतिशील वातावरण (जैसे वाहन नेटवर्क) में बीमफॉर्मिंग और प्रोएक्टिव हैंडओवर जैसे महत्वपूर्ण कार्यों को निष्पादित करने के लिए परिस्थितिजन्य जागरूकता (situational awareness) की आवश्यकता होती है। ये कार्य मल्टी-मोडल डेटा (LiDAR, कैमरा, रडार, GPS, RSSI) पर निर्भर करते हैं जिसे ट्रांसफॉर्मर मॉडल के माध्यम से फ्यूज किया जाता है।

हालाँकि, मौजूदा ट्रांसफॉर्मर-आधारित दृष्टिकोण एक गंभीर बाधा का सामना करते हैं:

क्वाड्रेटिक जटिलता (Quadratic Complexity): सेल्फ-अटेंशन मैकेनिज्म $O(N^2)$ के रूप में स्केल करता है, जहाँ $N$ टोकन की संख्या है। मल्टी-मोडल इनपुट $N$ को काफी बढ़ा देते हैं, जिससे उच्च इन्फरेंस लेटेंसी (inference latency) और मेमोरी उपयोग होता है।
रियल-टाइम विफलता (Real-Time Failure): उच्च लेटेंसी के कारण भविष्यवाणियाँ निष्पादन से पहले ही अप्रचलित हो जाती हैं। उदाहरण के लिए, एक प्रोएक्टिव हैंडओवर परिदृश्य में, यदि मॉडल यह भविष्यवाणी करता है कि ब्लॉकेज होने वाला है, लेकिन यह भविष्यवाणी तब होती है जब लाइन-ऑफ-साइट (LoS) पहले ही ब्लॉक हो चुकी होती है, तो लिंक विफल हो जाता है।
वर्तमान समाधानों की अक्षमता: मौजूदा टोकन प्रूनिंग/मर्जिंग विधियाँ (जैसे ToMe, MoD) सिंगल-मोडल कार्यों (विज़न या लैंग्वेज) के लिए डिज़ाइन की गई हैं और वे मल्टी-मोडल वायरलेस परिदृश्यों के लिए एक विशिष्ट कम्प्यूटेशनल बजट के तहत मॉडल प्रदर्शन के साथ टोकन की संख्या को संयुक्त रूप से अनुकूलित नहीं करती हैं।

लक्ष्य: एक ऐसा फ्रेमवर्क डिज़ाइन करना जो एक लक्षित कम्प्यूटेशनल बजट के तहत प्रदर्शन की सटीकता बनाए रखते हुए, इन्फरेंस लेटेंसी और FLOPs को कम करने के लिए केवल सबसे महत्वपूर्ण टोकन को प्रोसेस करे।

2. कार्यप्रणाली (Methodology)

लेखक एक नया फास्ट मल्टी-मोडल ट्रांसफॉर्मर इन्फरेंस फ्रेमवर्क प्रस्तावित करते हैं जिसमें तीन मुख्य घटक शामिल हैं:

A. मोडैलिटी-विशिष्ट टोकनाइजेशन (Modality-Specific Tokenization)

विभिन्न प्रकार के डेटा के बीच के अंतर को पाटने के लिए, यह फ्रेमवर्क सभी मोडैलिटीज को एक साझा एम्बेडिंग डायमेंशन ( $d$ ) में प्रोजेक्ट करने के लिए लाइटवेट टोकनाइज़र का उपयोग करता है:

इमेज और पॉइंट क्लाउड्स: सिमेंटिक फीचर्स निकालने और उन्हें टोकन में प्रोजेक्ट करने के लिए छोटे CNNs (ResNet ब्लॉक्स + 1D Conv) द्वारा प्रोसेस किए जाते हैं।
रडार: FMCW रडार क्यूब्स को डाउनसैंपल किया जाता है और लीनियर लेयर्स के माध्यम से प्रोजेक्ट किया जाता है।
GPS और RSSI: स्केलर वैल्यूज को लीनियर लेयर्स के माध्यम से सिंगल टोकन में प्रोजेक्ट किया जाता है।
परिणाम: सभी मोडैलिटीज को एक एकीकृत टोकन सीक्वेंस $X$ में संयोजित किया जाता है, जिससे ट्रांसफॉर्मर उन्हें एक ही स्पेस में प्रोसेस कर सकता है।

B. टोकन-लेवल रूटिंग (Token-Level Routing)

सभी टोकन को प्रोसेस करने के बजाय, फ्रेमवर्क प्रत्येक ट्रांसफॉर्मर ब्लॉक में एक टोकन राउटर (Token Router) का उपयोग करता है:

तंत्र (Mechanism): एक लाइटवेट राउटर (GELU एक्टिवेशन के साथ दो लीनियर लेयर्स) प्रत्येक टोकन के लिए एक महत्व स्कोर ( $s_l$ ) की भविष्यवाणी करता है।
चयन (Selection): केवल Top- $K_l$ टोकन को अगले ट्रांसफॉर्मर ब्लॉक (सेल्फ-अटेंशन + MLP) में भेजा जाता है।
बायपास (Bypass): अन-सिलेक्टेड टोकन पूरे ब्लॉक को बायपास कर देते हैं, जिससे अटेंशन जटिलता $O(N^2)$ से घटकर $O(K_l^2)$ हो जाती है।
प्रशिक्षण (Training): राउटर को सिलेक्टेड बनाम बायपास किए गए टोकन के आउटपुट को वेट देने वाले ग्रेडिएंट पाथ का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है।

C. डिफरेंशिएबल कीप रेशियो ऑप्टिमाइजेशन (Differentiable Keep Ratio Optimization)

मैनुअल हाइपरपैरामीटर ट्यूनिंग के बिना प्रत्येक लेयर के लिए इष्टतम टोकन संख्या ( $K_l$ ) निर्धारित करने के लिए:

लर्न करने योग्य पैरामीटर: प्रत्येक लेयर के लिए एक निरंतर कीप रेशियो ( $r_l \in [0, 1]$ ) परिभाषित किया गया है, जो रखे जाने वाले टोकन के अंश को दर्शाता है।
डिफरेंशिएबल एप्रोक्सिमेशन: चूंकि Top- $K$ ऑपरेशन नॉन-डिफरेंशिएबल है, लेखक एक पीसवाइज रिलैक्सेशन (piecewise relaxation) का उपयोग करते हैं। वे $r_l$ को दो निकटतम पूर्णांकों ( $K_{up}$ और $K_{down}$ ) तक राउंड करते हैं, दो फॉरवर्ड पास करते हैं, और पूर्णांकों से दूरी के आधार पर आउटपुट को लीनियरली कंबाइन करते हैं। यह $r_l$ के लिए एक वैध ग्रेडिएंट पाथ बनाता है।
कन्स्ट्रेंट ऑप्टिमाइजेशन: एक लक्ष्य FLOPs बजट ( $\gamma$ ) के अधीन टास्क लॉस को कम करने के लिए एक ऑप्टिमाइज़ेशन समस्या तैयार की गई है। एक MSE पेनल्टी को लॉस फंक्शन में जोड़ा गया है ताकि औसत कीप रेशियो ( $r_{avg}$ ) को एक लक्षित रेशियो ( $\gamma'$ ) से मिलाने के लिए मजबूर किया जा सके, जो प्रभावी रूप से कम्प्यूटेशनल बजट को नियंत्रित करता है।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क: पहला मल्टी-मोडल ट्रांसफॉर्मर इन्फरेंस फ्रेमवर्क जो विशेष रूप से वायरलेस कम्युनिकेशन कार्यों के लिए प्रदर्शन और लेटेंसी को संतुलित करने के लिए डिज़ाइन किया गया है।
संयुक्त अनुकूलन (Joint Optimization): एक सख्त कम्प्यूटेशनल बजट के तहत मॉडल पैरामीटर्स, टोकन राउटर और प्रति लेयर टोकन की इष्टतम संख्या को संयुक्त रूप से सीखने के लिए एक ऑप्टिमाइज़ेशन समस्या को फॉर्म्युलेट और हल करता है।
डिफरेंशिएबल टोकन काउंटिंग: एक लर्न करने योग्य कीप रेशियो के साथ एक पीसवाइस रिलैक्सेशन तकनीक पेश की गई है, जो हेयुरिस्टिक नियमों या Gumbel-Softmax जैसे डिस्क्रीट एप्रोक्सिमेशन के बिना एंड-टू-एंड टोकन काउंट के अनुकूलन को सक्षम बनाती है।
वास्तविक दुनिया का सत्यापन: एक नया रियल-वर्ल्ड मल्टी-मोडल हैंडओवर डेटासेट विकसित किया गया, जो सिग्नल ब्लॉकेज होने से पहले प्रोएक्टिव हैंडओवर करने की फ्रेमवर्क की क्षमता को प्रमाणित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन दो सार्वजनिक mmWave बीमफॉर्मिंग डेटासेट्स (DeepSense 6G और CARLA-MATLAB) और उनके कस्टम रियल-वर्ल्ड हैंडओवर डेटासेट पर किया गया।

A. दक्षता लाभ (Deep-Sense 6G)

सभी टोकन प्रोसेस करने वाले बेसलाइन (MHA) की तुलना में:

इन्फरेंस लेटेंसी: 86.2% कम हुई ( $\gamma'=30\%$ पर)।
GPU मेमोरी: 35% कम हुई।
FLOPs: 80% कम हुए।
सटीकता (Accuracy): नगण्य कमी (Top-1 सटीकता में केवल 0.12% की गिरावट)।
नोट: उच्च कीप रेशियो (जैसे 50-70%) पर, प्रस्तावित विधि ने फुल-बेसलाइन की तुलना में उच्च सटीकता प्राप्त की, जो सुझाव देती है कि राउटर शोर (noise) को हटाकर एक रेगुलराइज़र के रूप में कार्य करता है।

B. रियल-वर्ल्ड हैंडओवर प्रदर्शन

प्रोएक्टिव हैंडओवर: एक चलते हुए वाहन और ब्लॉकेज वाले टेस्टबेड परिदृश्य में:
- बेसलाइन (MHA): इन्फरेंस में >300ms लगे। निर्णय ब्लॉकेज होने के बाद लिया गया, जिसके परिणामस्वरूप रिसीव्ड सिग्नल स्ट्रेंथ (RSSI) में 70% की गिरावट आई।
- प्रस्तावित फ्रेमवर्क: इन्फरेंस 83% तेज़ था। इसने सफलतापूर्वक ब्लॉकेज की भविष्यवाणी की और लिंक टूटने से पहले हैंडओवर शुरू कर दिया, जिससे स्थिर RSSI बना रहा।
दक्षता: $\gamma'=40\%$ पर, बेसलाइन की तुलना में केवल 0.61% सटीकता हानि के साथ लेटेंसी में 83.2% की कमी आई।

C. एब्लेशन स्टडीज (Ablation Studies)

टोकनाइज़र्स: मोडैलिटी गैप को कम करने के लिए आवश्यक थे; उन्हें फ्रीज करने से सटीकता में भारी गिरावट आई।
टोकन राउटर: महत्वपूर्ण टोकन की पहचान करने के लिए महत्वपूर्ण थे; रैंडम सिलेक्शन से खराब प्रदर्शन हुआ।
लर्न करने योग्य कीप रेशियो: यूनिफॉर्म टोकन रिडक्शन (हेयुरिस्टिक) लर्न करने योग्य लेयर-विशिष्ट रेशियो की तुलना में निम्न स्तर का था। पाया गया कि शुरुआती लेयर्स को गहरी लेयर्स की तुलना में अधिक टोकन की आवश्यकता होती है।

5. महत्व (Significance)

यह शोध पत्र वायरलेस नेटवर्क में AI को तैनात करने की एक महत्वपूर्ण बाधा: लेटेंसी को संबोधित करता है। यह प्रदर्शित करके कि इंटेलिजेंट टोकन सिलेक्शन के माध्यम से ट्रांसफॉर्मर को नगण्य सटीकता हानि के साथ 86% तेज़ बनाया जा सकता है, लेखक निम्नलिखित को सक्षम करते हैं:

रियल-टाइम सिचुएशनल अवेयरनेस: सिस्टम अब चैनल के कोहेरेंस टाइम के भीतर गतिशील परिवर्तनों (वाहन, ब्लॉकेज) पर प्रतिक्रिया कर सकते हैं।
एज डिप्लॉयमेंट: FLOPs और मेमोरी में भारी कमी इसे संसाधन-सीमित एज डिवाइसेज (जैसे RSU, वाहन) पर जटिल मल्टी-मोडल मॉडल चलाने के लिए व्यवहार्य बनाती है।
प्रोएक्टिव नेटवर्क मैनेजमेंट: ब्लॉकेज होने से पहले ही उसे प्रेडिक्ट करने की क्षमता निर्बाध, ज़ीरो-इंटरप्शन हैंडओवर की अनुमति देती है, जो अल्ट्रा-रिलायबल लो-लेटेंसी कम्युनिकेशन (URLLC) की एक प्रमुख आवश्यकता है।

यह कार्य "सब कुछ प्रोसेस करें" के बजाय "जो महत्वपूर्ण है उसे प्रोसेस करें" की ओर बढ़ते हुए, वायरलेस सिस्टम में कुशल मल्टी-मोडल लर्निंग के लिए एक नया प्रतिमान स्थापित करता है।