💻 computer science

How Fast Can I Run My VLA? Demystifying VLA Inference Performance with VLA-Perf

यह शोध पत्र VLA-Perf प्रस्तुत करता है, जो एक विश्लेषणात्मक प्रदर्शन मॉडल है जो भविष्य के वास्तविक समय के एम्बोडीड (embodied) AI सिस्टम को डिजाइन करने के लिए व्यावहारिक मार्गदर्शन प्रदान करने हेतु विभिन्न आर्किटेक्चर और परिनियोजन परिदृश्यों में विजन-लैंग्वेज-एक्शन मॉडलों के इन्फरेंस प्रदर्शन का व्यवस्थित रूप से मूल्यांकन करता है।

मूल लेखक: Wenqi Jiang, Jason Clemons, Karu Sankaralingam, Christos Kozyrakis

प्रकाशित 2026-02-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenqi Jiang, Jason Clemons, Karu Sankaralingam, Christos Kozyrakis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक शानदार, सुपर-स्मार्ट रोबोट दिमाग बनाया है। यह दिमाग कैमरों के जरिए दुनिया को देख सकता है, मानवीय भाषा को समझ सकता है, और अपने हाथ-पैर कैसे चलाने है इसका निर्णय ले सकता है। इसे VLA (विज़न-लैंग्वेज-एक्शन) मॉडल कहा जाता है।

लेकिन समस्या यह है कि एक रोबोट का दिमाग बेकार है अगर वह बहुत धीमा हो। यदि कोई गेंद रोबोट की ओर लुढ़कती हुई आती है, तो उसे तुरंत प्रतिक्रिया देनी चाहिए। यदि दिमाग सोचने में बहुत अधिक समय लेता है, तो रोबोट टकरा जाएगा।

आपने जो पेपर साझा किया है, "How Fast Can I Run My VLA?", वह इन रोबोट दिमागों के लिए एक मैकेनिक के मैनुअल की तरह है। NVIDIA रिसर्च के लेखकों ने एक टूल बनाया जिसे VLA-Perf कहा जाता है, ताकि एक बड़े सवाल का जवाब दिया जा सके: "हम इन रोबोट दिमागों को वास्तविक दुनिया में चलाने के लिए पर्याप्त तेज़ कैसे बना सकते हैं?"

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "कॉम्बिनेटोरियल केओस" (Combinatorial Chaos)

कल्पना कीजिए कि आप एक आदर्श डिलीवरी ट्रक बनाने की कोशिश कर रहे हैं। आपको चुनना होगा:

इंजन: (AI मॉडल) क्या यह एक छोटा, ईंधन-कुशल 4-सिलेंडर इंजन होना चाहिए या एक विशाल V12?
ड्राइवर: (इन्फरेंस सिस्टम) क्या ड्राइवर ट्रक के अंदर बैठा है (ऑन-डिवाइस), पास के एक कंट्रोल टॉवर में है (एज सर्वर), या किसी दूसरे शहर की गगनचुंबी इमारत में है (क्लाउड)?
सड़क: (नेटवर्क) क्या ड्राइवर एक सुपर-हाईवे (फाइबर ऑप्टिक) पर है, एक ग्रामीण सड़क (WiFi) पर है, या एक ऊबड़-खाबड़ कच्ची राह (4G/5G) पर है?

इन हिस्सों को आपस में मिलाने के लाखों तरीके हैं। लेखकों ने महसूस किया कि किसी ने भी इन सभी का परीक्षण नहीं किया है। इसलिए, उन्होंने VLA-Perf बनाया, जो एक "सिम्युलेटर" है जो यह अनुमान लगाता है कि कोई भी संयोजन कितनी तेज़ी से चलेगा, बिना उस वास्तविक ट्रक को बनाए रखे।

2. मुख्य निष्कर्ष (15 मुख्य बातों का सरलीकरण)

पेपर ने हजारों परिदृश्यों का परीक्षण किया और सड़क के कुछ आश्चर्यजनक नियम खोज निकाले। यहाँ सबसे महत्वपूर्ण हैं:

🚗 इंजन का आकार मायने रखता है (मॉडल स्केलिंग)

उपमा: AI मॉडल को एक शेफ (रसोइया) के रूप में सोचें। एक छोटा शेफ (छोटा मॉडल) सब्जियां जल्दी काट सकता है। एक विशाल शेफ (बड़ा मॉडल) बेहतर सूप बनाता है लेकिन सब्जियां काटने में बहुत समय लेता है।
निष्कर्ष: यदि आप चाहते हैं कि रोबोट "रियल-टाइम" गति (जैसे एक सेकंड में 10 से 100 बार) पर चले, तो आप केवल शेफ को बड़ा नहीं बना सकते।
- बड़े डेटासेंटर सर्वर (जैसे एक सुपर-किचन) बड़े शेफ को संभाल सकते हैं और फिर भी तेज़ रह सकते हैं।
- छोटे रोबोट चिप्स (जैसे रोबोट के सिर में एक छोटी रसोई) बहुत बड़े शेफ होने पर घबरा जाते हैं। वे केवल छोटे, कुशल शेफ को ही संभाल सकते हैं।

🎬 "लॉन्ग मेमोरी" का जाल (लॉन्ग कॉन्टेक्स्ट)

उपमा: कल्पना कीजिए कि एक रोबोट वर्तमान में क्या करना है यह तय करने के लिए 10 मिनट पहले देखी गई फिल्म को याद करने की कोशिश कर रहा है।
निष्कर्ष: यदि रोबंत बहुत अधिक याद रखने की कोशिश करता है (हजारों पिछले फ्रेम्स), तो वह धीमा हो जाता है।
- शक्तिशाली सर्वर बहुत कुछ याद रख सकते हैं (1,000 फ्रेम्स तक) और फिर भी तेज़ रह सकते हैं।
- छोटे रोबोट चिप्स लगभग 100 फ्रेम्स तक ही याद रख सकते हैं, उसके बाद वे अटकने लगते हैं।

🎨 पेंटिंग की शैली (डिफ्यूजन बनाम ऑटोरेग्रेसिव)

उपमा:
- ऑटोरेग्रेसिव (Autoregressive): जैसे एक तस्वीर को एक बार में एक सिंगल ब्रशस्ट्रोक के साथ पेंट करना, अगले स्ट्रोक से पहले पेंट के सूखने का इंतज़ार करना। बहुत धीमा।
- डिफ्यूजन (Diffusion): जैसे एक धुंधली छवि से शुरू करना और उसे कुछ ही चरणों में एक साथ स्पष्ट करना। बहुत तेज़।
निष्कर्ष: रोबोट के लिए "डिफ्यूजन" शैली (छवि को स्पष्ट करना) वर्तमान में "ऑटोरेग्रेसिव" शैली (एक बार में एक स्ट्रोक) की तुलना में 100 गुना तेज़ है। यदि आप गति चाहते हैं, तो डिफ्यूजन का उपयोग करें।

🏠 दिमाग कहाँ रहना चाहिए? (ऑन-डिवाइस बनाम क्लाउड)

उपमा:
- ऑन-डिवाइस: दिमाग रोबोट के सिर के अंदर है। विचारों के आने-जाने का कोई समय नहीं लगता, लेकिन सिर छोटा और कमजोर है।
- क्लाउड: दिमाग दूर स्थित एक विशाल सुपरकंप्यूटर में है। दिमाग बहुत स्मार्ट है, लेकिन विचारों को इंटरनेट के माध्यम से यात्रा करनी पड़ती है।
निष्कर्ष:
- क्लाउड आमतौर पर रोबोट के अपने दिमाग से तेज़ होता है, जब तक कि इंटरनेट कनेक्शन बहुत खराब (जैसे धीमा 4G सिग्नल) न हो।
- यदि इंटरनेट धीमा है, तो दूर के क्लाउड से संदेश मिलने का इंतज़ार करने के बजाय रोबोट के अपने सिर में एक कमजोर दिमाग होना बेहतर है।

🤝 "स्प्लिट ब्रेन" रणनीति (सहयोग)

उपमा: क्या होगा यदि रोबोट का सिर आसान काम करे, और क्लाउड कठिन काम करे?
निष्कर्ष: यह आमतौर पर विफल हो जाता है। यह एक सचिव द्वारा सीईओ को मेमो भेजने, जवाब का इंतज़ार करने और फिर कार्य करने जैसा है। मेमो को वापस भेजने और प्राप्त करने में लगने वाला समय आमतौर पर पूरे काम को खुद करने से धीमा होता है।

⚡ "एसिंक" (Async) की शक्ति (दो काम एक साथ करना)

उपमा: कल्पना कीजिए कि एक वेटर ऑर्डर ले रहा है।
- सिंक्रोनस (Synchronous): वेटर अगला ऑर्डर लेने से पहले किचन में खाना बनने का इंतज़ार करता है।
- असिंक्रोनस (Asynchronous): वेटर पहला ऑर्डर पकने के दौरान ही अगला ऑर्डर ले लेता है।
निष्कर्ष: यदि रोबोट एक धीमे नेटवर्क से जुड़ा है, तो "असिंक्रोनस" सोचना एक गेम-चेंजर है। रोबोट "पुराने" जानकारी के आधार पर हिलना शुरू कर सकता है जबकि नई गणना अभी इंटरनेट पर यात्रा कर रही होती है। यह खराब कनेक्शन पर भी रोबोट को सुचारू रूप से चलते रहने में मदद करता है।

3. निचोड़: एक तेज़ रोबोट कैसे बनाएं

लेखक भविष्य के लिए एक रेसिपी देते हैं:

यदि आपके पास पास में एक शक्तिशाली सर्वर है: तो बड़ा दिमाग वहीं रखें। एक तेज़ इंटरनेट कनेक्शन (WiFi 7 या ईथरनेट) का उपयोग करें। इंटरनेट के लैग (lag) को छिपाने के लिए "असिंक्रोनस" सोच का उपयोग करें।
यदि रोबोट को अकेले काम करना है (बिना इंटरनेट के): तो आपको एक छोटे, कुशल दिमाग की आवश्यकता है। आप विशाल मॉडल्स का उपयोग नहीं कर सकते। आपको मॉडल को सरल बनाने या सोचने में लगने वाले "स्टेप्स" को कम करने की आवश्यकता हो सकती है।
दिमाग को विभाजित न करें: यह बेहतर है कि पूरे दिमाग को एक ही स्थान पर रखा जाए (या तो पूरा रोबोट में या पूरा क्लाउड में), बजाय इसके कि उसे विभाजित किया जाए।

सारांश

यह पेपर इंजीनियरों के लिए एक गाइड है। यह कहता है: "अनुमान लगाना बंद करें। यह जानने के लिए हमारे टूल (VLA-Perf) का उपयोग करें कि आपके रोबोट का दिमाग कितना बड़ा होना चाहिए और उसे कहाँ रहना चाहिए, ताकि आपका रोबोट बहुत धीरे सोचने के कारण अपने ही पैरों में उलझकर गिर न जाए।"

यह AI के जटिल गणित को एक सरल नियम में बदल देता है: हार्डवेयर के अनुसार दिमाग के आकार का मिलान करें, और इंटरनेट की गति के अनुसार स्थान का मिलान करें।

यहाँ शोध पत्र "How Fast Can I Run My VLA? Demystifying VLA Inference Performance with VLA-Perf" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल एम्बॉडीड एआई (Embodied AI) के केंद्र में हैं, जो रोबोटों को देखने, तर्क करने और कार्य करने में सक्षम बनाते हैं। हालाँकि, इन मॉडलों को वास्तविक दुनिया के रोबोटों पर तैनात करने में एक महत्वपूर्ण बाधा आती है: रियल-टाइम इन्फरेंस (inference) की सीमाएँ।

अंतराल (The Gap): जबकि VLA दक्षता को अनुकूलित करने के लिए विभिन्न तकनीकें मौजूद हैं (जैसे, क्वांटाइजेशन, छोटे मॉडल, एसिंक्रोनस निष्पादन), VLA इन्फरेंस प्रदर्शन के परिदृश्य की कोई व्यापक समझ नहीं है।
जटिलता (The Complexity): प्रदर्शन एक विशाल संय combinations (combinatorial space) द्वारा निर्धारित होता जिसमें शामिल हैं:
1. मॉडल आर्किटेक्चर: स्केलिंग लॉज़, लॉन्ग-कॉन्टेक्स्ट हैंडलिंग, ऑटो-रिग्रेसिव बनाम डिफ्यूजन-आधारित एक्शन एक्सपर्ट्स, डिनोइजिंग स्टेप्स (denoising steps), और एक्शन चंकिंग (action chunking)।
2. इन्फरेंस सिस्टम: हार्डवेयर क्षमताएं (Edge बनाम Datacenter GPUs), परिनियोजन स्थान (On-device, Edge-server, Cloud), और नेटवर्क स्थितियाँ (Wired, WiFi, 4G/5G)।
चुनौती: हर मॉडल और सिस्टम के संयोजन का गहन परीक्षण करना अत्यधिक खर्चीला और समय लेने वाला है। यह शोध पत्र पूछता है: भविष्य के VLA मॉडलों और सिस्टम को रियल-टाइम इन्फरेंस (10–100 Hz) का समर्थन करने के लिए कैसे डिज़ाइन किया जाना चाहिए?

2. कार्यप्रणाली: VLA-Perf (Methodology: VLA-Perf)

इस मूल्यांकन चुनौती को हल करने के लिए, लेखक VLA-Perf पेश करते हैं, जो एक विश्लेषणात्मक, रूफलाइन-आधारित (roofline-based) प्रदर्शन मॉडल है।

मुख्य अवधारणा: VLA-Perf बिना किसी भौतिक परिनियोजन (physical deployment) के किसी भी मॉडल-सिस्टम संयोजन के लिए इष्टतम इन्फरेंस लेटेंसी और थ्रूपुट (throughput) की भविष्यवाणी करता है।
मॉडलिंग दृष्टिकोण:
- घटक (Components): यह VLA इन्फरेंस को डेटा ट्रांसफर (लोकल या नेटवर्क्ड) के साथ इंटरलीव किए गए मॉडल घटकों (विज़न एनकोडर, VLM बैकबोन, एक्शन एक्सपर्ट) में संक्षिप्त करता है।
- लेटेंसी गणना: कुल लेटेंसी ( $T_{total}$ $T_{t o t a l}$ ) मॉडल इन्फरेंस लेटेंसी और डेटा मूवमेंट लेटेंसी का योग है।
  - कंप्यूट/मेमोरी बाउंड: ऑपरेटर लेटेंसी की गणना रूफलाइन मॉडल का उपयोग करके की जाती है: $T_o = \max(\frac{FLOPs}{PeakFLOP/s}, \frac{Bytes}{MemBW})$ ।
  - नेटवर्क लेटेंसी: इसे $T_{net} = NetLat + \frac{Bytes}{NetBW}$ के रूप में मॉडल किया गया है।
- वैधीकरण (Validation): मॉडल को RTX 4090 पर $\pi_0$ मॉडल का उपयोग करके वास्तविक दुनिया के ट्राइटन (Triton) इन्फरेंस बेंचमार्क के विरुद्ध सत्यापित किया गया था। इसने अनुभवजन्य मापों (empirical measurements) की तुलना में 73.3%–82.6% फिडेलिटी (fidelity) प्राप्त की, और वर्कलोड का आकार बढ़ने के साथ अंतराल कम होता गया।
मूल्यांकन का दायरा: यह अध्ययन $\pi_0$ $π_{0}$ आर्किटेक्चर (और इसके स्केल्ड वेरिएंट्स) का निम्नलिखित के माध्यम से मूल्यांकन करता है:
- हार्डवेयर: जेटसन थोर (Jetson Thor - Edge), RTX 4090 (कंज्यूमर), A100/H100/B100 (डेटासेंटर)।
- नेटवर्क्स: ईथरनेट (1G/10G), WiFi 6/7, 4G/5G, और क्लाउड कॉन्फ़िगरेशन।
- कॉन्फ़िगरेशन: मॉडल साइज (81B पैरामीटर्स तक), कॉन्टेक्स्ट लेंथ (10k स्टेप्स तक), डिनोइजिंग स्टेप्स, एक्शन चंक साइज, और सिंक्रोनस/एसिंक्रोनस निष्पादन।

3. मुख्य योगदान और परिणाम (Key Contributions & Results - 15 Takeaways)

यह अध्ययन 15 क्रियाशील अंतर्दृष्टि (actionable insights) प्रदान करता है, जिन्हें मॉडल डिज़ाइन और सिस्टम परिनियोजन के आधार पर वर्गीकृत किया गया है।

A. मॉडल डिज़ाइन अंतर्दृष्टि (Model Design Insights)

हार्डवेयर सीमाएं: डेटासेंटर GPU (A100/B100) छोटे VLAs (जैसे $\pi_0$ ) को कैमरा फ्रेम रेट (24–60 Hz) पर चला सकते हैं। एज GPU (Jetson Thor) काफी धीमे (~19 Hz) हैं।
मेमोरी बनाम कंप्यूट: एक्शन प्रेडिक्शन सभी हार्डवेयर पर मेमोरी-बाउंड (memory-bound) है, जबकि विज़न और VLM घटक कंप्यूट-बाउंड (compute-bound) हैं (Jetson Thor को छोड़कर, जहाँ मेमोरी बैंडविड्थ सब कुछ सीमित करती है)।
स्केलिंग लॉज़: इन्फरेंस लेटेंसी मॉडल के आकार के साथ रैखिक (linearly) रूप से बढ़ती है। डेटासेंटर GPU $\pi_0$ (81B params) से 30 गुना बड़े मॉडल्स को भी रियल-टाइम स्पीड बनाए रखते हुए सपोर्ट कर सकते हैं; एज GPU ऐसा नहीं कर सकते।
लॉन्ग-कॉन्टेक्स्ट व्यवहार्यता: डेटासेंटर GPU 1,000 पिछले टाइमस्टेप्स तक रियल-टाइम इन्फरेंस का समर्थन करते हैं। एज/कंज्यूमर GPU लगभग 100 स्टेप्स तक ही सीमित हैं, जिसके बाद लेटेंसी अत्यधिक हो जाती है।
डिनोइजिंग स्टेप्स: डिनोइजिंग स्टेप्स बढ़ाने का लेटेंसी पर रैखिक और महत्वपूर्ण प्रभाव पड़ता है। एक्शन चंक साइज बढ़ाने का नगण्य प्रभाव पड़ता है क्योंकि एक्शन प्रेडिक्शन मेमोरी-बाउंड है।
आर्किटेक्चर विकल्प: एक्शन चंकिंग का उपयोग करने पर डिफ्यूजन-आधारित (Diffusion-based) एक्शन एक्सपर्ट्स, वैनिला ऑटो-रिग्रेसिव मॉडल्स की तुलना में 10–100x तेज़ होते हैं।
ऑटो-रिग्रेसिव व्यवहार्यता: ऑटो-रिग्रेसिव मॉडल केवल छोटे एक्शन टोकन काउंट के साथ या पैरेलल डिकोडिंग का उपयोग करने पर प्रतिस्पर्धी होते हैं (छोटे चंक साइज के लिए)। बड़े चंक के लिए, वे कंप्यूट-बाउंड हो जाते हैं और धीमे हो जाते हैं।

B. सिस्टम परिनियोजन अंतर्दृष्टि (System Deployment Insights)

सर्वर बनाम डिवाइस: अधिकांश परिदृश्यों में, सर्वर-साइड इन्फरेंस ऑन-डिवाइस इन्फरेंस की तुलना में काफी बेहतर प्रदर्शन करता है, जब तक कि नेटवर्क स्थितियाँ अत्यंत खराब (जैसे, धीमा 4G) न हों।
सहयोगात्मक इन्फरेंस (Collaborative Inference): डिवाइस और सर्वर के बीच काम को विभाजित करना (सर्वर पर VLM चलाना और डिवाइस पर एक्शन एक्सपर्ट चलाना) KV कैश को स्थानांतरित करने के ओवरहेड के कारण, पूरी तरह से सर्वर पर या पूरी तरह से डिवाइस पर चलाने की तुलना में सामान्यतः धीमा है।
1heid एसिंक्रोनस इन्फरेंस (Asynchronous Inference): एसिंक्रनाइटी (रोबोट निष्पादन के साथ इन्फरेंस को ओवरलैप करना) सर्वर-साइड सिस्टम के लिए थ्रूपुट में भारी सुधार करती है, विशेष रूप से धीमे वायरलेस नेटवर्क पर (2.6x–6x की गति वृद्धि), हालांकि यह एंड-टू-एंड लेटेंसी को कम नहीं करती है।
डुअल-सिस्टम पाइपलाइन: एक "सिस्टम 1 (फास्ट) + सिस्टम 2 (स्लो)" आर्किटेक्चर प्रदर्शन में सुधार करता है, लेकिन इसके लाभ नेटवर्क लेटेंसी पर अत्यधिक निर्भर हैं। तेज़ नेटवर्क पर, यह थ्रूपुट को दोगुना कर सकता है; धीमे नेटवर्क पर, लाभ समाप्त हो जाते हैं।
10 Hz लक्ष्य: $\pi_0$ के लिए Jetson Thor पर और कंज्यूमर GPU + वायरलेस नेटवर्क के साथ एज सर्वर पर प्राप्त किया जा सकता है।
100 Hz लक्ष्य:
- ऑन-डिवाइस: इसके लिए मॉडल-स्तर के अनुकूलन (छोटे मॉडल, कम स्टेप्स) की आवश्यकता है।
- एज/क्लाउड: इसके लिए डेटासेंटर GPU (B100) और हाई-स्पीड नेटवर्क (Wired/WiFi 7) की आवश्यकता है।
क्लाउड इन्फरेंस: नेटवर्क लेटेंसी के कारण क्लाउड में 100 Hz प्राप्त करना सिंक्रोनस इन्फरेंस के साथ असंभव है। उच्च-आवृत्ति वाले क्लाउड परिनियोजन के लिए एसिंक्रोनस इन्फरेंस अनिवार्य है।
नेटवर्क की महत्ता: नेटवर्क प्रदर्शन, सर्वर-साइड इन्फरेंस के लिए प्राथमिक बाधा है। खराब नेटवर्क (4G/धीमा क्लाउड) सिंक्रोनस प्रदर्शन को अनुपयोगी स्तरों (<10 Hz) तक गिरा देता है, जबकि एसिंक्रोनस निष्पादन स्वीकार्य प्रदर्शन को पुनः प्राप्त कर सकता है।

4. महत्व (Significance)

प्रथम व्यवस्थित अध्ययन: यह पहला कार्य है जो व्यापक रूप से VLA इन्फरेंस प्रदर्शन परिदृश्य को मैप करता है, जो मॉडल डिज़ाइन और सिस्टम परिनियोजन के बीच के अंतर को पाटता है।
व्यावहारिक मार्गदर्शन: 15 निष्कर्ष इंजीनियरों के लिए ठोस नियम प्रदान करते हैं:
- डिज़ाइनर्स को डिफ्यूजन-आधारित एक्शन एक्सपर्ट्स को प्राथमिकता देनी चाहिए, डिनोइजिंग स्टेप्स को सावधानी से प्रबंधित करना चाहिए, और एज डिवाइसेस के लिए लॉन्ग-कॉन्टेक्स्ट पर अत्यधिक निर्भरता से बचना चाहिए।
- सिस्टम आर्किटेक्ट्स को हाई-बैंडविड्थ नेटवर्क के साथ सर्वर-साइड परिनियोजन को प्राथमिकता देनी चाहिए और नेटवर्क बाधाओं को दूर करने के लिए एसिंक्रोनस निष्पादन का उपयोग करना चाहिए।
ओपन सोर्स टूल: VLA-Perf का रिलीज़ समुदाय को महंगे हार्डवेयर प्रोटोटाइपिंग के बिना VLA सिस्टम को सिम्युलेट और ऑप्टिमाइज़ करने की अनुमति देता है, जिससे रियल-टाइम एम्बॉडीड एआई के विकास में तेजी आती है।

निष्कर्ष (Conclusion)

शोध पत्र निष्कर्ष निकालता है कि हालांकि VLA मॉडल शक्तिशाली हैं, रियल-टाइम प्रदर्शन प्राप्त करने के लिए मॉडल आर्किटेक्चर और सिस्टम इंफ्रास्ट्रक्चर का सह-डिज़ाइन (co-design) आवश्यक है। डेटासेंटर GPU के साथ एसिंक्रोनस, सर्वर-साइड इन्फरेंस वर्तमान में उच्च-आवृत्ति (100 Hz) संचालन के लिए सबसे अच्छा मार्ग प्रदान करते हैं, जबकि एज परिनियोजन के लिए आक्रामक मॉडल अनुकूलन और कम फ्रीक्वेंसी (10–20 Hz) को स्वीकार करने की आवश्यकता है। भविष्य के कार्यों को विविध एम्बॉडीड डोमेन (जैसे, स्वायत्त ड्राइविंग) को संबोधित करना चाहिए और सेंसिंग/एक्चुएशन लेटेंसी को प्रदर्शन मॉडल में एकीकृत करना चाहिए।