FlashRT: Agent Harness for Guiding Agents to Deploy Real-Time Multimodal Applications
FlashRT एक एजेंट हारनेस है जो कोडिंग एजेंटों को सरल संदर्भ कार्यान्वयन (reference implementations) को विविध हार्डवेयर प्लेटफॉर्म्स पर अत्यधिक अनुकूलित, रियल-टाइम मल्टीमॉडल डिप्लॉयमेंट्स में स्वचालित रूप से बदलने के लिए निर्देशित करता है, जो इंटरमीडिएट रिप्रेजेंटेशन, स्टैटिक एनालिसिस और इटरेटिव बेंचमार्किंग से जुड़े एक नवीन चेन-ऑफ-प्रोग्राम प्रतिमान के माध्यम से महत्वपूर्ण लेटेंसी रिडक्शन और थ्रूपुट सुधार प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-फास्ट, रियल-टाइम वीडियो गेम बनाने की कोशिश कर रहे हैं जहाँ एक पात्र आपसे तुरंत बात कर सकता है, सुन सकता है और आपकी प्रतिक्रिया दे सकता है। इसे साकार करने के लिए, आपको कई अलग-अलग "मस्तिष्क" (AI मॉडल) को एक साथ जोड़ना होगा: एक जो आपकी आवाज़ सुन सके, दूसरा जो जवाब के बारे में सोच सके, तीसरा जो उस जवाब को आवाज़ में बदल सके, और चौथा जो बोलने वाले चेहरे को एनिमेट कर सके। कंप्यूटर विज्ञान की दुनिया में, इसे "मल्टीमॉडल एप्लिकेशन" कहा जाता है। पेचीदा बात केवल ये मस्तिष्क होना नहीं है; बल्कि यह समझना है कि उन्हें एक साथ कैसे चलाया जाए ताकि वे एक-दूसरे के काम में बाधा न डालें। यदि आप उन सभी को एक छोटे से प्रोसेसर पर रखते हैं, तो वे बहुत धीरे चलते हैं। यदि आप उन्हें बहुत अधिक फैला देते हैं, तो वे आपस में बात करने में बहुत समय बिता देते हैं। वर्षों से, विशेषज्ञों को हर एक नए ऐप के लिए एक कस्टम "ट्रैफिक कंट्रोल सिस्टम" मैन्युअल रूप से बनाना पड़ता रहा है, जो एक धीमी, महंगी और दोहराने में कठिन प्रक्रिया है।
यहाँ एक "AI एजेंट" का विचार आता है। इसे एक सुपर-स्मार्ट, अथक डिजिटल इंटर्न के रूप में सोचें जो कोड पढ़ सकता है और उसे तेज़ चलाने के लिए फिर से लिख सकता है। लेकिन यहाँ एक पेंच है: यदि आप इस इंटर्न से सिर्फ यह कहते हैं कि "इसे तेज़ बनाओ," तो यह अक्सर भ्रमित हो जाता है, रैंडम चीज़ें आज़माता है, या बेहतरीन ट्रिक्स को मिस कर देता है क्योंकि समस्या अविश्वसनीय रूप से जटिल है। यह ऐसा है जैसे किसी इंसान से बिना कभी टुकड़ों को लिखे, अपने दिमाग में एक विशाल, चलते हुए पहेली को व्यवस्थित करने के लिए कहना। यहीं पर FlashRT नामक एक नया सिस्टम काम आता है। यह केवल AI को अनुमान लगाने के लिए नहीं कहता; यह AI को एक संरचित गेम प्लान, उपकरणों का एक सेट और अपने स्वयं के विचारों का परीक्षण करने का एक तरीका देता है, जिससे एक अराजक अनुमान लगाने वाले खेल को एक सटीक इंजीनियरिंग उपलब्धि में बदल दिया जाता है।
समस्या: AI का ट्रैफिक जाम
इस शोध के लेखकों ने देखा कि रियल-टाइम एप्लिकेशन (जैसे वॉयस असिस्टेंट या लाइव वीडियो जनरेटर) अधिक लोकप्रिय हो रहे हैं, लेकिन उन्हें कुशलतापूर्वक चलाना एक दुःस्वप्न है। ये ऐप्स ऐसी असेंबली लाइनों की तरह हैं जहाँ अलग-अलग मशीनें (मॉडल) अलग-अलग काम करती हैं। कभी-कभी, आप चाहते हैं कि पूरी लाइन यथासंभव तेज़ चले (हाई थ्रूपुट/स्पीड), और कभी-कभी, आप चाहते हैं कि पहला आइटम जितनी जल्दी हो सके बाहर आ जाए (लो लेटेंसी)।
समस्या यह है कि मशीनों को व्यवस्थित करने का "सर्वश्रेष्ठ" तरीका इस बात पर निर्भर करता है कि आप क्या चाहते हैं। यदि आप गति चाहते हैं, तो आप मशीनों को अलग-अलग कंप्यूटरों पर विभाजित करना चाह सकते हैं ताकि वे समानांतर (parallel) में काम कर सकें। यदि आप कम देरी चाहते हैं, तो आप उन्हें एक साथ रखना चाह सकते हैं ताकि वे डेटा भेजने और प्राप्त करने में समय बर्बाद न करें। मौजूदा सिस्टम बहुत कठोर हैं; वे आपको एक निश्चित व्यवस्था चुनने के लिए मजबूर करते हैं। अन्य उपकरण ऑटोमेट करने की कोशिश करते हैं लेकिन वे केवल सरल, एकल कार्यों के लिए काम करते हैं, इन जटिल, बहु-चरणीय पाइपलाइनों के लिए नहीं। परिणाम? डेवलपर्स हर नए ऐप के लिए कस्टम समाधान खुद बनाने में फंसे रहते हैं, जो स्केलेबल नहीं है।
समाधान: FlashRT और "चेन-ऑफ-प्रोग्राम"
शोधकर्ताओं ने FlashRT बनाया है, जो एक AI कोडिंग एजेंट का उपयोग करता है ताकि किसी भी मल्टीमॉडल ऐप के लिए एकदम सही डिप्लॉयमेंट को स्वचालित रूप से डिज़ाइन किया जा सके। लेकिन उन्होंने केवल AI को यह नहीं कहा कि "जाओ इसे ठीक करो।" वे समझ गए थे कि यदि आप AI को सीधे समाधान पर कूदने के लिए कहते हैं, तो वह अक्सर विफल हो जाता है। वह एक अच्छा तरीका ढूंढ सकता है लेकिन अन्य को मिस कर सकता है, या वह एक ऐसा समाधान बना सकता है जो कागज़ पर तो अच्छा दिखता है लेकिन वास्तव में चलाने पर टूट जाता है।
इसे ठीक करने के लिए, FlashRT एक चतुर रणनीति का उपयोग करता है जिसे "चेन-ऑफ-प्रोग्राम" (Chain-of-Program) प्रतिमान कहा जाता है। कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं। सीधे गिरफ्तारी पर कूदने के बजाय, आप पहले अपराध स्थल का एक नक्शा लिखते हैं, यह नोट करते हुए कि कौन कहाँ था और क्या कर रहा था। फिर, आप उस नक्शे का विश्लेषण करके सुराग ढूंढते हैं। अंत में, आप अपने सिद्धांत का परीक्षण करते हैं।
FlashRT कोड के लिए भी यही करता है:
- नक्शा (इंटरमीडिएट रिप्रेजेंटेशन): सबसे पहले, AI एजेंट डेवलपर के साधारण, धीमे कोड को एक संरचित "नक्शे" (जिसे इंटरमीडिएट रिप्रेजेंटेशन या IR कहा जाता है) में अनुवादित करता है। यह नक्शा स्पष्ट रूप से दिखाता है कि डेटा विभिन्न मॉडलों के बीच कैसे प्रवाहित होता है और वे मेमोरी को कहाँ साझा करते हैं। यह AI को बदलाव करने से पहले संरचना को समझने के लिए मजबूर करता है।
- विश्लेषण: AI इस नक्शे को देखता है ताकि अवसरों को पहचान सके। उदाहरण के लिए, वह देख सकता है कि मॉडल A को मॉडल B के पूरी तरह से समाप्त होने का इंतज़ार करने की ज़रूरत नहीं है; वह काम शुरू कर सकता है जैसे ही मॉडल B डेटा का एक छोटा सा हिस्सा उत्पन्न करता है। यह एक शेफ की तरह है जो पानी उबलने का इंतज़ार करने के बजाय, पानी उबलने से पहले ही सब्जियाँ काटना शुरू कर देता है।
- टेस्ट ड्राइव (वैलिडेशन लूप): यह सबसे महत्वपूर्ण हिस्सा है। AI केवल अनुमान नहीं लगाता; वह एक "टेस्ट हार्नेस" बनाता है। यह एक वास्तविक उपयोगकर्ता के ऐप के साथ बातचीत करने का अनुकरण (simulate) करता है, इसमें नकली इनपुट डालता है और मापता है कि आउटपुट कितनी तेज़ी से वापस आता है। यदि AI का नया डिज़ाइन धीमा है या गलत उत्तर देता है, तो उसे तुरंत पता चल जाता है। फिर वह एक अलग रणनीति आज़माता है, उसका परीक्षण करता है, और सर्वोत्तम सेटअप खोजने तक बार-बार प्रयास करता रहता है।
परिणाम: भविष्य को गति देना
टीम ने कई वास्तविक दुनिया के अनुप्रयोगों पर FlashRT का परीक्षण किया, जिसमें आमने-सामने बातचीत करने वाला एजेंट, एक वीडियो बैकग्राउंड एडिटर और एक वीडियो वर्ल्ड मॉडल शामिल थे। परिणाम प्रभावशाली थे।
NVIDIA B200 GPUs पर, FlashRT एक बुनियादी, धीमे कार्यान्वयन को एक हाई-स्पीड डिप्लॉयमेंट में बदलने में सक्षम था जिसने पहले रिस्पॉन्स मिलने के समय (लेटेंसी) को 70 गुना तक कम कर दिया। इसने निरंतर स्ट्रीम को प्रोसेस करने की गति (थ्रूपुट) को भी 2.8 गुना बढ़ा दिया।
इससे भी दिलचस्प बात यह है कि उन्होंने इसका परीक्षण AMD MI355X GPUs पर किया, जो एक अलग प्रकार का हार्डवेयर है जिसे विशेषज्ञों ने अभी तक उतना ऑप्टिमाइज़ नहीं किया है। FlashRT केवल काम ही नहीं आया; बल्कि यह फल-फूल गया। इसने लेटेंसी सुधारों के बराबर प्रदर्शन किया और थ्रूपुट को 3.6 गुना तक बढ़ा दिया। एक विशिष्ट परीक्षण में, जिसमें Qwen3-Omni नामक मॉडल का उपयोग किया गया था, FlashRT ने मानव विशेषज्ञों द्वारा बनाए गए सिस्टम की तुलना में रिस्पॉन्स टाइम को 65% कम कर दिया।
यह क्यों मायने रखता है
यह पेपर दिखाता है कि हमें हर नए AI ऐप को मैन्युअल रूप से ट्यून करने के लिए मानव विशेषज्ञों का इंतज़ार करने की ज़रूरत नहीं है। AI एजेंटों को सोचने का एक संरचित तरीका (नक्शा) और अपने विचारों का परीक्षण करने का एक तरीका (वैलिडेशन लूप) देकर, हम अत्यधिक कुशल सिस्टम स्वचालित रूप से जेनरेट कर सकते हैं जो अलग-अलग हार्डवेयर और अलग-अलग लक्ष्यों के अनुकूल होते हैं।
लेखक सावधानी बरतते हुए कहते हैं कि हालांकि यह एक बड़ा कदम है, लेकिन यह कोई जादुई छड़ी नहीं है जो सब कुछ हल कर दे। उन्होंने अभी तक मॉडल्स के अंदर के सूक्ष्म, लो-लेवल गणितीय ऑपरेशन्स को ऑप्टिमाइज़ करने की AI की क्षमता को एकीकृत नहीं किया है, और उन्होंने केवल एक विशिष्ट प्रकार के AI एजेंट का परीक्षण किया है। हालाँकि, मुख्य निष्कर्ष स्पष्ट है: सही मार्गदर्शन के साथ, AI एजेंट जटिल, रियल-टाइम सिस्टम को डिज़ाइन करना सीख सकते हैं जो आज हमारे द्वारा हाथ से बनाए गए किसी भी सिस्टम की तुलना में तेज़ और अधिक लचीले हैं। यह "हाथ से बनाने" (hand-crafting) से "मार्गदर्शन करने" (guiding) की ओर एक बदलाव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।