Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation
यह शोध पत्र Aero Realtime को प्रस्तुत करता है, जो एक 4B स्ट्रीमिंग मल्टीमॉडल मॉडल है जो एक साझा टेम्पोरल ग्रिड पर पूर्णतः संरेखित, डुप्लेक्स इनपुट-आउटपुट इंटरेक्शन प्राप्त करता है, जिससे कुशल KV-कैश पुन: उपयोग और सब-200ms प्रोसेसिंग लैग के साथ कम-विलंबता (लो-लेटेंसी), सक्रिय जनरेशन सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त के साथ बातचीत करने की कोशिश कर रहे हैं जो आपके साथ एक फिल्म भी देख रहा है। एक सामान्य चैट में, आप उनके वाक्य खत्म होने का इंतज़ार करते हैं और फिर बोलते हैं। लेकिन एक वास्तव में स्वाभाविक बातचीत में, आप उनके बोलते समय ही "वाह!" जैसे छोटे शब्दों के साथ बीच में बोल सकते हैं, या आप किसी जटिल कथानक को समझाने के दौरान चुप रह सकते हैं, और फिर ठीक उसी सेकंड में बोल पड़ सकते हैं जब आपको कुछ नया समझ आता है। यह "रियल-टाइम" इंटरैक्शन का परम लक्ष्य है: बिना किसी रुकावट के एक ही समय में सुनने और बोलने की क्षमता।
लंबे समय तक, कंप्यूटर इस मामले में बहुत खराब रहे हैं। अधिकांश AI मॉडल एक बहुत ही विनम्र, लेकिन थोड़े धीमे "हॉट पोटैटो" (गर्म आलू) खेल की तरह काम करते हैं। वे आपकी पूरी कहानी (इनपुट) खत्म होने का इंतज़ार करते हैं, फिर उसे एक साथ प्रोसेस करते हैं, और फिर बोलना (आउटपुट) शुरू करते हैं। वे वास्तव में "बोलते" हुए "सुन" नहीं सकते। यदि आप उन्हें अपने वाक्य के बीच में नई जानकारी देते हैं, तो वे भ्रमित हो जाते हैं या उन्हें रुककर फिर से शुरू करना पड़ता है। यह शोध पत्र एक ऐसा AI बनाने की समस्या पर काम करता है जो वास्तव में "डुप्लेक्स" (द्वि-मार्गी) हो सके—जो एक इंसान की तरह एक ही समय में नई चीजें सुन भी सके और बोल भी सके, और वह भी एक तेज़ चलती वीडियो स्ट्रीम के साथ तालमेल बिठाते हुए।
हांगकांग विश्वविद्यालय और अन्य संस्थानों के इन शोधकर्ताओं ने एक नया AI मॉडल बनाया है जिसे Aero Realtime कहा जाता है। इसे एक ऐसे मॉडल के रूप में सोचें जो केवल वाक्यों में नहीं, बल्कि समय के छोटे, लयबद्ध "बीट्स" (धड़कनों) में बात करता है। पूरे वीडियो के खत्म होने का इंतज़ार करने के बजाय, Aero Realtime समय को छोटे 80-मिलीसेकंड के टुकड़ों में तोड़ देता है। इसके द्वारा सुने गए हर एक टुकड़े के लिए, इसे एक पल का निर्णय लेना होता है: "क्या मुझे अभी कोई शब्द कहना चाहिए, या मुझे चुप रहना चाहिए?"
यह इस बात में एक बड़ा बदलाव है कि अन्य मॉडल कैसे काम करते हैं। आमतौर पर, एक AI को अपने "सोचने" के चरण को पूरा करने के बाद ही अपने "बोलने" के चरण को शुरू करना होता है। Aero Realtime यह दोनों काम एक साथ करता है। यह वीडियो, ऑडियो और अपने शब्दों को एक ही साझा टाइमलाइन पर संरेखित (align) करता है। कल्पना कीजिए कि एक कन्वेयर बेल्ट है जहाँ हर 80 मिलीसेकंड में, वीडियो और ऑडियो का एक नया हिस्सा आता है। ठीक उसी क्षण, AI तय करता है कि क्या उसे बेल्ट पर एक शब्द गिराना है या एक "साइलेंस टोकन" (शांत रहने के लिए एक प्लेसहोल्डर) गिराना है। यह AI को वाक्य के बीच में होते हुए भी वीडियो के नए हिस्सों को सुनते रहने की अनुमति देता है। यह पकड़ बनाने के लिए कभी भी प्रवाह को नहीं रोकता।
यह शोध पत्र तर्क देता है कि "प्रोएक्टिव" (बोलने के लिए तैयार) बनाने के पिछले प्रयास काफी अटपटे थे। कुछ सिस्टमों ने "माइक्रो-टर्न" विधि का उपयोग किया, जहाँ AI लगातार खुद से पूछता था, "क्या मुझे अब बोलना चाहिए?" यह एक ऐसे ड्राइवर की तरह है जो आगे बढ़ने से पहले हर चौराहे पर रुककर मैप चेक करता है। अन्यों ने बोलने का निर्णय लेने के लिए बाहरी "गेट्स" या स्विच का उपयोग किया, जिसने सिस्टम को जटिल और धीमा बना दिया। Aero Realtime इन तरीकों को खारिज करता है। इसके बजाय, यह समय को स्वाभाविक रूप से सीखता है। मॉडल को "चुप्पी" (silence) को एक वैध शब्द के रूप में मानने के लिए प्रशिक्षित किया गया है, ठीक वैसे ही जैसे "नमस्ते" या "बिल्ली"। इसका मतलब है कि AI को यह तय करने के लिए अलग स्विच की आवश्यकता नहीं है कि कब बोलना है; बोलने या शांत रहने का निर्णय उसी प्रक्रिया में समाहित है जो शब्दों को चुनती है।
इसे सफल बनाने के लिए, टीम को कठिन इंजीनियरिंग पहेलियों को हल करना पड़ा। उन्होंने वास्तविक समय के वीडियो डेटा और मानक वीडियो प्रश्नों के मिश्रण का उपयोग करके मॉडल को प्रशिक्षित करने का एक विशेष तरीका बनाया। उन्होंने कंप्यूटर पर मॉडल चलाने का एक नया तरीका भी डिज़ाइन किया जो मेमोरी और गति बचाता है। हर बार नया फ्रेम आने पर पूरे वीडियो को फिर से पढ़ने के बजाय, मॉडल उस चीज़ को याद रखता है जिसे उसने पहले ही प्रोसेस कर लिया है और केवल नई जानकारी का "स्लाइस" जोड़ता है। यह एक ऐसी किताब पढ़ने जैसा है जहाँ आपको हर बार पन्ना पलटने पर पहला अध्याय फिर से नहीं पढ़ना पड़ता; आप बस वहीं से शुरू करते हैं जहाँ आपने छोड़ा था और आगे बढ़ते रहते हैं।
इसके परिणाम इसके आकार के मॉडल के लिए प्रभावशाली हैं। शोधकर्ताओं ने Aero Realtime का निरंतर 20 मिनट के वीडियो स्ट्रीम पर परीक्षण किया। जैसे-जैसे वीडियो चलता रहा, मॉडल अपने "लैग" (वीडियो में जो हो रहा है और AI जो कह रहा है उसके बीच का विलंब) को 84 मिलीसेकंड के औसत स्तर पर रखने में सफल रहा। यह पलक झपकने से भी कम है। यहाँ तक कि 95वें पर्सेंटाइल (यानी 95% समय) पर भी, विलंब केवल 173 मिलीसेकंड था। इसका अर्थ है कि AI "वास्तविक" टाइमलाइन के 200 मिलीसेकंड के भीतर रहता है, जो प्रभावी रूप से वास्तविक समय में सुन और बोल रहा है।
हालाँकि, यह शोध पत्र यह दावा करने में सावधान है कि यह वीडियो समझने वाला दुनिया का सबसे अच्छा AI है। जब इसका परीक्षण OVOBench नामक एक मानक बेंचमार्क पर किया गया, तो 4-बिलियन-पैरामीटर वाले मॉडल (जो अपेक्षाकृत छोटा है) ने अच्छा प्रदर्शन किया, लेकिन यह उन सबसे बड़े, 7-बिलियन-पैरामीटर वाले शक्तिशाली मॉडलों को नहीं हरा सका जो ऑफलाइन, गैर-रियल-टाइम कार्यों के लिए डिज़ाइन किए गए हैं। लेखकों का सुझाव है कि यह अंतर इसलिए है क्योंकि मॉडल को बातचीत करने का एक पूरी तरह से नया तरीका (डुप्लेक्स शैली) सीखना पड़ा और इसके पास पारंपरिक प्रश्नों के लिए पुराने मॉडलों की तुलना में इस सटीक प्रकार की वास्तविक समय की बातचीत के लिए विशिष्ट प्रशिक्षण डेटा कम था।
संक्षेप में, Aero Realtime यह सिद्ध करता है कि एक ऐसा AI बनाना संभव है जो केवल अपनी बारी का इंतज़ार नहीं करता, बल्कि वास्तव में रियल-टाइम में बातचीत कर सकता है, बिना किसी बाधा के एक साथ सुन और बोल सकता है। यह एक ऐसे AI की ओर एक कदम है जो निर्देशों का इंतज़ार करने वाले रोबोट जैसा कम और एक ऐसे दोस्त जैसा अधिक महसूस होता है जो वास्तव में आपके साथ दुनिया पर ध्यान दे रहा है। भले ही यह अभी तक कमरे में सबसे बुद्धिमान वीडियो विशेषज्ञ न हो, लेकिन यह समय के प्रवाह के साथ तालमेल बिठाने की कला में महारत हासिल करने वाला पहला मॉडल है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।