🤖 AI

video-SALMONN S: Memory-Enhanced Streaming Audio-Visual LLM

यह शोध पत्र वीडियो-SALMONN S को प्रस्तुत करता है, जो एक मेमोरी-एन्हांस्ड स्ट्रीमिंग ऑडियो-विजुअल एलएलएम (LLM) है जो टेस्ट-टाइम ट्रेनिंग का उपयोग करके अल्पकालिक निरूपणों को दीर्घकालिक स्मृति में निरंतर परिवर्तित करता है, जिससे यह 3 घंटे से अधिक लंबे वीडियो को प्रोसेस करने में सक्षम होता है और लॉन्ग-ड्यूरेशन और एपिसोडिक लर्निंग बेंचमार्क पर मौजूदा मॉडलों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Guangzhi Sun, Yixuan Li, Xiaodong Wu, Yudong Yang, Wei Li, Zejun Ma, Chao Zhang

प्रकाशित 2026-02-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guangzhi Sun, Yixuan Li, Xiaodong Wu, Yudong Yang, Wei Li, Zejun Ma, Chao Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को तीन घंटे लंबी एक फिल्म समझना सिखाने की कोशिश कर रहे हैं, लेकिन आप उसे केवल एक सेकंड में एक फ्रेम (एक बहुत ही धीमी, झटकेदार दृश्य) दिखा सकते हैं और चित्र थोड़ा धुंधला (360p रिज़ॉल्यूशन) है। साथ ही, रोबोट का "दिमाग" बहुत छोटा है (मेमोरी), जो एक बार में बहुत कम जानकारी रख सकता है।

अधिकांश वर्तमान AI मॉडल फिल्म के अंत तक पहुँचते-पहुँचते शुरुआत को भूल जाते हैं। यह पेपर video-SALMONN S नामक एक नए रोबोट को पेश करता है जो इस समस्या को हल करता है। यह कैसे काम करता है, इसे सरल उपमाओं (analogies) का उपयोग करके यहाँ समझाया गया है:

1. समस्या: "लीकी बकेट" (छेद वाला बाल्टी)

कल्पना कीजिए कि आप एक बाल्टी को पानी (वीडियो जानकारी) से भरने की कोशिश कर रहे हैं जबकि बाल्टी के नीचे एक छेद है।

पुराने AI मॉडल बड़े छेदों वाली बाल्टियों की तरह हैं। यदि आप एक 3-घंटे का वीडियो डालते हैं, तो अंत तक पहुँचने से पहले ही पानी (जानकारी) बाहर निकल जाता है। उन्हें अपनी मेमोरी में फिट करने के लिए अधिकांश वीडियो को फेंकना पड़ता है, इसलिए वे महत्वपूर्ण विवरण भूल जाते हैं।
स्ट्रीमिंग मॉडल (वर्तमान सर्वश्रेष्ठ) बेहतर हैं, लेकिन वे अभी भी समय के साथ जानकारी खो देते हैं क्योंकि उन्हें नई जानकारी के लिए जगह बनाने के लिए लगातार पुराना डेटा हटाना पड़ता है।

2. समाधान: "सेल्फ-एडिटिंग नोटबुक" (TTT)

video-SALMONN S का असली राज टेस्ट-टाइम ट्रेनिंग (TTT) नामक एक तकनीक है।

उपमा: कल्पना कीजिए कि आप एक बहुत लंबी किताब पढ़ रहे हैं। केवल पढ़ने और भूल जाने के बजाय, आपके पास एक जादुई नोटबुक है। हर बार जब आप एक नया पन्ना पढ़ते हैं, तो आप केवल उसे लिखते नहीं हैं; आप जो अभी पढ़ा है उसके आधार पर अपने स्वयं के मस्तिष्क को फिर से लिखते हैं। आप कहानी को पढ़ते समय ही अपनी समझ को अपडेट करते हैं।
यह कैसे काम करता है: जैसे-जैसे वीडियो चलता है, मॉडल कहानी के विवरणों को संग्रहीत करने के लिए अपनी आंतरिक सेटिंग्स (अपने "वेट्स") को लगातार बदलता रहता है। यह अपनी संरचना को बदलकर अल्पकालिक यादों (अभी क्या हुआ) को दीर्घकालिक यादों (पूरी कहानी) में बदल देता है। यह ऐसा है जैसे रोबोट वीडियो को केवल देख नहीं रहा है, बल्कि वास्तविक समय में उसे "सीख" रहा है।

3. "लॉन्ग-रेंज प्रेडिक्शन" का तरीका

यह सुनिश्चित करने के लिए कि रोबोट फिल्म की शुरुआत न भूले, लेखकों ने लॉन्ग-स्पैन प्रेडिक्शन नामक एक विशेष नियम जोड़ा है।

उपमा: कल्पना कीजिए कि आप अपने दोस्त के साथ "टेलीफोन" (संदेश पहुँचाने का खेल) खेल रहे हैं, लेकिन यह खेल 3 घंटे लंबा है। आमतौर पर, संदेश बिगड़ जाता है। इस मॉडल के पास एक नियम है: "हर बार जब आप एक संदेश पास करते हैं, तो आपको यह भी जांचना चाहिए कि क्या आप अभी भी 3-30 मिनट पहले कही गई बात को याद रख सकते हैं।"
परिणाम: यह रोबोट को नवीनतम फ्रेमों को प्रोसेस करते समय भी वीडियो के शुरुआती हिस्सों को अपने दिमाग में स्पष्ट रखने के लिए मजबूर करता है।

4. "स्मार्ट लाइब्रेरियन" (मेमोरी रीडर)

जादुई नोटबुक होने के बावजूद, जब कोई आपसे कोई विशिष्ट प्रश्न पूछता है, तो आप 3-घंटे के पूरे संग्रह के हर पन्ने को नहीं पढ़ सकते। इसमें बहुत समय लगेगा।

उपमा: जब कोई उपयोगकर्ता पूछता है, "आगे क्या होगा?", तो रोबोट एक स्मार्ट लाइब्रेरियन की तरह कार्य करता है। पूरे 3-घंटे के आर्काइव को निकालने के बजाय, यह तेजी से अपनी मेमोरी को स्कैन करता है, प्रश्न से संबंधित सटीक कुछ पन्नों को ढूंढ लेता है, और बाकी को अनदेखा कर देता है।
लाभ: यह रोबोट को तेज़ और कुशल बनाए रखता है, भले ही उसने घंटों का वीडियो देखा हो।

5. नया टेस्ट: "ELViM" (मेमोरी चैलेंज)

लेखकों ने महसूस किया कि मौजूदा परीक्षण बहुत आसान थे; वे केवल उन वीडियो के बारे में प्रश्न पूछते थे जिन्हें रोबोट अभी देख रहा था। उन्होंने ELViM (एपिसोडिक लर्निंग फ्रॉम वीडियो मेमोरी) नामक एक नया परीक्षण बनाया।

परिदृश्य: रोबोट किसी को केक बनाते हुए देखता है। फिर, वह अन्य वीडियो (जैसे प्रकृति के वृत्तचित्र) के 30 मिनट देखता है। अंत में, बेकिंग वीडियो वापस आता है, ठीक उस क्षण पर जहाँ बेकर अंडा फोड़ने वाला होता है।
प्रश्न: "अगला कदम क्या है?"
लक्ष्य: रोबोट को 30 मिनट पहले के बेकिंग स्टेप को याद रखना होगा, बीच में आए प्रकृति के वृत्तचित्रों को अनदेखा करना होगा, और सही उत्तर देना होगा।
परिणाम: video-SALMONN S ने इस टेस्ट में सबको पछाड़ दिया, पिछले सर्वश्रेष्ठ मॉडलों से 15% बेहतर प्रदर्शन किया। इसने साबित कर दिया कि रोबोट वास्तव में उन कौशलों को "याद" रख सकता है जो उसने घंटों पहले सीखे थे।

उपलब्धियों का सारांश

यह लंबे वीडियो देखता है: यह कम फ्रेम रेट पर 3 घंटे से अधिक के वीडियो को बिना मेमोरी खत्म हुए संभाल सकता है।
यह बेहतर याद रखता है: यह "स्ट्रीमिंग" मॉडलों (जो लाइव देखते हैं) और "ऑफलाइन" मॉडलों (जो एक साथ पूरा वीडियो देखते हैं) दोनों को एक महत्वपूर्ण अंतर से पीछे छोड़ देता है (मानक परीक्षणों पर 3-7% बेहतर, मेमोरी टेस्ट पर 15% बेहतर)।
यह कुशल है: इसे यह करने के लिए सुपर-कंप्यूटर की आवश्यकता नहीं है; यह एक मानक मेमोरी बजट के भीतर फिट बैठता है।

संक्षेप में, video-SALMONN S पहला AI है जो एक लंबी फिल्म देख सकता है, उससे सीख सकता है और घंटों बाद भी विवरण याद रख सकता है, और यह सब अपनी मेमोरी का उपयोग कम और स्थिर रखते हुए कर सकता है।

तकनीकी सारांश: video-SALMONN S

समस्या विवरण

दीर्घकालिक स्ट्रीमिंग वीडियो समझ (long-duration streaming video understanding) भविष्य के AI एजेंटों के लिए एक महत्वपूर्ण क्षमता है, फिर भी वर्तमान अत्याधुनिक (SOTA) वीडियो लार्ज लैंग्वेज मॉडल्स (LLMs) महत्वपूर्ण सीमाओं का सामना कर रहे हैं। अधिकांश मौजूदा मॉडल ऑफलाइन तरीके से काम करते हैं, जिन्हें इनपुट विजुअल टोकन्स की एक निश्चित अधिकतम संख्या की आवश्यकता होती है, जिससे इस सीमा से अधिक लंबे वीडियो के लिए पर्याप्त सूचना हानि (information loss) होती है। जबकि हालिया स्ट्रीमिंग दृष्टिकोण टोकन मर्जिंग या डाउनसैंपलिंग के माध्यम से निरंतर वीडियो इनपुट को संभालने का प्रयास करते हैं, वे अक्सर लंबी अवधि (जैसे, 3+ घंटे) में संचयी सूचना हानि (cumulative information loss) का शिकार होते हैं, जिसके परिणामस्वरूप प्रदर्शन ऑफलाइन मॉडल्स की तुलना में कमतर होता है। बाहरी मेमोरी या विशेष फ्रेम चयन पर निर्भर मौजूदा विधियों के लिए अक्सर जटिल डिजाइन या विशेष प्रशिक्षण डेटा की आवश्यकता होती है, जो स्केलेबिलिटी को सीमित करता है। एक प्रमुख अंतर दीर्घकालिक निर्भरता (long-term dependencies) को मॉडल करने में बना हुआ है जहाँ एक एजेंट को घंटों पहले देखे गए वीडियो स्ट्रीम से प्रक्रियात्मक ज्ञान (procedural knowledge) सीखना चाहिए और उसे वास्तविक समय के निर्णय लेने में लागू करना चाहिए।

कार्यप्रणाली: video-SALMONN S

लेखक video-SALMONN S का प्रस्ताव करते हैं, जो एक मेमोरी-एन्हांस्ड स्ट्रीमिंग ऑडियो-विजुअल LLM है जिसे एक निश्चित मेमोरी बजट के तहत 1 FPS और 360p रिज़ॉल्यूशन पर 3 घंटे से अधिक के वीडियो को प्रोसेस करने के लिए डिज़ाइन किया गया है। इसका मुख्य नवाचार स्ट्रीमिंग मेमोरी तंत्र के रूप में टेस्ट-टाइम ट्रेनिंग (TTT) का एकीकरण है, जो वीडियो LLMs के लिए पहली बार किया गया है।

1. TTTMEM लेयर

केवल टोकन कंप्रेशन पर निर्भर रहने के बजाय, video-SALMONN S एक TTTMEM लेयर का उपयोग करता है जो अल्पकालिक मल्टीमॉडल रिप्रेजेंटेशन को मॉडल के पैरामीटर्स (फास्ट वेट्स) के भीतर दीर्घकालिक मेमोरी में बदल देता है।

तंत्र (Mechanism): यह लेयर एक रिकरेंट न्यूरल नेटवर्क के रूप में कार्य करती है जो वीडियो टोकन के प्रत्येक इनकमिंग मिनी-बैच ( $X_t$ ) के लिए एक MLP के फास्ट वेट्स ( $W_t$ ) को अपडेट करती है।
लॉस फंक्शन्स (Loss Functions): वेट्स को दो उद्देश्यों को न्यूनतम करने के लिए अपडेट किया जाता है:
1. मल्टीव्यू रिकंस्ट्रक्शन लॉस (Multiview Reconstruction Loss): वर्तमान इनपुट को पुनर्गठित (reconstruct) करता है।
2. लॉन्ग-स्पैन प्रेडिक्शन लॉस (Long-Span Prediction Loss): एक दूरस्थ टाइमस्टैम्प ( $X_{t-T}$ ) से इनपुट की भविष्यवाणी करता है, जो एक टेम्पोरल कंसिस्टेंसी रेगुलराइज़र के रूप में कार्य करता है ताकि महत्वपूर्ण ऐतिहासिक जानकारी को ओवरराइट होने से बचाया जा सके।
टोकन प्रबंधन (Token Management): टोकन को मर्ज करने वाली विधियों (जो ओवर-स्मूथिंग का कारण बन सकती हैं) के विपरीत, video-SALMONN S एक सिमिलैरिटी-आधारित डिस्कार्डिंग (similarity-based discarding) रणनीति का उपयोग करता है। यह नए मेमोरी टोकन्स को पिछले टोकन्स के साथ जोड़ता है और उन टोकन्स को हटा देता है जिनकी अपने पड़ोसियों के साथ कोसाइन सिमिलैरिटी सबसे अधिक होती है, जिससे TTT लेयर की लॉन्ग-स्पैन कॉन्टेक्स्ट रिप्रेजेंटेशन क्षमता सुरक्षित रहती है।

2. दो-चरणीय प्रशिक्षण योजना (Two-Stage Training Scheme)

लंबे सीक्वेंस के साथ प्रशिक्षण के दौरान GPU मेमोरी बाधाओं को दूर करने के लिए, एक दो-चरणीय रणनीति अपनाई जाती है:

चरण 1 (कोल्ड-स्टार्ट): मध्यम-लंबाई के कॉन्टेक्स्ट के साथ TTTMEM पैरामीटर्स (प्रोजेक्शन मैट्रिसेस) और LLM को संयुक्त रूप से प्रशिक्षित किया जाता है ताकि फास्ट-वेट अपडेट मैकेनिज्म स्थापित किया जा सके।
चरण 2 (स्केल-अप): TTTMEM प्रोजेक्शन पैरामीटर्स को फ्रीज कर दिया जाता है, लेकिन फास्ट-वेट अपडेट नियम को बनाए रखा जाता है। इसके बाद मॉडल को काफी लंबे सीक्वेंस और बढ़े हुए मेमोरी टोकन काउंट पर प्रशिक्षित किया जाता है, जिससे विस्तारित मेमोरी से जानकारी निकालने की LLM की क्षमता को अनुकूलित किया जा सके।

3. मोडैलिटी-अवेयर मेमोरी रीडिंग (Modality-Aware Memory Reading)

एक निश्चित मेमोरी बजट को संभालते हुए विशिष्ट प्रॉम्प्ट्स का जवाब देने के लिए, मॉडल एक मोडैलिटी-अवेयर, प्रॉम्प्ट-डिपेंडेंट मेमोरी रीडिंग मैकेनिज्म का उपयोग करता है।

सभी मेमोरी टोकन्स को प्रोसेस करने के बजाय, LLM प्रॉम्प्ट और मेमोरी चंक्स के बीच अटेंशन स्कोर के आधार पर केवल सबसे प्रासंगिक टोकन्स का चयन करके की-वैल्यू (KV) कैश को कंप्रेस करता है।
यह मानव प्रक्रिया की नकल करता है जहाँ विशिष्ट जानकारी को लॉन्ग-टर्म मेमोरी से वर्किंग मेमोरी में रिट्रीव किया जाता है, जिससे स्ट्रीमिंग बाधाओं का पालन करते हुए निरंतर मेमोरी उपयोग सुनिश्चित होता है।

मुख्य योगदान

video-SALMONN S मॉडल: TTT को मेमोरी मैकेनिज्म के रूप में उपयोग करने वाला पहला स्ट्रीमिंग वीडियो LLM। यह एक निश्चित मेमोरी बजट के तहत 3 घंटे से अधिक लंबे वीडियो (>3 घंटे, 1 FPS, 360p) पर SOTA प्रदर्शन प्राप्त करता है, जो स्ट्रीमिंग और नॉन-स्ट्रीमिंग दोनों बेसलाइन को पीछे छोड़ देता है।
TTTMEM लेयर और ट्रेनिंग: एक नवीन लेयर का परिचय जो लॉन्ग-रेंज डिपेंडेंसी मॉडलिंग और सूचना हानि के बिना मेमोरी क्षमता बढ़ाने के लिए लॉन्ग-स्पैन प्रेडिक्शन ऑब्जेक्टिव्स और दो-चरणीय प्रशिक्षण योजना को शामिल करती है।
ELViM बेंचमार्क: एपिसोडिक लर्निंग फ्रॉम वीडियो मेमोरी (ELViM) बेंचमार्क पेश किया गया है ताकि स्पष्ट रूप से यह मूल्यांकन किया जा सके कि क्या स्ट्रीमिंग वीडियो LLMs पिछले वीडियो अनुभवों (जो घंटों पहले देखे गए थे) से प्रक्रियात्मक ज्ञान प्राप्त कर सकते हैं और वास्तविक समय के निर्णय लेने के लिए उसका पुन: उपयोग कर सकते हैं। यह मौजूदा बेंचमार्क के गैप को भरता है जो मुख्य रूप से शॉर्ट-टर्म परसेप्शन पर केंद्रित हैं।

परिणाम

मॉडल का मूल्यांकन सामान्य लॉन्ग-वीडियो बेंचमार्क (Video-MME, LVBench, VideoEvalPro) और प्रस्तावित ELViM बेंचमार्क पर किया गया।

लॉन्ग वीडियो बेंचमार्क: video-SALMONN S ने स्थिर स्ट्रीमिंग और नॉन-स्ट्रीमिंग बेसलाइन की तुलना में एब्सोल्यूट एक्यूरेसी में 3–7% की बढ़त के साथ लगातार बेहतर प्रदर्शन किया। विशेष रूप से, इसने Video-MME (Long), LVBench, और VideoEvalPro पर अपने नॉन-स्ट्रीमिंग समकक्ष की तुलना में क्रमशः 1.7%, 2.9%, और 5.4% का सुधार हासिल किया।
ELViM प्रदर्शन: मॉडल ने ELViM पर मजबूत नॉन-स्ट्रीमिंग मॉडल्स की तुलना में 15% एब्सोल्यूट एक्यूरेसी इम्प्रूवमेंट प्रदर्शित किया, जो इसकी वीडियो मेमोरी से सीखने और याद करने की श्रेष्ठ क्षमता को उजागर करता है।
दक्षता (Efficiency): TTTMEM लेयर इन्फरेंस समय में न्यूनतम ओवरहेड (लगभग 0.1s) जोड़ती है, और मॉडल बेसलाइन स्ट्रीमिंग विधियों के समान एक निश्चित GPU मेमोरी फुटप्रिंट (~16k टोकन के लिए ~24GB) बनाए रखता है।
एब्लेशन स्टडीज (Ablation Studies): दिखाया गया कि लॉन्ग-स्पैन प्रेडिक्शन लॉस लंबे टेम्पोरल डिस्टेंस पर जानकारी बनाए रखने के लिए महत्वपूर्ण था। मोडैलिटी-अवेयर रीडिंग मैकेनिज्म ने AdaReTaKe जैसे ट्रेनिंग-फ्री KV-कैश कंप्रेशन मेथड्स की तुलना में निरंतर सुधार प्रदान किया।

महत्व और दावे

पेपर का दावा है कि video-SALMONN S भविष्य के AI एजेंटों की ओर एक महत्वपूर्ण कदम है जो बाउंडेड मेमोरी के साथ स्ट्रीमिंग इनपुट पर निरंतर कार्य करने में सक्षम हैं। स्टैटिक टोकन कंप्रेशन से डायनेमिक, पैरामीटर-आधारित मेमोरी (TTT के माध्यम से) की ओर शिफ्ट होकर, मॉडल वर्तमान स्ट्रीमिंग दृष्टिकोणों में निहित संचयी सूचना हानि को कम करता है।

ELViM बेंचमार्क का परिचय मल्टीमॉडल सिस्टम में कंटीन्यूअल लर्निंग (continual learning) और लॉन्ग-टर्म मेमोरी के लिए एक सिद्धांतपूर्ण मूल्यांकन उपकरण के रूप में हाइलाइट किया गया है, जो सरल धारणा (perception) कार्यों से आगे बढ़कर एक एजेंट की विस्तृत ऑडियो-विजुअल अनुभवों से प्रक्रियात्मक कौशल सीखने की क्षमता का आकलन करता है। लेखक इस कार्य को उन अनुप्रयोगों के लिए मौलिक मानते हैं जिनमें लॉन्ग-होरिज़न निर्णय लेने, निर्देशात्मक सहायता (instructional assistance), और उन उपयोगकर्ताओं के लिए एक्सेसिबिलिटी टूल्स की आवश्यकता होती है जो विस्तारित ऑडियो-विजुअल जानकारी पर निर्भर हैं।