💻 computer science

O-MARC: Omni Memory-Augmented Compression Distillation for Efficient Video Understanding

यह शोध पत्र O-MARC प्रस्तुत करता है, जो UGC-AVQA बेंचमार्क के साथ जुड़ा एक प्रशिक्षण-मुक्त संपीड़न डिस्टिलेशन फ्रेमवर्क है, जो आवश्यक ऑडियो-विजुअल संबंधों को संरक्षित करते हुए इन्फरेंस लेटेंसी और मेमोरी उपयोग को कम करके ओम्नी-मोडल वीडियो समझ की दक्षता और सटीकता में महत्वपूर्ण सुधार करता है।

मूल लेखक: Peiran Wu, Yunze Liu, Chi-Hao Wu, Chen Chen, Junxiao Shen

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peiran Wu, Yunze Liu, Chi-Hao Wu, Chen Chen, Junxiao Shen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ O-MARC पेपर का स्पष्टीकरण दिया गया है, जिसे सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवादित किया गया है।

बड़ी समस्या: मूवी थिएटर में बहुत अधिक शोर (Noise)

कल्पना कीजिए कि आप एक फिल्म में एक जटिल कहानी को समझने की कोशिश कर रहे हैं। फिल्म में सूचना के दो मुख्य प्रवाह (streams) हैं: आप क्या देखते हैं (अभिनेता, दृश्य) और आप क्या सुनते हैं (संवाद, ध्वनि प्रभाव, बैकग्राउंड शोर)।

वर्तमान AI मॉडल जो इन फिल्मों को समझने की कोशिश करते हैं, वे लाइब्रेरी में बैठे उन छात्रों की तरह हैं जिन्हें 10,000 पन्नों के टेक्स्ट और 10,000 ऑडियो ट्रांसक्रिप्ट का ढेर थमा दिया गया है। उत्तर पाने के लिए, AI को हर एक शब्द पढ़ना होगा और हर एक आवाज़ सुननी होगी। यह प्रक्रिया को बनाता है:

धीमा: इसे प्रोसेस करने में बहुत समय लगता है।
महंगा: इसके लिए भारी मात्रा में कंप्यूटर मेमोरी की आवश्यकता होती है (जैसे अपने बैकपैक में पूरी लाइब्रेरी ले जाने की कोशिश करना)।
भ्रमित करने वाला: वास्तविक जीवन के वीडियो में (जैसे TikTok या YouTube पर), बहुत सारा "शोर" होता है। AI अक्सर अप्रासंगिक विवरणों से विचलित हो जाता है और एक विशिष्ट ध्वनि और एक विशिष्ट दृश्य क्रिया के बीच के संबंध को समझने में चूक जाता है।

समाधान: एक तीन-भाग वाला टूलकिट

लेखकों ने इसे ठीक करने के लिए एक टूलकिट बनाया है। उन्होंने एक नया परीक्षण, एक नई "कंप्रेशन" (compression) विधि और एक नई "ट्रेनिंग" (training) विधि बनाई।

1. नया परीक्षण: "म्यूट बटन चैलेंज" (UGC-AVQA)

सबसे पहले, शोधकर्ताओं ने महसूस किया कि मौजूदा परीक्षण पर्याप्त नहीं थे। वे यह जानना चाहते थे कि क्या AI वास्तव में ध्वनि और दृश्य को जोड़ रहा है, या केवल जो वह देख रहा है उसके आधार पर अनुमान लगा रहा है।

उपमा (Analogy): कल्पना कीजिए कि एक क्विज़ है जहाँ आप एक व्यक्ति द्वारा कांच गिराने का वीडियो देखते हैं।
- पुराना परीक्षण: AI बस कांच को टूटते हुए देखता है और अनुमान लगाता है, "यह टूट गया।" (आसान, लेकिन यह साबित नहीं करता कि उसने टूटने की आवाज़ सुनी)।
- नया परीक्षण (UGC-AVQA): शोधकर्ताओं ने एक विशेष बेंचमार्क बनाया जहाँ उन्होंने एक सुपर-स्मार्ट AI के लिए वीडियो को म्यूट (mute) कर दिया। यदि AI बिना आवाज़ के भी सवाल का सही जवाब दे पाता, तो वह सवाल बहुत आसान माना जाता और उसे हटा दिया जाता।
- परिणाम: उन्होंने केवल उन "कठिन" सवालों को रखा जहाँ दृश्य घटना को समझने के लिए आपको आवाज़ सुनना अनिवार्य है (जैसे, "कुत्ता क्यों रुक गया?" -> आपको मालिक के "रुको!" चिल्लाने को सुनना ही होगा)। यह सुनिश्चित करता है कि AI वास्तव में देखने और सुनने को एक साथ जोड़ रहा है।

2. "स्मार्ट समराइज़र" (OMAC)

इसके बाद, उन्हें एक ऐसे तरीके की आवश्यकता थी जिससे AI महत्वपूर्ण विवरणों को खोए बिना तेज़ हो सके। उन्होंने OMAC (Omni Memory-Augmented Compression) का आविष्कार किया।

उपमा: कल्पना कीजिए कि आप एक ऐसे दोस्त के लिए नोट्स ले रहे हैं जिसने फिल्म मिस कर दी है।
- पुराना तरीका (Direct Pruning): आप बस यादृच्छिक रूप से (randomly) 70% पन्ने हटा देते हैं। हो सकता है कि आपने वह पन्ना हटा दिया हो जहाँ विलेन अपनी योजना का खुलासा कर रहा है।
- OMAC का तरीका: आप एक स्मार्ट संपादक (editor) की तरह काम करते हैं।
  1. विजुअल मेमोरी (Visual Memory): आप फिल्म को स्कैन करते हैं और कहते हैं, "ठीक है, कार चेज़ वाला यह सीन महत्वपूर्ण है। मैं इन फ्रेम्स को रखूँगा। बादलों के चलने वाला यह सीन बोरिंग है; मैं इसे एक वाक्य में सारांशित कर दूँगा।"
  2. ऑडियो एंकर्स (Audio Anchors): आप ऑडियो सुनते हैं। "चीखना महत्वपूर्ण है; इसे रखें। बैकग्राउंड की हवा बोरिंग है; इसे काट दें।"
  3. जादुई लिंक (The Magic Link): यहाँ चालाकी भरी बात है। यदि विजुअल एडिटर तय करता है कि एक विशिष्ट दृश्य बहुत महत्वपूर्ण है, तो ऑडियो एडिटर कहता है, "ठीक है, मैं उस सटीक दृश्य में ध्वनि के लिए अधिक जगह दूँगा।" यदि विजुअल सीन बोरिंग है, तो ऑडियो को अधिक आक्रामक रूप से कंप्रेस किया जाता है।
- परिणाम: AI को एक "हाइलाइट रील" मिलती है जो बहुत छोटी है लेकिन जिसमें रहस्य सुलझाने के लिए सभी महत्वपूर्ण सुराग मौजूद हैं। यह 34% तेज़ चलता है और 34% कम मेमोरी का उपयोग करता है।

3. "कोच" (O-MARC)

अंत में, उन्होंने महसूस किया कि एक बेहतरीन "हाइलाइट रील" होने के बावजूद, AI को यह नहीं पता हो सकता है कि उसका अध्ययन कैसे करना है। AI पूरी स्क्रिप्ट पढ़ने का आदी था, इसलिए जब उन्हें सारांश दिया गया, तो वह भ्रमित हो गया।

उपमा: कल्पना कीजिए कि एक छात्र जो 500 पन्नों की पाठ्यपुस्तक पढ़ने का आदी है। अचानक आप उसे 5 पन्नों का सारांश देते हैं। वह असफल हो सकता है क्योंकि उसे सारांश से मुख्य बिंदु निकालने का तरीका नहीं पता।
- समाधान (O-MARC): शोधकर्ताओं ने एक प्रशिक्षण विधि बनाई जहाँ AI "सारांश" (कंप्रेस्ड डेटा) पर अभ्यास करता है जबकि एक "शिक्षक" (पूरी स्क्रिप्ट पढ़ने वाला AI) द्वारा उसे कोचिंग दी जाती है।
- यह कैसे काम करता है: शिक्षक पूरी स्क्रिप्ट का उपयोग करके समस्या हल करता है। छात्र कंप्रेस्ड सारांश का उपयोग करके समस्या हल करने की कोशिश करता है। यदि छात्र सारांश बहुत छोटा होने के कारण गलत करता है, तो कोच उसे उस विशिष्ट कमी से सीखने के लिए अतिरिक्त क्रेडिट देता है।
- परिणाम: AI मजबूत (robust) बनना सीख जाता है। वह जानकारी के कंप्रेस होने के बावजूद समस्याओं को हल करने में बहुत कुशल हो जाता है।

परिणाम: छोटा लेकिन शक्तिशाली

शोधकर्ताओं ने इसे एक छोटे, कुशल AI मॉडल (3 बिलियन पैरामीटर्स, जो अन्य मॉडलों के "भारी ट्रकों" की तुलना में एक "कॉम्पैक्ट कार" की तरह है) पर टेस्ट किया।

हमारी मदद के बिना: छोटे मॉडल का स्कोर 44.1 था।
OMAC (समराइज़र) के साथ: इसका स्कोर 42.8 था (एक मामूली गिरावट, जो डेटा कम करने पर अपेक्षित है)।
O-MARC (कोच) के साथ: इसका स्कोर 45.8 था।

बड़ी जीत: उनके कंप्रेशन और ट्रेनिंग मेथड का उपयोग करके, छोटे, कुशल मॉडल ने वास्तव में बड़े, अनकंप्रेस्ड मॉडल को भी पीछे छोड़ दिया (45.8 बनाम 44.1)। उन्होंने साबित कर दिया कि वीडियो को अच्छी तरह समझने के लिए आपको विशाल कंप्यूटर की आवश्यकता नहीं है; आपको बस शोर को फ़िल्टर करने का एक स्मार्ट तरीका और फ़िल्टर्ड डेटा को संभालने के लिए मॉडल को प्रशिक्षित करने के तरीके की आवश्यकता है।

सारांश

यह पेपर AI वीडियो समझ को तेज़, सस्ता और स्मार्ट बनाने का एक तरीका पेश करता है, जिसके माध्यम से:

एक कठिन परीक्षण बनाया गया जो AI को ध्वनि और दृश्य को जोड़ने के लिए मजबूर करता है।
एक "स्मार्ट एडिटर" बनाया गया जो शोर को हटाते हुए महत्वपूर्ण विजुअल और ऑडियो सुरागों को रखता है।
AI को इन "एडिटेड" सारांशों के साथ काम करने में सहज बनाने के लिए प्रशिक्षित किया गया, जिससे छोटे मॉडल बड़े मॉडलों की तरह प्रदर्शन कर पाते हैं।

तकनीकी सारांश: O-MARC: कुशल वीडियो समझ के लिए ओम्नी मेमोरी-ऑगमेंटेड कम्प्रेशन डिस्टिलेशन (O-MARC: Omni Memory-Augmented Compression Distillation for Efficient Video Understanding)

1. समस्या विवरण (Problem Statement)

ओमनीमोडल लार्ज लैंग्वेज मॉडल्स (LLMs) ऑडियो, विजुअल और भाषा की एकीकृत समझ के लिए एक आशाजनक दिशा के रूप में उभरे हैं। हालाँकि, ऑडियो और वीडियो दोनों मोडैलिटीज की टोकन-गहन प्रकृति के कारण इनका इन्फरेंस (inference) महंगा बना हुआ है। वीडियो फ्रेम्स और ऑडियो स्ट्रीम को संयुक्त रूप से प्रोसेस करने से लंबे मल्टीमॉडल सीक्वेंस उत्पन्न होते हैं, जिससे भारी मेमोरी ओवरहेड और धीमा इन्फरेंस होता है, विशेष रूप से लंबे वीडियो के लिए।

जबकि टोकन कम्प्रेशन (token compression) एक स्वाभाविक समाधान है, इसे ऑडियो-विजुअल इनपुट तक विस्तारित करना गैर-तुच्छ कार्य है। केवल विजुअल-ओनली कम्प्रेशन के विपरीत, ऑडियो-विजुअल कम्प्रेशन को दो ऐसी मोडैलिटीज को संभालना होगा जिनमें अलग-अलग रेडंडेंसी पैटर्न होते हैं: वीडियो टोकन अक्सर स्थानिक (spatial) और टेम्पोरल (temporal) रेडंडेंसी प्रदर्शित करते हैं, जबकि ऑडियो टोकन संक्षिप्त लेकिन निर्णायक संकेतों को एनकोड कर सकते हैं। महत्वपूर्ण बात यह है कि प्रत्येक मोडैलिटी का महत्व अक्सर परस्पर निर्भर होता है; एक ध्वनि तब अर्थ प्राप्त करती है जब वह एक दृश्य परिदृश्य में स्थापित हो, और एक विजुअल इवेंट अपने संबंधित ऑडियो के बिना अस्पष्ट रह सकता है। मौजूदा कम्प्रेशन विधियाँ अक्सर मोडैलिटीज को अलग-थलग होकर कंप्रेस करती हैं, जिससे संभावित रूप से वह क्रॉस-मोडल साक्ष्य हट जाता है जो सटीक तर्क (reasoning) के लिए आवश्यक है।

इसके अलावा, मौजूदा बेंचमार्क शोर वाले यूजर-जेनरेटेड कंटेंट (UGC) में ऑडियो-विजुअल एसोसिएशन को पूरी तरह से अलग करने में विफल रहते हैं। वर्तमान के कई बेंचमार्क लंबे वीडियो रीजनिंग का मूल्यांकन करते हैं लेकिन मुख्य रूप से विजन-आधारित मॉडल्स पर निर्भर करते हैं जो शायद ही कभी ऑडियो सिग्नल का उपयोग करते हैं, या वे स्पष्ट रूप से उन प्रश्नों को फ़िल्टर नहीं करते हैं जो केवल विजुअल प्रायर्स (visual priors) द्वारा हल किए जा सकते हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र तीन-चरणीय दृष्टिकोण प्रस्तावित करता है: एक नया बेंचमार्क, एक ट्रेनिंग-फ्री कम्प्रेशन विधि, और एक कम्प्रेशन-अवेयर डिस्टिलेशन फ्रेमवर्क।

2.1 UGC-AVQA बेंचमार्क

मूल्यांकन अंतराल को संबोधित करने के लिए, लेखक UGC-AVQA पेश करते हैं, जो 1,000 सार्वजनिक UGC शॉर्ट वीडियो से निर्मित एक सार्वजनिक बेंचमार्क है जिसमें 4,816 QA जोड़े हैं।

केंद्र: घटनाओं, दृश्यों और टेम्पोरल परिवर्तनों में सूक्ष्म ऑडियो-विजुअल एसोसिएशन।
निर्माण: वीडियो को विस्तृत कैप्शन और चार श्रेणियों में बहुविकल्पीय प्रश्नों के साथ एनोटेट किया गया है: ऑडियो-विजुअल इवेंट प्रोग्रेशन, ऑडियो-विजुअल सीन/टेम्पोरल ट्रांजिशन, क्रॉस-सीन एलाइनमेंट, और फाइन-ग्रेन्ड कॉन्ट्रास्ट।
डिफिकल्टी फ़िल्टर: यह सुनिश्चित करने के लिए कि प्रश्न दोनों मोडैलिटीज की आवश्यकता रखते हैं, एक "ऑडियो रिमूवल टेस्ट" लागू किया गया है। एक सैंपल को बेंचमार्क के लिए तभी रखा जाता है यदि एक स्ट्रॉन्ग मॉडल (Gemini-3.1-Flash) ऑडियो ट्रैक हटाने पर विफल हो जाता है। यह उन प्रश्नों को फ़िल्टर करता है जो केवल विजुअल प्रायर्स द्वारा हल किए जा सकते हैं।
स्प्लिट: डेटासेट को एक ट्रेनिंग सेट (794 वीडियो, 3,168 QA जोड़े) और एक बेंचमार्क सेट (206 वीडियो, 1,648 QA जोड़े) में विभाजित किया गया है, जिसमें गुणवत्ता सुनिश्चित करने के लिए मानव समीक्षा की गई है।

2.2 OMAC (ओम्नी मेमोरी-ऑगमेंटेड कम्प्रेशन)

OMAC एक ट्रेनिंग-फ्री, प्लग-इन कम्प्रेशन विधि है जिसे बैकबोन मॉडल को संशोधित किए बिना महत्वपूर्ण विजुअल मेमोरी और टेम्पोरली ग्राउंडेड ऑडियो एंकर्स को संरक्षित करने के लिए डिज़ाइन किया गया है।

विजुअल मेमोरी:
- फ्रेम स्कोरिंग: फ्रेम्स को सारांशित किया जाता है और क्वेरी प्रासंगिकता द्वारा स्कोर किया जाता है। उच्च-स्कोरिंग फ्रेम्स को की-फ्रेम्स के रूप में चुना जाता है।
- टोकन चयन: चयनित फ्रेम्स के भीतर, टोकन को फ्रेम सेंट्रॉइड के विरुद्ध कंट्रास्ट द्वारा स्कोर किया जाता है। विशिष्ट (distinctive) टोकन्स को स्पष्ट विजुअल मेमोरी के रूप में रखा जाता है, जबकि एक कॉम्पैक्ट फ्रेम मेमोरी टोकन वेटेड पूलिंग के माध्यम से बनाया जाता है।
- संरचना: यह एक दो-स्तरीय मेमोरी संरचना बनाता है: फ्रेम सारांश (कोर्स मेमोरी) और विशिष्ट स्थानीय टोकन प्लस एक कॉम्पैक्ट सारांश (फाइन-ग्रेन्ड मेमोरी)।
ऑडियो मेमोरी और बजट एडजस्टमेंट:
- एंकर्स: ऑडियो टोकन्स को महत्व के लिए स्कोर किया जाता है। उच्च-स्कोरिंग टोकन्स "एंकर्स" बन जाते हैं, और पास के ड्रॉप किए गए टोकन्स को उनमें मर्ज किया जाता है ताकि कॉम्पैक्ट एकॉस्टिक मेमोरी स्लॉट्स बनाए जा सकें।
- क्रॉस-मोडल बजटिंग: OMAC विजुअल मेमोरी वितरण का उपयोग ऑडियो बजट को समायोजित करने के लिए करता है। यदि एक समय खंड महत्वपूर्ण विजुअल मेमोरी रखता है, तो उस खंड के लिए ऑडियो बजट बढ़ा दिया जाता है। इसके विपरीत, विजुअली हल्के अंतराल को अधिक आक्रामक तरीके से कंप्रेस किया जाता है। यह सुनिश्चित करता है कि संकुचित अनुक्रम आइसोलेटेड टोकन्स के बजाय मोडैलिटीज के बीच इवेंट स्ट्रक्चर को संरक्षित करे।

2.3 O-MARC (ओम्नी मेमोरी-ऑगमेंटेड कम्प्रेशन डिस्टिलेशन)

कॉम्पैक्ट मॉडल्स को संकुचित इनपुट्स के प्रति मजबूत बनाने के लिए, लेखक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) पर आधारित एक कम्प्रेशन डिस्टिलेशन फ्रेमवर्क O-MARC पेश करते हैं।

मैकेनिज्म: प्रत्येक क्वेरी के लिए, पॉलिसी दो रोलआउट्स सैंपल करती है: एक "टीचर" ब्रांच जो फुल टोकन्स का उपयोग करती है और एक "स्टूडेंट" ब्रांच जो OMAC-कंप्रेस्ड टोकन्स का उपयोग करती है।
रिवॉर्ड शेपिंग: टीचर और स्टूडेंट रिवॉर्ड्स के बीच का अंतर ( $\Delta_i$ ) कम्प्रेशन-प्रेरित गिरावट (degradation) को मापता है। इस अंतर का उपयोग GRPO एडवांटेज को रीशेप करने के लिए किया जाता है।
ऑब्जेक्टिव: ट्रेनिंग ऑब्जेक्टिव को ऐसे व्यवहारों की ओर बायस करने के लिए संशोधित किया जाता है जो मेमोरी कम्प्रेशन के तहत मजबूत रहते हैं। विशेष रूप से, वे सैंपल जो GRPO के तहत फायदेमंद हैं लेकिन कम्प्रेशन द्वारा दृढ़ता से खराब हो जाते हैं, उन्हें बड़े पॉजिटिव अपडेट मिलते हैं। यह मॉडल को कम किए गए टोकन बजट के भीतर प्रभावी ढंग से तर्क करने के लिए सीखने की अनुमति देता है।

3. प्रमुख योगदान (Key Contributions)

UGC-AVQA: UGC वीडियो में ऑडियो-विजुअल एसोसिएशन के लिए एक नया सार्वजनिक बेंचमार्क, जिसमें ऑडियो-रिमूवल डिफिकल्टी चेक है ताकि यह सुनिश्चित हो सके कि प्रश्न वास्तव में मल्टीमोडल रीजनिंग की आवश्यकता रखते हैं।
OMAC: एक ट्रेनिंग-फ्री प्लग-इन कम्प्रेशन विधि जो महत्वपूर्ण विजुअल मेमोरी को सुरक्षित रखती है और ऑडियो मेमोरी बजट आवंटित करने के लिए विजुअल कॉन्टेक्स्ट का उपयोग करती है।
O-MARC: एक कम्प्रेशन डिस्टिलेशन फ्रेमवर्क जो ओम्नीमोडल मॉडल्स को संकुचित मल्टीमोडल कॉन्टेक्स्ट के तहत मजबूती से तर्क करने के लिए प्रशिक्षित करता है, जो स्टैंडर्ड टोकन प्रूनिंग और समकालीन ट्रेनिंग-आधारित बेसलाइन्स से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग चार बेंचमार्क: डेलीओम्नी (DailyOmni), UGC-AVQA, ओम्नीवीडियो (OmniVideo), और वर्ल्डसेंस (WorldSense) में 3B से 30B पैरामीटर्स (Qwen2.5-Omni और Qwen3-Omni सीरीज़) तक के मॉडल्स पर किए गए।

OMAC प्रदर्शन: OMAC लगातार एफिशिएंसी-एक्यूरेसी ट्रेड-ऑफ में डायरेक्ट टोकन प्रूनिंग (OmniZip) और फुल-टोकन इन्फरेंस से बेहतर प्रदर्शन करता है।
- Qwen2.5-Omni-3B पर, OMAC ने औसत स्कोर को 45.8 तक सुधार दिया, जो फुल-टोकन इन्फरेंस (44.1) और OmniZip (41.0) से अधिक है।
- इसने फुल-टोकन इन्फरेंस की तुलना में इन्फरेंस लेटेंसी को 34.6% (1.53× स्पीडअप) और मेमोरी उपयोग को 34.7% कम कर दिया।
O-MARC प्रदर्शन:
- एफिशिएंसी: 3B मॉडल पर, O-MARC (केवल 3k सैंपल के साथ प्रशिक्षित) ने 45.8 का औसत स्कोर प्राप्त किया, जो फुल-टोकन बेसलाइन (44.1) और अकेले OMAC (42.8) से बेहतर है।
- स्केलेबिलिटी: जब इसे 100k+ ट्रेनिंग सैंपल्स के साथ 7B मॉडल तक स्केल किया गया, तो O-MARC ने 51.1 का औसत स्कोर प्राप्त किया, जो समकालीन ट्रेनिंग-आधारित बेसलाइन OmniSIFT (48.7) से बेहतर है, और UGC-AVQA सटीकता में महत्वपूर्ण सुधार (56.4 बनाम 64.6) किया।
एब्लेशन स्टडीज (Ablation Studies):
- कम्प्रेशन रेशियो: OMAC ने 70% कम्प्रेशन पर भी उच्च प्रदर्शन बनाए रखा, जबकि OmniZip का प्रदर्शन काफी गिर गया।
- गाइडेंस: पूर्ण OMAC डिज़ाइन (विजुअल $\to$ ऑडियो बजट एडजस्टमेंट) उन वेरिएंट्स से बेहतर था जहाँ ऑडियो ने विजुअल कम्प्रेशन को गाइड किया या जहाँ मोडैलिटीज को स्वतंत्र रूप से कंप्रेस किया गया था।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि कुशल ओम्नीमोडल रीजनिंग को केवल एक इन्फरेंस एक्सेलेरेशन तकनीक के रूप में नहीं, बल्कि एक ट्रेन करने योग्य स्थिति (trainable condition) के रूप में देखा जाना चाहिए।

परस्पर निर्भरता (Interdependency): परिणाम प्रदर्शित करते हैं कि ऑडियो और वीडियो कम्प्रेशन को अलग-अलग नहीं माना जा सकता है; क्रॉस-मोडल साक्ष्य को संरक्षित करना (जैसे, ऑडियो बजटिंग को गाइड करने के लिए विजुअल मेमोरी का उपयोग करना) रीजनिंग क्षमताओं को बनाए रखने के लिए महत्वपूर्ण है।
मजबूती (Robustness): O-MARC के माध्यम से, लेखक दिखाते हैं कि कॉम्पैक्ट मॉडल्स को कम किए गए टोकन बजट के तहत प्रभावी ढंग से तर्क करने के लिए प्रशिक्षित किया जा सकता है, जो अक्सर एफिशिएंसी-कंस्ट्रेंड सेटिंग्स में बड़े मॉडल्स या फुल-टोकन इन्फरेंस से बेहतर प्रदर्शन करते हैं।
मूल्यांकन: UGC-AVQA का परिचय वर्तमान बेंचमार्क्स के अंतराल को उजागर करता है, यह दिखाता है कि विश्वसनीय UGC ऑडियो-विजुअल QA के लिए केवल जेनेरिक विजुअल रिकग्निशन या यूनिमोडल प्रायर्स से अधिक की आवश्यकता होती है, जिसके लिए स्पष्ट ऑडियो-विजुअल एसोसिएशन मूल्यांकन आवश्यक है।

लेखक निष्कर्ष निकालते हैं कि बेंचमार्क निर्माण, मेमोरी कम्प्रेशन और कम्प्रेशन-अवेयर ट्रेनिंग का उनका एकीकृत अध्ययन वास्तविक दुनिया के शोर वाले वीडियो कंटेंट के लिए मजबूत और कुशल ओम्नीमोडल रीजनिंग के लिए एक मार्ग प्रदान करता है।