💻 computer science

TB-AVA: Text as a Semantic Bridge for Audio-Visual Parameter Efficient Finetuning

यह शोध पत्र TB-AVA का प्रस्ताव करता है, जो एक पैरामीटर-कुशल फाइन-ट्यूनिंग फ्रेमवर्क है जो ऑडियो और विजुअल मोडैलिटीज के बीच सेतु बनाने के लिए एक गेटेड सिमेंटिक मॉड्यूलेशन तंत्र के माध्यम से टेक्स्ट को एक सिमेंटिक एंकर के रूप में उपयोग करता है, जिससे कई ऑडियो-विजुअल बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Seongah Kim, Dinh Phu Tran, Hyeontaek Hwang, Saad Wazir, Duc Do Minh, Daeyoung Kim

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Seongah Kim, Dinh Phu Tran, Hyeontaek Hwang, Saad Wazir, Duc Do Minh, Daeyoung Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बिल्ली के म्याऊं करने का वीडियो देख रहे हैं, लेकिन बिल्ली सोफे के पीछे छिपी हुई है। उसी समय, एक कुत्ता कैमरे के ठीक सामने बैठा है, लेकिन वह पूरी तरह से शांत है।

यदि आप एक मानक कंप्यूटर से यह समझने के लिए पूछते हैं कि क्या हो रहा है, तो वह भ्रमित हो सकता है। वह एक ही समय में कुत्ते को (दृश्य) और म्याऊं की आवाज़ को (ध्वनि) देखता है। क्योंकि वे एक ही क्षण में होते हैं, कंप्यूटर गलत निष्कर्ष निकाल सकता है: "कुत्ता म्याऊं कर रहा है!" यह एक सामान्य गलती है जिसे AI में टेम्पोरल को-करेंस बायस (temporal co-occurrence bias) कहा जाता है—यह विचार कि केवल इसलिए कि दो चीजें समय में एक साथ होती हैं, वे आपस में संबंधित होनी चाहिए।

आपके द्वारा साझा किया गया पेपर, TB-AVA, इस समस्या का एक चतुर समाधान प्रस्तावित करता है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

समस्या: "समय का जाल" (The "Time Trap")

वर्तमान AI मॉडल उन लोगों की तरह हैं जो केवल अपने आँखों और कानों पर तभी भरोसा करते हैं जब वे बिल्कुल उसी पल में कुछ देखते और सुनते हैं। यदि एक ध्वनि और एक दृश्य समय में ओवरलैप होते हैं, तो AI मान लेता है कि वे एक ही वस्तु के हैं। लेकिन वास्तविक दुनिया में, चीजें अव्यवस्थित होती हैं। एक आवाज़ स्क्रीन के बाहर से आ सकती है, या एक शांत वस्तु आपके ठीक सामने हो सकती है। केवल "क्या एक ही समय में होता है" पर निर्भर रहने से गलत उत्तर मिलते हैं।

समाधान: "टेक्स्ट ट्रांसलेटर" (The "Text Translator")

लेखक एक नई विधि पेश करते हैं जिसे TB-AVA (टेक्स्ट-ब्रिज्ड ऑडियो-विजुअल एडेप्टर) कहा जाता है। इसे एक अनुवादक (translator) या एक रेफरी (ref referee) के रूप में सोचें जो AI को वीडियो को समझने में मदद करता है।

AI को सीधे ऑडियो और वीडियो को एक-दूसरे से बात करने देने के बजाय (जिससे भ्रम पैदा होता है), अब यह टेक्स्ट (पाठ) का उपयोग एक बिचौलिए के रूप में करता है।

AI को उन संभावित चीजों की एक सूची दी जाती है जो वीडियो में हो सकती हैं (जैसे, "एक कुत्ता भौंक रहा है," "एक बिल्ली म्याऊं कर रही है," "एक कार हॉर्न बजा रही है")।
यह एक "फ्रोजन" (frozen) टेक्स्ट एनकोडर (एक प्री-ट्रेन किया गया मस्तिष्क जो पहले से ही जानता है कि इन शब्दों का क्या अर्थ है) का उपयोग एक सिमेंटिक एंकर (semantic anchor) के रूप में करता है।
यह टेक्स्ट एंकर पूछता है: "जो आवाज़ मैं सुन रहा हूँ, क्या वह वास्तव में 'कुत्ता' शब्द से मेल खाती है? क्या जो चित्र मैं देख रहा हूँ, वह 'बिल्ली' शब्द से मेल खाता है?"

यह कैसे काम करता है: "स्मार्ट स्विच" (The "Smart Switch" - GSM)

उनके सिस्टम का मुख्य हिस्सा एक मॉड्यूल है जिसे गेटेड सिमेंटिक मॉड्यूलेशन (Gated Semantic Modulation - GSM) कहा जाता है। एक इमारत की कल्पना करें जिसमें पानी (डेटा) ले जाने वाले कई अलग-अलग पाइप हैं जो ऑडियो और वीडियो स्रोतों से आते हैं।

GSM के बिना: AI सारा पानी पाइपों में डाल देगा, इस उम्मीद में कि सही मिश्रण सही जगह पर पहुँच जाएगा। इससे एक कीचड़ जैसा मिश्रण बन जाता है।
GSM के साथ: टेक्स्ट एंकर एक स्मार्ट स्विचबोर्ड ऑपरेटर की तरह कार्य करता है। वह पाइपों को देखता है और निर्णय लेता है, "ठीक है, 'भौंकने' की आवाज़ ले जाने वाले पाइप के लिए, चलिए वाल्व खोलते हैं क्योंकि टेक्स्ट कहता है कि 'कुत्ता' प्रासंगिक है। लेकिन 'म्याऊं' की आवाज़ ले जाने वाले पाइप के लिए, वाल्व बंद कर दें क्योंकि टेक्स्ट कहता है कि 'कुत्ता' का इससे कोई लेना-देना नहीं है।"

यह AI को ऑडियो सुनने या वीडियो देखने के लिए केवल तभी अनुमति देता है जब टेक्स्ट विवरण कहता है कि यह समझ में आता है। यह शोर (जैसे शांत कुत्ता) को फ़िल्टर करता है और सच्चाई (ऑफ-स्क्रीन बिल्ली) पर ध्यान केंद्रित करता है।

यह क्यों विशेष है

यह कुशल है: AI को शुरू से देखने या सुनने के लिए फिर से सीखने की आवश्यकता नहीं है। यह देखने और सुनने के लिए शक्तिशाली, प्री-ट्रेन किए गए "फ्रोजन" मस्तिष्क का उपयोग करता है, और बीच में बस एक छोटा, हल्का "एडेप्टर" (अनुवादक) जोड़ता है। यह एक पूरे सॉफ्टवेयर को फिर से लिखने के बजाय एक कंप्यूटर प्रोग्राम में एक नया प्लगइन जोड़ने जैसा है।
यह "ऑफ-स्क्रीन" समस्या को ठीक करता है: उनके परीक्षणों में, जब कोई ध्वनि बिना किसी मिलान दृश्य के हुई (या इसके विपरीत), तो इस नई विधि ने सही ढंग से पहचाना कि वह आवाज़ किसी और की थी, जबकि पुराने तरीकों ने गलत वस्तु का अनुमान लगाना जारी रखा।
यह हर जगह काम करता है: उन्होंने तीन अलग-अलग प्रकार के वीडियो कार्यों (घटनाओं को खोजना, वीडियो सेगमेंट को काटना और वस्तुओं की पहचान करना) पर इसका परीक्षण किया और अधिकांश श्रेणियों में वर्तमान सर्वोत्तम तरीकों को पछाड़ दिया।

निचोड़ (The Bottom Line)

पेपर का तर्क है कि टेक्स्ट (पाठ) वह गायब कड़ी है जो ऑडियो-विजुअल भ्रम को ठीक करती है। टेक्स्ट विवरणों को एक स्थिर, विश्वसनीय संदर्भ बिंदु के रूप में उपयोग करके, AI केवल समय के आधार पर अनुमान लगाना बंद कर सकता है और जो वह देख और सुन रहा है उसके अर्थ को समझना शुरू कर सकता है। यह AI को फिल्म देखते समय एक स्क्रिप्ट पढ़ने जैसा है, जिससे यह सुनिश्चित होता है कि उसे पता है कि कौन सी आवाज़ किसकी है, भले ही वह व्यक्ति स्क्रीन पर न हो।

तकनीकी सारांश: TB-AVA

समस्या विवरण

ऑडियो-विजुअल समझ (audio-visual understanding) विषम मोडैलिटीज (ऑडियो और विजन) को संरेखित करने पर निर्भर करती है। हालांकि, वर्तमान प्रणालियाँ मुख्य रूप से टेम्पोरल को-अकरेंस (temporal co-occurrence) पर निर्भर करती हैं, जो ऑडियो और विजुअल फीचर्स को एक साथ सक्रिय होने के आधार पर बांधती हैं। यह इंडक्टिव बायस (inductive bias) वास्तविक दुनिया के परिदृश्यों में विफल हो जाता है जहाँ श्रव्य घटनाएँ (audible events) और दृश्यमान संस्थाएं (visible entities) फ्रेम-दर-फ्रेम संरेखित नहीं होती हैं (जैसे, एक शांत दिखने वाले कुत्ते के सामने एक ऑफ-स्क्रीन बिल्ली का शोर करना)। कमजोर वीडियो-स्तरीय पर्यवेक्षण (weak video-level supervision) के तहत, केवल टेम्पोरल ओवरलैप पर निर्भर मॉडल गलत जोड़ों को बांधने के लिए संरचनात्मक रूप से पक्षपाती होते हैं, एक ऐसी सीमा जिसे केवल मॉडल के आकार या प्रशिक्षण डेटा को बढ़ाकर हल नहीं किया जा सकता है। मौजूदा दृष्टिकोण या तो टेक्स्ट को विशिष्ट ट्राई-मोडल बैकबोन/टास्क से जोड़ते हैं या बिना किसी बाहरी संदर्भ संकेत के निहित क्रॉस-मोडल फ्यूजन पर निर्भर रहते हैं।

कार्यप्रणाली (Methodology)

लेखक TB-AVA (Text-Bridged Audio-Visual Adapter) प्रस्तावित करते हैं, जो एक पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEF) फ्रेमवर्क है जिसे फ्रोज़न (frozen) ऑडियो और विजुअल एनकोडर पर संचालित करने के लिए डिज़ाइन किया गया है। मुख्य नवाचार मोडैलिटीज के बीच इंटरैक्शन को मध्यस्थ बनाने के लिए टेक्स्ट को एक सिमेंटिक एंकर (semantic anchor) के रूप में उपयोग करना है, जिससे संरेखण (alignment) को बैकबोन ट्रेनिंग से अलग किया जा सके।

आर्किटेक्चर अवलोकन

फ्रोज़न एनकोडर: फ्रेमवर्क प्री-ट्रेन्ड, फ्रोज़न एनकोडर का उपयोग करता है:
- विजुअल: SigLIP2 (इसके टेक्स्ट-अलाइन्ड विजुअल रिप्रेजेंटेशन के कारण चुना गया)।
- ऑडियो: BEATs।
- टेक्स्ट: SigLIP2 टेक्स्ट एनकोडर (विजुअल एनकोडर के साथ साझा एम्बेडिंग स्पेस)।
लाइटवेट एडैप्टर: TB-AVA फ्रोज़न एनकोडर्स के पहले 12 लेयर्स के बीच ट्रेन करने योग्य एडैप्टर ब्लॉक्स को सम्मिलित करता है।
टेक्स्ट कंडीशनिंग:
- क्लास-लेवल विवरण (जैसे, "कुत्ते के भौंकने की आवाज़") को प्रॉम्प्ट के रूप में उपयोग किया जाता है।
- फिक्स्ड क्लास टेक्स्ट एम्बेडिंग्स के आगे लर्न करने योग्य सॉफ्ट प्रॉम्प्ट्स (learnable soft prompts) (K टोकन) जोड़े जाते हैं। केवल ये सॉफ्ट प्रॉम्प्ट्स ही ट्रेन करने योग्य होते हैं; टेक्स्ट एनकोडर फ्रोज़न रहता है।
- यह मोडैलिटी-विशिष्ट टेक्स्ट एम्बेडिंग्स ( $T_v$ विजुअल के लिए, $T_a$ ऑडियो के लिए) उत्पन्न करता है।

मुख्य तंत्र: गेटेड सिमेंटिक मॉड्यूलेशन (GSM)

TB-AVA का हृदय गेटेड सिमेंटिक मॉड्यूलेशन (GSM) ब्लॉक है, जो यह नियंत्रित करता है कि क्रॉस-मोडल कॉन्टेक्स्ट को बैकबोन फीचर्स में कैसे इंजेक्ट किया जाए।

दो-चरणीय रिट्रीवल (Two-Step Retrieval):
1. टेक्स्ट-अवेयर कॉन्टेक्स्ट: विजुअल बॉटलनेक फीचर्स टेक्स्ट एम्बेडिंग्स पर ध्यान केंद्रित करके एक टेक्स्ट-अवेयर विजुअल रिप्रेजेंटेशन ( $c^v_t$ ) उत्पन्न करते हैं।
2. क्रॉस-मोडल रिट्रीवल: यह टेक्स्ट-अवेयर रिप्रेजेंटेशन ऑडियो फीचर्स को क्वेरी करता है ताकि ऐसा ऑडियो कॉन्टेक्स्ट ( $c_a$ ) प्राप्त किया जा सके जो केवल टेम्पोरल रूप से सह-अस्तित्व (co-occurring) में ही नहीं, बल्कि सिमेंटिक रूप से भी संरेखित हो।
गेटिंग लॉजिक:
- GSM एक लाइटवेट गेटिंग नेटवर्क का उपयोग करता है जो टेक्स्ट एम्बेडिंग्स के आधार पर चैनल-वाइज़ कोएफिशिएंट्स ( $w \in (0,1)$ ) उत्पन्न करता है।
- अंतिम अपडेटेड फीचर ( $z'$ ) मूल फीचर और गेटेड क्रॉस-मोडल कॉन्टेक्स्ट का एक रेसिडुअल सम होता है:
  $z' = z + w_a \odot c_{audio} + w_t \odot c_{text}$
- चयनात्मक इंजेक्शन (Selective Injection): यदि टेक्स्ट इंगित करता है कि एक चैनल सिमेंटिक रूप से प्रासंगिक है, तो गेट कॉन्टेक्स्ट को बढ़ाता है। यदि टेक्स्ट कॉन्टेक्स्ट को अप्रासंगिक मानता है (जैसे, सिमेंटिक मैच के बिना केवल ध्वनिक समानता), तो गेट उसे दबा देता है (शून्य के करीब ले जाता है)।
- यह तंत्र संरेखण प्रक्रिया को स्पष्ट और निरीक्षण योग्य बनाता है, जिससे अविश्वसनीय क्रॉस-मोडल सहसंबंधों के शोर में उपयोगी संकेतों के "डूबने" (drowning) को रोका जा सके।

मुख्य योगदान

सिमेंटिक एंकर के रूप में टेक्स्ट: यह पेपर टेक्स्ट को एक टास्क-विशिष्ट सहायक संकेत के बजाय एक बैकबोन-एग्नोस्टिक, टास्क-एग्नोस्टिक प्रिमिटिव के रूप में पुनर्गठित करता है जो ऑडियो-विजुअल अस्पष्टता को दूर करता है। यह टेम्पोरल को-अकरेंस से स्वतंत्र रूप से संरेखण को सत्यापित करने के लिए तीसरे संकेत के रूप में कार्य करता है।
TB-AVA फ्रेमवर्क: एक पैरामीटर-एफिशिएंट एडैप्टर जो बैकबोन को संशोधित किए बिना फ्रोज़न ऑडियो और विजुअल स्ट्रीम के बीच टेक्स्ट-मध्यस्थ इंटरैक्शन को सक्षम करता है।
गेटेड सिमेंटिक मॉड्यूलेशन (GSM): एक नवीन मॉड्यूल जो टेक्स्ट-कंडीशनड चैनल-वाइज़ गेटिंग करता है। यह केवल वहीं क्रॉस-मोडल कॉन्टेक्स्ट को चुनिंदा रूप से इंजेक्ट करता है जहाँ टेक्स्ट सिमेंटिक विश्वसनीयता की पुष्टि करता है, जिससे टेक्स्ट गाइडेंस को एक नियंत्रणीय आर्किटेक्चरल घटक में बदल दिया जाता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह फ्रेमवर्क उच्च स्तर की पैरामीटर दक्षता बनाए रखते हुए कई बेंचमार्क पर नए स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन तीन बेंचमार्क पर किया गया: AVE (ऑडियो-विजुअल इवेंट लोकलाइजेशन), AVVP (ऑडियो-विजुअल वीडियो पार्सिंग), और AVS (ऑडियो-विजुअल सेगमेंटेशन)।

AVE (इवेंट लोकलाइजेशन):
- TB-AVA ने 16.7% ट्रेन करने योग्य पैरामीटर्स के साथ 85.0% सटीकता प्राप्त की।
- यह पिछले सर्वश्रेष्ठ PEFT मेथड (MoLT, 83.5%) से 1.5 प्रतिशत अंक अधिक है।
- गुणात्मक विश्लेषण (Qualitative analysis) दिखाता है कि TB-AVA उन इवेंट बाउंड्रीज को सही ढंग से पहचानता है जहाँ ऑडियो और विजुअल स्ट्रीम अलग हो जाते हैं (उदाहरण के लिए, दृश्य बदलने पर "फ्राइंग" भविष्यवाणी को रोकना, भले ही लो-लेवल एक्यूस्टिक समानता बनी रहे), जबकि को-अकरेंस-आधारित मॉडल विफल हो जाते हैं।
AVVP (वीडियो पार्सिंग):
- TB-AVA ने 10 में से 6 मेट्रिक्स पर उच्चतम F1 स्कोर प्राप्त किया, विशेष रूप से वे जिनमें मोडैलिटी असाइनमेंट (विजुअल, ऑडियो-विजुअल, और टाइप कैटेगरी) की आवश्यकता होती है।
- सुधार सबसे अधिक उन मेट्रिक्स पर महत्वपूर्ण थे जो कमजोर वीडियो-स्तरीय पर्यवेक्षण के प्रति संवेदनशील हैं, जो मोडैलिटी स्रोतों को स्पष्ट करने में टेक्स्ट एंकर की भूमिका की पुष्टि करता है।
AVS (सेगमेंटेशन):
- सिंगल-सोर्स (S4) स्प्लिट पर, TB-AVA ने 81.2 mIoU प्राप्त किया, जो AVMoE (81.1), MoLT (80.8), और Mettle (80.7) से बेहतर है।
- मल्टी-सोर्स (MS3) स्प्लिट पर, इसने 53.4 mIoU प्राप्त किया, जो AVMoE के तुलनीय है लेकिन MoLT से थोड़ा कम है, जो कई समवर्ती स्रोतों वाले डेंस-प्रेडिक्शन सेटिंग्स में फिक्स्ड-वोकैबुलरी टेक्स्ट इनपुट्स की एक ज्ञात सीमा को उजागर करता है।
सामान्यीकरण (Generalization):
- TB-AVA ने विविध और विषम बैकबोन पेयर्स (जैसे, CLIP+CLIP, Swin+HTS-AT) में निरंतर लाभ (+3.7 से +8.1 pp) प्रदर्शित किया, जो दर्शाता है कि सुधार विशिष्ट एनकोडर चयन के बजाय टेक्स्ट-ब्रिज्ड मैकेनिज्म से आता है।
- बैकबोन विश्लेषण ने पुष्टि की कि ~77% (बैकबोन-ओनली) से 85% तक का प्रदर्शन जंप एडैप्टर मैकेनिज्म के कारण है, न कि एनकोडर के कारण।

महत्व और दावे

पेपर का दावा है कि टेम्पोरल को-अकरेंस कमजोर पर्यवेक्षण के तहत ऑडियो-विजुअल लर्निंग के लिए एक मौलिक रूप से सीमित इंडक्टिव बायस है। एक स्पष्ट, नियंत्रणीय सिमेंटिक एंकर के रूप में टेक्स्ट को पेश करके, TB-AVA दृश्य संस्थाओं से श्रव्य घटनाओं को बांधने की अस्पष्टता को हल करता है, जिसके लिए बड़े बैकबोन के पूर्ण फाइन-ट्यूनिंग की आवश्यकता नहीं होती है।

लेखक इस बात पर जोर देते हैं कि GSM टेक्स्ट को एक निहित कंडीशनिंग सिग्नल से एक निरीक्षण योग्य, चैनल-अलाइन्ड कोएफिशिएंट में बदल देता है। गेट्स बिना किसी स्पष्ट पर्यवेक्षण के भाषा-ग्राउंडेड और को-अकरेंस-ग्राउंडेड भूमिकाओं में स्वतः विशेषज्ञता हासिल कर लेते हैं, जो प्रभावी रूप से एक सिमेंटिक रेगुलेराइज़र के रूप में कार्य करते हैं जो फीचर स्पेस को शार्प करता है। यह कार्य सुझाव देता है कि टेक्स्ट सरल टेम्पोरल अलाइनमेंट से परे क्रॉस-मोडल ग्राउंडिंग के लिए एक स्ट्रक्चरल प्रिमिटिव के रूप में कार्य कर सकता है, जो ऑडियो-विजुअल समझ के लिए एक स्केलेबल और कुशल मार्ग प्रदान करता है।