⚡ electrical engineering

PAL: Probing Audio Encoders via LLMs -- Audio Information Transfer into LLMs

यह शोध पत्र PAL को प्रस्तुत करता है, जो एक हाइब्रिड फ्रेमवर्क है जो समृद्ध ऑडियो सिमेंटिक्स को LLMs में कुशलतापूर्वक स्थानांतरित करने के लिए एक कॉम्पैक्ट PLITS प्रोजेक्शन को एक लाइटवेट LAL इंजेक्शन मैकेनिज्म के साथ जोड़ता है, जिससे मौजूदा इंटीग्रेशन प्रतिमानों की तुलना में बेहतर प्रदर्शन और काफी कम कम्प्यूटेशनल ओवरहेड प्राप्त होता है।

मूल लेखक: Tony Alex, Wish Suharitdamrong, Sara Atito, Armin Mustafa, Philip J. B. Jackson, Imran Razzak, Muhammad Awais

प्रकाशित 2026-02-03

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Tony Alex, Wish Suharitdamrong, Sara Atito, Armin Mustafa, Philip J. B. Jackson, Imran Razzak, Muhammad Awais

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, बातूनी रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो टेक्स्ट पढ़ने और लिखने में माहिर है लेकिन उसने अपने जीवन में कभी कोई आवाज़ नहीं सुनी है। आप उसे ऑडियो समझना सिखाना चाहते हैं—जैसे कुत्ते का भौंकना, कोई गाना बजना, या किसी का बोलना।

समस्या यह है: आप एक टेक्स्ट-ओनली दिमाग में साउंड को कैसे फीड करें जिससे वह खराब न हो जाए या बहुत धीमा न हो जाए?

यह पेपर ऑडियो को इन टेक्स्ट रोबोट्स से जोड़ने का एक नया तरीका पेश करता है, जिसे PAL (Probing Audio encoders via LLMs) कहा जाता है। यहाँ इसका विवरण सरल उपमाओं (analogies) के साथ दिया गया है।

पुराना तरीका: "भारी कवच" (PLITS)

वर्तमान में, अधिकांश शोधकर्ता एक ऐसा तरीका उपयोग करते हैं जिसे लेखक PLITS कहते हैं।

उपमा: कल्पना कीजिए कि आप एक लेखक को एक तस्वीर दिखाना चाहते हैं। पुराने तरीके में, आप उस तस्वीर को लेते हैं, हर एक पिक्सेल को एक छोटे शब्द में बदलते हैं, और उन सभी शब्दों को लेखक की कहानी से पहले चिपका देते हैं।
समस्या: यदि तस्वीर हाई-रेज़ोल्यूशन (जैसे एक लंबा ऑडियो क्लिप) है, तो आप हजारों अतिरिक्त शब्द चिपका देते हैं। लेखक को एक भी नया वाक्य लिखने से पहले उन सभी अतिरिक्त शब्दों को पढ़ना पड़ता है। यह प्रक्रिया बहुत धीमी हो जाती है और इसके लिए भारी मात्रा में मेमोरी की आवश्यकता होती है (जैसे हर जगह अपने साथ लोहे का भारी कवच लेकर घूमना)।

नया विचार: "फुसफुसाहट" (LAL)

लेखक एक हल्का तरीका प्रस्तावित करते हैं जिसे LAL (Lightweight Audio LLM Integration) कहा जाता है।

उपमा: हजारों शब्द चिपकाने के बजाय, कल्पना कीजिए कि आपके पास एक "साउंड व्हिस्परर" (ध्वनि फुसफुसाने वाला) है। यह व्हिस्परर लेखक को नए शब्द पढ़ने के लिए मजबूर नहीं करता है। इसके बजाय, वे लेखक के सोचने के दौरान सीधे उनके कान में ध्वनि का संदर्भ (context) फुसफुसा देते हैं।
यह कैसे काम करता है: ऑडियो जानकारी को केवल उस हिस्से में इंजेक्ट किया जाता है जो यह तय करता है कि "किसे ध्यान देना है" (अटेंशन मैकेनिज्म)। यह दिमाग के उस हिस्से को छोड़ देता है जो भारी काम करता है (फीड-फॉरवर्ड नेटवर्क)।
परिणाम: लेखक अभी भी ध्वनि को पूरी तरह से समझ सकता है, लेकिन उसे भारी "कवच" ढोने की ज़रूरत नहीं पड़ती।
- गति: यह ट्रेनिंग में लगभग 190% तेज़ है।
- मेमोरी: यह लगभग 60% कम मेमोरी का उपयोग करता है।
- प्रदर्शन: यह पुराने भारी तरीके जितना ही अच्छा काम करता है।

दोनों दुनियाओं का सर्वश्रेष्ठ: "हाइब्रिड" (PAL)

लेखकों ने महसूस किया कि जबकि "फुसफुसाहट" (LAL) तेज़ है, कभी-कभी बड़ी तस्वीर समझने के लिए पूरी ध्वनि का सारांश (summary) चाहिए होता है। इसलिए, उन्होंने एक हाइब्रिड दृष्टिकोण बनाया, जिसे PAL कहा जाता है।

उपमा: कल्पना कीजिए कि लेखक की मदद करने के लिए दो सहायकों की एक टीम है:
1. द समराइज़र (PLITS): लंबे ऑडियो क्लिप को लेता है, उसे 3-वाक्यों के संक्षिप्त सारांश में बदलता है, और उसे बिल्कुल शुरुआत में चिपका देता है। यह लेखक को "बड़ी तस्वीर" (big picture) देता है।
2. द डिटेल व्हिस्परर (LAL): पूर्ण, विस्तृत ऑडियो लेता है और सोचने की प्रक्रिया के पहले भाग के दौरान सीधे लेखक के कान में बारीक विवरण (जैसे किसी आवाज़ की विशिष्ट पिच या कोई विशिष्ट ध्वनि प्रभाव) फुसफुसाता है।
यह क्यों काम करता है: "फुसफुसाहट" शुरुआती, विस्तृत प्रोसेसिंग (जैसे किसी विशिष्ट ध्वनि को पहचानना) को संभालती है, जबकि "सारांश" उच्च-स्तरीय तर्क (जैसे कहानी को समझना) में मदद करता है।
परिणाम: PAL पुराने भारी तरीके और केवल व्हिस्पर-आधारित तरीके, दोनों की तुलना में तेज़ और कम मेमोरी का उपयोग करता है, लेकिन यह वास्तव में बेहतर प्रदर्शन करता है।

पेपर के मुख्य निष्कर्ष

दक्षता (Efficiency): ऑडियो रोबोट के दिमाग में कैसे प्रवेश करता है (केवल "अटेंशन" टैप के माध्यम से, न कि भारी "थिंकिंग" ब्लॉक्स के माध्यम से) इसे बदलकर, उन्होंने कंप्यूटिंग पावर की भारी बचत की।
"फ्रीजिंग" की आवश्यकता नहीं: भले ही उन्होंने रोबोट के मुख्य ज्ञान आधार को लॉक कर दिया हो (ताकि वह नए तथ्य न सीख सके), यह नया ऑडियो तरीका पूरी तरह से काम करता रहा। इसका मतलब है कि आप पूरे दिमाग को फिर से प्रशिक्षित किए बिना मौजूदा रोबोट में ऑडियो जोड़ सकते हैं।
बहुमुखी प्रतिभा (Versatility): उन्होंने स्पीच, संगीत और सामान्य ध्वनियों (जैसे कार का हॉर्न या कुत्ते का भौंकना) को समझने के लिए इसका परीक्षण किया, और यह सभी के लिए अच्छी तरह से काम करता है।

संक्षेप में: पेपर कहता है, "रोबोट को ध्वनि के शब्दों का शब्दकोश पढ़ने के लिए मजबूर न करें। बस सोचने के दौरान उसके कान में ध्वनि का अर्थ फुसफुसा दें, और शुरुआत में उसे एक त्वरित सारांश दें। यह तेज़ है, सस्ता है, और अधिक स्मार्ट है।"

तकनीकी सारांश: PAL: LLMs के माध्यम से ऑडियो एनकोडर्स की जांच (Probing Audio Encoders via LLMs)

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) में ऑडियो धारणा (audio perception) का एकीकरण मशीन-श्रवण (machine-listening) अनुप्रयोगों को सक्षम करने की दिशा में एक महत्वपूर्ण कदम है। हालाँकि, ऑडियो एनकोडर्स से समृद्ध ऑडियो सिमेंटिक्स (semantics) को LLMs में कुशलतापूर्वक स्थानांतरित करना अभी भी कम खोजा गया विषय है।

वर्तमान अत्याधुनिक (SOTA) एकीकरण प्रतिमान, जिन्हें इस शोध पत्र में Prepend to the LLM's input token space (PLITS) कहा गया है, आमतौर पर ऑडियो एनकोडर आउटपुट को LLM इनपुट स्पेस में (MLPs या Q-Formers के माध्यम से) प्रोजेक्ट करते हैं और इन ऑडियो टोकन को टेक्स्ट टोकन अनुक्रम के आगे जोड़ देते हैं। संपूर्ण संयोजित अनुक्रम फिर सभी LLM परतों के माध्यम से प्रसारित होता है। प्रभावी होने के बावजूद, यह दृष्टिकोण महत्वपूर्ण कम्प्यूटेशनल ओवरहेड का कारण बनता है क्योंकि ऑडियो टोकन (जो अक्सर टेक्स्ट टोकन की तुलना में बहुत अधिक होते हैं, $N_a \gg N_t$ ) प्रत्येक परत पर पूर्ण कॉज़ल सेल्फ-अटेंशन (causal self-attention) और फीड-फॉरवर्ड नेटवर्क (FFN) प्रोसेसिंग से गुजरते हैं। इसके परिणामस्वरूप द्विघातीय अटेंशन जटिलता (quadratic attention complexity) $O((N_a + N_t)^2)$ और उच्च मेमोरी उपयोग होता है, जो स्केलेबिलिटी और इन्फरेंस थ्रूपुट को सीमित करता है।

फ्लेमिंगो-शैली (Flamingo-style) के मॉडल जैसे वैकल्पिक आर्किटेक्चर, LLM परतों के बीच क्रॉस-अटेंशन और FFN ब्लॉक्स को सम्मिलित करते हैं। हालांकि यह सरल संयोजन (concatenation) की तुलना में अटेंशन दक्षता में सुधार करता है, लेकिन यह अनुक्रमिक गहराई (sequential depth) और प्रति-परत कंप्यूट को बढ़ाता है, जिससे फॉरवर्ड पास धीमा हो सकता है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र दो नवीन एकीकरण रणनीतियों का प्रस्ताव करता है: LAL (लाइटवेट ऑडियो LLM इंटीग्रेशन) और PAL (LLMs के माध्यम से ऑडियो एनकोडर्स की जांच)।

2.1. LAL: लाइटवेट ऑडियो LLM इंटीग्रेशन

LAL एक मुख्य आर्किटेक्चरल संशोधन है जिसे ऑडियो रिप्रजेंटेशन को केवल अटेंशन मैकेनिज्म के माध्यम से इंजेक्ट करने के लिए डिज़ाइन किया गया है, जिससे ऑडियो टोकन के लिए फीड-फॉरवर्ड मॉड्यूल को बायपास किया जा सके।

तंत्र (Mechanism): एक मानक LLM लेयर में, टेक्स्ट हिडन स्टेट्स $H^t_l$ $H_{l}^{t}$ और प्रोजेक्टेड ऑडियो फीचर्स $\hat{A}_l$ $\hat{A}_{l}$ को $S_l$ $S_{l}$ बनाने के लिए संयोजित किया जाता है।
- क्वेरीज (Queries - $Q$ ): केवल टेक्स्ट टोकन ( $H^t_l$ ) से कंप्यूट की जाती हैं।
- कीज़ (Keys - $K$ ) और वैल्यूज (Values - $V$ ): संयोजित अनुक्रम $S_l$ (जिसमें टेक्स्ट और ऑडियो दोनों शामिल हैं) से कंप्यूट की जाती हैं।
सूचना प्रवाह (Information Flow): ऑडियो टोकन टेक्स्ट टोकन के अटेंशन कॉन्टेक्स्ट को मॉड्युलेट करते हैं लेकिन वे FFN सबलेयर से होकर नहीं गुजरते। यह टेक्स्ट टोकन को ऑडियो से जानकारी एकत्र करने की अनुमति देता है बिना ऑडियो टोकन के नॉन-लीनियर ट्रांसफॉर्मेशन से गुजरने के।
जटिलता में कमी (Complexity Reduction): क्वेरीज को केवल टेक्स्ट टोकन तक सीमित करके, अटेंशन जटिलता $O((N_a + N_t)^2)$ से घटकर $O((N_a + N_t)N_t)$ हो जाती है। चूंकि $N_a \gg N_t$ , यह $N_a^2$ टर्म को समाप्त कर देता है, जिससे पर्याप्त दक्षता प्राप्त होती है।
पोजीशनल एनकोडिंग (Positional Encoding): टेम्पोरल ऑर्डरिंग को बनाए रखने के लिए, LAL स्पष्ट रूप से पोजीशन ID प्रबंधित करता है, ऑडियो टोकन के लिए अनुक्रम में एक गैप सुरक्षित रखता है ताकि यह सुनिश्चित हो सके कि रोटरी पोजीशनल एम्बेडिंग्स (RoPE) टेक्स्ट के सापेक्ष सही ढंग से कार्य करें।

2.2. PAL: हाइब्रिड इंटीग्रेशन

यह पहचानते हुए कि LLM की विभिन्न परतों को अलग-अलग एकीकरण शैलियों से लाभ हो सकता है, लेखक PAL का प्रस्ताव करते हैं, जो PLITS और LAL को मिलाने वाला एक हाइब्रिड दृष्टिकोण है।

आर्किटेक्चर:
1. PLITS पाथवे (सारांश): पूर्ण ऑडियो अनुक्रम से एक संक्षिप्त सेट ऑफ समरी टोकन (स्ट्राइड $r$ के साथ 1D कनवल्शन के माध्यम से) प्राप्त किए जाते हैं। इन समरी टोकन को मानक PLITS विधि के माध्यम से प्रोसेस किया जाता है (सभी परतों में प्रीपेंड किया जाता है)।
2. LAL पाथवे (फुल-रेसोल्यूशन): पूर्ण-रेसोल्यूशन ऑडियो टोकन अनुक्रम को LAL के माध्यम से अटेंशन ब्लॉक्स में इंजेक्ट किया जाता है।
लेयर एलोकेशन (Layer Allocation): अनुभवजन्य विश्लेषण (Empirical analysis) सुझाव देता है कि LLM की विभिन्न परतों को अलग-अलग एकीकरण शैलियों से लाभ हो सकता है—पूर्ण-रेसोल्यूशन ध्वनिक विवरण (acoustic details) शुरुआती परतों में सबसे महत्वपूर्ण हैं, जबकि टेक्स्ट के साथ उच्च-स्तरीय सिमेंटिक अलाइनमेंट बाद की परतों में अधिक महत्वपूर्ण है। फलस्वरूप, PAL प्रारंभिक एक-तिहाई (one-third) LLM परतों तक LAL इंजेक्शन को प्रतिबंधित करता है। इस बिंदु के बाद, मॉडल केवल PLITS समरी टोकन पर निर्भर रहता है।
टोकन ऑर्डरिंग (Token Ordering): अटेंशन मैकेनिज्म में, कीज़ और वैल्यूज को इस तरह इंटरलीव किया जाता है कि एक समरी टोकन ( $p_j$ ) अपने संबंधित ब्लॉक के फुल-रेसोल्यूशन टोकन ( $\ell_i$ ) के ठीक बाद आता है, जिससे समरी और अंतर्निहित सूक्ष्म संदर्भ (fine-grained context) के बीच अलाइनमेंट बना रहता है।

3. प्रमुख योगदान (Key Contributions)

LAL इंटीग्रेशन: एक लाइटवेट रणनीति का परिचय जो ऑडियो टोकन को LLM अटेंशन सब-मॉड्यूल्स में केवल कीज़ और वैल्यूज के रूप में शामिल करती है, जिससे FFN प्रोसेसिंग को छोड़ दिया जाता है। यह प्रदर्शन को PLITS के समान रखते हुए कंप्यूटेशन और मेमोरी लागत को कम करता है।
PAL हाइब्रिड आर्किटेक्चर: एक हाइब्रिड पद्धति का प्रस्ताव जो संकुचित समरी टोकन के लिए PLITS और पूर्ण ऑडियो अनुक्रम के लिए LAL लागू करती है। यह दृष्टिकोण उच्च कम्प्यूटेशनल और मेमोरी दक्षता बनाए रखते हुए PLITS से काफी बेहतर प्रदर्शन करता है।
कठोर अनुभवजन्य सत्यापन (Rigorous Empirical Validation): कई बेस LLMs (Llama-3.2-1B/3B, Qwen2.5-1.5B) और विविध कार्यों (वर्गीकरण, कैप्शनिंग, रीजनिंग, स्पीच, म्यूजिक और साउंड अंडरस्टैंडिंग) में एक मानकीकृत ट्रेनिंग करिकुलम और डेटासेट सेटअप के तहत निष्पक्ष तुलना की गई।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोगों से पता चलता है कि LAL और PAL मौजूदा बेसलाइन्स (PLITS और फ्लेमिंगो-शैली) की तुलना में बेहतर दक्षता-प्रदर्शन ट्रेड-ऑफ प्रदान करते हैं।

दक्षता लाभ (Efficiency Gains):
- मेमोरी उपयोग: LAL, PLITS की तुलना में ट्रेनिंग मेमोरी उपयोग में लगभग 60% और इन्फरेंस मेमोरी में 83% की कमी लाता है।
- थ्रूपुट (Throughput): ट्रेनिंग थ्रूपुट लगभग 190% बढ़ जाता है, और इन्फरेंस स्पीड 1.2x से 1.5x सुधर जाती है।
- स्केलेबिलिटी: ऑडियो अनुक्रम की लंबाई बढ़ने के साथ दक्षता का अंतर बढ़ जाता है क्योंकि LAL ऑडियो टोकन काउंट के संबंध में रैखिक (linear) स्केल करता है।
प्रदर्शन (Performance):
- सामान्य ऑडियो अंडरस्टैंडिंग: LAL वर्गीकरण (ESC-50, DCASE, VocalSound), कैप्शनिंग (AudioCaps, Clotho), और रीजनिंग (CompA-R) कार्यों में PLITS के बराबर या उससे बेहतर प्रदर्शन करता है। उदाहरण के लिए, Llama-3.2-3B बैकबोन पर, LAL ने ESC-50 पर 89.25% सटीकता प्राप्त की, जबकि PLITS ने 84.60% प्राप्त की।
- एकीकृत ऑडियो-स्पीच-म्यूजिक अंडरस्टैंडिंग: यूनिफाइड सेटिंग (MMAU, MMAR, MMSU बेंचमार्क्स) में, हाइब्रिड PAL मॉडल ने सर्वश्रेष्ठ प्रदर्शन किया।
  - MMAU: PAL-3B ने 70.20% (test-mini) और 68.20% (test) प्राप्त किया, जो PLITS-3B (64.30% / 62.91%) से बेहतर है।
  - MMAR: PAL-3B ने 45.40% सटीकता प्राप्त की, जो PLITS-3B (41.10%) से अधिक है।
  - MMSU: PAL-3B ने कुल 46.18% सटीकता प्राप्त की, जबकि PLITS-3B की सटीकता 40.12% थी।
- एब्लेशन स्टडीज (Ablation Studies): PAL-All संस्करण में LAL या PLITS पाथवे को मास्क करने से प्रदर्शन में गिरावट आई, जिससे पुष्टि हुई कि दोनों पाथवे पूरक (complementary) जानकारी प्रदान करते हैं (सूक्ष्म ध्वनिक संदर्भ के लिए LAL, उच्च-स्तरीय सिमेंटिक अलाइनमेंट के लिए PLITS)।
फ्रोजन FFN (Frozen FFN): शोध पत्र नोट करता है कि LAL तब भी प्रभावी रहता है जब LLM के FFN ब्लॉक्स फ्रोजन (frozen) होते हैं, जो बताता है कि ऑडियो जानकारी को FFN में संग्रहीत मूल पैरामीट्रिक ज्ञान को संशोधित किए बिना अटेंशन के माध्यम से एकीकृत किया जा सकता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि LAL और PAL पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) विधियों (जैसे LoRA) से कोर आर्किटेक्चरल संशोधनों की ओर एक बदलाव का प्रतिनिधित्व करते हैं, जो मौलिक रूप से यह बदलते हैं कि ऑडियो टोकन ट्रांसफार्मर के फॉरवर्ड पास में कैसे भाग लेते हैं।

स्केलेबिलिटी: ऑडियो टोकन काउंट पर द्विघातीय निर्भरता (quadratic dependency) को कम करके, ये विधियाँ अत्यधिक कम्प्यूटेशनल लागत के बिना लंबे कॉन्टेक्स्ट विंडो और उच्च रेजोल्यूशन वाले ऑडियो-LLMs के प्रशिक्षण और परिनियोजन (deployment) को सक्षम बनाती हैं।
दक्षता बनाम प्रदर्शन: लेखक प्रदर्शित करते हैं कि ऑडियो समझ के लिए अत्याधुनिक प्रदर्शन प्राप्त करते हुए मेमोरी फुटप्रिंट को नाटकीय रूप रूप से कम करना और थ्रूपुट बढ़ाना संभव है।
डिज़ाइन अंतर्दृष्टि (Design Insight): यह कार्य स्केलेबल ऑडियो-LLMs के डिज़ाइन के लिए व्यावहारिक अंतर्दृष्टि प्रदान करता है, विशेष रूप से यह उजागर करता है कि शुरुआती परतें पूर्ण-रेसोल्यूशन ध्वनिक इंजेक्शन (LAL) से लाभान्वित होती हैं, जबकि बाद की परतें कॉम्पैक्ट, भाषा-संरेखित सारांश (PLITS) से लाभान्वित होती हैं।

लेखक निष्कर्ष निकालते हैं कि ये दक्षता लाभ ऑडियो समझ प्रौद्योगिकियों तक पहुंच को व्यापक बना सकते हैं, हालांकि वे गोपनीयता, पूर्वाग्रह और उच्च-जोखिम वाले अनुप्रयोगों के संबंध में जिम्मेदार परिनियोजन की आवश्यकता पर जोर देते हैं।