FBK's Long-form SpeechLLMs for IWSLT 2026 Instruction Following
यह शोध पत्र IWSLT 2026 इंस्ट्रक्शन फॉलोइंग साझा कार्य (shared task) के लिए FBK के SpeechLLMs को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि 2.0663 के HIFS स्कोर के साथ निश्चित 30-सेकंड का विभाजन दोहराव वाले मतिभ्रम (repetitive hallucinations) की चुनौतियों के बावजूद मजबूत लघु-रूप क्षमताओं को बनाए रखते हुए सबसे सुदृढ़ दीर्घ-रूप प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, बहुभाषी रोबोट सहायक है जो छोटे वाक्यों को सुनने और निर्देशों का पालन करने में माहिर है, जैसे "इस वाक्य का अनुवाद करें" या "फ्रांस की राजधानी क्या है?" यह "शॉर्ट-फॉर्म" (लघु-रूप) संस्करण वाला रोबोट है।
शोधकर्ताओं ने यह देखना चाहा कि क्या वे इस रोबोट को लंबी, जटिल कहानियों (जैसे 30 मिनट का व्याख्यान या एक पूरा पॉडकास्ट) को संभालने के लिए अपग्रेड कर सकते हैं ताकि वह भ्रमित न हो, चीजें भूले नहीं, या अपनी ओर से कुछ मनगढ़ंत बातें न बनाने लगे। यह IWSLT 2026 नामक प्रतियोगिता के लिए उनके द्वारा किए गए प्रयासों की रिपोर्ट कार्ड है।
यहाँ उनकी यात्रा का विवरण सरल रूप में दिया गया है:
1. रोबोट का मस्तिष्क (आर्किटेक्चर)
सोचिए कि रोबोट के तीन मुख्य भाग हैं:
- कान (स्पीच एनकोडर): ये कच्ची ध्वनि तरंगों (sound waves) को सुनते हैं और उन्हें ऐसी भाषा में बदलते हैं जिसे मस्तिष्क समझ सके। उन्होंने एक प्री-ट्रेन्ड "सुपर-ईयर" का उपयोग किया जिसे SEAMLESSM4T कहा जाता है।
- अनुवादक (मोडैलिटी एडेप्टर): यह एक सेतु (bridge) है। यह ध्वनि डेटा को लेता है और उसे संकुचित (compress) करता है ताकि वह रोबोट के सोचने के स्थान में ठीक से फिट हो सके। यह एक लंबे उपन्यास को अध्यायों में सारांशित करने जैसा है ताकि मस्तिष्क उन्हें तेज़ी से पढ़ सके।
- मस्तिष्क (LLM डिकोडर): यह सोचने वाला हिस्सा है, जो Qwen3 नामक मॉडल पर आधारित है। यह पहले से ही टेक्स्ट निर्देशों का पालन करने में बहुत अच्छा है। शोधकर्ताओं ने बस इसे टेक्स्ट पढ़ने के बजाय ऑडियो सुनने के लिए सिखाया है।
2. शॉर्ट ट्रैक: "स्प्रिंट" (दौड़)
सबसे पहले, उन्होंने रोबोट का परीक्षण छोटे कार्यों (जैसे 5 सेकंड का क्लिप) पर किया।
- परिणाम: रोबलेट ने स्प्रिंट को पूरी तरह से सफलतापूर्वक पूरा किया। अनुवाद, ट्रांसक्रिप्शन और प्रश्नों के उत्तर देने के लिए इसे एक उच्च स्कोर (2.07) मिला। इसने साबित कर दिया कि रोबोट पहले से ही छोटी बातचीत में चैंपियन है।
3. लॉन्ग ट्रैक: "मैराथन"
यहीं पर मामला पेचीदा हो जाता है। आप रोबोट को एक साथ "यह 30 मिनट का ऑडियो सुनो" नहीं कह सकते। इसकी मेमोरी (कॉन्टेक्स्ट विंडो) अभिभूत (overwhelmed) हो जाएगी, और यह मतिभ्रम (hallucinate) करने लगेगा यानी अपनी ओर से बातें बनाने लगेगा।
इसे हल करने के लिए, उन्होंने ऑडियो को प्रबंधनीय टुकड़ों में काटने के तीन अलग-अलग तरीके आजमाए, जैसे ब्रेड के लंबे लोफ को स्लाइस करना:
रणनीति A: फिक्स्ड स्लाइसर (30-सेकंड के स्लाइस)।
एक मशीन की कल्पना करें जो ऑडियो को बिना यह देखे कि ऑडियो में क्या हो रहा है, सटीक और समान 30-सेकंड के टुकड़ों में काट देती है।- परिणाम: यह विजेता था। यह सबसे स्थिर था। रोबोट भ्रमित नहीं हुआ, और इसने उतनी गलत बातें भी नहीं बनाईं।
रणनीति B: स्मार्ट स्लर (वॉयस डिटेक्शन)।
यह एक टूल का उपयोग करता है जो भाषण में प्राकृतिक ठहराव (जैसे जब कोई वक्ता बोलना बंद करता है) को खोजने की कोशिश करता है ताकि ऑडियो को काटा जा सके।- परिणाम: यह ठीक था, लेकिन कभी-कभी यह ऑडियो को अजीब जगहों से काट देता था या टुकड़े बहुत छोटे कर देता था, जिससे रोबोट कहानी का प्रवाह खो देता था।
रणनीति C: हाइब्रिड स्लर।
यह दोनों को मिलाने की कोशिश करता है: यह ठहराव को देखता है लेकिन यदि कोई टुकड़ा बहुत लंबा हो जाता है तो जबरदस्ती कट लगा देता है।- परिणाम: यह स्मार्ट स्लर से बेहतर था लेकिन फिर भी साधारण, स्थिर फिक्स्ड स्लाइसर को नहीं हरा सका।
4. "मतिभ्रम" (Hallucination) की समस्या
जब रोबोट ने लंबे ऑडियो को सुनने की कोशिश की, तो उसमें एक बुरी आदत देखी गई: रिपिटेटिव इंसर्शन (बार-बार दोहराना)।
- उपमा: कल्पना कीजिए कि एक छात्र डिक्टेशन टेस्ट दे रहा है। जब वे थक जाते हैं या भ्रमित होते हैं, तो वे लिखे गए अंतिम वाक्य को बार-बार दोहराने लगते हैं, या वे एक पूरा नया पैराग्राफ बना लेते हैं जो वास्तव में कहा ही नहीं गया था।
- प्रभाव: इसने रोबोट के ट्रांसक्रिप्शन (जो बोला गया उसे लिखना) को बहुत खराब बना दिया क्योंकि यह दोहराव वाले निरर्थक शब्दों से भरा था। शोधकर्ताओं ने पाया कि यह "मतिभ्रम" ही मुख्य कारण था जिससे रोबोट लंबे ऑडियो के साथ संघर्ष कर रहा था।
5. फाइनल स्कोरकार्ड
उन्होंने एक नई स्कोरिंग प्रणाली बनाई जिसे HIFS (हैलुसिनेशन-पेनलाइज्ड स्कोर) कहा जाता है। यह स्कोर केवल यह नहीं देखता कि रोबोट ने कितनी अच्छी तरह समझा; यह अंक काट लेता है यदि रोबोट अपनी ओर से बातें बनाना शुरू कर देता है।
- विजेता: फिक्स्ड 30-सेकंड स्लाइसिंग रणनीति का उपयोग करने वाला रोबोट उच्चतम स्कोर (2.06) के साथ लॉन्ग ट्रैक का विजेता बना।
- निष्कर्ष: भले ही इसे ज्यादातर छोटे क्लिप्स पर प्रशिक्षित किया गया था, फिर भी यह लंबे ऑडियो को काफी अच्छी तरह से संभाल सकता था यदि आप ऑडियो को स्थिर, अनुमानित टुकड़ों में काटते हैं। इसने अपने छोटे कार्यों करने की क्षमता नहीं खोई, लेकिन इसे इनपुट की लंबाई को प्रबंधित करने के लिए मदद की आवश्यकता थी ताकि यह अपनी ओर से बातें न बनाने लगे।
सारांश
यह पेपर दिखाता है कि आप एक छोटे-स्तर पर सुनने वाले रोबोट को लंबे-स्तर पर सुनने वाले रोबोट में बदल सकते हैं, लेकिन आपको उसे ऑडियो कैसे खिलाया जाता है, इसके प्रति सावधान रहना होगा। ऑडियो को प्राकृतिक ठहराव पर काटने के लिए बहुत अधिक चतुर होने की कोशिश करने के बजाय सरल, स्थिर स्लाइसिंग (एक बार में 30 सेकंड) बेहतर काम करती है। सबसे बड़ा दुश्मन ऑडियो की लंबाई नहीं था, बल्कि रोबोट की वह प्रवृत्ति थी जिसमें वह अभिभूत होने पर खुद को दोहराने या शब्द गढ़ने लगता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।