Boosting Omni-Modal Language Models: Staged Post-Training with Visually Debiased Evaluation
यह शोध पत्र OmniClean को प्रस्तुत करता है, जो एक विजुअली डिबायस्ड (visually debiased) बेंचमार्क है जो ओम्नी-मोडल मॉडल्स में फूले हुए लाभों को प्रकट करता है, और यह प्रदर्शित करता है कि एक तीन-चरणीय पोस्ट-ट्रेनिंग रेसिपी (OmniBoost) एक छोटे 3B मॉडल को बहुत बड़े 30B समकक्ष से बेहतर प्रदर्शन करने में सक्षम बनाती है, जो विजुअल शॉर्टकट्स पर निर्भर हुए बिना ऑडियो-विजुअल-लैंग्वेज साक्ष्यों को प्रभावी ढंग से एकीकृत करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक "सुपर डिटेक्टिव" होने का प्रमाण देने के लिए एक परीक्षा दे रहे हैं, जो देखने, सुनने और तर्क का उपयोग करके रहस्यों को सुलझा सकता है।
आजकल के अधिकांश AI मॉडल उन छात्रों की तरह हैं जो कमरे के माहौल को समझने में तो बहुत अच्छे हैं लेकिन सुनने में बहुत खराब। यदि आप उन्हें कुत्ते के भौंकने की एक तस्वीर दिखाते हैं और पूछते हैं, "यह कैसी आवाज़ है?", तो वे केवल कुत्ते का मुँह खुला देखकर "भौंकना" (bark) का अनुमान लगा सकते हैं, बिना वास्तव में ऑडियो सुनने की आवश्यकता के। वे विजुअल शॉर्टकट्स (दृश्य संबंधी शॉर्टकट) का उपयोग करके "चीटिंग" कर रहे हैं।
यह शोध पत्र, StepFun-Audio टीम द्वारा, दो बड़ी समस्याओं को हल करने के बारे में है: हम इन मॉडल्स का परीक्षण कैसे करते हैं और हम उन्हें वास्तव में सुनना कैसे सिखाते हैं।
1. समस्या: "विजुअल चीट कोड" (The Visual Cheat Code)
शोधकर्ताओं ने देखा कि कई AI बेंचमार्क (परीक्षण) गलत तरीके से बनाए गए हैं। उनमें ऐसे प्रश्न शामिल हैं जहाँ उत्तर केवल चित्र या वीडियो को देखकर ही स्पष्ट हो जाता है।
- रूपक (Metaphor): कल्पना कीजिए कि एक गणित की परीक्षा में उत्तर प्रश्न पत्र के पीछे बड़े अक्षरों में लिखा है। यदि कोई छात्र पूर्ण अंक प्राप्त करता है, तो क्या उसने गणित हल किया, या उसने केवल पीछे का हिस्सा पढ़ लिया?
- समाधान (OmniClean): टीम ने OmniClean नामक एक नया, अधिक सख्त परीक्षण बनाया। उन्होंने हजारों प्रश्नों की समीक्षा की और पूछा, "क्या एक मॉडल इस प्रश्न का उत्तर ऑडियो सुने बिना दे सकता है?" यदि उत्तर "हाँ" था, तो उन्होंने उस प्रश्न को हटा दिया।
- परिणाम: उन्होंने लगभग 17,000 प्रश्नों से शुरुआत की और केवल लगभग 8,500 को ही रखा। शेष प्रश्न "हार्ड मोड" वाले हैं जहाँ आपको सही उत्तर पाने के लिए वास्तव में ऑडियो को सुनने की आवश्यकता होती है।
2. समाधान: "तीन-चरणों वाली कुकिंग रेसिपी" (OmniBoost)
टीम यह देखना चाहती थी कि क्या वे एक छोटे AI मॉडल (जिसे Qwen2.5-Omni-3B कहा जाता है) को एक विशिष्ट प्रशिक्षण रेसिपी OmniBoost का उपयोग करके एक सच्चा सुपर डिटेक्टिव बना सकते हैं। उन्होंने तीन अलग-अलग कुकिंग विधियों का परीक्षण किया:
चरण 1: "सलाद बार" (Mixed Bi-modal SFT)
- उन्होंने क्या किया: उन्होंने मॉडल को टेक्स्ट, इमेज और ऑडियो का एक संतुलित आहार अलग-अलग रूप में दिया। यह एक छात्र को पाठ्यपुस्तक, चित्र वाली पुस्तक और रेडियो देने जैसा था, लेकिन उन्हें कभी आपस में मिलाया नहीं गया।
- परिणाम: मॉडल थोड़ा बेहतर हुआ, लेकिन यह असंगत था। यह उस छात्र की तरह था जो पढ़ना और सुनना तो जानता है, लेकिन दोनों को एक साथ करना नहीं जानता।
चरण 2: "ड्रिल सार्जेंट" (Mixed-Modality RLVR)
- उन्होंने क्या किया: उन्होंने RLVR (Reinforcement Learning with Verifiable Rewards) नामक तकनीक का उपयोग करना शुरू किया। इसे एक सख्त कोच की तरह समझें जो केवल तभी "थम्स अप" देता है जब मॉडल पहेली को सुलझाने के लिए चित्र और ध्वनि दोनों का उपयोग करता है। यदि वह केवल देखकर चीटिंग करता है, तो उसे कोई अंक नहीं मिलते।
- परिणाम: यह सबसे बड़ी सफलता थी। मॉडल ने अंततः इंद्रियों को एकीकृत करना सीख लिया। इसने "हार्ड मोड" वाले प्रश्नों को सही ढंग से हल करना शुरू कर दिया।
चरण 3: "स्टडी ग्रुप" (Self-Distillation)
- उन्होंने क्या किया: मॉडल ने चरण 2 में जो सीखा था, उसके आधार पर अपने स्वयं के अभ्यास प्रश्न और उत्तर उत्पन्न किए, और फिर उन पर दोबारा अभ्यास किया। यह एक छात्र द्वारा अपने स्वयं के फ्लैशकार्ड बनाने और ज्ञान को पुख्ता करने के लिए खुद का टेस्ट लेने जैसा है।
- परिणाम: इसने मॉडल को और भी अधिक सुसंगत बनाने में मदद की, विशेष रूप से बहुत बड़े और जटिल परीक्षणों पर।
3. बड़ा आश्चर्य: छोटा भी शक्तिशाली हो सकता है
आमतौर पर, इन कठिन समस्याओं को हल करने के लिए आपको एक विशाल, अत्यधिक महंगे कंप्यूटर मस्तिष्क (एक विशाल मॉडल) की आवश्यकता होती है।
- दावा: शोधकर्ताओं ने एक अपेक्षाकृत छोटे मॉडल (3 बिलियन पैरामीटर्स) को लिया और उनके "तीन-चरणों वाली रेसिपी" को लागू किया।
- परिणाम: सभी प्रशिक्षण के बाद, इस छोटे मॉडल ने सख्त "OmniClean" परीक्षण पर बहुत बड़े, प्रसिद्ध मॉडल्स (जैसे 30-बिलियन पैरामीटर वाला Qwen3-Omni) के बराबर, और कभी-कभी उनसे भी बेहतर प्रदर्शन किया।
- शर्त: उन्होंने यह सब किसी बड़े, स्मार्ट शिक्षक से उत्तर कॉपी किए बिना किया। उन्होंने अपना प्रशिक्षण डेटा शून्य से खुद बनाया।
सारांश
यह शोध पत्र तर्क देता है कि:
- चीटिंग बंद करें: कई AI परीक्षण बहुत आसान हैं क्योंकि वे मॉडल्स को चित्रों के आधार पर अनुमान लगाने देते हैं। हमें ऐसे परीक्षणों (जैसे OmniClean) की आवश्यकता है जो उन्हें वास्तव में सुनने के लिए मजबूर करें।
- सही तरीके से सिखाएं: केवल मॉडल को अधिक डेटा खिलाना ही काफी नहीं है। आपको एक विशिष्ट प्रशिक्षण प्रक्रिया (OmniBoost) की आवश्यकता है जो मॉडल को दृष्टि और ध्वनि को मिलाने के लिए मजबूर करे।
- आकार ही सब कुछ नहीं है: एक छोटा, अच्छी तरह से प्रशिक्षित मॉडल, एक विशाल और खराब तरीके से प्रशिक्षित मॉडल को हरा सकता है यदि प्रशिक्षण वास्तविक समझ पर केंद्रित हो न कि शॉर्टकट्स पर।
संक्षेप में: AI को केवल चित्र देखने न दें; उसे कहानी को सुनना भी सिखाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।