LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence
यह शोध पत्र LLaVA-OneVision-2 को प्रस्तुत करता है, जो एक अगली पीढ़ी का विज़न-लैंग्वेज मॉडल है, जो एक नवीन कोडेक-स्ट्रीम टोकनाइज़ेशन रणनीति, एक एकीकृत 3D RoPE समन्वय प्रणाली और बड़े पैमाने पर ओपन सुपरविज़न का लाभ उठाकर वीडियो, स्थानिक और टेम्पोरल ग्राउंडिंग कार्यों में अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त को 30 मिनट की फिल्म के बारे में बताने की कोशिश कर रहे हैं, लेकिन आपके पास उन्हें केवल 30 तस्वीरें दिखाने का ही समय है।
अधिकांश वर्तमान AI मॉडल (इस नए वाले से पहले वाले) सुरक्षित खेलना पसंद करते हैं: वे समान अंतराल पर 30 तस्वीरें चुनते हैं। हर एक मिनट में एक तस्वीर। यदि मिनट 10 और मिनट 11 के बीच कुछ रोमांचक होता है, तो AI उसे पूरी तरह से मिस कर देता है क्योंकि वह उस सटीक सेकंड पर नहीं देख रहा था। यह एक तेज़ गति वाले फुटबॉल मैच को समझने के लिए हर मिनट केवल स्कोरबोर्ड देखने जैसा है; आप गोल होने वाले पल को मिस कर देंगे।
LLaVA-OneVision-2 एक नए प्रकार का "सुपर-ऑब्जर्वर" (महा-अवलोकनकर्ता) है जो नियमों को बदल देता है। वीडियो को स्थिर स्नैपशॉट की एक श्रृंखला के रूप में देखने के बजाय, यह वीडियो को एक कंप्रेस्ड डिजिटल फ़ाइल (वैसी ही जैसी आपका फोन स्पेस बचाने के लिए उपयोग करता है) की तरह मानता है।
यह कैसे काम करता है, सरल उपमाओं का उपयोग करके यहाँ दिया गया है:
1. "बिट-कॉस्ट" (Bit-Cost) दिशा-सूचक
जब आप एक वीडियो को कंप्रेस करते हैं (जैसे किसी कच्चे वीडियो को MP4 में बदलना), तो कंप्यूटर उन हिस्सों का वर्णन करने के लिए अधिक मेहनत करता है जहाँ चीजें तेज़ी से बदल रही हैं या बहुत हलचल हो रही है (जैसे कार दुर्घटना या डांसर का घूमना)। यह उन हिस्सों पर अधिक "डिजिटल ऊर्जा" (बिट्स) खर्च करता है। यह उन उबाऊ हिस्सों पर बहुत कम ऊर्जा खर्च करता है जहाँ कुछ नहीं हो रहा है (जैसे एक स्थिर दीवार)।
LLaV-OneVision-2 इस "ऊर्जा मानचित्र" को पढ़ता है।
- पुराना तरीका: "मैं वीडियो को 1 सेकंड के लिए देखूँगा, फिर 1 सेकंड के लिए छोड़ दूँगा, फिर फिर से देखूँगा।"
- नया तरीका: "मैं देख रहा हूँ कि वीडियो फ़ाइल अभी बहुत अधिक ऊर्जा का उपयोग कर रही है क्योंकि एक्शन तीव्र है! मैं अपना ध्यान वहीं केंद्रित करूँगा। मैं देख रहा हूँ कि यहाँ ऊर्जा कम है; मैं इस हिस्से को छोड़ दूँगा।"
यह अपनी "दिमागी शक्ति" (टोकन) को ठीक वहीं केंद्रित करता है जहाँ एक्शन हो रहा है, बजाय इसके कि इसे समान रूप से फैला दिया जाए।
2. "मोशन डिटेक्टिव" (गति का जासूस)
मॉडल "रेसिडुअल्स" (residuals) को भी देखता है। कल्पना कीजिए कि आप एक व्यक्ति के चलने का वीडियो देख रहे हैं। बैकग्राउंड (कमरा) वैसा ही रहता है। मॉडल समझ जाता है, "मुझे हर फ्रेम में कमरे को दोबारा समझाने की ज़रूरत नहीं है।" यह केवल उन हिस्सों पर ध्यान देता है जो बदले (चलते हुए व्यक्ति)।
यह सबसे महत्वपूर्ण चलते-फिरते हिस्सों का एक "विजुअल कैनवस" बनाता है, जो कुशलतापूर्वक आपस में जुड़े हुए होते हैं। यह इसे एक 15 मिनट के वीडियो को बिना अभिभूत हुए देखने की अनुमति देता है, क्योंकि यह उबाऊ, दोहराव वाले हिस्सों को अनदेखा करता है और "कहानी" पर ज़ूम करता है।
3. "जंप रोप" (रस्सी कूदने) का परीक्षण
यह साबित करने के लिए कि यह काम करता है, शोधकर्ताओं ने JumpScore नामक एक नया परीक्षण बनाया है। कल्पना कीजिए कि कोई रस्सी कूद रहा है। वे सैकड़ों बार ऊपर-नीचे कूदते हैं। एक सामान्य AI के लिए, हर जंप बिल्कुल एक जैसी दिखती है। यह बताना मुश्किल है कि उपयोगकर्ता किस विशिष्ट जंप के बारे में पूछ रहा है।
- पुराने AI को भ्रम हुआ और उसने अंदाज़े से उत्तर दिया, जिसका स्कोर 100 में से लगभग 30 था।
- LLaVA-OneVision-2 ने उन सूक्ष्म, पल भर के क्षणों को पकड़ लिया जब रस्सी ज़मीन से टकराई या व्यक्ति के पैरों की स्थिति बदली। इसने 100 में से 75 का स्कोर किया।
इसने केवल "कूदना" नहीं देखा; इसने कूदने के सटीक क्षण को देखा।
4. "स्पेशियल नेविगेटर" (स्थानिक पथ-प्रदर्शक)
मॉडल स्थान (space) को समझने में भी बहुत कुशल हो गया है। यदि आप इससे पूछते हैं, "कॉफी कप और लैपटॉप के बीच के खाली स्थान की ओर इशारा करें," तो यह बहुत सटीकता के साथ ऐसा कर सकता है। यह यहाँ तक कि वीडियो में चलती हुई वस्तुओं को ट्रैक कर सकता है (जैसे कमरे में दौड़ती हुई बिल्ली) और उन्हें बिना खोए उन पर नज़र रख सकता है, भले ही बिल्ली आंशिक रूप से छिप जाए।
बड़ी तस्वीर
शोधकर्ताओं ने केवल एक बड़ा दिमाग नहीं बनाया; उन्होंने देखने का एक स्मार्ट तरीका बनाया है।
- पहले: AI हाइक (पदयात्रा) पर जाने वाले एक पर्यटक की तरह था जो दृश्य देखने की उम्मीद में हर मिनट एक फोटो लेता है।
- अब: AI एक गाइड की तरह है जो जानता है कि दृश्य कहाँ है, इसलिए वह केवल तभी रुकता है जब दृश्य वास्तव में बदलता है।
परिणाम यह है कि यह मॉडल लंबे वीडियो को समझता है, तेज़ एक्शन के विशिष्ट क्षणों को ढूंढता है, और स्थान के बारे में बहुत बेहतर तरीके से तर्क करता है, और यह सब समान कंप्यूटर शक्ति का उपयोग करते हुए करता है। उन्होंने अपना सारा कोड, डेटा और मॉडल सभी के लिए मुफ्त में उपलब्ध करा दिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।