AVATAR: Reinforcement Learning to See, Hear, and Reason Over Video
AVATAR मल्टीमॉडल वीडियो रीजनिंग के लिए एक नवीन फ्रेमवर्क है जो एक ऑफ-पॉलिसी ट्रेनिंग आर्किटेक्चर और टेम्पोरल एडवांटेज शेपिंगिंग को पेश करके GRPO जैसे मौजूदा तरीकों की डेटा अक्षमता, लुप्त होते लाभ और समान क्रेडिट असाइनमेंट की सीमाओं को दूर करता है, जिससे कई बेंचमार्क में बेहतर प्रदर्शन और 5 गुना सैंपल दक्षता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े अनाड़ी रोबोट को एक फिल्म देखना, उसका साउंडट्रैक सुनना और फिर उस पर आधारित एक जटिल प्रश्न का उत्तर देना सिखा रहे हैं। यह मल्टीमॉडल रीजनिंग (Multimodal Reasoning) की चुनौती है: एक कंप्यूटर को एक साथ "देखने", "सुनने" और "सोचने" के काबिल बनाना।
यह पेपर एक नई प्रशिक्षण विधि पेश करता है जिसे AVATAR (ऑडियो-वीडियो एजेंट फॉर एलाइनमेंट एंड रीजनिंग) कहा जाता है। यह समझने के लिए कि AVATAR क्यों विशेष है, आइए पुराने तरीके को देखें और यह क्यों विफल हो रहा था।
समस्या: "ग्रुप हग" और "खाली नज़र"
पिछली सबसे अच्छी विधि, जिसे GRPO कहा जाता है, एक सख्त शिक्षक की तरह काम करती है जो छात्रों के एक समूह को टेस्ट देता है।
द ग्रुप हग (लुप्त होता लाभ - Vanishing Advantage): शिक्षक 8 छात्रों को एक ही कठिन प्रश्न का उत्तर देने के लिए कहता है। यदि सभी 8 छात्र गलत उत्तर देते हैं (या सभी सही देते हैं), तो शिक्षक कहता है, "खैर, आप सभी एक जैसे ही हैं।" उनके बीच कोई अंतर नहीं है, इसलिए शिक्षक उन्हें शून्य स्कोर देता है। छात्रों को सुधार करने के तरीके के बारे में कोई फीडबैक नहीं मिलता। वे बस खाली नज़र से देखते रह जाते हैं। AI के संदर्भ में, यह "वैनिशिंग एडवांटेज" की समस्या है। यदि समूह एक समान है, तो सीखने का संकेत गायब हो जाता है।
"फेंक देने" की नीति (डेटा अक्षमता - Data Inefficiency): पुराना तरीका "ऑन-पॉलिसी" था। इसका मतलब था कि एक बार जब छात्रों ने टेस्ट दे दिया, तो उनके पेपर तुरंत कूड़ेदान में फेंक दिए जाते थे। भले ही किसी छात्र ने एक शानदार गलती की हो जिससे पूरी क्लास को सबक मिला हो, वह कागज अब बेकार था। वीडियो डेटा की दुनिया में, जो महंगा और कठिन है, डेटा को फेंक देना पैसे जलाने के समान है।
"फ्लैट टायर" (समान क्रेडिट - Uniform Credit): पुराने तरीके ने रोबोट द्वारा बोले गए हर शब्द को समान रूप से महत्वपूर्ण माना। इससे कोई फर्क नहीं पड़ता था कि रोबत ने 50 शब्दों में बड़बड़ाया और 2 शब्दों में उत्तर दिया, या उसने 50 शब्दों के लिए योजना बनाई और 2 शब्दों में सारांश दिया। "रिवॉर्ड" पूरे वाक्य में समान रूप से फैला दिया गया था, जैसे कि आप जिस स्लाइस को खा रहे हैं उसके बजाय पूरे ब्रेड के लोफ पर पीनट बटर फैलाना। इसका मतलब था कि रोबोट महत्वपूर्ण क्षणों पर ध्यान केंद्रित करना नहीं सीख पाया: प्लानिंग (योजना बनाना) और सिंथेसिस (निष्कर्ष निकालना)।
समाधान: AVATAR का आगमन
AVATAR इन तीन समस्याओं को दो मुख्य ट्रिक्स के साथ ठीक करता है, जैसे कि एक मास्टर कोच ट्रेनिंग कैंप को अपग्रेड कर रहा हो।
1. "स्मार्ट रिप्ले जिम" (ऑफ-पॉलिसी ट्रेनिंग)
छात्रों के पेपर फेंकने के बजाय, AVATAR उन्हें एक स्ट्रैटिफाइड रिप्ले बफर (Stratified Replay Buffer) में रखता है। कल्पना कीजिए कि एक जिम है जिसमें तीन वेट रैक हैं:
- ईजी रैक (आसान रैक): वार्म-अप के लिए।
- मीडियम रैक (मध्यम रैक): निरंतर अभ्यास के लिए।
- हार्ड रैक (कठिन रैक): भारी वजन उठाने वालों के लिए।
जब रोबोट एक कठिन वीडियो प्रश्न में विफल होता है, तो वह विफलता डिलीट नहीं की जाती। उसे "हार्ड रैक" में स्टोर किया जाता है। बाद में, रोबोट को उसी कठिन प्रश्न पर फिर से अभ्यास करने के लिए मजबूर किया जाता है, लेकिन इस बार, इसे कुछ आसान प्रश्नों के साथ मिला दिया जाता है जिन्हें उसने सही हल किया था।
- यह क्यों काम करता है: अच्छे और बुरे उत्तरों को एक ही समूह में मिलाकर, रोबकार हमेशा अच्छे और बुरे के बीच का अंतर देखता है। "वैनिशिंग एडवांटेज" की समस्या समाप्त हो जाती है क्योंकि सीखने के लिए हमेशा एक कंट्रास्ट मौजूद रहता है।
- परिणाम: रोबोट 5 गुना तेजी से सीखता है क्योंकि वह अपनी गलतियों को हटाने के बजाय उनका पुन: उपयोग करता है।
2. "स्पॉटलाइट" (टेम्पोरल एडवांटेज शेपिंग)
AVATAR रोबोट की सोचने की प्रक्रिया को ग्रेड देने का एक नया तरीका पेश करता है जिसे टेम्पोरल एडवांटेज शेपिंग (TAS) कहा जाता है।
कल्पना कीजिए कि रोबोट की रीजनिंग एक मूवी स्क्रिप्ट है।
- पुराना तरीका: निर्देशक ने बोरिंग सेटअप से लेकर बड़े क्लाइमेक्स तक, संवाद की हर एक लाइन को समान मात्रा में तालियाँ दीं।
- AVATAR का तरीका: निर्देशक एक स्पॉटलाइट का उपयोग करता है।
- शुरुआत (प्लानिंग): स्पॉटलाइट उन शुरुआती कुछ लाइनों पर तेज चमकती है जहाँ रोबोट अपनी योजना बनाता है (जैसे, "सबसे पहले, मुझे ध्वनि स्रोत ढूंढना होगा")।
- मध्य: लाइट थोड़ी धीमी हो जाती है। रोबोट बस विवरण भर रहा है।
- अंत (सिंथेसिस): स्पॉटलाइट फिर से चमकती है (जैसे, "इसलिए, ध्वनि बाईं ओर से आई थी")।
यह रोबोट को बताता है: "अपनी योजना कैसे शुरू करें और अपना उत्तर कैसे समाप्त करें, इस पर विशेष ध्यान दें। वे सबसे महत्वपूर्ण भाग हैं।" यह रोबोट को लंबे वीडियो के बीच में खो जाने से रोकता है।
3. "हिंट" (संकेत) तंत्र
कभी-कभी, रोबोट किसी ऐसी कठिन समस्या पर अटक जाता है जहाँ वह बस गोल-गोल घूमता रहता है। AVATAR में एक "हिंट" बटन है। यदि रोबोट अटक जाता है, तो एक सुपर-स्मार्ट टीचर मॉडल (एक बड़ा AI) एक रणनीतिक संकेत फुसफुसाता है जैसे, "पहले ऑडियो सुनने की कोशिश करें, फिर वीडियो देखें," बिना उत्तर बताए। यह रोबोट को एक बुरी आदत से बाहर निकलने और एक नया रास्ता आजमाने में मदद करता है।
परिणाम: एक सुपरचार्ज्ड स्टूडेंट
जब उन्होंने AVATAR का परीक्षण किया:
- यह तेजी से सीखा: इसे पुराने तरीकों के समान कौशल स्तर तक पहुँचने के लिए 80% कम प्रयासों की आवश्यकता पड़ी।
- यह अधिक बुद्धिमान बना: इसने वीडियो रीजनिंग, ऑडियो डिटेक्शन और जटिल तर्क वाले परीक्षणों में पिछले सर्वश्रेष्ठ मॉडलों (जैसे Qwen2.5-Omni) को महत्वपूर्ण अंतर से पछाड़ दिया।
- इसने कठिन चीजों को संभाला: जहाँ अन्य मॉडलों ने कठिन, लंबे वीडियो के सामने हार मान ली, वहीं AVATAR अपनी पिछली विफलताओं से सीखने की क्षमता के कारण आगे बढ़ता रहा।
संक्षेप में
AVATAR एक ऐसे छात्र को लेने जैसा है जो इसलिए असफल हो रहा था क्योंकि वह अपना होमवर्क फेंक रहा था और उसके साथ अनुचित व्यवहार किया जा रहा था, और उसे निम्नलिखित चीजें दी गईं:
- एक नोटबुक जहाँ वह बाद में अध्ययन करने के लिए अपनी पुरानी गलतियों को रखता है (रिप्ले बफ़र)।
- एक हाइलाइटर जो उसकी सोचने की प्रक्रिया के सबसे महत्वपूर्ण हिस्सों को चिह्नित करता है (टेम्पोरल एडवांटेज शेपिंग)।
- एक ट्यूटर जो उसे तब सहारा देता है जब वह अटक जाता है (हिंटिंग)।
परिणामस्वरूप, एक ऐसा रोबोट मिलता है जो केवल वीडियो "देखता" नहीं है, बल्कि अविश्वसनीय दक्षता के साथ देखकर, सुनकर और तर्क करके उन्हें वास्तव में समझता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।