तकनीकी सारांश: एनोटेशन एज़ रोलआउट्स (OraRL)

समस्या विवरण

एकीकृत वीडियो धारणा (Unified video perception) के लिए मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) को टेम्पोरल लोकलाइजेशन (temporal localization), स्पेशियल ग्राउंडिंग (spatial grounding), ऑब्जेक्ट ट्रैकिंग और सेगमेंटेशन जैसे सूक्ष्म कार्यों को करने की आवश्यकता होती है। जबकि हालिया जनरलिस्ट MLLMs इन क्षमताओं को एकीकृत करते हैं, वे अक्सर कार्य-विशिष्ट विशेषज्ञों से कम प्रदर्शन करते हैं, जो यह दर्शाता है कि केवल मॉडल का पैमाना (scale) पर्याप्त नहीं है और पोस्ट-ट्रेनिंग अलाइनमेंट ही महत्वपूर्ण बाधा है।

वर्तमान पोस्ट-ट्रेनिंग प्रतिमान (paradigms) दो प्राथमिक सीमाओं का सामना करते हैं:

1. सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): SFT एनोटेशन को मैक्सिमम-लाइक्लीहुड टारगेट्स के रूप में मानता है, जो आउटपुट फॉर्मेट को तो लागू करता है लेकिन 'निकट-सही' (near-correct) और 'स्पष्ट रूप से गलत' भविष्यवाणियों के बीच अंतर करने में विफल रहता है। इसमें सटीक अंतराल या मास्क की ओर मॉडल को निर्देशित करने के लिए टास्क-लेवल सुपरविजन की कमी है।
2. ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) के साथ रीइन्फोर्समेंट लर्निंग (RL): मौजूदा वीडियो RL विधियाँ (जैसे GRPO) प्रति प्रॉम्प्ट कई ऑन-पॉलिसी रोलआउट्स का नमूना लेती हैं और उनके रिवॉर्ड्स की तुलना करती हैं। हालाँकि, ये विधियाँ पूरी तरह से सैंपल किए गए ऑन-पॉलिसी ग्रुप की गुणवत्ता पर निर्भर करती हैं। चूंकि ऑन-पॉलिसी रोलआउट्स शायद ही कभी ग्राउंड-ट्रुथ (GT) एनोटेशन द्वारा निर्दिष्ट सटीक अंतराल, बॉक्स या मास्क को पुनः प्राप्त कर पाते हैं, इसलिए कई ट्रेनिंग ग्रुप्स एक विश्वसनीय पॉजिटिव एंकर की कमी महसूस करते हैं।
3. चेन-ऑफ-थॉट (CoT) की सीमाएँ: हालांकि रीजनिंग को बेहतर बनाने के लिए CoT जनरेशन का उपयोग किया जाता है, यह रोलआउट्स को लंबा कर देता है, जिससे ट्रेनिंग और इन्फरेंस लागत बढ़ जाती है, बिना फाइन-ग्रेन्ड परसेप्शन कार्यों में प्रदर्शन लाभ की गारंटी दिए।

ग्राउंड-ट्रुथ एनोटेशन को RL रोलआउट ग्रुप में "ओरेकल" रोलआउट के रूप में शामिल करने का सीधा प्रयास एडवांटेज इनवर्जन (advantage inversion) के कारण विफल हो जाता है। जब एक हाई-रिवॉर्ड ओरेकल को ग्रुप नॉर्मलाइजेशन में शामिल किया जाता है, तो यह बेसलाइन रिवॉर्ड को बढ़ा देता है। फलस्वरूप, वे ऑन-पॉलिसी रोलआउट्स जो मूल पॉलिसी से बेहतर हैं (लेकिन ओरेकल से खराब हैं), उन्हें नेगेटिव एडवांटेज प्राप्त होता है, जिससे उपयोगी एक्सप्लोरेशन दब जाता है और लर्निंग सरल इमिटेशन (imitation) की ओर सिमट जाती है।

कार्यप्रणाली: OraRL

यह पेपर OraRL (एनोटेशन-एज़-रोलआउट रीइन्फोर्समेंट लर्निंग) पेश करता है, जो एक ऐसा प्रतिमान है जो प्रत्येक एनोटेशन को एक विश्वसनीय पॉजिटिव टारगेट (एक "ओरेकल रोलआउट") के रूप में मानता है, जबकि उस बेसलाइन शिफ्ट को रोकता है जो एडवांटेज इनवर्जन का कारण बनता है।

मुख्य तंत्र (Core Mechanisms)

1. एनोटेशन-एज़-रोलआउट कंस्ट्रक्शन:
   एनोटेशन का केवल स्कोरिंग रेफरेंस के रूप में उपयोग करने के बजाय, OraRL प्रत्येक एनोटेशन $y$ को मॉडल के रिस्पॉन्स फॉर्मेट में सीरियलाइज करता है ताकि एक ओरेकल रोलआउट $o_{gt}$ बनाया जा सके। इस ओरेकल को $n$ ऑन-पॉलिसी रोलआउट्स के समूह में जोड़ा जाता है, जिससे $n+1$ आकार का एक ऑगमेंटेड ग्रुप बनता है। यह ऑन-पॉलिसी एक्सप्लोरेशन को कम किए बिना प्रत्येक क्वेरी के लिए एक विश्वसनीय पॉजिटिव टारगेट प्रदान करता है।

2. डिकपल्ड एडवांटेज एस्टीमेशन (Decoupled Advantage Estimation):
   एडवांटेज इनवर्जन समस्या को हल करने के लिए, OraRL एडवांटेज कैलकुलेशन को डिकपल करता है:

• पॉलिसी बेसलाइन: बेसलाइन $\mu_{op}$ और स्टैंडर्ड डेविएशन की गणना केवल ऑन-पॉलिसी रिवॉर्ड्स से की जाती है, जिसमें ओरेकल को शामिल नहीं किया जाता है। यह सुनिश्चित करता है कि वर्तमान पॉलिसी से बेहतर प्रदर्शन करने वाला कोई भी ऑन-पॉलिसी रोलआउट नॉन-नेगेटिव एडवांटेज प्राप्त करे।
• डायरेक्शनल गेन: ओरेकल रिवॉर्ड और ऑन-पॉलिसी डिस्ट्रीब्यूशन के बीच के अंतर को एक डायरेक्शनल गेन $g_q$ के रूप में एनकोड किया जाता है। यह गेन उन ऑन-पॉलिसी रोलआउट्स के एडवांटेज को स्केल करता है जो ऑन-पॉलिसी मीन से ऊपर हैं, जिससे सिग्नल को प्रवर्धित (amplify) किया जाता है जब ओरेकल वर्तमान पॉलिसी की तुलना में काफी बेहतर होता है।
• डिटैच्ड ओरेकल एडवांटेज: ओरेकल रोलआउट के लिए एक अलग, बाउंडेड एडवांटेज टर्म $A_{gt}$ की गणना की जाती है। इसका स्केल $w_q$ (पॉलिसी और ओरेकल के बीच के शेष अंतर पर आधारित) द्वारा कैलिब्रेट किया जाता है और सबसे मजबूत ऑन-पॉलिसी सिग्नल द्वारा कैप किया जाता है ताकि ओरेकल अपडेट पर हावी न हो सके।

3. साइन-बैलेंस्ड प्रूनिंग (Sign-Balanced Pruning):
   दक्षता में सुधार के लिए, OraRL बैक-प्रोपैगेशन से पहले रोलआउट ग्रुप को प्रून करता है। केवल मैग्नीट्यूड-आधारित प्रूनिंग (जो केवल पॉजिटिव या केवल नेगेटिव सैंपल्स को रख सकती है) के विपरीत, OraRL साइन-बैलेंस्ड प्रूनिंग का उपयोग करता है:

• ओरेकल को हमेशा रखा जाता है।
• शेष स्लॉट्स को सबसे मजबूत पॉजिटिव और नेगेटिव ऑन-पॉलिसी रोलआउट्स को रखकर भरा जाता है, जिससे यह सुनिश्चित होता है कि ग्रेडिएंट अपडेट दोनों सुदृढ़ीकरण (reinforcing) और दमनकारी (suppressive) सिग्नल्स को सुरक्षित रखे।
• अपडेट के परिमाण में बायस को रोकने के लिए प्रूनिंग के बाद पोस्ट-सिलेक्शन मोमेंट करेक्शन लागू किया जाता है ताकि एडवांटेज को री-सेंटर और री-स्केल किया जा सके।

4. दक्षता:
   ग्रुप को प्रून करके (उदाहरण के लिए, 9 में से 4 रोलआउट्स को रखना) और CoT जनरेशन से बचकर, OraRL GRPO विद CoT के $4.9\times$ की तुलना में केवल $2.2\times$ का स्टेप टाइम प्राप्त करता है।

मुख्य योगदान

1. एनोटेशन-एज़-रोलआउट: एक टास्क-इंडिपेंडेंट मैकेनिज्म जो एनोटेशन को ओरेकल रोलआउट्स में बदल देता है, जो CoT की आवश्यकता के बिना या ऑन-पॉलिसी एक्सप्लोरेशन से समझौता किए बिना विश्वसनीय पॉजिटिव सुपरविजन प्रदान करता है।
2. एडवांटेज इनवर्जन विश्लेषण: नेइव ओरेकल मिक्सिंग में "एडवांटेज इनवर्जन" घटना की पहचान और एक समाधान जो पॉलिसी एडवांटेज को ओरेकल गाइडेंस से अलग करने के लिए डिकपल्ड एडवांटेज एस्टीमेशन का उपयोग करता है।
3. साइन-बैलेंस्ड प्रूनिंग: एक प्रूनिंग रणनीति जो एडवांटेज के दोनों साइन और ओरेकल को बनाए रखती है, और मोमेंट करेक्शन के साथ मिलकर, फुल-ग्रुप ऑप्टिमाइजेशन की तुलना में $1.48\times$ की स्पीडअप प्रदान करती है।
4. वीडियो-ओरा (Video-ORA): OraRL के साथ प्रशिक्षित एक यूनिफाइड वीडियो परसेप्शन मॉडल, जो विभिन्न मॉडल स्केल्स (0.8B से 9B) और डेटा बजट के माध्यम से निरंतर सुधार प्रदर्शित करता है।

प्रयोगात्मक परिणाम

लेखकों ने Video-ORA (Qwen3.5 बैकबोन पर आधारित) को प्रशिक्षित किया और सात टास्क फैमिलीज़ में इसका मूल्यांकन किया: टेम्पोरल ग्राउंडिंग, स्पेशियल ग्राउंडिंग, सेगमेंटेशन, विजुअल ट्रैकिंग, स्पेशियल-टेम्पोरल ग्राउंडिंग, वीडियो QA, और स्पेशियल इंटेलिजेंस।

• प्रदर्शन लाभ:

  • टेम्पोरल ग्राउंडिंग: Video-ORA-9B ने तीन TimeLens बेंचमार्क पर 61.8, 63.6, और 72.5 का mIoU प्राप्त किया, जो टेम्पोरल स्पेशलिस्ट TimeLens2-8B और GPT-5 एवं Gemini-3-Pro जैसे प्रोप्रायटरी मॉडल्स को पीछे छोड़ देता है।
  • विजुअल ट्रैकिंग: GOT-10k पर, Video-ORA-9B ने 78.2 का एवरेज ओवरलैप (AO) प्राप्त किया, जो पिछले सर्वश्रेष्ठ ओपन-सोर्स मॉडल (OneThinker-8B) से 5.2 अंक अधिक है।
  • सेगमेंटेशन: इसने RefCOCO (cIoU 79.4) और MeViS (J&F 61.3) पर अग्रणी स्कोर प्राप्त किया।
  • स्पेशियल इंटेलिजेंस: VSI-Bench पर, Video-ORA-9B ने 73.1 स्कोर किया, जो GPT-5 (55.0) और Gemini-3-Pro (55.1) से बेहतर है।
  • वीडियो QA: यह सात में से पांच वीडियो QA बेंचमार्क्स पर ओपन-सोर्स मॉडल्स में प्रथम स्थान पर रहा।

• स्केलिंग और दक्षता:

  • मॉडल स्केलिंग: Video-ORA अपने बैकबोन के मुकाबले सभी स्केल्स (0.8B, 2B, 4B, 9B) पर सुधार करता है, जिसमें मैक्रो-एवरेज गेन्स मॉडल के आकार के साथ बढ़ते हैं।
  • डेटा स्केलिंग: OraRL ने 100k प्रॉम्प्ट्स तक के डेटा बजट में GRPO और SFT को पछाड़ दिया।
  • इन्फरेंस लेटेंसी: बिना CoT के, Video-ORA-9B ने 10-मिनट के वीडियो पर मीडियन एंड-टू-एंड लेटेंसी को CoT बैकबोन के 29.0s से घटाकर 24.3s कर दिया।

महत्व और दावे

पेपर का दावा है कि OraRL "एनोटेशन-एज़-रोलआउट" को यूनिफाइड वीडियो परसेप्शन के लिए एक कुशल और स्केलेबल रीइन्फोर्समेंट लर्निंग सिद्धांत के रूप में स्थापित करता है। लेखक तर्क देते हैं कि:

• वीडियो परसेप्शन में सूक्ष्म सटीकता मुख्य रूप से मॉडल स्केल के बजाय कार्य-संरेखित (task-aligned) पोस्ट-ट्रेनिंग द्वारा निर्धारित होती है।
• प्रत्यक्ष ओरेकल एकीकरण, जब सही ढंग से हैंडल किया जाता है (डिकपल्ड एडवांटेज के माध्यम से), एक विश्वसनीय पॉजिटिव टारगेट प्रदान करता है जो उच्च-गुणवत्ता वाले ऑन-पॉलिसी रोलआउट्स की कमी को दूर करता है।
• इन कार्यों के लिए CoT रीजनिंग आवश्यक नहीं है; प्रत्यक्ष ओरेकल सुपरविजन बेहतर सटीकता और दक्षता प्रदान करता है।
• यह विधि विभिन्न बैकबोन परिवारों (Qwen3-VL, Qwen3.5) और कार्य प्रकारों (लोकलाइजेशन, ट्रैकिंग, QA, स्पेशियल रीजनिंग) में सामान्यीकृत (generalizable) है।

लेखक सीमाओं को भी नोट करते हैं, विशेष रूप से यह कि वर्तमान फॉर्मूलेशन यह मानता है कि एनोटेशन को वैध ओरेकल रोलआउट के रूप में सीरियलाइज किया जा सकता है और स्केलर रिवॉर्ड्स द्वारा मूल्यांकित किया जा सकता है, और अस्पष्ट या शोर वाले (noisy) सुपरविजन के तहत व्यवहार का मूल्यांकन नहीं किया गया है। वे यह भी स्वीकार करते हैं कि हालांकि Video-ORA कई ओपन-सोर्स तुलनाओं में अग्रणी है, कुछ जटिल स्पेशियल रीजनिंग कार्यों में अभी भी सबसे मजबूत प्रोप्रायटरी मॉडल्स से पीछे है।